全球工业物联网品牌厂商研华科技成功整合英伟达(NVIDIA) 生成式AI模型于MIC-733-AO边缘AI推理盒子，并在英伟达GTC 2024 GPU科技展研华摊位上进行展示(No. 232)，该产品预示：未来生成式AI将大幅减少开发者训练模型的时刻，在工业应用上也能以更快速更方便的得到AI推理的结局。

研华MIC-733-AO+英伟达生成式AI模型=边缘生成式AI体系

研华MIC-733-AO边缘AI体系基于英伟达Jetson AGX Orin™平台，搭载英伟达Jetson AI实验室的生成式人工智能模型，现在成功高效率运行大型语言模型(LLMs)、视觉语言模型(VLM)、视觉变换器(ViT)以及图像生成和对话生成Llamaspeak，这要归功于英伟达Jetson AGX Orin™平台的特殊优势，包括加速计算、重要的AI软件和预先训练的模型，有助于创建、自定义和部署适用于各种应用和地点的生成式AI模型。

利用英伟达Jetson AI实验室的生成式AI模型，AI开发者可以运用检索增强生成(RAG)技术，将LLMs和VLMs连接到企业的姿势库。这种方式消除了传统AI模型训练的需求，允许透过和体系的简单对话交互来产生AI推论，明显缩短了开发时刻。研华MIC-733-AO拥有高AI运算效能和多个影像输入接口，例如IP摄影机、USB/gigE工业相机、GMSL摄影机、激光雷达等，让开发者可以轻松串接影像讯息结合AI运算，而工业级小体积设计更适合放在边缘端应用，即使在英伟达Jetson AGX Orin运行满载时，出色的散热设计也能防止体系过热确保正常运行。

边缘生成式AI体系反应更实时，应用更多元

生成式AI通过从不同的输入和输出(例如文本和图像)创建新内容，正在改变人和计算机的互动方法。从云端到边缘端，边缘端生成式AI更适合需要快速反应和低延迟环境的良好化解方法。在边缘端生成式AI相对于云端生成式AI的化解方法具有下面内容几点优势：

实时反应：根据摄影机和传感器等数据来源的边缘计算体系能够立即答复，无需等待和云端上传数据造成的延迟。

数据安全：数据储存在边缘体系中，大幅降低云端数据传输相关的安全风险。

稳定的网络连接：即使没有无线网络，边缘体系也能够操作并将数据存储在本地端，直到网络恢复，而云端生成式AI在没有网络时将无法运作。

低传输成本：边缘端AI因不需要随时传输数据给云端，仅需低量传输，比云端AI随时上传数据更具成本效益。

边缘生成式AI代表了人工智能时代的未来。研华MIC-733-AO边缘生成式AI体系，整合英伟达Jetson AI实验室的生成式AI模型，为AI开发者提供了壹个简单的化解方法。

（来源：研华）