NVIDIA 扩展机器人平台，迎接生成式 AI 的崛起​

强大的生成式 AI 模型、云原生应用程序接口（ API）和微服务已应用于边缘。

生成式 AI 正在将 Transformer 模型和大语言模型的强大力量带到各行各业，应用范围现已扩展到边缘、机器人和物流系统相关领域，如缺陷检测、实时资产追踪、自主规划和导航以及人机交互等。

NVIDIA 今日宣布，对适用于边缘 AI 和机器人的 NVIDIA Jetson 平台上的两个框架进行大规模扩展。NVIDIA Isaac ROS 机器人框架已全面上市，NVIDIA Metropolis 在 Jetson 平台上的扩展也即将推出。

为加速边缘 AI 应用的开发和部署，NVIDIA 还创建了一个 Jetson 生成式 AI 实验室，以供开发者利用最新的开源生成式 AI 模型进行开发。

目前，已有超过 120 万名开发者和 1 万多家客户选择了 NVIDIA AI 和 Jetson 平台，包括亚马逊云科技（AWS）、思科、约翰迪尔、美敦力、百事、西门子等。

随着 AI 领域的快速发展，其应用场景日益变得复杂，开发者在构建边缘 AI 应用时也面临着开发周期延长的挑战。为了实时满足客户不断变化的环境、生产线和自动化需求，需要反复对机器人和 AI 系统进行编程，这不仅非常耗时，还要求开发者具备足够的专业技能。

生成式 AI 所具有的“零样本学习”能力（即模型能够识别训练中从未见过的特定事物）和自然语言界面能够简化边缘 AI 的开发、部署与管理。

推动 AI 领域的变革

生成式 AI 通过理解人类的语言提示，对模型进行更改，从而极大地提高了易用性。这些 AI 模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活，并借此超越了基于卷积神经网络（CNN）的传统模型。

据 ABI Research 预测，到 2033 年，生成式 AI 将为全球制造业务增收 105 亿美元。

NVIDIA 嵌入式和边缘计算副总裁 Deepu Talla 表示：“生成式 AI 具有前所未有的泛用性、易用性和精确性，这将显著加快边缘 AI 的部署。我们在 Jetson 平台上对 Metropolis 和 Isaac 框架进行了有史以来规模最大的软件扩展，并结合 Transformer 模型与生成式 AI 的强大功能来满足这一需求。”

相关精彩视频已在NVIDIA中国西瓜视频账号发布：NVIDIA Jetson Orin 赋能边缘生成式 AI 模型

利用边缘生成式AI进行开发

NVIDIA Jetson 生成式 AI 实验室为 Jetson 开发者提供经过优化的工具和教程，用以部署开源大语言模型（LLM）、以交互方式生成惊艳图像的扩散模型、视觉语言模型（VLM）以及视觉 Transformer （ViT）。其中，ViT 结合了视觉 AI 和自然语言处理，可提供对场景的全面理解。

开发者还可以使用NVIDIA TAO Toolkit，为边缘应用创建高效而精确的 AI 模型。TAO 提供了一个用于微调和优化 ViT、视觉基础模型等视觉 AI 模型的低代码接口。此外，还可以定制并微调 NVIDIA NV-DINOv2 等基础模型或 OpenCLIP 等公共模型，用很少的数据创建高度精确的视觉 AI 模型。现在，TAO 还推出了一个基于 Transformer 的新型缺陷检测模型 —— VisualChangeNet。