英伟达携手合作伙伴将AI引入数据中心

当今的数据中心依赖CPU来驱动运行商业软件的服务器，这将需要为独特的GenAI模型腾出空间。部署和运行GenAI模型将需要新的工具集。

英伟达首席执行官黄仁勋在本周这里的开幕主题演讲中说：“通用计算已经走到尽头，我们需要一种新的计算方式。”

黄仁勋推出了该公司AI企业平台的第五版，其中包含了他所描述的英伟达推理微服务(NIM)。这套组合软件简化了创建和开发利用英伟达 CUDA(用于公司GPU的并行计算平台和编程模型)的GenAI应用程序的过程。

分析师预计，许多企业将在内部部署小型语言模型，以便在不将敏感信息传输到公共云的情况下对其进行微调。在数据中心运行模型有时比云端更经济。

英伟达的合作伙伴瞄准企业

NIM之所以有用，是因为它简化了将实时数据定期输入到训练有素的模型中以做出最新响应的过程——这一过程称为推理。拥有自动化与模型相关过程的工具意味着传统软件工程师可以完成工作，而不必寻找难以找到的AI专家，Weights Biases首席营销官Robin Bordoli说，该公司是AI模型训练平台的制造商。

Weights Biases已将其软件与英伟达的推理引擎集成，因此开发人员可以在支持30个基础模型的平台上进行训练和推理。今天，Weights Biases拥有1000名客户，其中许多是政府机构和生命科学组织，Bordoli说。

他说：“我们正在帮助下一批客户，即企业。他们永远不会从头开始构建模型，但他们想要使用现有模型，并根据自己的企业数据对其进行微调。”

英伟达已将NIM构建为在Kubernetes上运行的容器，Kubernetes是企业熟悉的开源容器编排平台，DataStax开发关系副总裁Patrick McFadin说，该公司为AI应用提供向量数据库。

McFadin说：“我立刻注意到的是，它使用Kubernetes部署。在大型企业运营基础设施的人正在使用Kubernetes，所以他们已经非常好地将自己融入其中。”

英伟达合作伙伴Dell Technologies提供多种配备英伟达 AI企业软件和GPU(H100和L40S)的PowerEdge服务器。

Dell的基础设施和电信营销高级副总裁Varun Chhabra说：“我们从大多数企业看到的是采用现成的模型，无论是大模型还是小模型，并将其与专有企业数据结合。”

Dell认为，检索增强生成(RAG)对企业来说将和推理一样重要。RAG是一种架构，它结合了信息检索系统来保护私人数据。

Chhabra说：“RAG是我们关注的一个重要领域。”

英伟达 NIM最大的好处是在一个容器中打包了推理所需的许多微服务，Chhabra说。“它以一种即插即用的方式做到了这一点。”

Chhabra说：“AI软件和加速计算需要改变数据中心。”

“这绝对感觉像我们处于一个转折点，”他说。“数据中心的彻底重建即将到来。”