在AgentX工作负载下,搭配DeepSeek-V4-Pro(1.6万亿参数)模型进行实测,Vera Rubin NVL72的每兆瓦吞吐量比上一代主力机皇GB300 NVL72最高提升了整整30倍。与此同时,生产每百万Token的成本最高降低了35倍。
这组数据是在NVIDIA Hot Chips 2026上,英伟达公布的一组Vera Rubin NVL72的真实测试数据。这一数据的震撼之处在于对比的参照系:GB300在同样的DeepSeek-V4-Pro测试中,每兆瓦吞吐量已经比H200提升了15倍。然而Vera Rubin在GB300的肩膀上,又拔高了30倍。
这意味着什么?对于受制于电力供应的AI工厂来说,这直接拓展了物理法则的边界——在同样的电力预算下,Vera Rubin能完成30倍的Agentic工作负载。对于兆瓦级甚至吉瓦级的数据中心而言,这相当于凭空变出了30倍的算力资产。
有业内人士感慨:“我连骗投资人的PPT都不敢这么写!”
极致协同设计:七款芯片与五种机架的系统级工程
Vera Rubin NVL72惊人的性能提升,并非靠单颗芯片的工艺突破,而是源于英伟达所谓的“极致协同设计”(Extreme Co-Design)。这一协同设计体现在多个层面:
一是计算与内存的协同:通过NVFP4量化技术,模型权重被压缩至4位精度,在不牺牲输出质量的前提下大幅减少了内存占用,为吞吐量提升铺平道路。同时,分布式KV缓存技术将内存扩展至整个GPU集群,并通过KV感知路由(KV-aware routing)将请求导向已缓存相关上下文的GPU,避免了昂贵的重复计算。
二是计算与计算的协同:Vera Rubin平台内部实现了Prefill(预填充)与Decode(解码)的分离式服务(Disaggregated Serving)。这两种操作对硬件的需求截然不同,分离后可以独立扩展,最大化效率。此外,针对DeepSeek等混合专家(MoE)模型,第六代NVLink提供高带宽、低延迟的纵向扩展互连,与基于通用以太网的替代解决方案相比,XPU到XPU传输的端到端延迟降低至三分之一,数据包速率提高10倍,确保72个GPU能行云流水地调用不同的“专家”网络。
三是软件与硬件的协同:NVIDIA Dynamo等推理优化引擎,通过融合CUDA内核(如MegaMoE),将大量计算与GPU间的通信操作合并为单次执行流程,确保GPU始终处于计算状态而非等待数据。同时,NVIDIA DSX MaxLPS技术能在工作负载层面进行精细化电源管理,在相同兆瓦预算内部署更多GPU,进一步提升能效。


闽公网安备 35020602001684号