英伟达发布史上最大的GPU芯片！盘点GTC2024上的重

人工智能进入生成式AI阶段，大模型在给企业带来更高工作效率的同时，也对算力提出了更高的要求。为了解决算力带来的挑战，在今年的GTC2024上，英伟达重磅发布了全新的 Blackwell计算平台。此平台包含了NVIDIA GB200 Grace Blackwell超级芯片，以及第二代 Transformer引擎、第五代NVLink、RAS引擎等创新技术，还提供了全新的NVIDIA NIM软件包。

与此同时，基于NVIDIA GB200 Grace Blackwell 超级芯片和诸多创新技术与产品，NVIDIA还发布了更强大的新一代AI超级计算机——NVIDIA DGX SuperPOD，能够用于处理万亿参数模型，并具有持续的正常运行时间，以实现超大规模生成式AI训练和推理工作负载。

那么，被英伟达黄仁勋称之为更大GPU的NVIDIA GB200 Grace Blackwell 超级芯片，以及基于此打造的超级计算机，都有哪些亮眼的技术？让我们一起来看一下。

史上最大的GPU芯片

众所周知，大模型之所以“大”，是因为它有着巨大的参数。以谷歌LaMDA模型为例，其参数高达1370亿。另外，GPT-3模型参数高达1750亿，GPT-4更是被曝包含了1.8万亿参数，而规模越大，对算力的需求便越多，如训练GPT3.5需要用到约3万颗英伟达A100芯片。

GTC 2024上，黄仁勋以OpenAI最先进的1.8万亿参数大模型为例，介绍了其需要的算力情况。据介绍，该模型需要几万亿的Token进行训练，万亿参数与数万亿的Token相乘，就是训练OpenAI最先进大模型所需的计算规模。黄仁勋现场估算其计算规模为3×1025，如果利用一颗petaflop（每秒钟进行1000万亿次运算）量级的GPU进行运算，需要1000年的时间才能完成。

为了解决算力问题，NVIDIA正式推出了GB200 Grace Blackwell大芯片。之所以称之为“大”，不仅表现在其拥有当前GPU中最大的晶体管数量，提供了目前最高的计算性能，而且其拥有目前最大的GPU物理面积。

跟往年一样，在GTC2024上黄仁勋同样对GB200 Grace Blackwell芯片进行了展示。他从口袋里掏出一块Blackwell芯片，将它与Hopper芯片并排举起。可以看到，后者明显要小一些。黄仁勋表示，我们需要更大的GPU，Blackwell平台就是为了应对这一挑战而构建的。