新华三李乔：AGI时代算力基础架构面临的挑战与

目前，人工智能按照进化阶段分为了弱人工智能（ANI）、通用人工智能（AGI）和超人工智能（ASI）三个阶段。自1956年麦卡锡、明斯基等科学家首次提出“人工智能（Artificial Intelligence，简称AI）”这一概念，标志着人工智能学科的诞生；到2017年，谷歌Transformer模型的发布颠覆了传统的自然语言处理模型，奠定了生成式AI的基础；再到2022年，OpenAI正式发布 ChatGPT并在短短2个月内实现了用户数破亿，大量类ChatGPT的通用人工智能随之涌现，正式揭开了AGI时代的序幕。正如微软CEO萨提亚 · 纳德拉所说，“AI的黄金时代正在到来，并将重新定义我们对工作的全部认识”。在各个行业中，必将涌现出无数基于类似GPT-4这样的通用AGI平台的创新应用，重构行业的产品、服务和流程，进而影响我们每一个人的工作、生活和学习。

新华三集团副总裁、互联网事业部总经理 李乔

人工智能的三要素包括数据、算法及算力。作为AI原料的数据是十分有限的，可利用的公域数据在2026年之前就会被大模型全部训练完成。场景化AI训练、微调的数据来源将尤其依赖于有价值的私域数据，但私域数据往往是不开放的，隐私计算和联邦学习则将成为打破数据孤岛极为可行的方案，同时合成数据技术的应用也将成为必然。此外，算法复杂度呈指数级增长，模型层数、参数规模快速膨胀的同时也在不断突破。当下，三要素中的算力成为了很多应用落地的最大瓶颈。那么，AI算力基础架构具体面临哪些挑战与机遇？

一、挑战

在AGI时代，数据大模型的参数规模呈现出快速增长的态势。GPT从2018年的1.17亿发展到2020年的1750亿，文心一言3.0参数规模达到了2600亿，Google的Palm 2参数量也超过3400亿。随着参数模型的日益庞大、摩尔定律陷入瓶颈。对计算效率精尽的追逐，使得冯•诺依曼结构的先天性不足被成倍放大。计算墙、内存墙、通信墙、能耗墙成为了AGI算力基础架构的四大挑战。

首先谈谈AI计算的主角GPU。大模型并行计算量巨大，以GPU/TPU代替CPU进行大量简单重复计算，虽然计算效率有了明显的提升，但单卡算力和大模型所需总算力之间仍然存在巨大差距。以GPT-3为例，每进行一次训练迭代需要消耗4.5ExaFlops算力，而主流GPU单卡算力只能达到TFlops级别。百万级别的算力差距便产生了算力墙。分布式训练在一定程度上解决了算力墙问题，但综合考虑TCO及不同的AI场景，使用专业的芯片和异构计算架构将成为突破算力墙的另一个必要方向。

参数量是衡量模型大小的最关键指标，参数越多对内存的需求越大。以1750亿参数的GPT-3为例，参数量（FP16精度）需要350GB内存（175B*2Bytes），梯度（FP16精度）需要350GB内存（175B*2Bytes），优化器状态（FP32精度）需要2100GB内存（175B*12Bytes），总计需要2800GB内存（350GB+350GB+2100GB）。而主流的GPU卡仅能够提供80GB显存，单个GPU无法装下如此庞大的参数量。此外，现有的计算架构以CPU为中心，CPU主内存与GPU本地内存无法统一寻址，内存资源相互隔离，GPU无法高效的使用CPU主内存资源，最终导致产生内存墙。