微软打造“小芯片云”架构，欲大幅降低LLM实现

如果英伟达和AMD正兴奋地搓搓小手，打算趁着微软在生成式AI领域大展拳脚的机会狠狠卖一波计算器材，把握OpenAI GPT大语言模型掀起的这波东风，那恐怕得好好再考虑一下了。虽然微软要搞AI是真的，OpenAI想把GPT模型作为未来的软件核心和服务也是真的，但想靠卖芯片赚到这笔收益却绝非易事。

自生成式AI爆发之初，我们就一直坚持认为，如果推理阶段对于硬件的需求量与训练阶段相同，那这项技术哪怕再美好也只能是空中楼阁。毕竟没人能负担得起那样的成本，即使是财力雄厚的超大规模数据中心运营商和云服务商也做不到。

正因为如此，微软决定与华盛顿大学的研究人员合作，共同开发出所谓“小芯片云”（Chiplet Cloud）的新方案。从理论上讲，其在运行微软GPT-3 175B和谷歌PaLM 540B模型的推理时，似乎拥有着能压倒英伟达“Ampere”A100 GPU的性能（略逊于「Hopper」H100 GPU）和谷歌TPUv4加速器的表现。

这款Chiplet Cloud架构的相关论文由Shuaiwen Leon Song牵头撰写。Shuaiwen Leon Song是太平洋西北国家实验室的高级科学家兼技术主管，还在悉尼大学与华盛顿大学参与未来系统架构研究。他于今年1月加入微软，担任高级首席科学家并参与管理Brainwave FPGA深度学习团队，还针对PyTorch框架开展DeepSpeed深度学习优化（这两个项目均隶属于微软研究院的AI at Scale专题）。

说这么多当然不是在闲扯，其中的重点是以上项目全都被GPT所击败，迫使微软在Leon Song加入的同时向OpenAI投资了100亿美元。截至目前，微软已经向OpenAI注资达130亿美元，其中大部分用于在微软Azure云上训练并运行GPT模型。

如果要用一句话来概括Chiplet Cloud架构，那就是：晶圆级、大规模并行、与Cerebras Systems类似的大量SRAM矩阵数学引擎，然后用一个个完美的裸晶将其拼合成统一的系统。或者更确切地讲，不是用SRAM做晶圆级矩阵数学单元，而是制造出大量个体成本极低、而产量却极高（因此有助于降低整体成本）的小单元，再用高速互连把它们对接起来。

这种方法类似于IBM的BlueGene系列大规模并行系统（例如安装在劳伦斯利弗莫尔国家实验室的BlueGene/Q）同IBM为橡树岭国家实验室打造的偏重GPU的“Summit”超级计算机间的区别。BlueGene与日本RIKEN实验室的“K”和“富岳”系统更相似，从长远来看也有可能代表着正确的发展方向。最大的区别，在于我们需要针对AI训练、HPC计算和AI推理再对处理器做不同调整。

最近几周，我们一直在讨论基于Transformer架构的生成式AI模型那恐怖的构建成本。Chiplet Cloud论文很好地阐述了亚马逊云科技、Meta Platforms和谷歌为何一直在努力寻求自研芯片，从而显著降低AI推理的实现成本。