生成式AI加速数据中心变革升级！2024年数据中心

在数字经济的推动下，越来越多的企业开启了数字化转型之旅，数据中心行业发展良好，市场规模不断扩大。数据中心作为数字经济的主要载体和算力底座，2024年将继续保持增长态势。根据市场研究公司Dell'Oro Group的最新报告，全球数据中心资本支出预计将在2024年反弹至11%的增长率，因为部分超大规模云服务提供商将重返扩张周期，并且企业市场的支出冻结也将迎来缓和。

那么，2024年数据中心将会有哪些重点技术趋势？以下，是对2024年数据中心发展趋势和热点技术的展望。

生成式AI对数据中心算力提出更高要求

2024年，生成式AI仍旧是各大企业关注的热点，并将产生更多的生成式AI项目。随着生成式AI项目的不断落地，数据中心将面临更大的算力挑战。为此，数据中心将迎来重大变革。记者认为，在提升算力层面上，数据中心在2024年将会围绕以下热点进行重点突破。

1）异构计算

众所周知，生成式AI对数据中心算力提出了更高的要求，传统的以CPU为核心的计算方式显然已经无法满足人工智能对于算力的需求，CPU+GPU/FPGA/ASIC等异构式架构成为2024年以及未来数据中心的主要算力构成方式。

当然，在构建异构计算时，不仅仅要重点关注底层芯片，而且还要注意应用的开发方式，要软硬件并行，两条腿走路。同时，由于异构计算是将CPU、DSP、GPU、ASIC、FPGA等不同制程架构、不同指令集、不同功能的计算单元，组合起来形成一个混合的计算系统。在这一生态体系中，有着不同的厂商参与，彼此之间既是竞争关系，又是合作关系，只有通过多方的合作，才能不断优化算力架构，提高计算效率。

2）HBM高带宽内存

众所周知，生成式AI不但对CPU、GPU性能提出了更高的需求，也对存储性能的要求越来越高。传统的内存显然已经无法满足AI对于存储性能的要求，HBM（高带宽内存）成为2024年以及未来数据中心的技术趋势之一。

HBM通过利用3D芯片堆叠技术将多个DRAM芯片堆叠在一起，从而提供更大的存储容量。随着AI技术的发展，GPU的功能越来越强，需要更加快速地从内存中访问数据，以此来缩短应用处理的时间。特别是在生成式AI出现之后，大型语言模型 (LLM）需要重复访问数十亿甚至数万亿个参数，如此庞大且频繁的数据处理，往往需要数小时甚至数天的时间，这显然无法满足要求。于是，传输速度也成了HBM的核心参数。

目前，HBM大都采用了标准化设计：HBM 存储器堆栈通过微凸块连接到 HBM 堆栈中的硅通孔（TSV 或连接孔），并与放置在基础封装层上的中间件相连，中间件上还安装有处理器，提供 HBM 到处理器的连接。与此同时，HBM通过控制芯片对多个DRAM芯片进行控制，使它们能够同时读取或写入数据，从而提高了存储带宽和数据处理能力。