从幕后到台前，HBM为何成为生成式AI时代的“新宠

人工智能进入生成式AI时代，各种大模型应用层出不穷，对算力提出了更高的要求，推动着AI服务器与高端GPU产品需求的不断上涨。与此同时，拥有更高性能的HBM存储产品也进入了人们的视野，市场规模不断增长。

HBM，即高带宽内存（High Bandwidth Memory），是一款新型的内存芯片，通过使用先进的封装方法（如 TSV 硅通孔技术）垂直堆叠多个DRAM，并与GPU/CPU封装在一起，用以提供更大的存储容量和带宽，满足数据快速读写的需求。简单来看，HBM更像是高层楼房设计，而传统的内存则更像是平房设计。当然，由于结构不同，HBM的生产制造工艺更难。

生成式AI对存储提出了更高的要求

随着AI技术的发展，GPU的功能越来越强，需要更加快速地从内存中访问数据，以此来缩短应用处理的时间。

众所周知，大语言模型 （LLM）需要重复访问数十亿甚至数万亿个参数，如此庞大且频繁的数据处理，往往需要数小时甚至数天的时间，这显然无法满足要求。于是，如何提高存储的读写性能成为存储重点突破的技术方向。

具体来看，AI尤其是生成式AI对存储提出了以下要求：

一是更高的内存带宽：大语言模型 （LLM）动辄数十亿甚至万亿个参数的读取，对内存带宽提出了更高的要求。

二是高速数据处理能力：AI需要快速处理和分析庞大数据集，这就要求存储系统必须具备高效的数据读写能力。

三是大容量存储系统：不断增长的海量数据，要求存储系统需要更大的空间来容纳训练数据、模型参数及推理结果。

四是高响应低延迟：实时AI应用对存储系统的响应速度要求极高，低延迟的存储解决方案能显著提高处理速度和应用响应时间。

五是可扩展性：存储系统必须能够随着AI应用的扩展而灵活增长，适应日益增长的存储需求。

在生成式AI对存储系统提出的以上五个要求中，率先要解决的是高性能、高带宽、低延迟的问题，这也是HBM的核心技术优势所在。

HBM的核心技术优势

由于HBM采用了近存计算架构，不通过外部连线与 GPU/CPU/SoC 连接，因此HBM 解决了传统 GDDR 遇到的“内存墙”问题。另外，HBM可以通过中间介质层紧凑快速地连接信号处理器芯片，因此极大地节省了数据传输所使用的时间与耗能。具体来看，