AI算力倍增背景下，内存带宽增速远落后于算力增速已成为制约系统性能的“阿姆达尔短板”。金元证券研究报告指出，峰值算力2年增长3倍，而存储带宽及互连带宽仅增长1.6倍、1.4倍。HBM（高带宽存储器）通过3D堆叠DRAM和1024位宽总线设计，HBM3e单堆栈带宽突破1.2TB/s，成为AI训练和推理场景下突破存储墙的关键技术路径。

冯·诺依曼架构下，处理器性能提升被内存传输速率所制约，内存带宽年增速仅约15%。随着GPU/AI加速器算力猛增，内存无法及时“喂饱”计算单元，导致性能受限。在AI训练和推理中，大量矩阵计算需快速内存访问。当内存无法跟上计算速度时，GPU利用率下降，系统性能无法线性随算力提升。峰值算力2年增长3倍，而存储带宽及互连带宽仅增长1.6、1.4倍，内存带宽不足已成为AI领域亟待解决的关键瓶颈。

百亿/万亿级参数模型训练和推理需要数百GB到数TB内存。当前GPU搭载的高带宽显存容量增长有限，很多模型无法全部加载到单卡内存，不得不拆分到多卡，增加通信开销。即使GPU峰值算力很高，但若内存带宽不足，实际性能大打折扣。Facebook在PaLM论文中引入模型FLOPs利用率（MFU）衡量训练中算力饱和程度，但对推理更相关的指标是模型带宽利用率（MBU）。MBU定义为实际消耗的内存带宽除以硬件峰值带宽，在内存受限场景下MBU接近100%，此时进一步增加算力无济于事，只有提高带宽或减少数据量才能加速。

HBM采用3D堆叠DRAM和宽总线并行访问设计，每颗HBM堆叠存储器拥有1024-bit总线，相比传统DDR/GDDR显存带宽大幅提升。HBM通过降低工作频率、提高总线并行度实现更高能效，每比特传输能耗比GDDR降低约30-50%。HBM采用硅中介层的2.5D集成，将多个DRAM芯片垂直堆叠并紧贴处理器封装，相比分立显存芯片PCB布局，占用空间小、连线距离短、信号延迟低且可靠性更高。HBM3在NVIDIA H100上组成5120-bit总线，整卡内存带宽高达2TB/s以上。

从HBM1至HBM3e，单堆栈堆叠层数由最高8层扩展至16层，单DRAM容量上限由16Gb提升至32Gb，单颗HBM容量由16GB扩展至64GB。相比容量扩充，存储带宽提升更为显著。总I/O数量扩充至1024，单PIN数据传输速率由1Gbps提升至最高9.6Gbps，单颗HBM存储带宽上限从128GB/s提升至1.2TB/s。HBM单针速率从HBM1约1Gb/s提高到HBM3E的8+Gb/s，几乎每代翻倍。DDR5-6400单通道带宽约51.2GB/s，而HBM3单堆栈达819GB/s，差距超15倍。

HBM成为AI训练侧和推理侧需求的共同焦点。经典屋顶模型详细阐述了“存储墙”及“算力墙”对系统性能的双重制约。Databricks实测H100集群相比A100在相同模型上Batch Size 1延迟降低36%，在Batch Size 16延迟降低52%，但简单“堆砌算力”（增加更多卡）效果并不显著。HBM通过超宽总线架构突破传统DRAM的带宽限制，是当前解决存储墙最有效的技术方案。随着AI算力需求持续攀升，HBM在数据中心GPU、AI加速器中的渗透率将进一步提升。