1、存储是Tokens的积分,产业链空间广阔核心观点:存储是Tokens的积分,推理驱动AI存储快速增长。AI服务器中的存储主要包括HBM、DRAM、SSD等,呈现性能逐级下降、容量逐级增加、成本逐级降低特征。推理驱动AI存储快速增长。(一)内存受益于超长上下文和多模态推理需求,处理大量序列数据或多模态信息时,高带宽与大容量内存可降低访问延迟、提升并行效率。(二)SSD和HDD是Tokens的积分。随着AI推理需求快速增长,轻量化模型部署推动存储容量需求快速攀升,预计未来整体需求将激增至数百EB级别。一、存储是Tokens的积分,推理驱动AI存储快速增长AI服务器中的存储主要包括HBM、DRAM、
2、SSD等。AI服务器中的存储主要包括HBM、DRAM、SSD等,呈现性能逐级下降、容量逐级增加、成本逐级降低特征。访问频繁或者随时变更的数据会保留在较高的存储层,例如性能高的层次如CPU/GPU缓存、高带宽内存(HBM)和动态RAMS;而鲜少访问或需要长期保存的数据将移动到较低的存储层,例如SSD和硬盘驱动器。(divcenter)图1:服务器中的存储主要包括GPU中HBM、CPU中DRAM、显存以及SSD等(/divcenter)AI推理中的分级存储协同支撑高效计算。HBM集成于GPU内部,为权重和激活值提供高带宽临时缓冲,支撑并行计算和低延迟推理。DRAM作为系统内存,存储中间数据、批处理
3、队列及模型输入输出,实现CPU与GPU间高效数据传递。本地SSD用于实时加载模型参数和数据,满足高频读写需求,并存储短期检查点与临时生成内容,支撑快速迭代。HDD提供经济大容量,用于保存原始数据、历史检查点及生成内容,保障系统长期运行与数据安全。整体来看,HBM与DRAM提供即时高性能支撑,SSD保证快速可用数据,HDD则保障容量与可靠性,构建从高速临时访问到长期存储的完整AI推理生态。二、AI推理驱动存储需求增长,产业链空间广阔(一)AI&存储服务器用eSSD空间广阔AI推理与数据存储构成eSSD核心增量需求场景。在AI应用体系中eSSD主要用于训练、推理及数据存储。在训练阶段,eSSD用于
4、Checkpoint保存、模型加载及系统引导。在推理阶段,长上下文产生的KVCache以HBM/DRAM为首选热存储,超过内存容量的热数据会外溢至高性能eSSD承接;此外,RAG数据库用于大规模知识检索与上下文扩展,亦依赖eSSD提供大容量与高吞吐支持。在数据存储阶段,eSSD用于tokens的保存、数据清洗与ETL流程。随着长上下文推理、RAG数据库及tokens规模的快速增长,AI工作负载对高带宽、大容量eSSD的需求将持续增强,AI服务器、存储服务器中的eSSD市场空间将进一步扩大。AI服务器用eSSD出货量不断扩大。我们对AI服务器用eSSD市场空间进行测算,基于以下关键假设:根据Nv
5、idiaNVL72byHPE白皮书,每个计算tray的缓存盘总容量为30TB(由8块3.84TBNVMeSSD组成),操作系统盘为1块1.92TBNVMeSSD,即单GPU对应2个本地SSD卡槽。我们假设单GPU对应2个本地SSD卡槽;单卡槽对应的eSSD容量为4TB。按照上述满插假设计算,2024、2025、2026年AI服务器用eSSD市场空间分别为59EB、89EB、120EB。该测算反映的是AI服务器用eSSD理论最大市场空间,实际部署中部分服务器可能未满配,因此实际出货量可能低于该数值。存储服务器用eSSD出货量增速更为明显。我们对eSSD市场结构进行拆分,基于以下关键假设:(1)参
6、考TrendForce数据,2024年AI相关SSD采购能力将超过45EB;参考yole数据,AI服务器用eSSD出货量占服务器eSSD出货量1/3;并参考McKinsey数据,2024年eSSD市场规模为181EB,由此测算2024年通用服务器、AI服务器、存储服务器用eSSD市场规模分别为90EB、45EB、46EB;(2)参考yole数据,2024-2030年全球eSSD出货量CAGR达26%。从结构上看,eSSD主要用于通用服务器、AI服务器及存储服务器,假设2024-2030年出货量CAGR分别为12%、20%、54%,由此测算2030年通用服务器、AI服务器、存储服务器用eSSD市