1、开放数据中心标准推进委员会ODCC2025年9月AI 超节点内存池化技术白皮书AI 超节点内存池化技术白皮书编号 ODCC-2025-03004版权声明版权声明ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC 成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC 及有关单位将追究其法律责任，感谢各单位的配合与支持。ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘

2、编或利用其它方式使用 ODCC 成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC 及有关单位将追究其法律责任，感谢各单位的配合与支持。编写团队编写团队项目经理：项目经理：王军良王军良中国电信研究院中国电信研究院工作组长:工作组长:何泽坤何泽坤深圳市腾讯计算机系统有限公司深圳市腾讯计算机系统有限公司贡献专家:贡献专家:林显成林显成中国电信研究院中国电信研究院武宇亭武宇亭中国电信研究院中国电信研究院朱元瑞朱元瑞中国电信研究院中国电信研究院刘荣凯刘荣凯中国电信研究院中国电信研究院夏寅

3、贲夏寅贲深圳市腾讯计算机系统有限公司深圳市腾讯计算机系统有限公司郭诚郭诚深圳市腾讯计算机系统有限公司深圳市腾讯计算机系统有限公司王建国王建国上海燧原科技股份有限公司上海燧原科技股份有限公司周永财周永财上海燧原科技股份有限公司上海燧原科技股份有限公司吕涛吕涛深圳云豹智能有限公司深圳云豹智能有限公司崔秀梅崔秀梅深圳云豹智能有限公司深圳云豹智能有限公司王少鹏王少鹏中国信息通信研究院中国信息通信研究院孙聪孙聪中国信息通信研究院中国信息通信研究院前言前言当前，生成式人工智能浪潮正深刻改变着全球的计算格局。在大模型训练与推理需求持续高涨的背景下，以 AI 超节点为代表的新型算力形态正迅速崛起，成为支撑智能

4、时代的重要基础设施。随着模型规模不断扩大、数据复杂性持续上升，AI 工作负载对存储与内存系统提出了前所未有的挑战。尤其在追求“以存换算”的方向上，传统分散、静态的内存架构已难以支撑 AI 大规模并行计算对效率、弹性和资源协同的严苛要求。在这一背景下，AI 超节点内存池化技术应运而生，成为打破“内存墙”的关键路径。通过对 HBM、DDR、SSD 等多层级存储资源的统一编址、集中调度与智能分层管理，内存池化技术不仅有效解决了异构资源分布不均、利用率低下等问题，更为大模型训练、大模型推理等典型场景提供了灵活、高效、可扩展的内存解决方案。在Scale-Up 与 Scale-Out 双重网络技术的支撑下

5、，AI 系统得以实现跨节点内存共享，进而打通 GPU 与 CPU 之间的资源壁垒，最大化释放算力潜能。然而，AI 超节点内存池化的实现并非易事。底层互联技术的带宽与延迟瓶颈、存储语义不一致、开发接口复杂、资源调度策略不完善等问题，如同一道道技术屏障，阻碍着池化体系的真正落地与广泛部署。如何构建统一的寻址空间？如何实现异构设备之间的内存一致性？如何提升池化资源的调度智能与跨域弹性？这些问题亟待解决，亟需产业界与学术界携手共建共创。本白皮书汇聚了 AI 基础设施领域众多专家的研究成果，系统梳理了 AI 超节点内存池化的关键技术路径、典型应用场景与行业实践经验。从多层级存储结构与网络互联方式的深入剖

6、析，到Zero-Offload、MoonCake、LMCache 等行业实践分析；从统一编址与智能调度等关键技术的工程落地，到面向未来的 Chiplet 互联与缓存一致性 C2C 协议的前沿探索，白皮书力求为读者提供一份全面、深入、可实践的技术参考。AI 超节点内存池化不仅是面向当前 AI 模型需求的现实解法，更是构建下一代智能算力系统的重要基石。未来，随着 CXL、DPU、UCIe 等技术的不断演进，以及统一共享内存池体系的日益成熟，AI计算将不再受限于本地显存或静态配置，而转向真正的资源弹性、动态协同与系统智能。展望未来，AI 超节点内存池化技术将在推动AI 基础设施范式转变中扮演更加关键