1、基于 CXL 方案的 AI 应用优化与研究基于 CXL 方案的 AI 应用优化与研究编号 ODCC-2025-01003开放数据中心标准推进委员会 ODCC2025年9月版权声明版权声明ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC 成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC 及有关单位将追究其法律责任，感谢各单位的配合与支持。编写团队编写团队项目经理：李宇涛三星（中国）半导体有限公司杨攀三星（

2、中国）半导体有限公司工作组长:王峰中国电信股份有限公司研究院贡献专家:冯皓楠三星（中国）半导体有限公司张燕子三星（中国）半导体有限公司杨安喆三星（中国）半导体有限公司朴奎珉三星半导体有限公司金旻权三星半导体有限公司曺承杓三星半导体有限公司金俊三星半导体有限公司李相佑三星半导体有限公司永健三星半导体有限公司陈光上海三星半导体有限公司冯方上海三星半导体有限公司王超斌上海三星半导体有限公司任绍波上海三星半导体有限公司石新新上海三星半导体有限公司冯轶李军中国移动通信集团有限公司华瑞数鑫科技有限公司赵继壮中国信息通信研究院邵剑峰中国信息通信研究院前言前言CXL（Compute Express Link）

3、作为一种面向数据中心的高速互连技术标准，正在为 AI 应用的算力及存储瓶颈提供突破性解决方案。该技术基于 PCI Express 5.0 物理层构建，为 AI 计算提供高性能，高可靠性的数据传输。在 AI 训练与推理场景中，CXL 技术能够显著降低跨设备数据传输延迟，通过统一内存池化管理解决GPU/TPU 集群中的内存碎片问题，并为分布式模型训练提供高效的缓存一致性机制。当前，随着生成式 AI、大语言模型等前沿技术的爆发式发展，AI 应用对存储资源的需求呈现出指数级增长。以三星 CMM-D、海力士 CXL DRAM 等为代表的 CXL 设备，正在成为 AI 数据中心构建高带宽、低延迟互连架构的

4、关键组件。然而，AI 场景下 CXL 技术的软件生态建设仍面临重大挑战：现有研究多聚焦于通用协议验证，针对 AI 工作负载特性优化的训练框架适配仍处于探索阶段。特别是大模型训练过程中涉及的内存密集型计算、跨节点数据同步等场景，亟需构建完整的 AI-CXL 软硬件协同优化体系。本白皮书将系统梳理 CXL 技术在 AI 领域的典型应用方案，涵盖以下核心研究方向。通过实际案例分析与性能基准测试，本文旨在为 AI 开发者、系统架构师提供可落地的 CXL 应用指南，助力构建下一代 AI 数据中心的高效互连生态。鉴于编者水平与时间限制，文中难免存在疏漏或不足，恳请读者 不 吝 指 正。如 对 内 容 有

5、任 何 建 议 或 疑 问，欢 迎 通 过 与我们联系。目录目录一.引言.1(一)研究目的和范围.1(二)缩写和术语.2(三)参考文献.4二.CXL 设备相关背景介绍.5(一)CXL 协议概述.5(二)CXL DRAM 概述.8三.应用场景背景介绍及瓶颈分析.11(一)MoE 背景及瓶颈分析.11(二)LLM 背景及瓶颈分析.16(三)GNN 背景及瓶颈分析.21四.基于 CXL 设备的应用解决方案.29(一)CMM-D MoE 方案介绍.29(二)CMM-D LLM 方案介绍.32(三)CMM-D GNN 方案介绍.40五.基于 CXL 设备方案的性能验证.45(一)CMM-D MoE 方案

6、性能验证.45(二)CMM-D LLM 方案性能验证.47(三)CMM-D GNN 方案性能验证.50六.总结与展望.55(一)研究总结.55(二)研究展望.55七.附录.1图 目 录图 目 录图 1 CXL 协议三种模式结构示意图.7图 2 三星 CMM-D 产品图.9图 3 MoE 架构图.12图 4 DeepSeekMoE 架构图.14图 5 Transformer 解码架构.17图 6 大语言模型推理流程.18图 7 不同序列长度下 KV 缓存大小.20图 8 KV 缓存传输的瓶颈.20图 9 基于采样的 GNN 训练示意图.26图 10 基于采样的 GNN 训练示意图.27图 11