当前位置:首页 > 报告详情

中国移动:2026开放解构节点(ODS)系统架构技术白皮书(1.0版)(90页).pdf

上传人: 孔明 编号:1176136 2026-04-01 90页 7.97MB

下载:

1、参编单位和参编人员参编单位和参编人员中国移动云能力中心:徐小虎英特尔:王楠 石如冬 吴杨 田文斌 张志超博通:张玺云尖信息:杨发杰 张洪福 王昊 闻健 左玲玉锐捷网络:严亮 程旭升 高顺强 吴航浪潮信息:刘阳 程世超 杨洋 陈翔木犀智能:包贵新 彭加进 林靖 杨波默升科技(Credo):梁蔚鹏立讯技术:陈翔 罗振 曾照龙 欧阳小松 李承伟1目目 录录前言前言.5 5术语术语.7 7第第 1 1 章章 超节点技术发展面临的挑战超节点技术发展面临的挑战.9 91.1 硬件架构异构化和系统封闭性.91.2 厂商锁定风险和客户采购决策复杂性.91.3 数据中心适配与系统成本挑战.101.4 模型扩展与

2、业务适配灵活性.111.5 交付与运维便利性不足.12第第 2 2 章章 开放解构超节点设计理念开放解构超节点设计理念.1313第第 3 3 章章 开放解构超节点开放解构超节点系统架构系统架构.15153.1 基础开放解构超节点系统架构.153.1.1 硬件系统架构总体介绍.153.1.2 Scale-up 网络互连拓扑.163.1.3 64 卡风冷基础开放解构超节点产品示例.173.2 级联开放解构超节点整体架构.203.2.1 架构总体介绍.203.2.2 Scale-up 网络互联拓扑.24第第 4 4 章章 计算节点计算节点.262624.1 XPU/GPU 选型要求.264.2 风冷

3、型计算节点设计参考.274.2.1 计算节点架构.274.2.2 计算节点机箱布局.284.2.3 GPU Baseboard 参考设计.304.2.4 CPU 主板.314.2.5 PCIe Switch 板.334.2.6 DC-SCM BMC 卡.354.2.7 高速硬盘背板.364.2.8 计算节点 power 设计要求.374.2.9 SI 设计要求.384.2.10 计算节点散热设计要求.444.3 液冷型计算节点设计参考.47第第 5 5 章章 交换节点交换节点.49495.1 交换芯片选型.495.2 风冷型交换机参考设计.505.2.1 基本规格.505.2.2 结构与布局.

4、515.2.3 功能框图.535.2.4 SI 设计.5635.2.5 散热设计.595.3 液冷型交换机参考设计.595.3.1 基本规格.595.3.2 结构与布局.605.3.3 功能框图.635.3.4 SI 设计.655.3.5 散热设计.65第第 6 6 章章 Scale-upScale-up 互联方案互联方案.67676.1 AEC 铜互联方案.676.2 光互联方案.696.2.1 FRO.696.2.2 LPO.706.2.3 LRO.716.2.4 CPO.72第第 7 7 章章 软件栈参考架构软件栈参考架构.7474第第 8 8 章章 机柜尺寸要求机柜尺寸要求.77778

5、.1 风冷机柜.778.1.1 风冷计算机柜参考设计.778.2 液冷机柜.788.2.1 CDU 要求.7848.2.2 Manifold 要求.79第第 9 9 章章 机柜供电要求机柜供电要求.80809.1 计算机柜.809.2 交换机柜.81第第 1010 章章 布线要求布线要求.828210.1 AEC 铜缆.8210.2 光纤布线.83第第 1111 章章 散热要求散热要求.848411.1 计算机柜.8411.1.1 风冷计算机柜.8411.1.2 液冷计算机柜.8511.2 交换机柜.8611.2.1 风冷交换机柜.8611.2.2 液冷交换机柜.86第第 1212 章章 机柜

6、的统一管理机柜的统一管理.88885前言前言混合专家模型(MoE)已成为当前基于 Transformer 架构大语言模型的主流技术路径。该架构依托稀疏激活核心机制,在实现模型参数量级跃升的同时,可维持优异的计算效率,凭借相对有限的算力代价实现显著的性能增益。然而,这一架构优势也对 AI 基础设施提出了全新的系统性诉求MoE 模型运行依赖的专家并行等通信范式,对节点间互联带宽与延迟表现出极强的敏感性。随着模型规模从千亿级向万亿乃至十万亿参数量级演进,专家并行的通信范围已突破单一服务器物理边界,亟需构建规模更大、带宽更高、延迟更低的高带宽通信域(High-bandwidth Domain,HBD)

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
1. **开放解构超节点(ODS)设计理念**:解决硬件异构化、厂商锁定、成本高等挑战,采用开放以太网、模块化解构、弹性扩展(几十卡至千卡)、风冷/液冷灵活适配及铜缆优先互联。 2. **系统架构**: - **基础ODS**:单级交换,支持64卡风冷(16台4U节点)或256卡液冷,通过51.2T/102.4T交换机全对等互联。 - **级联ODS**:两级交换(第一级预留50%端口),支持8192卡(51.2T交换机)或16384卡(102.4T交换机)规模,推荐OCS光电路交换机降低延迟。 3. **硬件规范**: - **计算节点**:4U风冷/液冷,支持4个Gaudi3 OAM(24×200G接口),功耗6102W;液冷流量≤10LPM,漏液检测。 - **交换节点**:51.2T(128×400G)或102.4T(128×800G),风冷/液冷散热,液冷部分功耗≥1000W。 4. **互联方案**:优先AEC铜缆(7米/800G),光互联可选FRO/LPO/LRO/CPO(3.2T以上)。 5. **软件栈**:分层解耦,支持PyTorch、分布式推理及RoCE无损网络。 6. **基础设施**:机柜支持50kW(风冷)/100kW(液冷),供电冗余A/B路,统一管理TOR交换机。
超节点如何解构? 液冷散热如何优化? 互联方案如何选型?
客服
商务合作
小程序
服务号
折叠