中国移动研究院：大模型时代智算网络性能评测挑战（18页）.pdf

《中国移动研究院：大模型时代智算网络性能评测挑战（18页）.pdf》由会员分享，可在线阅读，更多相关《中国移动研究院：大模型时代智算网络性能评测挑战（18页）.pdf（18页珍藏版）》请在三个皮匠报告上搜索。

1、大模型时代，智算网络性能评测挑战中国移动研究院 2024.03 2目录01智算中心网络技术概况03智算网络技术评测面临的挑战02全调度以太网技术创新3随着算力需求的快速增长，AI基础设施建设不断布局，算与网成为AI算力重要基础设施的两大核心智算中心是以GPU芯片为核心的计算基础设施和以高速以太网交换芯片为核心的网络基础设施的综合体，智能算力需求激增推动计算与网络基础设施建设不断布局算力需求激增，GPU是重中之重AI芯片市场规模不断扩大，较2022年，2026年AI芯片规模提升4倍GPU技术快速发展，Nvidia即将推出H200，H200的算力是H100的2倍左右AI基础设施GPU芯片为核心的算

2、力基础以太网交换芯片为核心的网络基础GPU市场规模提升，对网络设备需求激增，交换芯片的更新换代周期缩短至1.5年来源：Frost&Sullivan，中商产业研究院.来源：中商产业研究院，安信证券研究中心中国移动NICC技术架构基础设施智算平台ROCmCUDACANNTesnsorFlowPyTorchPaddlePaddleDeepSpeed存储计算CPUGPU液冷高效供电机房配套冷却水系统应用使能.跨架构编译器算力抽象运行时算力原生裸金属实例虚拟机实例容器实例 高速互联计算总线内存池融合存储全局统一存储Hypervisor+AI开发框架网络交换机高速以太网DPU注：New Intellige

3、nt Computing Center（NICC），新型智算中心 算和网是新型智算中心关键基础设施算和网基础设施倍受关注4网络成为AI算力瓶颈，以网强算对我国更加重要AI大模型以算力集群分布式训练为基础，带来大量节点间通信消耗，组网规模、网络性能和可靠性决定集群有效算力，网络成为AI算力“瓶颈”，以网强算成为提升大模型训练效率的关键集群有效算力GPU单卡算力*总卡数*线性加速比*有效运行时网络可靠性决定GPU集群有效运行时间2%的丢包就会使RDMA吞吐率下降为0网络芯片容量决定GPU集群组网规模芯片容量提升2倍，组网规模提高4倍网络芯片性能决定GPU集群算力加速比GPU集群性能 单GPU性能*

4、N5智算中心网络用于连接CPU、GPU、内存等池化异构算力资源，贯穿数据计算、存储全流程，网络性能增强对提升智算中心整体算力水平具有关键意义；与通用云计算网络不同，AI参数面网络要求极高，是业界关注焦点智算中心网络概况面向任务场景，以算力资源为池化对象网络提供CPU、GPU、存储之间高速连接面向业务场景，以服务器/VM为池化对象网络提供VM/服务器之间连接通算中心As Is Data Center智算中心To Be Cluster Computing业务面管理面参数面存储面智算中心网络数据中心网络IPMIIPMIIPMIIPMI数据面业务面IPMIIPMIIPMIIPMI管理面存储面61243

5、Ring allreduce12431+21+23+43+41+2+3+41+2+3+41+2+3+41+2+3+4log?step1step2HD allreduceRing allreduceAllreduce：可以通过算法转化为对分通信通信数据量Double，无多打一01237456012374560123745601237456特征：点到点通信，对分流量，无多打一 网络同轨通信ALL Reduce：在主节点上进行Reduce（如sum、min）操作，通过Garther分发给所有节点，所有节点得到相同数据，一个典型的32卡 HD allreduce过程：Step1-3：通过总线完成机内8

6、卡通信Step4-5：通过网络完成4台服务器之间的通信AI训练依赖典型集合通信原语7通用算力以CPU芯片为主，业务种类多流量小，业务间相互独立；智能算力以GPU、Al芯片等人工智能芯片为主，通信关系固定，流数量少流量大，分布式训练带来大量节点的同步突发，木桶效应明显单个流量：数量多、带宽小、突发异步累积流量：抖动幅度较小，具有随机性单个流量：数量少、带宽大、突发同步累积流量：波峰、波谷效应明显，具有周期性单个流量累积流量单个流量累积流量通算中心流量模型智算中心大模型（All-to-all）流量模型GPU停工等待其他GPU完成工作通算中心与智算中心流量模型差异性8通算中心与智算中心网络差异性智算