VIAVI：2026年AI ML 数据中心网络验证：概念、挑战和测试解决方案（18页）.pdf

1、AI/ML 数据中心网络验证评估 AI/ML 网络基础设施的概念、挑战和解决方案白皮书 2 AI/ML 数据中心网络验证白皮书 A I/M L 数 据 中 心 网络 验 证简介.3AI 正在重塑数据中心.3AI 工作负载的关键网络概念.3AI 流量模式与集合通信库(CCL).3RingAllReduce .4AlltoAll .7双二叉树 .8Halving Doubling（折半倍增）.9基于融合以太网的 RDMA 第 2 版(RoCEv2).10数据中心量化拥塞通知(DCQCN).12优先级流量控制(PFC).13常见 AI 测试挑战 .14揭示 AI 网络健康状况的统计数据.14问题指标

2、示例.15TestCenter AI 测试解决方案概述.15结论.17参考文献 .18 3 AI/ML 数据中心网络验证白皮书 简介AI 正在重塑数据中心人工智能(AI)和机器学习(ML)工作负载的规模和复杂性已经重新定义了数据中心设计。为了高效训练万亿参数模型，数据中心正在高速互连网络上部署数千个 GPU 和 xPU。这些分布式集群必须作为一个紧密同步的计算平台运行。这种转变给网络带来了巨大的压力。AI 工作负载要求低延迟、高吞吐量和无损通信。任何数据包丢失或延迟都可能导致整个训练过程停滞。因此，网络已经成为 AI 基础设施的关键性能组件。参考文献 1VIAVI 测试解决方案可帮助组织确保其

3、 AI 数据中心网络经过优化、运行可靠，并具备扩展能力。AI 工作负载的关键网络概念AI 流量模式与集合通信库(CCL)AI 工作负载依赖于一种独特的流量模式，专为分布式系统中的大容量并行数据处理而设计。训练现代 AI 模型涉及将大规模数据集分成块，并将它们分布在多个 xPU（例如，GPU 或自定义加速器）上进行同时处理。这些操作的结果必须在训练期间反复同步，需要精确的协调和超可靠的网络通信。包含大量大象流的流量模式 数据和计算密集型工作负载 需要大量短小的远程内存访问操作 节点同时开始传输 任何一个流发生延迟，都会拖慢所有节点的处理进度 AI 应用对网络弹性高度敏感集合通信库是一个软件库，旨

4、在促进并行和分布式计算环境中多个进程之间的高效数据交换和同步。它提供了集合通信操作的优化实现，使多组进程能够在通信任务上协同工作。数千个同步并行作业计算通信同步4 AI/ML 数据中心网络验证白皮书 被求和的数组a0GPU 0GPU 1GPU 2GPU 3GPU 4a1a2a3a4b0b1b2b3b4c0c1c2c3c4d0d1d2d3d4e0e1e2e3e42123.900.1125NVIDIA 的 NCCL 实现了针对 NVIDIA GPU 和网络优化的多 GPU 与多节点通信原语。NCCL 提供全收集、全归约、广播、归约、归约-分散以及点对点发送和接收等例程，这些例程经过优化，可通过节点

5、内的 PCIe 和 NVLink 高速互连以及跨节点的 NVIDIA Mellanox 网络实现高带宽和低延迟。参考文献 2 NCCL 在深度学习框架中具有重要应用，其中 AllReduce（全归约）集合通信被广泛用于神经网络训练。通过 NCCL 提供的多 GPU 与多节点通信，可实现神经网络训练的高效扩展。RingAllReduceRingAllReduce（环状全归约）是一种分布式算法，主要用于深度学习，在分布式训练设置中跨多个设备（如 GPU 或节点）有效地平均梯度。设备排列在逻辑环中（可视为一个通信器）。每台设备只与其直接相邻的设备（环中的下一台和上一台设备）通信。它分为两个阶段：Re

6、duceScatter（聚合阶段）与 AllGather（分发阶段）。参考文献 3 ReduceScatter（归约分散）阶段：1.总数据被分成 N 个块，其中 N 是设备（或进程）的数量。2.每台设备向下一台设备发送一个数据块，同时接收来自前一台设备的数据块。3.在接收到块时，每台设备执行将接收到的数据与其本地块相结合的归约操作。本文档将以求和操作为例进行说明。4.这个过程持续 N-1 个步骤，之后每个设备将持有归约结果的一个块。ReduceScatter（归约分散）的第一步5 AI/ML 数据中心网络验证白皮书 被求和的数组a0GPU 0GPU 1GPU 2GPU 3GPU 4a1+a0a