RoCEv2是国产GPU低时延通信协议的首选，但存在每连接单路径、硬件RC连接数有限、GoBackN重传代价巨大、大QP规格下流控不精准四大限制。本报告系统分析了RoCEv2协议的技术架构、流控机制及其与InfiniBand的差异，提出了每连接多路径、连接池化（DC技术）、选择性重传、大QP组拥塞控制四大优化策略，为国产GPU集群的大规模高效互联提供了技术路径。

InfiniBand网络主要通过子网管理器（SM）进行集中管理，基于信用令牌机制实现链路级流控，自适应路由技术可在超大规模网络中实现实时负载均衡。InfiniBand具备高效的转发性能、快速故障恢复、增强扩展性和运维效率，在大规模场景下能提供卓越的网络吞吐性能，但成本较高，主要供应商为NVIDIA。
RoCEv2采用纯分布式架构，基于UDP传输层，在扩展性和部署灵活性方面具有显著优势。RoCE网络利用RDMA技术实现高效数据传输，不必占用远程服务器CPU周期，能无缝融入现有以太网基础设施。对比而言，InfiniBand单跳延迟低至2μs，RoCEv2约5μs；InfiniBand支持数万GPU集群，RoCEv2支持数千GPU集群；InfiniBand成本较高，RoCEv2成本优势显著。
在实际应用中，RoCEv2能满足大多数智算场景需求，且具有成本效益高的优势，是提升智算中心网络性能的优选方案。

RoCEv2协议作为业界主流的RDMA协议，存在四大限制，对网络传输性能产生显著影响。
限制1：每连接单路径。每个RC都映射到唯一的一对五元组，故障情况下流量跌落多、中断时间长；整网负载均衡性差，带宽利用率低；不能调路，造成时延性能劣化。
限制2：硬件RC连接数限制。协议栈卸载到网卡中，但芯片内表项空间有限，连接数超过限制时会发生网卡芯片与主机内存的连接表交换，导致网络传输性能下降。
限制3：Go Back N重传能力限制。发生丢包后从上一次确认接收的位置之后进行全量重传，而非仅针对丢弃报文进行有限重传。这是RoCEv2依赖开启PFC反压的主要原因。
限制4：大QP规格下流控机制限制。在QP数量较多时，基于公平轮询原则，单个QP调度时间周期长，造成CPN反馈、升速和降速不及时，流量控制不精准。

优化点1：每连接多路径能力。基于多个五元组的会话进行数据包传输，流量分担到多个路径。任意单点故障只影响部分路径而非整个连接，可靠性提升；网络均衡性提高，带宽利用率改善。AWS已将多路径技术应用到自研SRD协议中。
优化点2：从RC模式向连接数依赖更小的模式演进。思路一：不提供面向连接的保序可靠传输，仅负责可靠报文传递，保序由驱动软件完成（如SRD）；思路二：构建连接池实现动态共享（如Mellanox DC技术）。
优化点3：从GoBackN向选择性重传演进。早期芯片资源受限时GoBackN是合理选择，但随着RoCE组网规模增加、半导体工艺提升，重传方式将逐渐向选择性重传演进。
优化点4：基于大QP组的拥塞控制。将共享同一转发路径的QP归为一组，组内共享CNP反馈、速率、令牌等信息。网络出现拥塞或恢复时，QP组根据自身策略进行速率调整，实现快速精准控制。