《罗森伯格:2024面向 AI 智算数据中心网络架构与连接技术的发展路线展望白皮书(20页).pdf》由会员分享,可在线阅读,更多相关《罗森伯格:2024面向 AI 智算数据中心网络架构与连接技术的发展路线展望白皮书(20页).pdf(20页珍藏版)》请在三个皮匠报告上搜索。
1、白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 1/19 页面向 AI 智算数据中心网络架构与连接技术的发展路线展望白皮书白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 2/19 页1 AIGC 及智算网络简述.3 1.1 AIGC 市场前景.31.2 AI网络架构对于AIGC应用发展的重要性.31.3 传统云计算数据中心网络架构.41.4 智算中心网络架构.51.5 AI网络架构
2、所能容纳的最多GPU数量.51.6 AI计算网络中对于GPU与CPU的权衡.62 AI智算网络两大主流架构介绍及差异.72.1 InfiniBand网络架构.72.1.1 InfiniBand 网络流控机制.72.1.2 InfiniBand 网络特点:链路级流控与自适应路由.82.2 RoCEv2网络架构.82.2.1 RoCEv2网络流控机制.82.2.2 RoCEv2网络特点:强大兼容性与成本优化.92.3 InfiniBand与RoCEv2的技术差异.93 AI智算网络800G/1.6T主流传输方案.93.1 800G主流传输方案与1.6T传输方案展望.93.2 实际应用环境对传输带宽
3、的影响.103.3 单模传输创新解决方案:基于EBO(Expanded Beam Optical)的扩束技术.113.4 室外超大芯数传输安全可靠解决方案:预端接技术.134 AI智算网络降耗增效解决方案.154.1 创新光模块LPO与其他光模块的技术差异.164.2 应对AI数据中心高能耗高热量的问题液冷解决方案.164.2.1 罗森伯格液冷解决方案灵活安装的配线架.174.2.2 罗森伯格液冷解决方案半浸没式 RJ45 跳线.174.2.3 罗森伯格液冷解决方案即插即拔防水连接器.185 结语.19参考文献.19目 录白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者
4、:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 3/19 页1 AIGC 及智算网络简述 2024 年以来,全球 AI 市场热度不衰。Open AI 旗下 Sora 的发布,再次拔高了 AI 内容创作的上限。同时,国内人工智能领域也迎来了新的焦点Kimi,这款 AI 大模型产品凭着高达 200 万字的上下文窗口技术,将国产 AI 大模型“卷”出了新高度。业界普遍预测,2024 年将成为 AI 大模型应用的爆发之年。1.1 AIGC 市场前景IDC 的数据显示,全球企业对生成式人工智能(下文简称:“AIGC”)解决方案的投资热情不断上升,预计到 2024 年投
5、资额将达到 200 亿美元,而到 2027 年,这一数字预计将激增至超过 1400 亿美元。这一趋势不仅凸显了 AIGC 技术的商业潜力,也预示着 AI 将引领一个创新与增长的新时代。在这样的背景下,AIGC 的未来增长需要坚实的支撑而 AI 网络架构正是这一增长的“骨骼”,它正逐渐成为推动 AI 发展的关键力量。1.2 AI 网络架构对于 AIGC 应用发展的重要性 AI网络架构的重要性在AIGC应用的发展中显得尤为突出。在AIGC工具方面,厂商正通过深度技术投资,挖掘大量数据并提升算力,使得这些工具从基础应用转变为强大的生产力工具。而在AI社交领域,大模型的发展重点在于融合AI技术与用户互
6、动,创造富有情感和温度的互动体验,旨在重塑用户体验并探索新的商业模式。其中,自主研发能力和丰富的训练数据成为了打造有竞争力产品的关键。我们不难发现,这两个赛道的发展都依赖高效、可靠的网络架构,以支持AI大规模训练集群的算力和显存需求。白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 4/19 页LLM(大规模语言模型)进化树(来源:Harnessing the Power of LLMs in Practice:A Survey on ChatGPT and Beyond)传统云数据中心与
7、 AI 智算中心网络架构对比图 1.3 传统云计算数据中心网络架构 传统的云数据中心网络架构较为成熟,但存在着诸多痛点,导致其无法完美适配 AI 网络架构需求。实际上,传统的云数据中心网络的设计基于对外提供服务的流量模型,以南北向流量为主导,云内部东西向流量作辅。承载智算业务时,传统云计算数据中心面临着如下挑战:带宽收敛比较高:Leaf 交换机上下联带宽收敛比设计,导致上下联带宽比约为 1:3;互访高时延:云内部服务器间互访都需经过 Spine 交换机,增加转发路径,提高时延;网卡带宽低:单台物理机通常只有一张网卡,带宽不超过 200Gbps,限制了整体带宽。这些问题共同影响了智算业务的高效运
8、行,需要通过构建新的网络架构来应对需求。白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 5/19 页AI 网络架构图(来源:锐捷)1.5 AI 网络架构所能容纳的最多 GPU 数量 AI 网络的性能和扩展性与其网络架构和交换机端口密度紧密相关,随着网络层次的增加,可接入的 GPU 卡数量也随之增长。在胖树网络架构中,例如端口数为 P 的交换机最多可连接 P/2 台服务器和其他交换机,其最大容量可达 P/2 张 GPU 卡。在更复杂的三层网络架构中,通过增加汇聚和核心交换机组,网络容量可以
9、进一步扩展至 P/4 张 GPU 卡。随着技术的进步,市场上已经出现了能够支持高达 524k 张 GPU 卡的网络解决方案,这展示了 AI 网络架构在扩展性和性能上的巨大潜力。1.4 智算中心网络架构 AI 智算网络采用 Fat-Tree(胖树)架构,有效解决了传统云数据网络面临的挑战。这种架构通过 1:1 的无收敛配置,确保了网络的高性能和无阻塞传输。其次,为了降低时延,网络设计将 8 台交换机构成一个资源池,池内节点单跳通信,而跨集群通信则通过汇聚交换机,最多实现三跳传输,从而优化数据传输效率。此外,网络采用 RDMA 技术,绕过操作系统内核,允许主机之间直接内存访问,可显著降低同集群内部
10、单跳可达场景的时延,相比 TCP/IP 网络提升了数十倍的时延性能。针对带宽需求,AI 智算服务器通常配备 8 张 GPU 卡和 8 个网卡插槽,以应对多机 GPU 集群中可能出现的超过 50Gbps 的跨机 GPU 通信带宽需求。随着 800Gbps 网卡的商用化,单机对外带宽有潜力达到 6.4Tbps,进一步满足了 AI 应用对高带宽的需求,为 AI 智算网络提供了强大的数据传输能力。白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 6/19 页1.6 AI 计算网络中对于 GPU 与
11、 CPU 的权衡 AI 服务器之所以更倾向于使用 GPU 而非 CPU,原因在于 GPU 在处理 AI 任务时展现出的卓越性能。GPU 拥有大量并行处理核心,能够同步执行众多计算线程,特别适合进行深度学习等 AI 算法中涉及的大规模矩阵和向量运算,这些运算对于 AI 模型的训练和推理过程至关重要。GPU 的并行化特性显著提高了计算速度,而 CPU 虽然在处理复杂逻辑和单线程任务方面表现出色,但其核心数量较少,难以匹敌 GPU 在大规模并行处理方面的能力。此外,GPU 拥有高达 14MB 的寄存器总量和 80TB/s 的高速数据传输能力,这使得 GPU 在处理 AI 应用中的大数据量时更为高效,
12、进一步提升了整体的计算效率。因此,GPU 不仅能够缩短 AI 模型的训练时间,还能提升推理性能,使得 AI 服务器能够处理更加复杂的模型,推动 AI 技术的发展。不同网络架构可容纳的最大 GPU 节点数量(来源:2023 智算中心网络架构白皮书)白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 7/19 页2 AI 智算网络两大主流架构介绍及差异 在深入探究 AI 智算网络的领域时,我们发现市场中主要存在两大主流架构:InfiniBand 和RoCEv2。这两种网络架构在性能、成本、通用性
13、等多个关键维度上展现出各自的优势,相互竞争。我们将细致分析这两种架构的技术特性、它们在 AI 智算网络中的应用场景,以及各自的优势和局限性。通过这一全面的探讨,我们旨在评估并展望 InfiniBand 和 RoCEv2 在AI 智算网络中的潜在应用价值和未来的发展方向,以期为行业提供深刻的洞察和专业的指导。2.1 InfiniBand 网络架构 InfiniBand 网络主要通过子网管理器(Subnet Manager,简称 SM)来进行集中管理,SM通常部署在一台接入子网的服务器上,充当网络的中枢控制器。子网中可能存在多个配置为SM 的设备,但仅有一个被指定为主 SM,负责通过管理数据报文(
14、MAD)的内部下发和上传来管理所有交换机和网卡。每个网卡端口和交换芯片都通过由 SM 分配的唯一身份标识(Local ID,LID)进行识别,确保网络内设备的唯一性和准确性。SM 的核心职责包括维护网络的路由信息和计算更新交换芯片的路由表。网卡内部的 SM Agent(SMA)功能使得网卡能够独立处理 SM 下发的报文,无需所在服务器的干预,而提高了网络的自动化和效率。2.1.1 InfiniBand 网络流控机制 InfiniBand 网络基于信用令牌(credit)机制,在每条链路都配备了一个预置缓冲区。发送端仅在确认接收端有足够的缓冲区后,才会启动数据发送,并且发送的数据量都不可超过接收
15、端当前可用的预置缓冲区的最大容量。当接收端接收完报文,会释放缓冲区,并向发送端通报当前可用的预置缓冲区大小,从而维持了网络的流畅运行和数据传输的连续性。InfiniBand 网络架构示意图(来源:2023 智算中心网络架构白皮书)白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 8/19 页2.1.2 InfiniBand 网络特点:链路级流控与自适应路由 InfiniBand 网络依靠链路级的流控机制,防止发送过量数据,从而避免了缓冲区溢出或是数据丢包的问题。同时 InfiniBand
16、网络的自适应路由技术可根据每个数据包的具体情况进行动态路由选择,在超大规模的网络环境中实现了网络资源的实时优化和最佳负载均衡利用。2.2 RoCEv2 网络架构 RoCE(RDMA over Converged Ethernet)协议是一种能在以太网上进行 RDMA(Remote Direct Memory Access 远程内存直接访问)的集群网络通信协议。该协议有两个主要版本:RoCEv1 和 RoCEv2。RoCEv1 作为链路层协议,要求通信双方位于同一二层网络内。而RoCEv2 则为网络层协议,它采用以太网网络层和 UDP 传输层,取代了 InfiniBand 的网络层,从而提供了更
17、优的可扩展性。与 InfiniBand 网络的集中管理方式不同,RoCEv2 采用的是纯分布式架构,通常由两层构成,在扩展性和部署灵活性方面具有显著优势。2.2.1 RoCEv2 网络流控机制优先流控制(PFC)是一种逐跳流控策略,通过合理配置水位标记来充分利用交换机的缓存,以实现以太网络中的无丢包传输。当下游交换机端口的缓存过载时,该交换机就会向上游设备请求停止传输。已发送的数据则会存储在下游交换机的缓存中,等到缓存恢复正常,端口将会请求恢复数据包的发送,从而维持网络的流畅运行。显式拥塞通知(ECN)定义了一种基于 IP 层和传输层的流量控制和端到端拥塞通知机制。通过在交换机上向服务器端传递
18、特定拥塞信息,然后服务器端再发送至客户端通知源端降速从而实现拥塞控制的目的。数据中心量化拥塞通知(DCQCN)是显式拥塞通知(ECN)和优先流控制(PFC)两种机制的结合,旨在支持端到端的无损以太网通信。其核心理念是在网络拥塞发生时,优先使用ECN 来通知发送端降低传输速率,防止 PFC 的不必要激活,同时也要避免拥塞严重导致缓冲区溢出的情况。通过这种精细的流量控制,DCQCN 能够在保持网络高效运行的同时,避免因拥塞造成的数据丢失。RoCEv2 网络架构示意图(来源:2023 智算中心网络架构白皮书)白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张
19、德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 9/19 页2.2.2 RoCEv2 网络特点:强大兼容性与成本优化 RoCE 网络利用 RDMA 技术实现了高效的数据传输,不必占用远程服务器的 CPU 周期,从而充分利用带宽并增强了网络的可伸缩性。这种方法显著降低了网络延迟并提升了吞吐量,整体上提高了网络性能。RoCE 方案的另一个显著优势是它能够无缝地融入现有的以太网基础设施,这意味着企业无需额外投资于新设备或进行设备更换,就能实现性能的飞跃。这种成本效益高的网络升级方式对于降低企业的资本支出至关重要,使得 RoCE 成为提升智算中心网络性能的优选方案。2.3 Infini
20、Band 与 RoCEv2 的技术差异 市场中对网络的多样化需求促成了 InfiniBand 和 RoCEv2 两种网络架构的共同发展。InfiniBand 网络凭借其高级技术,如高效的转发性能、快速的故障恢复时间和增强的扩展性,以及运维效率,在应用层业务性能上展现出显著优势,特别是在大规模场景下,能够提供卓越的网络吞吐性能。而RoCEv2网络则以其强大的通用性和较低的成本受到青睐,不仅适用于构建高性能RDMA网络,还能无缝兼容现有的以太网基础设施,这使得 RoCEv2 在广泛性和适用性方面具有明显优势,能够满足不同规模和需求的网络应用。这两种架构各自的特性和优势,为 AI 智算中心的网络设计
21、提供了丰富的选择,以满足不同用户的具体需求。3 AI 智算网络 800G/1.6T 主流传输方案 在设计 AI 网络的传输方案时,必须综合考虑多个关键因素以满足 AI 应用的需求。首先,带宽必须足够高,以支持高速数据处理。其次,根据服务器与交换机之间的距离,选择适当的连接技术也至关重要。此外,成本效益分析是决策过程中不可或缺的一部分,需要在网络性能和预算之间找到恰当的平衡点。信号的稳定性和抗干扰能力也是保障网络可靠性的关键,而网络的扩展性和升级能力则确保了网络能够适应未来的技术发展和变革。综合这些要素,可以设计出一个高效的 AI 网络物理层架构,为系统的顺畅运行提供坚实的基础。3.1 800G
22、 主流传输方案与 1.6T 传输方案展望 800G 技术正逐渐成为 AI 网络构建的新标杆,以其超越 400G 解决方案的高速数据传输能力,满足了智算中心对速度的严苛要求。800G 多模传输方案,如 800GBASE-SR8 和800GBase-VR8,适合InfiniBand 网络与 RoCEv2 技术对比图(来源:2023 智算中心网络架构白皮书)白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 10/19 页短距离传输环境,但受多模光纤色散和 VCSEL 带宽限制,其应用范围相对单模
23、方案有限。相比之下,800G 单模传输方案,800GBase-DR8 和 800GBase-FR8更适宜于中长距离的稳定数据传输,支持 500 米至 2 千米的传输距离。在智算中心内部,AI 服务器与接入交换机之间可通过 800G DAC 或 AOC 直连,这样既保持了速率也降低了成本。对于跨机房或跨楼层的连接,则仍然依赖于光模块。鉴于单模方案在稳定性和传输距离上的优势,尽管成本较高,它仍然是长距离传输的首选。展望未来,尽管 1.6T 光模块标准尚未发布,预计将继续采用 800G 的多模与单模传输方案,并可能引入850nm/910nm 双波长技术。自 2019 年起,罗森伯格便与互联网领先厂商
24、建立了深入合作关系,并在国内率先成功进行了 400G 高速光纤系统的测试。至今,罗森伯格已经为多家互联网企业项目提供了 800G 产品,并致力于推动新型产品的研发,以满足市场对更高速、更高效、更创新的需求。400G/800G/1.6T 传输方案3.2 实际应用环境对传输带宽的影响 在传输标准的实际应用中,环境因素与实际传输带宽对光纤性能的实际表现有着显著影响。以 800GBASE-SR8 传输标准为例,OM4 光纤理论上可支持长达 100 米的传输距离,但在实际应用中,当最大有效模式带宽(EMB)达到 4700MHz.km 时,会出现波长偏移的现象,即波长从 850nm 偏移到 860nm。此
25、外,当传输距离超过 70 米时,数据丢包率显著增加,严重影响网络的稳定性和性能。针对这一挑战,罗森伯格研发了 OM4+特种光纤,并与行业内知名厂商合作进行了多次对比实验和测试。测试结果表明,OM4+光纤在 860nm 波长下的 EMB 可达 5500MHz.km,在850nm 与 870nm 波长下也可达 5000MHz.km,不仅确保传输 100 米过程中的信息完整性,也同时满足了光纤网络高速率传输的需求。白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 11/19 页EBO 扩束原理
26、OM4 光纤与 OM4+光纤最大 EMB 对比图 3.3 单模传输创新解决方案:基于 EBO(Expanded Beam Optical)的扩束技术 随着 800G 和未来 1.6T 等高速应用的兴起,单模光纤的应用比例预计将迎来快速增长。罗森伯格正在积极研发基于 EBO 技术的创新方案,旨在解决高密度、大芯数单模光纤应用中的稳定性问题。EBO 技术的核心优势在于其能够通过两个精确匹配的透镜系统,分别位于光纤的两端,实现光纤信号的有效扩束和聚焦。当信号从一端发射并通过透镜扩束成平行光线后,接收端的透镜会将其重新聚焦回光纤,从而显著提高了光纤传输的效率和系统的整体稳定性。这一技术的应用,不仅提升
27、了 AI 智算中心网络的性能,同时也为未来更高速率的网络应用奠定了坚实的基础。罗森伯格公司在 EBO 技术的成熟基础上,通过自主研发,致力于开发将 EBO 与 MPO 技术相结合的解决方案。该方案利用全内反射(TIR)镜技术将光纤信号扩束成平行光,配合 AR 涂层,最大限度地减少了损耗和背反射,从而提升了信号的传输质量和系统的整体性能。白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 12/19 页罗森伯格 EBO Z 字扩束技术经过一系列严格的反复插拔测试,该 MPO 解决方案确保了单模
28、光纤的插损维持在 0.7dB以下,多模光纤的插损控制在 0.3dB 以下。此外,即使在多次插拔操作后,插损的浮动值也能保持不超过 0.1dB。这一结果凸显了 MPO 解决方案的卓越长期稳定性和耐用性,为高速通信网络提供了一个可靠、高效的光纤连接选项。此款新型连接器凭借其简洁而创新的设计,在反复插拔使用中能够保持性能的稳定性。同时,该连接器的设计巧妙避免了光纤端面的直接接触,从而最大限度地减少了端接过程中可能出现的碎裂、划痕和损坏风险,确保了光纤传输的卓越性能。此外,该连接器对环境中的振动和灰尘具有极高的抗干扰能力,具备出色的可靠性,适合在环境多变的条件下使用,为 AI 智算中心网络的稳定运行提
29、供了有力保障。反复插拔性能测试图白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 13/19 页基于 EBO 技术的 MPO 连接器 3.4 室外超大芯数传输安全可靠解决方案:预端接技术 随着 AI 模型规模的持续扩大,园区级跨机房模块的 DCI 超大芯数单模主干线缆成为了满足AI 智算中心对高芯数光缆需求的典型部署案例。AI 技术的高速发展使得传统的 192 芯大芯数光缆已无法满足智算中心的网络需求,市场对能够传输上千芯光纤的高密度光缆的需求日益迫切。国际上成熟的解决方案主要由蜘蛛网丝带
30、(Spider Web Ribbon,SWR)和缠绕管线缆(Wrapping Tube Cable,WTC)组成,例如,一根 200mF 的 WTC 光缆能够支持高达 6912芯的光纤传输,在光纤接入时,通过剥离外护套并分离每组 SWR 光纤,可以迅速建立高密度的光纤传输系统。在安全性方面,在小动物啃咬通信线缆导致的电气事故频发,其中,老鼠啃咬事件约占 60%,因此,室外线缆的外护套还需采取防鼠措施,如施加金属罩进行机械保护、在线缆表面涂上防鼠剂涂料,或使用表面硬度更高的塑料材料,以确保通信安全和可靠性。白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,
31、张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 14/19 页基于对上述解决方案的深刻理解和支持,罗森伯格结合 SWR 和 WTC 技术理念,并融入了自主研发的预连接技术,为 AI 智算中心网络架构中的 DCI 超大芯数单模主干线缆提供了一种高效的部署方案。该方案免除了现场熔接的需要,极大提高了光缆的安装和管理效率,并简化了整个部署流程。并且,通过利用 EBO 扩束技术,罗森伯格实现了盲配解决方案,既有效预防了端接过程中的连接问题,又使得单根光缆支持上千芯的预端接应用,显著提高了光纤传输密度。此外,罗森伯格在防鼠咬解决方案方面进行了创新性的改进,在护套内融入了一种特殊的化学材
32、料。这种材料不仅赋予了线缆持久的防鼠咬性能,而且与线缆护套的原始材质实现了良好的兼容性,确保了线缆的整体性能不受影响。该化学材料在施工和使用过程中不会产生有害或刺激性的气味,从而在保障户外使用环境下线缆的耐用性和可靠性的同时,也提升了施工人员的操作舒适度和安全性。WTC 线缆结构(来源:Innovative Solution Using SWR/WTC for Data Centers)白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 15/19 页DCI 超大芯数主干预端接解决方案4 A
33、I 智算网络降耗增效解决方案 随着光模块技术向 400G 及更高速率迈进,面临的挑战不单是提升数据传输速度,还包括应对由此增加的功耗和成本。从 2007 年的 10G 光模块仅需 1W 功率,到如今 400G 及 800G光模块功耗接近 30W,随着速率的每一次迭代,功耗也相应攀升。在满载状态下,一个交换机可能搭载多达数十个光模块,48 个光模块的总功耗可达 1440W,而光模块通常占整机功耗的 40%以上,导致整个智算中心的能耗可能超过 3000W。这种能耗的显著增长对智算中心的运营成本构成了重大压力,并与通信网络的低碳目标背道而驰。近 12 年里光器件的能耗增长(来源:Cisco)白皮书白
34、皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 16/19 页4.1 创新光模块 LPO 与其他光模块的技术差异 目前,针对功耗问题,推出一种创新的光模块设计:LPO(Linear-drive Pluggable Optics),它通过取消传统的 DSP 和 CDR 芯片,并在驱动芯片(Driver)和跨阻放大器(TIA)上分别集成连续时间线性均衡(CTLE)与均衡(EQ)功能,实现了低功耗、低成本和低延时的目标。这种设计不仅简化了模块结构,提高了维护的便捷性,而且支持热插拔功能。与侧重于高集成
35、度和性能优化的 CPO(Co-Packaged Optics)技术不同,LPO 更注重成本效益和设计简化。虽然在通信距离和性能集成度方面可能不及 CPO,但它为短距离应用提供了一种经济高效的解决方案。LPO 技术处于标准化的初步阶段,为了未来的发展,LPO需要克服这些技术障碍,以便在多供应商环境中的保障互联互通性,在更广泛的应用场景中实现规模化生产。4.2 应对 AI 数据中心高能耗高热量的问题液冷解决方案 在追求降低网络系统能源功耗的过程中,液冷技术已成为市场上广泛认可的高效解决方案。液冷技术利用液体的高导热性能,其导热能力是空气的 25 倍,能够以远高于空气的效率带走热量,大约是同体积空气
36、的 3000 倍。这一特性使得液冷技术尤其适用于高功率密度数据中心的冷却需求,即便在单机柜配电量达到 50KW 或更高至 150KW 的极端条件下,液冷系统也能够实现比传统风冷技术高出数倍甚至数十倍的运算效率,极大地适合 AI 智算中心的网络部署。然而,冷却液的腐蚀性以及压强差导致的逆流问题,对液冷系统的安全性提出了挑战。针对这些问题,罗森伯格提供了全面的液冷解决方案,旨在最大化提升冷却效率,同时确保数据传输过程的安全性和可靠性,为智算中心的稳定运行保驾护航。传统光模块与 LPO 与 CPO 方案技术对比图 白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧
37、永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 17/19 页4.2.1 罗森伯格液冷解决方案 灵活安装的配线架罗森伯格自主研发的液冷线缆专用配线槽设计灵活,可方便地安装在液冷柜的内部或机体侧面。在应用过程中,通过快速打开每根线缆中间的 Mini-RMC连接器进行线缆的管理、维护和性能检测,避免了对浸没在冷却液中的有源光缆(AOC)两端收发器进行插拔操作,从而减少了潜在的风险。这一创新方法不仅提高了液冷系统的可靠性,而且显著提升了液冷产品的工作效率。4.2.2 罗森伯格液冷解决方案半浸没式 RJ45 跳线 罗森伯格针对半浸没式液冷中存在的压强差问题,研发了专用的液冷 RJ
38、45 跳线,以应对冷却液逆流的挑战。跳线采用创新的防漏结构设计,有效防止了冷却液在跳线中间和两端连接器内部的逆流。产品经过 3M 认证测试,进一步证明了其在液冷环境下的安全性和可靠性。在性能测试方面,液冷 RJ45 跳线在浸泡冷却液前后的表现对比显示,单体与信道的串扰变化值维持在3%的误差范围内,回波损耗变化值大于5%,同时,近端衰减串扰比(NEXT)与远端衰减串扰比(ELFEXT)浸没式液冷解决方案白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 18/19 页4.2.3 罗森伯格液冷解
39、决方案 即插即拔防水连接器 罗森伯格所研发的液冷 AOC 跳线,配备了 Mini-RMC防水连接器,该连接器具备 IP67级 的防水性能,能够在各种恶劣环境下保护连接不受水分侵害。此外,光收发器内部采用了专用的防水设计,这一设计确保了 AOC在整体光学通道上与冷却液的有效隔离,从而在高带宽传输状态下仍然保持了数据传输的可靠性。的变化也控制在 3%以内,这些结果均符合高标准的网络性能要求。罗森伯格还计划进行油类冷却液的兼容性测试,以进一步增强液冷 RJ45跳线在半浸没应用中的安全性和可靠性,为液冷系统提供全面的传输解决方案。白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者
40、:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 19/19 页5 结语 在 5G 和物联网技术飞速发展的当下,AIGC 正开辟市场新机遇并展现巨大潜力,提高了内容创作的效率和个性化水平,为自动驾驶、金融风控、媒体娱乐等行业带来创新解决方案。AIGC 将有望更好地实时处理大量数据,推动服务智能化和自动化。作为 AIGC的骨骼,AI网络架构的迭代升级也同样振奋人心,未来的主流解决方案一定源自于当下的厚积薄发。罗森伯格公司正通过不断的技术创新,为 AIGC应用提供定制化的服务,以支持 AI模型的广泛推广和应用,为未来的主流的解决方案奠定坚实的基础。参考文献:202
41、3 智算中心网络架构白皮书 百度智能云 AIGC 进入应用之争,谁能抢占流量入口?澎湃新闻 人工智能行业专题研究:LPO 光模块 未来智库 800G 高速光模块产业格局梳理 个人图书馆 到底什么是 LPO?LPO 和传统光模块的关键区别 电子发烧友 白皮书白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望 作者:万雨声,孙慧永,张德胜,何雯思,于素景,鉏丽云,王冬雪,陆友锋,卫嘉杰,邱怀兵第 20/19 页罗森伯格亚太电子有限公司地址:北京市天竺空港工业区B区安祥街3号邮编:101300电话:+86 10 8048 1995罗森伯格亚太电子有限公司上海分公司地址:上海市长宁区虹桥路1
42、438号1幢23楼03-04单元邮编:200336电话:+86 21 5899 5997罗森伯格(上海)通信技术有限公司昆山分公司地址:江苏省昆山市淀山湖镇黄浦江南路229号邮编:215345电话:+86 512 8616 3666-6137罗森伯格(常州)电子科技有限公司地址:江苏省常州市新北区春江镇创业西路2号B1幢厂房1-3层邮编:213000 电话:+86 519 8822 9966罗森伯格(上海)通信技术有限公司地址:上海市青浦工业区新科路303号邮编:201707 电话:+86 21 6921 4567创建日期:2024年5月由于技术原因,我们保留对白皮书内容进行更改的权利。未经罗森伯格亚太电子有限公司同意,不得转让给第三方。保留所有权利。罗森伯格 中国罗森伯格生产和研发基地:请访问我们的网站:www.RosenbergerAP.comwww.R