计算机行业：Google集群拆解-251127（41页）.pdf

1、Google集群拆解3.TPU集群内，光路交换机和光模块占比(divcenter)#Google集群的柜内Scaleup:3D结构(/divcenter)从TPUTray到TPURack物理结构：一列8行，每行2个TPUTray。一个机架16个TPUTray，64个TPU芯片蓝色箭头：内部ICI连接；向外箭头：连向外侧OCS的光缆。NVIDIAQuantum-2InfiniBandNDR400个个个个个个个个个个个个个个个个个个个个个个个个100GB/s100GB/s100GB/s100GB/s100GB/s100GB/BLUEFIELDBLUEFIELDBLUEFIELDBLUEFIELDE

2、BLUEDPU0DPU1DPU255DPUODPLDPU25H1+-+11-+H1+-+上-+HFH+EHaHOPPERHOPPERHOPHOPPERHOPPERHOPPERGPUaGPU1工GPU255GPU0GPU1GPU255咖咖咖900GB/s900GB/s900GB/s900GB/s900GB/s900GB/sNVIDIANVLinkSwitchSystemNVIDIANVLinkSwitchSystemGoogle集群的Scaleup光互联：光路交换机光路交换机的工作原理光信号输入和输出：光纤准直器(136通道)：把来自光纤的发散光束变成平行光束，以便在空间中传播和被MEMS反射二

3、维透镜阵列：辅助光束的准直与聚焦，使得每根光纤对应一条独立的光束。光束交换：二维MEMS微镜阵列：通过控制每个MEMS镜子的角度，光束可以被精确地反射到目标输出端口光路监控和对准：注入模块（850nm激光二极管）：注入一束监控光（850nm），它和信号光（O波段）共路。二色分光元件：把监控光和数据信号光分开：相机模块(850nm)：接收监控光，判断光束是否准确到达目标端口，实现自动对准和校准。Scale-up部分由光路交换机连接，实现TPU之间的全连接每套系统包含64个G00gle机架，被划分成8组，每组8个机架。总共集成了4096芯片，共享256TiBHBM内存容量。总计算性能超过1ExaF

4、LOP（101FLOPS）每组8个机架配备一台CoolantDistributionUnit（CDU），负责提供液冷循环中的冷却介质。TPUSuperPod:整体物理结构IronwoodTPU将帮助客户进一步突破规模和效率的极限。部署TPU时，系统会将每个芯片彼此连接，形成一个芯片组(pod)，从而使互连的TPU能够作为一个整体协同工作。借助IronW00d，我们可以在一个超级芯片组中扩展多达9,216个芯片，并通过突破性的芯片间互连(ICI)网络以9.6Tb/s的速度连接。这种强大的连接能力使数千个芯片能够快速相互通信，并访问高达1.77PB的HBM，从而克服即使是最苛刻模型的数据瓶颈。TP

5、USuperPod：整体物理结构TPUV7Superpod物理结构：包含144个机架TPU集群内，Scaleup部分互联组件占比TPUV4光路交换机占比：1.1%相关参数：光路交换机端口136*136，使用端口数为128*128考虑Z轴方向通路，每个机架包含16个(4*4)向上的TPU，一个Superpod包含64个机架，所以向上的TPU数为16star64，考虑上下两个面，个TPU连出/连入一根光缆，因此总的光缆数为16*64*2光路交换机端口为128，16*64*2/128=16，所以Z轴方向16个光路交换机(divcenter)Figure6:Eachofthe64cubescontri

6、butestwoopticalICIlinksfromtwooppositesidesofaringtoeachofthe48OCSes.16OCSesareneededforeachdimension.(/divcenter)TPUV7光路交换机占比：0.52%相关参数：光路交换机端口300*300，使用端口数为288*288考虑Z轴方向通路，每个机架包含16个(4*4)向上的TPU，一个Superpod包含144个机架，所以向上的TPU数为16star144，考虑上下两个面，个TPU连出/连入一根光缆，因此总的