《OCTC&浪潮信息:2024全液冷冷板系统参考设计及性能测试白皮书(38页).pdf》由会员分享,可在线阅读,更多相关《OCTC&浪潮信息:2024全液冷冷板系统参考设计及性能测试白皮书(38页).pdf(38页珍藏版)》请在三个皮匠报告上搜索。
1、2024年1月全液冷冷板系统参考设计及验证白皮书推荐语OCTC开放计算标准工作委员会液冷行业在数据中心领域的应用和发展,已经成为了数字化时代不可或缺的一部分。随着数据量的爆炸式增长,传统的风冷技术已经难以满足高密度服务器的散热需求。而液冷技术,作为一种高效、绿色的冷却方式,正逐渐成为数据中心建设的首选。本文详细介绍了液冷技术的背景、技术优化方向以及全液冷服务器系统的设计、验证和展望。通过对液冷技术的深入剖析,我们可以看到其在数据中心节能减排、提高计算力和生产力的巨大潜力。在未来,液冷技术将继续发挥重要作用,为数字经济的发展提供有力支撑。辛公明山东大学能源与动力工程学院教授、党委书记 面对能耗挑
2、战与双碳目标,液冷技术成为数据中心领域的前沿焦点。本文系统介绍了液冷技术的演进、全液冷冷板系统的设计与实践,以及铝冷板方案的具体实施与测试。内容详实,层次分明,为研究者与实践者提供了宝贵的参考资料。本文不仅梳理了液冷行业的发展背景,还深入探讨了液冷技术的优化方向。对于数据中心行业而言,液冷技术的推广应用将有助于实现节能减排,推动绿色算力的发展。希望此文能激发更多人关注液冷技术,共同为绿色低碳数据中心建设作出贡献。陈葆立英特尔数据中心与人工智能集团副总裁兼中国区总经理数字化和绿色低碳已经成为经济与社会高质量、可持续发展的关键推动力。中国“双碳”目标的提出,更让数字化与绿色低碳相互协同,加速推动数
3、字基础设施和算力底座优化升级,推进千行百业更快速实现碳中和转型。英特尔植根中国,携手战略合作伙伴浪潮信息积极行动,不断协同推进技术创新,践行数字化及绿色战略,助力中国加速实现“双碳”目标。本项目就是在上述背景下,由英特尔中国和浪潮信息通力合作完成。为应对 IT 设备功耗和功率密度的持续增加、数据中心PUE要求日益严格的挑战,本项目探索出更经济、更高效的基于冷板的全液冷解决方案的参考设计和验证方法。目录第一章 液冷行业背景及技术优化方向1.液冷行业背景及政策2.液冷数据中心主流技术介绍及对比3.先进冷板液冷数据中心介绍4.冷板液冷服务器设计技术优化方向第二章 全液冷服务器系统架构设计1.全液冷冷
4、板服务器创新实践2.系统组成及管路布局 3.通流方式选择及流量计算 第三章 全液冷服务器冷板关键部件设计 1.CPU冷板设计 2.内存液冷设计 3.硬盘液冷设计 4.PCIe/OCP卡液冷设计 5.电源冷板设计 第四章 全液冷服务器冷板性能测试1.测试项目介绍 2.测试结果分析 第五章 铝冷板全液冷方案设计与测试 1.铝冷板全液冷方案设计 2.铝冷板性能与兼容性测试 3.铝冷板测试结果及分析 第六章 冷板液冷未来思考展望 1.全液冷冷板技术应用拓展 2.冷板液冷新技术展望 0304070809101112131617171819212324252930313235363703 全液冷冷板系统参
5、考设计及验证白皮书第一章液冷行业背景及技术优化方向1.液冷行业背景及政策2.液冷数据中心主流技术介绍及对比3.先进冷板液冷数据中心介绍4.冷板液冷服务器设计技术优化方向国家十四五规划提出大力发展数字经济,计算力代表着生产力,而计算力的承载体就是数据中心。根据IDC发布算力报告指出:算力提升与经济发展成正相关关系,计算力指数每提高一个点,数字经济会增长3.5%,GDP会增长1.8%。数据中心基础设施作为算力的载体已成为支撑数字经济的“数字底座”,而其本身也是碳排放“大户”,2022年,中国数据中心碳排放量相当于5000万辆燃油汽车的年排放总量。在双碳目标下,作为“耗电大户”数据中心的节能减排备受
6、关注。当前,芯片功耗与服务器功耗逐步上升。与之对应,单机柜功率密度也不断增大。根据相关机构调研,2020年数据中心平均机架功率为8.5kW/机柜,相比于2011、2017年有明显提高,年复合增长率达到15%。高功耗芯片,高密度服务器及单机柜密度的演进,对于传统风冷散热来说,既容易出现局部热点,影响换热性能;又需要不断降低送风温度,增大送风风量,影响制冷能耗。因此,传统风冷制冷模式在换热性能及能耗优化方面逐步受限。液冷是一种新兴的冷却技术,该种技术通过采用液态冷却工质流动方式带走发热元件热量替代风冷换热中采用空气换热的模式。与风冷对比,液冷技术可以更好地支持高功耗芯片解热,保持芯片低温运行,延长
7、寿命;充分利用室外自然冷源冷却,降低数据中心PUE;提高关键部件换热效率,减少服务器散热热点,支持机柜更高密度;降低数据中心噪声,提升数据中心环境适应性。因此,未来数据中心建设中,液冷技术的应用将会是在数据中心制冷方向的重要组成部分,也是实现绿色算力和双碳目标达成的重要举措。1.1数据中心行业发展及问题“碳中和”成为全人类共识,已有130多个国家宣示了碳中和承诺。近年来随着数据中心规模快速增长,其耗电量约占全球总用电量的2%,且还在急剧增加。Uptime全球数据中心报告2022指出,2014年以来,全球大型数据中心PUE连续8年维持在1.6左右,数据中心能效水平仍存在较大优化空间。为推动数据中
8、心绿色发展,多个国家、国际组织发布相关政策。多地已开始限制高PUE的数据中心的建设,相关政策和数据中心机房对PUE提出明确限制,鼓励液冷技术、IT设备高密度集成技术及IT设备能效提升技术实施,促进数据中心液冷技术进一步发展。1.2数据中心行业政策介绍1.液冷行业背景及政策04 全液冷冷板系统参考设计及验证白皮书第一章 液冷行业背景及技术优化方向标准化是衡量技术成熟度的重要凭证,对于液冷数据中心的标准化建设,一直以来都是行业领域、学术界与工业界关注的重点。国内标准方面,已发布1 项与电子设备相关的冷板液冷国家标准,GB/T 15428-1995电子设备用冷板设计导则。该标准主要规定电子设备使用的
9、冷板换热计算和结构设计,对于冷板核心参数定义,性能定义,材料定义,加工工艺,漏液检测定义和测试方法及要求均不涉及;同时据统计,近五年来国内有十余家标准组织或技术组织正在开展液冷技术相关的标准化工作,已发布行业标准9项,团体标准28项,涉及液冷部件,节点,系统和数据中心四个层面的技术要求和测试方法,适用于液冷系统的设计、施工、部署、运维、测试等环节的技术指导(清单详见下表);此外国内也已发布20余项白皮书或研究报告成果。1.3液冷数据中心标准化建设序号 标准类别 标准编号 标准名称 归口单位12345678910111213141516国家标准行业标准行业标准行业标准行业标准行业标准行业标准行业
10、标准行业标准团体标准团体标准团体标准团体标准团体标准团体标准团体标准GB/T 15428-1995YD/T 4024-2022YD/T 3983-2021YD/T 3982-2021YD/T 3981-2021YD/T 3980-2021YD/T 3979-2021YD/T 4274-2023YD/T 4411-2023T/CESA 1249.1-2023T/CESA 1249.2-2023T/CESA 1249.3-2023T/CESA 1249.4-2023T/CESA 1271-2023T/CESA 1272-2023T/CCSA 239.2-2020电子设备用冷板设计导则数据中心液冷服
11、务器系统总体技术要求和测试方法数据中心液冷服务器系统能源使用效率技术要求和测试方法数据中心液冷系统冷却工质体技术要求和测试方法数据中心喷淋式液冷服务器系统技术要求和测试方法数据中心冷板式液冷服务器系统技术要求和测试方法数据中心浸没式液冷服务器系统技术要求和测试方法单相浸没式液冷数据中心设计要求浸没式液冷数据中心测试方法服务器及存储设备用液冷装置技术规范 第1部分:冷板服务器及存储设备用液冷装置技术规范 第2部分:连接系统服务器及存储设备用液冷装置技术规范 第3部分:冷量分配单元服务器及存储设备用液冷装置技术规范 第4部分:液冷监控液冷式高性能计算机 技术参考架构高性能计算机 浸没式液冷系统技术
12、要求服务器用液冷系统 第2部分:喷淋式全国电工电子设备结构综合标准化技术委员会中国通信标准化协会中国通信标准化协会中国通信标准化协会中国通信标准化协会中国通信标准化协会中国通信标准化协会中国通信标准化协会中国通信标准化协会中国电子工业标准化技术协会中国电子工业标准化技术协会中国电子工业标准化技术协会中国电子工业标准化技术协会中国电子工业标准化技术协会中国电子工业标准化技术协会中国通信标准化协会表1.现有液冷数据中心标准第一章 液冷行业背景及技术优化方向05 全液冷冷板系统参考设计及验证白皮书第一章 液冷行业背景及技术优化方向在国外标准方面,ASHRAE TC9.9 定义了供给冷量分配单元的一次
13、侧冷却水的温度等级,从W17 到 W+共 6 个温度等级,详细内容如下表所示。序号 标准类别 标准编号 标准名称 归口单位1718192021222324252627282930团体标准团体标准团体标准团体标准团体标准团体标准团体标准团体标准团体标准团体标准团体标准团体标准团体标准团体标准T/CCSA 239.1-2018T/CIE 0872020T/CIE 0912020T/CIE 0902020T/CIE 0882020T/CIE 0892020T/CIE 0982021T/CIE 0972021T/CIE 096-2021T/CIE 050-2018T/CIE 051-2018T/ZSA
14、 216-2023T/SHSIC 0202-2023T/CA 307-2023服务器用液冷系统 第1部分:间接冷板式单相浸没式直接液冷数据中心设计规范温水冷板式间接液冷数据中心设计规范数据中心温水冷板式间接液冷设备通用技术要求非水冷板式间接液冷数据中心设计规范喷淋式直接液冷数据中心设计规范液/气双通道热管冷板间接液冷数据中心设计规范液/气双通道热管冷板间接液冷数据中心 散热设备通用技术规范相变浸没式直接液冷数据中心设计规范液-气双通道散热数据中心机房验收标准及测试方法液-气双通道散热数据中心机房设计规范相变浸没式直接液冷数据中心设计规范数据中心浸没式液冷系统单项冷却工质技术指标和测试方法数据中
15、心浸没液冷系统碳氟类冷却工质技术要求和测试规范中国通信标准化协会中国电子学会中国电子学会中国电子学会中国电子学会中国电子学会中国电子学会中国电子学会中国电子学会中国电子学会中国电子学会中关村标准化协会上海市通信学会中国通信工业协会表2.ASHRAE机房等级划分及参数ASHRAE机房等级 W17 W27 W32 W40 W45 W+一次侧供水温度 17 27 32 40 45 4506 全液冷冷板系统参考设计及验证白皮书冷板液冷和浸没式液冷是目前数据中心行业应用的两种主流液冷技术。冷板式液冷是指采用液体作为传热工质在高导热金属冷板内部流道流动,通过热传递对热源实现冷却的非接触式液体冷却技术。浸没
16、式液冷是将发热电子元器件直接浸没在非导电冷却工质中,通过冷却工质循环流动来进行散热的接触式冷却技术。根据液冷工质在换热过程中是否会发生液气相转变,冷板和浸没式液冷又分成单相式和两相式。单相冷板和单相没式液冷由于技术相对简单,在教科研、互联网和通信等多行业里已经有一些典型部署案例。相比单相浸没式液冷,单相冷板式液冷主要有以下优势:除此之外,相比于单相浸没式液冷,单相冷板式液冷(以下均简称为冷板式液冷)的缺点主要集中在以下几个方面:技术相对成熟,生态完善,对机柜和服务器改造小,初投资少,成本优势明显。不改变客户的使用习惯,运维模式、机房承重与风冷场景也基本一致。冷却工质不直接接触芯片和服务器内其他
17、部件,对材料兼容性要求低,可以相对容易地与不同厂商和型号的计算设备兼容,提供更多的硬件选择空间;对服务器高速链路信号完整性也无影响。占用空间相对较少,适合于对空间有限制的数据中心和计算环境。对冷却工质的需求量少,冷板液冷冷却工质相比浸没式液冷用氟化液也更加环保。单芯片散热能力在1kW以上,相比单相浸没式液冷有更高的单点散热能力。数据中心系统PUE更高:由于冷板式液冷服务器中冷板结构多数仅覆盖CPU、GPU等高功耗发热部件,其余部件常以风冷辅助冷却,服务器仍需配置冷板及风扇两套冷却部件,数据中心需要配置CDU和空调两套冷却系统。随着空调及压缩机制冷,通常冷板液冷数据中心PUE高于浸没式液冷系统。
18、系统存在漏液短路风险:冷板式液冷系统通常冷却工质选择去离子水或乙二醇/丙二醇水溶液,如果冷却工质与冷板材质选择和后期维护不当,长期运行后可能出现腐蚀,导致冷却工质泄露,最终对服务器造成宕机或者烧板的风险。基于上述冷板式液冷的优劣势情况,鉴于冷板式液冷在整体系统架构改造,产业链成熟度,初投资等方面均有优势。如果冷板液冷能够逐步增加液冷覆盖面积,同时避免因冷却工质泄露导致的系统短路风险,冷板式液冷优势会更加明显。2.1数据中心行业发展及问题2.液冷数据中心主流技术介绍及对比第一章 液冷行业背景及技术优化方向07 全液冷冷板系统参考设计及验证白皮书Frontier和Aurora 数据中心均采用了冷板
19、全液冷高密服务器架构,冷板全液冷顾名思义就是用冷板液冷技术实现服务器内接近100%的热捕获。冷板全液冷服务器在全球很多高算力,高供电密度的数据中心中已有很多商业部署案例,其带来的好处是高效节能与静音:服务器内去风扇,数据中心去空调化运行,数据中心PUE低至1.1以下,运行噪音低于60dB。这对于大规模高密度计算集群来说是一个重要的优势,有助于进一步提高能源使用效率,把更多的电力用于提升算力。高集成:采用全液冷技术,利用一套高温水系统可以实现系统换热,机房内部无需空调冷凝器设备,机房外部无需额外配置空调蒸发器,冷水机组及各项管路,全液冷服务器布置可以通过去除空调系统及相应基础设施节省30%以上的
20、空间。高密度:全液冷产品可以忽略风扇及空调的影响,使服务器的布置和机柜内排布更紧密,单机柜可支持100KW以上,无需安装冷热通道封闭设施,节省了大量的空间,从而能够在单位空间布置更多的服务器,提高数据中心运算效率。除去以上全液冷冷板系统应用可以带来的诸多好处之外,全液冷冷板服务器系统大规模推广应用还存在很多挑战,需要后续逐步优化去解决:3.2数据中心特点及问题分析 FrontierFrontier系统安装在美国田纳西州ORNL橡树岭国家实验室,系统总共配有74个独立机柜,包括9408个CPU和37632个GPU,搭载 CPU 和 GPU的9408个刀片服务器通过全冷板液冷的方式进行冷却散热。A
21、uroraAurora系统安装在美国能源部下属阿贡国家实验室,根据规划,Aurora在建设完成后将配备21248个CPU,63744个GPU,搭载 CPU 和 GPU的10624个刀片服务器通过全冷板液冷的方式进行冷却散热。为了更清晰地了解先进冷板式液冷数据中心形态功能及应用情况,选取行业数据中心典型代表进行分析,详细数据如下:3.1先进冷板液冷数据中心介绍3.先进冷板液冷数据中心介绍08 全液冷冷板系统参考设计及验证白皮书第一章 液冷行业背景及技术优化方向结合冷板式液冷特点及行业先进液冷数据中心分析,冷板液冷未来技术优化方向主要围绕通过技术创新进一步提高能效,降低初投资成本,减少漏液安全隐患
22、及提高运维便利性展开。完善部件液冷方案,提高液冷覆盖率。除CPU,GPU,内存之外,目前业界对服务器内其他发热部件如何通过冷板液冷实现经济有效散热的探索还比较少,方案尚未成熟,价格昂贵,有待通过设计方案的创新实现标准化,规模化应用的经济性和可靠性,进一步提高冷板液冷数据中心能效,减少数据中心空调用量和成本,降低冷却系统复杂度。提高通用化及可维护性。目前已知的全冷板液冷方案大多基于高度定制化服务器设计,液冷方案无法灵活适用于传统通用服务器架构。对硬盘和网卡等通常需要热插拔的部件无法支持不断电维护。内存液冷方案对冷板管路加工精度要求非常高,在内存安装,维护及可靠性方面也存在一定的弊端。拓展冷板液冷
23、材料范围,减轻重量,降低成本。服务器重量随着液冷部件的增多大幅上升,对服务器运维和运输过程中的可靠性带来诸多挑战。拓展低密度低成本冷板液冷材料范围,有助于推动行业多样化发展。提升液冷系统长期使用的安全性,降低漏液风险。选取合理的冷板环路材料和液冷冷却工质,并进行充分的相容性测试及系统性能老化性测试,是保障液冷系统全生命周期内安全稳定运行,降低漏液风险的关键。4.冷板液冷服务器设计技术优化方向随着服务器内液冷覆盖率的增高,服务器冷板液冷环路设计复杂度提升,对适合的服务器系统架构有一定要求,需要设计者在早期就针对全液冷方案规划合理的服务器架构设计,减少全液冷环路设计的复杂性。随着液冷环路包含的部件
24、增多,服务器内冷板方案的重量和体积也会有大幅提升,对液冷环路的安装和维护带来更多挑战。服务器内冷板方案的成本也会随着液冷覆盖率的提高而有所提升,需要通过部件液冷方案设计优化及标准化以促进规模应用,降低成本。第一章 液冷行业背景及技术优化方向09 全液冷冷板系统参考设计及验证白皮书10 全液冷冷板系统参考设计及验证白皮书第二章全液冷服务器系统架构设计1.全液冷冷板服务器创新实践2.系统组成及管路布局3.通流方式选择及流量计算节点与硬盘区域实现内部水电信号盲插结构共用,去除了多余管路,单节点运行即可支持多张固态硬盘液冷。节点冷板设计采用串联主流路,冷板焊接接口明显减少,降低漏液风险。全新的内存液冷
25、设计方案,颠覆了业界现有方案在散热性能,公差控制,维护便利性及信号接触可靠性方面的弊端,为解决高功耗内存散热难题打开了新思路。全新的OCP网卡和硬盘液冷方案简单可靠,均可支持30次以上热插拔,方便客户在开机状态下进行维修,扩容或系统更新操作。此全液冷冷板方案最大化地利用现有风冷模组及业界成熟的冷板和风冷散热器加工工艺,避免定制化液冷部件和复杂加工工艺,优化成本。对低密度低成本铝冷板的散热可行性及与冷却工质的长期相容性做了大量拓展研究,为铝冷板在数据中心行业应用可行性分析积累了宝贵实践数据。为了进一步推动液冷技术发展和生态成熟,浪潮信息联合英特尔深耕通用高密服务器液冷优化设计,除了业界目前广泛尝
26、试的CPU和GPU液冷,对高功耗内存,固态硬盘,OCP网卡,PSU电源,PCIe和光模块液冷也进行了深入的探索和研究,打造行业最高液冷覆盖率,满足用户多种液冷覆盖占比部署要求,为互联网、通讯等行业客户提供通用基础能力及多样化技术支持。此次全液冷冷板系统开发是基于浪潮信息2U四节点高密计算服务器i24,每个液冷节点支持两颗英特尔第五代至强平台可扩展处理器,搭配16根DDR5内存,1张PCIe扩展卡和1张OCP3.0网卡。整机可支持8张SSD固态硬盘,在实现高密算力的同时满足客户存储需求。服务器主要的发热部件包括CPU、内存,I/O 板卡,本地硬盘,机箱电源等。液冷方案实现了系统中95%左右的热量
27、通过冷板接触热源由液体直接带走,剩余5%左右的热量经由PSU电源后置的风液式换热器里面的冷却水带走,系统级即可实现接近100%液冷热捕获率。整体设计理念是基于在满足性能和可靠性要求的基础上,从系统级解决方案开始,探索高能效,低成本和易于运维的全液冷服务器全新设计之道:1.全液冷冷板服务器创新实践第二章 全液冷服务器系统架构设计11 全液冷冷板系统参考设计及验证白皮书2U四节点全液冷服务器系统由节点、机箱、中背板、固态硬盘模组组成。节点和机箱组件间通过快接头、电源及信号连接器实现水、电、信号盲插。2.1全液冷服务器整机介绍全液冷服务器的节点由节点外壳、主板、CPU芯片、内存模组、内存冷板、CPU
28、冷板,IO冷板,电源及电源后置换热器等组成。2.2全液冷服务器单节点介绍2.系统组成及管路布局图1.2U四节点全液冷服务器图2.全液冷服务器节点第二章 全液冷服务器系统架构设计12 全液冷冷板系统参考设计及验证白皮书3.通流方式选择及流量计算图3.2U四节点全液冷服务器串联流路为了简化流路设计的复杂性,此全液冷服务器的散热冷却工质流路选用串联流路设计,冷却工质整体由低功耗器件往高功耗器件流动和散热,详细流动方向见下图及表所示。3.1全液冷冷板通流方式选择表3.冷却工质流动顺序流动顺序12345冷却部件CDU冷却工质经快接头1流入电源冷板经节点快接头2流入节点内 IO 冷板(PCIe,OCP3.
29、0,PCH和IO部件)内存冷板流出节点,经快接头3流入SSD 冷板经快接头3流回节点,流入CPU 冷板,经快接头2、1流出系统返回CDU第二章 全液冷服务器系统架构设计13 全液冷冷板系统参考设计及验证白皮书全液冷服务器流量需要满足系统散热需求:1)为了确保二次侧管路材料的长期可靠性,二次侧回水温度不超过65C;2)确保全液冷服务器各零部件在定义的边界条件下满足散热需求,选取铜冷板+PG25作为流量设计分析。为了满足二次侧回水温不超过65C要求,通过下列公式计算出单节点PG25最小流量Qmin:Qmin=Psys/(*C*T)1.3(LPM)其中:Psys指单节点功耗,通过计算硬件配置以及电路
30、损耗,单节点功耗约为1100W。指PG25在目标温度下的密度。C指PG25在目标温度下的比热容。T=14C指二次侧进水温度51C到最高回水温度65C的温差。为进一步验证该流量下,各个冷板覆盖部件是否超温,通过CFD软件进行散热仿真。结果显示全液冷服务器铜冷板在进水温度51C(W45)以及冷却工质PG25 1.3LPM流量条件下所有零部件温度都满足温度要求,且具有一定的安全温度裕量,详细数据如下表所示:3.2全液冷冷板流量设计14 全液冷冷板系统参考设计及验证白皮书表4.CFD散热仿真条件第二章 全液冷服务器系统架构设计序号12345项目冷板材料冷却工质进水温度环境温度节点流量仿真数据纯铜PG2
31、551(W45)351.3LPM综上分析所述,全液冷服务器采用单节点流量1.3LPM完全满足系统散热设计目标,而且经济合理利用CDU提供的冷却工质。表5.CFD散热仿真结果序号1234567891011部件CPUMemory VR0VR1PCHBMCCPLDSSDOCPHCAQSFP仿真功耗W35012.932321355.313.5425.74.7温度规格878511011086861107010510575仿真结果63(壳温)73838155616367539172第二章 全液冷服务器系统架构设计15 全液冷冷板系统参考设计及验证白皮书16 全液冷冷板系统参考设计及验证白皮书第三章全液冷服
32、务器冷板关键部件设计1.CPU冷板设计2.内存液冷设计3.硬盘液冷设计4.PCIe/OCP卡液冷设计5.电源冷板设计CPU冷板模组是基于英特尔第五代至强平台可扩展处理器冷板的设计要求,综合考虑散热,结构性能,成品率,价格及不同材质冷板设计兼容性等因素优化而成的一款CPU冷板参考设计,主要由CPU冷板铝支架,CPU冷板及冷板接头等部件组成。内存液冷设计采用的是创新型的枕木散热器液冷方案,因内存插满如铁轨上的枕木而得名。它将传统风冷散热和冷板散热相结合,通过内置热管的散热器(或纯铝/铜板、Vapor Chamber 等)把内存上的热量传递至两端,与冷板通过选定的导热垫片接触,最终通过冷板内的冷却工
33、质把热量带走实现内存散热。内存跟散热器可在系统外通过治具进行组装形成最小维护单元(下文称之为内存模组)。内存冷板上设计有内存模组固定结构可确保散热器和内存冷板之间良好接触,内存模组固定结构根据需要可以用螺丝固定或者无工具维护。内存冷板顶部给内存散热,底部则可以根据需要给主板其他发热元器件散热,比如VR,最大化利用内存冷板。为简化内存冷板设计,内存和主板之间可以设计转接支架来满足不同主板的限高区。1.CPU冷板设计2.内存液冷设计图4.CPU冷板模组图5.枕木散热器液冷方案第三章 全液冷服务器冷板关键部件设计17 全液冷冷板系统参考设计及验证白皮书与市场上现有的管路(Tubing)内存液冷方案相
34、比,枕木散热器液冷方案的主要优势有:易于维护。内存维护时只需像维护风冷内存一样维护内存模组,无需将散热器和扣具取下,极大地提高了液冷内存组装效率和可靠性,降低了内存在系统内拆装时可能对内存颗粒和导热垫片造成的损伤。通用性好。不同内存的颗粒厚度和内存间距不影响该方案的散热性能,该方案最小适应7.5毫米的内存间距,往上兼容。散热器和冷板解耦设计,可重复利用和内存液冷标准化。更高的性价比。内存散热器可根据内存功耗选取不同的工艺和散热技术,且数量可根据内存按需配置。在7.5毫米内存间距情况下,即可满足30W以上内存的散热需求。易于制造和组装。内存插槽之间没有液冷管路,无需复杂的管路焊接和工艺控制,可以
35、采用传统风冷散热器和通用的CPU冷板制造工艺。组装散热器时,散热性能对散热器和主板在垂直于内存颗粒平面方向的公差不敏感,不会出现热接触不良,更容易组装。可靠性好。枕木液冷方案避免了组装过程中可能对内存颗粒和导热垫片造成的损伤,并可满足多次插拔需求。此外,它还避免了内存和管路液冷散热方案安装后内存与插槽间由于倾斜而造成信号接触不良的风险,极大地提升系统可靠性。创新的固态硬盘液冷方案是通过内置热管的散热器把硬盘区域的热量导出与硬盘区域外的冷板通过导热垫片垂直接触实现换热。此固态硬盘液冷方案主要由装有散热器的固态硬盘模组,固态硬盘冷板,硬盘模组锁紧机构,及硬盘支架组成。硬盘模组锁紧机构固定在硬盘支架
36、上提供合适的预紧力来保证固态硬盘模组和固态硬盘冷板的长期接触可靠性。为了方便硬盘冷板环路在狭小空间内的安装,硬盘支架在服务器深度方向采用了抽屉式的安装方式设计。3.硬盘液冷设计图6.创新的固态硬盘液冷方案第三章 全液冷服务器冷板关键部件设计18 全液冷冷板系统参考设计及验证白皮书相比业界已有的硬盘液冷尝试,此方案的先进性主要体现在:可支持30次以上系统不断电热插拔硬盘安装过程中对导热界面材料无剪切破环风险,锁紧机构的设计可以保证长期的接触可靠性液冷散热方案对加工工艺要求低,只需采用传统的风冷和CPU冷板加工工艺硬盘间无水设计,多硬盘可供用同一冷板,减少了接头数量,降低漏液风险可灵活适配不同厚度
37、和数量的固态硬盘系统PCIe卡液冷方案是基于现有风冷PCIe卡,通过开发一款可以与系统冷板接触的PCIe卡散热模块来实现对光模块及PCIe卡上主要芯片的散热。光模块的热量通过热管传导到与PCIe卡主芯片上的散热模块主体,散热模块主体与IO冷板通过合适的导热界面材料接触实现换热。液冷PCIe卡主要由QSFP散热板夹子、PCIe芯片散热模块及PCIe卡组成。QSFP散热板夹子要设计合适的弹性量,确保与PCIe散热模块上的QSFP散热板和笼子配合实现光模块安装时的合适浮动量,以保证良好的用户体验,避免损坏光模块,并实现良好的接触稳定性而达到预期的散热效果。4.PCIe/OCP卡液冷设计4.1PCIe
38、液冷方案图7.PCIe卡液冷模组第三章 全液冷服务器冷板关键部件设计19 全液冷冷板系统参考设计及验证白皮书OCP3.0卡液冷方案跟PCIe卡类似,通过给OCP3.0卡定制一款液冷散热器,把卡上发热芯片热量传导到液冷散热器,最终通过散热器与系统IO冷板的接触把热量带走实现散热。OCP3.0液冷模组主要由散热器模块,OCP3.0卡及其支架组成。锁紧机构由于空间限制采用了弹簧螺钉,以保证液冷OCP3.0卡组装后散热器模块与IO冷板之间的长期接触可靠性。考虑到后期维护的便利性及OCP3.0卡的多次热插拔需求,锁紧机构的设计和导热界面材料的选型也做了很多优化来提高整体方案的可靠性及运维的便利性。4.2
39、OCP3.0液冷方案IO冷板是具有多功能的冷板,不仅仅实现主板IO区域内的发热部件的散热,也实现了液冷PCIe卡和液冷OCP3.0卡的散热。4.3IO冷板方案图8.OCP3.0液冷模组图9.IO冷板20 全液冷冷板系统参考设计及验证白皮书第三章 全液冷服务器冷板关键部件设计电源液冷解决方案是在现有风冷电源的基础上通过外接一个风液换热器来冷却PSU风扇吹出的热风,以减少系统对外界数据中心环境的预热。PSU后置换热器为多层结构,流道与鳍片相互叠加。PSU后置换热器的尺寸须在不影响电源线的插拔功能和满足系统机柜空间限制的条件下,平衡散热需求,重量及成本做出最优选择。PSU后置换热器独立组装在节点支架
40、上。5.电源冷板设计IO冷板主要由IO冷板主体和铜管流道组成。IO冷板主体采用铝合金材质,铜管主要承担冷却工质流道和加强散热的作用,具体设计需要根据主板布局及部件的散热要求进行优化。液冷PCIe卡及液冷OCP3.0卡上的散热模块与IO冷板沿箭头方向接触。冷却工质流道材料的选型需要考虑与系统管路冷却工质及浸润材料的兼容性。此IO冷板液冷方案实现了多个部件在多维度的组装需求,铜铝材质的混合使用,解决了材料兼容性问题,保证散热效果,同时帮助减轻60%冷板重量并降低了成本。图10.液冷PCIe卡,液冷OCP3.0及IO冷板位置图11.PSU后置换热器第三章 全液冷服务器冷板关键部件设计21 全液冷冷板
41、系统参考设计及验证白皮书此创新的电源液冷解决方案,无须重新开发新的液冷专用电源,缩短开发周期,降低开发成本;良好的通用性可以灵活适配多家厂商的电源方案,比定制化液冷电源节约成本60%以上。针对于整机柜的应用场景,电源液冷还可以采用集中式风液换热器的解决方案,即对整机柜前后门进行封闭,在机柜底部布置一个集中式风液换热器,借助集中式结构替代PSU后置的分布式风液换热器结构。集中式风液换热器是由喷涂亲水涂层强化换热的铝制波纹翅片,配合高换热系数铜管组成的换热器,可在能够在10温差下提供不低于8kW冷却能力;换热器流路仿真优化,在低阻下承载更多流量;具备防凝露设计和全方位漏液检测,杜绝安全隐患。采用特
42、殊的铰链设计,满足高承重要求;同时卡盘式连接设计,方便安装,易于维护。按照单台全液冷服务器超过95%热量均由冷板解热,仅有不足5%热量需要风液换热器解热计算,单个节点仅有40-50W风液解热量,单台集中式风液换热器支持8kW换热量,可支持不低于150节点的电源风液散热,且成本远低于150个分布式风液散热器价格。利用该种方案,服务器电源可以不做任何改造,产生的热量在机柜后部由集中式风液换热器统一收集与热交换,同时该部分热量在机柜内形成自有循环,不会对机房环境造成任何影响,真正做到“Rack as a computer”。图12.全液冷整机柜(含全液冷服务器+集中式风液换热器)22 全液冷冷板系统
43、参考设计及验证白皮书第三章 全液冷服务器冷板关键部件设计23 全液冷冷板系统参考设计及验证白皮书第四章全液冷服务器冷板测试验证1.测试项目介绍 2.测试结果分析第四章 全液冷服务器冷板测试验证24 全液冷冷板系统参考设计及验证白皮书全液冷服务器冷板性能测试分别针对单机系统和整机柜系统进行测试,详细测试项目及介绍如下:测试单台全液冷冷板服务器和全液冷整机柜系统在W32、W40与W45一次侧供液温度,服务器满载情况各个部件运行参数。测试单台全液冷冷板服务器液体散热量比例。测试全液冷服务器冷板在不同流量及入水温度的流阻曲线。(1)系统散热性能测试结果全液冷服务器系统散热性能测试按照最高散热设计目标二
44、次侧供水温度51C(W45),冷板系统在相应冷却工质单节点流量1.3LPM进行,测试结果如下表:1.测试项目介绍2.测试结果分析1.1 散热性能测试2.1单机系统测试1.2HCR测试1.3流阻测试表6.系统热性能测试条件序号123456项目冷板材料冷却工质进水温度出水温度环境温度节点流量测试数据纯铜PG2551(W45)60241.3LPM全液冷服务器系统散热性能测试结果表明满配系统在最差工况条件下:供水温度51C和额定流量1.3LPM,所有的散热部件都满足部件的温度要求,并且还有十分安全的裕量。下图为 CPU冷板测试散热性能曲线:表7.系统热性能测试结果序号123458910部件CPUMem
45、ory VR0VR1PCHSSDOCPQSFP加压读取功耗W35012.4/11.5/温度规格8785110110867010575测试结果 77/74(结温)70787753655456图13.CPU铜冷板热阻与流阻曲线第四章 全液冷服务器冷板测试验证25 全液冷冷板系统参考设计及验证白皮书第四章 全液冷服务器冷板测试验证26 全液冷冷板系统参考设计及验证白皮书(2)液冷热捕获效率(HCR)测试结果液冷热捕获效率(HCR)通常用来衡量液冷系统液冷散热效率,在全液冷服务器单系统热性能测试中收集相关数据,用下列公式计算HCR值:HCR=P_liquid/P_system*100%其中:P_liq
46、uid指通过液体散发的热量P_system指液冷系统总功耗全液冷服务器液冷热捕获效率(HCR)测试结果如下图:图14.液冷HCR曲线全液冷服务器热捕获效率(HCR)测试结果表明:液冷热捕获效率(HCR)与T(系统供水温度和环境温度之间的差值)直接相关,该T越小液冷捕获效率(HCR)值越高。在典型的液冷系统工作边界条件下:供水温度38C(W32),空气环境温度35C,液冷热捕获效率(HCR)大约93%左右。如果要达到HCR 100%,则需要供水温度低于空气环境温度10C,即供液温度降低至25左右,但在这种工况下,需要综合考虑结露的风险。(3)全液冷服务器系统流阻测试结果冷却工质PG25和纯水在不
47、同流量不同温度下全液冷服务器系统流阻测试结果如下图所示:全液冷服务器系统流阻测试结果显示工质PG25在相同温度和流量下比纯水流阻高20%左右,同一工质温度越高流阻越低,PG25的流阻相比纯水对温度更为敏感。在51C进水温度1.3LPM流量条件下,采用冷却工质PG25和纯水的系统流阻分别是118kPa和99.6kPa。图15.系统流阻曲线(1)系统散热性能测试整机柜系统散热性能测试采用前后封闭液冷机柜,配置3台液冷服务器,分别位于机柜上、中、下3个位置,每台液冷服务器含有4个节点,合计12个服务器节点。服务器节点去除分布式风液换热器,机柜底部配置集中式风液换热器,除服务器及风液换热器外,其余机架
48、采用盲板结构封存,系统内外均无列间空调使用和运行。由于单节点已完成整机热性能测试,整机柜测试测试工况选择CDU二次侧供水温度工况38C(W32),集中式风液换热器连接一次侧供水工况32C(W32),测试结果表明在上述工况下,系统可正常运行。具体测试数据如下表:2.2整机柜系统测试第四章 全液冷服务器冷板测试验证27 全液冷冷板系统参考设计及验证白皮书第四章 全液冷服务器冷板测试验证28 全液冷冷板系统参考设计及验证白皮书(2)液冷热捕获效率(HCR)测试结果针对于液冷热捕获效率(HCR),相关计算数据如下:冷板液冷解热量:10.6kW,集中式风液换热器解热量:0.6kW,因此整体液冷解热量11
49、.2kW,参考整机测试功耗11.4kW计算可得,HCR为98.2%。与单服务器在35环境中进行测试相比,在全液冷机柜环境中,由于机柜前后门封闭,热量无法从服务器中逃逸至外部环境中,更容易被风液换热器进行捕获,因此系统HCR值更高。这也从另一个角度证明,在该种工作情况下,以全液冷整机柜(全液冷服务器+集中式风液换热器)为载体,可以最直观和容易实现系统无风扇全液冷。综合上述分析可得,全液冷服务器和全液冷整机柜系统可在满足服务器关键部件的散热的基础上,有效提升系统液冷占比,在规定的冷却工质流量及温度的条件下,实现100%的液冷散热,整体设计与测试均能互相验证并满足要求。表8.全液冷整机柜换热测试数据
50、项目系统冷板节点数量冷却工质风液换热器一次侧进水温度CDU二次侧进水温度整机柜CDU供水流量整机柜集中式风液换热器供水流量测试环境温度风液换热器送风温度风液换热器一次侧回水温度CDU二次侧回水温度整机柜IT总功耗风液换热器回风温度服务器节点温度类型测试条件数据测试结果数据数据铜冷板12纯水31.637.814.9LPM2.9LPM353634.848.111.4kW44.3正常无超温全液冷冷板系统参考设计及验证白皮书 29第五章铝冷板全液冷方案设计与测试验证 1.铝冷板全液冷方案设计 2.铝冷板性能与兼容性测试 3.铝冷板测试结果及分析29 全液冷冷板系统参考设计及验证白皮书30 全液冷冷板系
51、统参考设计及验证白皮书第五章 铝冷板全液冷方案设计与测试验证为了进一步优化全液冷服务器的重量和成本,在原有铜冷板的基础上,此次基于铝材质冷板也做了全液冷系统方案的探索。以下是铝冷板全液冷服务器及冷板节点示意图。铝冷板全液冷方案中除了IO冷板的流道设计和加工方式跟铜冷板有所区别,其他部件冷板的设计基本保持跟铜冷板方案一致。与铜制IO冷板铜管嵌入铝冷板结构设计不同,铝制IO冷板直接针对铝冷板进行槽道设计,并由上盖和下底板2块冷板进行覆盖和焊接,实现一体化铝冷板结构,详细如下图所示:经过测量,冷板材质从铜到铝的替代帮助整个全液冷系统冷板重量节省44%,降低了对机箱强度和包材设计要求,提高运维便利。铝
52、冷板加工工艺灵活,更易于实现规模化,大规模量产后铝冷板方案比铜冷板成本预计可以节省20%以上。1.铝冷板全液冷方案设计图16.2U四节点铝冷板液冷服务器图17.铝冷板节点图图18.铝IO冷板图铝冷板目前在数据中心行业的使用还比较少,一方面由于铝材质的换热能力低于铜材质,相同换热设计下,铝冷板的热阻更高;另一方面,铝材质活性更高,更容易与冷却工质发生反应,严重的可能造成冷却工质杂质增加,冷板腐蚀、泄露,甚至最终影响系统使用。因此选择铝材质冷板,在保障冷板换热与流动性能满足要求的同时,需要对冷板的可靠性及冷却工质兼容性进行测试与匹配。此次铝冷板的探索,在方案方案设计、换热与流动性能等测试的基础上,
53、增加了冷却工质兼容性测试,可为后续探索与应用提供数据参考与支撑。铝冷板性能测试主要围绕散热能力和流动两方面来验证,冷板主体材质从铜改成铝后是否仍可满足各个部件的散热需求。2.铝冷板性能与兼容性测试图19.冷板冷却工质兼容性测试平台2.1冷板换热与流动性能测试将铝冷板测试样品接入专用兼容性测试平台,测试平台内配有冷板液冷系统及纯化装置,通过TTV持续加热及CDU循环实现冷却工质持续稳定高温运行,冷却工质冷板入口流速1.5m/s,冷却工质出口温度65。每天记录检查每个支路的流量、温度数据、溶液电导率值及PH值变化,定期使用专门的试验瓶收取并储存溶液。整体测试结束后,将剩余冷板和测试样片拆卸,称重并
54、进行分析剖解。通过对比测试样品前后结构参数(关键尺寸、质量、流道表面形貌),性能参数(散热性能)及测试平台冷却工质电导率及离子含量等数据,判断冷板在长周期运行后,是否存在兼容性问题。2.2冷板与冷却工质兼容性测试第五章 铝冷板全液冷方案设计与测试验证31 全液冷冷板系统参考设计及验证白皮书3.1换热与流动性能测试结果详细测试数据如下:经测试,铝冷板(与冷却工质纯水)和铜冷板(与冷却工质PG25)在相同流量下散热性能相近,经过基于 350W CPU 对比测试,CPU 铝冷板相比铜冷板在相同工况下温度高 2C(热阻值高20%),但CPU铝冷板依然能满足全液冷散热器CPU的散热需求,并且还有一定的安
55、全温度裕量。由于铝冷板和铜冷板采用相同结构设计,二者在相同流量工况下流阻基本一致。CPU铝冷板测试热阻和流阻曲线如下图。全液冷服务器铝冷板系统散热测试结果如下表。3.铝冷板测试结果及分析表9.铝冷板系统散热测试条件表10.铝冷板系统散热测试结果序号123456项目冷板材料冷却工质进水温度出水温度环境温度节点流量测试数据铝合金PG2551(W45)60241.3LPM序号12部件CPUMemory加压读取功耗W35012.4温度规格8785测试结果80/77(结温)7132 全液冷冷板系统参考设计及验证白皮书第五章 铝冷板全液冷方案设计与测试验证表12.长期测试冷板热阻变化经过超3个月高温运行后
56、,分别对冷板冷却工质、热阻、重量进行检测,并对冷板的进行切割处理,测试冷板内部结构变化,详细数据如下:图20.CPU铝冷板热阻曲线3.2兼容性测试结果Day 51.9Day 255.6Day 455.5Day 657.8Day 858.1Day 1057.7时间电导率S/cm表11.长期测试冷却工质电导率变化项目启动前测试结果-热阻C/W90天测试后结果-热阻C/W顶部冷板0.03490.0343顶中部冷板0.03440.0348底部冷板0.03460.0350第五章 铝冷板全液冷方案设计与测试验证33 全液冷冷板系统参考设计及验证白皮书34 全液冷冷板系统参考设计及验证白皮书另外关于铝冷板结
57、构强度的研究,参考通用冷板的相关标准规范,围绕冷板刚度、耐压能力及抗冲击振动等几方面进行了系统性测试,测试结果铝冷板均符合相关要求。经过检测,冷却工质的电导率、冷板质量、热性能均没有显著变化。冷却工质数据及冷板形态参数均满足要求,铝冷板拆解后,内部结构也无腐蚀性形态。部分测试过程及结构图片如下图所示:图21.冷板内部结构图图22.冷板称重图项目启动前测试结果-冷板重量g90天测试后结果-冷板重量g冷板组件重量643/646/644645/647/642项目启动前测试结果-铲齿间距mm90天测试后结果-铲齿间距mm冷板不同位置翅片厚度0.21/0.19/0.20/0.21/0.190.21/0.
58、20/0.21/0.19/0.20表13.长期测试冷板重量变化表14.长期测试冷板结构变化第五章 铝冷板全液冷方案设计与测试验证35 全液冷冷板系统参考设计及验证白皮书第六章冷板液冷未来思考展望1.全液冷冷板技术应用拓展 2.冷板液冷新技术展望第六章 冷板液冷未来思考展望36 全液冷冷板系统参考设计及验证白皮书现阶段在服务器项目中,通常情况下单颗CPU两侧内存适配可达16条(单侧8条)。考虑内存颗粒厚度和PCB板插槽位置等不同公差,同时对8-16条内存进行冷板适配对于加工工艺要求较高。同时现阶段服务器主板尺寸逐步缩减,内存间距逐步下降,内存功耗也不断增加,未来内存功耗最高将接近50W,如何保障
59、内存液冷换热也将是一个研究方向。采用通用冷板方案常因为冷板加工公差与主板内存插槽及内存自身公差匹配问题,导致内存在插入冷板插槽和内存插槽的过程中存在干涉,影响内存插拔连接及接触换热。如采用柔性热管方案,尽管可以在一定程度使冷板可以移动,抵消对内存结构公差的影响,但由于内存的频繁插拔及不断提升的散热需求,这将对热管的耐久度和换热能力提出更高的要求。因此未来枕木式内存液冷冷板方案将可以在有效增强内存液冷换热能力的同时,解决内存液冷插拔干涉的问题,但如何优化枕木散热器及内存冷板的结构及尺寸,使之适配各种服务器结构,同时使枕木散热器结构标准化,加工模具化,成本低价化,将是未来该项技术和方案能否真正批量
60、使用的关键。1.全液冷冷板技术应用拓展1.1内存液冷应用硬盘自身的特点是尺寸大,功耗低,温度要求高,但同时要求能够具备热插拔的特点。通常情况下,单台服务器硬盘数量8-24左右,数量多且排列紧密。如果按照CPU液冷的方式进行设计,布置传统铲齿冷板结构,一方面缺少足够的空间布置,每个冷板需要由盖板,基板和铲齿流道组成,厚度至少6-8mm,且需要每个硬盘增加2对快接头实现水路连接,这将极大增加冷板成本,大幅增加漏点及维护难度,这对于整个服务器的液冷是不利的。充分考虑硬盘在尺寸,功耗和温度的要求及其热插拔性,采用仅增加冷板(含热管)实现无水接触换热的方案或将是未来硬盘液冷的一个重要发展方向。通过金属板
61、及热管与整个硬盘表面进行接触,将硬盘的热量进行汇集后传递到端面,再由端面接触的液冷冷板将热量带走,实现换热。金属冷板(含热管)可支持不低于30W/颗硬盘换热,厚度不高于3mm,可以与硬盘及硬盘壳更好地进行组装拼接。在上述优势的基础上,采用该种换热方案的硬盘液冷仍需更好地解决接触点固定、接触面材料选择及提升冷板导热能力等相关技术问题,另外将整个硬盘冷板标准化和模具化,也是未来要解决的重要问题。1.2硬盘液冷应用2.冷板液冷新技术展望对于传统冷板液冷系统,系统内部冷却工质的工作压力高于大气压,当管路老化或破损后,内部冷却工质会流出到服务器内部,可能对服务器乃至数据中心造成灾难性的损害,这也是常规冷
62、板式液冷技术推广应用中客户的核心顾虑点。负压冷板液冷技术突破正压的弊端,变被动应对为主动防御,可确保液冷循环管路内的冷却工质工作压力稳定低于外界大气压的状态。当管路出现破损,甚至切断的情况,冷却工质因为低压效果,被大气压推动并回流到CDU腔室内,全程不出现任何漏液现象,从根源上解决漏液痛点问题。未来如需在数据中心领域应用负压液冷技术,最重要的是解决液冷系统阻力控制和优化的问题。负压CDU压差相对正压CDU来说较小,可提供压差在小于0.7bar,因此应通过在保障冷板液冷部件换热能力的同时,减少冷却工质流量及优化结构进而减少系统阻力,实现更高效的运输;同时,由于系统低压,冷却工质饱和温度将低于10
63、0(通常在70左右),因此系统回水温度需要有效控制,避免产生汽化。针对于负压泄露后的告警及维护等方面的技术的优化,也是负压液冷能够实现应用的重要方向。2.1负压冷板液冷技术展望相变冷板液冷是一种较为新兴的液冷技术,该技术基于泵驱两相冷却工质回路技术,由于其利用冷却工质在加热后汽化,液-气蒸发相变潜热散热,具备换热效率高,换热阶段温度恒定等优势;又因汽化潜热远高于显热,因此相同换热量条件下,所需冷却工质流量小,换热过程泵功节能性更高;同时又因为该类相变冷却工质通常为含氟类物质,具备较高的绝缘性,因此如出现冷却工质泄露至服务器中也不会对服务器造成影响,系统安全性更高。综上来说,相变冷板液冷具备高效换热,高效均温,高效节能及高效安全的优势。未来如需在数据中心领域应用相变液冷技术,同样存在一些问题和挑战需要解决。第一个问题是对于相变工质的选择,需要考虑冷却工质适合使用的压力与沸点范围,安全性,环保性,换热及流动能力等因素;另一个关键点是对于冷却工质的系统压力控制,需要对系统内部各个部件的压损进行调整及控制,实现冷却工质在服务器不同功耗,不同冷板结构等情况下,系统内部压力和压损在合理范围内,保障冷却工质在整个流动周期内均处于气液两相状态,既不会汽化过低影响换热,又不会汽化过高造成管内干涸气温骤升。2.2相变冷板液冷技术展望第六章 冷板液冷未来思考展望37 全液冷冷板系统参考设计及验证白皮书