《数据中心动态》指出冷单元分配器控制系统中的热滞后是一个未被充分评估的可靠性风险,可能威胁高密度液冷部署。
这一问题的核心工程错配看似简单:现代 AI 加速器的功耗变化在毫秒级内完成,而旨在管理它们液冷系统的响应时间则以分钟计。在这两个时间尺度之间,存在一个未被监控的间隔期,在此期间,芯片结点的热能积累速度快于冷却回路将其移除的速度。
对于传统的数据中心工作负载而言,这一差距无关紧要。服务器功耗水平变化缓慢,设计良好的液冷回路的ers热惯性可以轻松吸收这些过渡过程而不产生后果。然而,在 AI 训练和推理环境中,这一差距已不再可以忽略不计。它代表了一种可量化的可靠性风险——而在当前的运行监控、可靠性计算以及设施风险框架中,这种风险几乎完全被忽视。
**AI 加速器与功率阶跃问题**
当代 CDU(冷却分配单元)控制架构标准化时,很少有冷却工程师能预见到 AI 计算基础设施的热密度增长如此迅速。目前,量产中性能最高的液冷 AI 加速器在持续计算负载下,每台设备的散热量为 700 至 1,000 瓦。机架级 AI 系统——将多个加速器集成到专为液冷设计的机箱中,并配备高带宽互连技术——其机架级功耗超过 100 千瓦。这些数据标志着设施基础设施必须管理的热负荷发生了根本性转变。
比峰值功率更关键的是其变化速率。AI 训练工作负载,特别是使用数据并行或张量并行计算分布的大语言模型训练,会在作业边界处施加快速的功率过渡。当训练作业初始化时,计算集群中的所有加速器会在几十毫秒内从低功耗待机状态切换到全计算负载。现代 AI 加速器固件以尽可能快的速度执行此过渡,以最小化计算时间;早期世代用于控制功率上升速率的电源管理模式已被逐步淘汰,取而代之的是近乎瞬时的过渡。
结果是功率需求呈现阶跃函数,而非斜坡上升。推理工作负载呈现出不同但同样严苛的轮廓:查询突发会触发随机功率尖峰,在加速器从预填充阶段切换到解码处理阶段时,30 到 50 毫秒内即可达到峰值 TDP(热设计功耗)的 60% 到 80%。表 1 展示了当前 AI 加速器平台类别的关键功率瞬态参数以及 CDU 响应特性。
表 1:AI 加速器平台功率瞬态特性与 CDU 热响应对比
– Ajay Sekar
**CDU 控制响应的解剖**
冷却分配单元(CDU)作为一个闭环反馈控制系统运行。它监测过程变量——主要是供液和回液温度、压差和体积流量率——并调整泵速和控制阀位置以维持设定的设定点。在大多数部署系统中,这依赖于比例-积分-微分(PID)控制,控制器参数在调试期间经过调优,以确保在预期的稳态负载下稳定运行。
水基热系统中 PID 控制的物理原理在每个控制链阶段都引入了固有的响应滞后。这不是设计缺陷;而是被控物理系统的属性。图 1 追踪了从初始 GPU 功率激增到 CDU 向冷板输送修正后的供液温度冷却剂的完整事件序列。
图 1 中显示的时间段源自第一性原理的工程分析。二次侧环路中的传播延迟(15 到 45 秒)是根据环路几何形状计算的:每排机架的二次侧环路体积为 10 到 25 升,设计流速为 0.2 到 0.5 米/秒,流体传输时间落在此范围内。传感器热响应时间(三到八秒)反映了标准工业口袋安装配置中 PT100 电阻温度计的公开规格。控制器轮询间隔(一到五秒)代表了工业 CDU 制造商记录的基于 PLC 系统的扫描周期范围。阀门致动器响应时间(五到 30 秒)取自 CDU 一次侧安装所用管径的公开电动球阀致动器规格。换热器平衡时间(15 到 60 秒)源于基于板式换热器在代表性操作流量下水含量为 10 到 40 升的热质量计算。
– Ajay Sekar
**热债务窗口:量化风险**
热债务窗口——即 GPU 功率激增与 CDU 纠正响应之间的间隔——不仅仅是一个运营不便的问题。它在两个不同的时间尺度上带来可靠性后果。
在短期内,接近其热设计极限运行的加速器上的结点温度将在债务窗口期间超过稳态基准。对于一个以峰值 TDP 的 95% 运行且供液冷却剂温度为 35°C 的机架级 AI 计算系统,60 秒的 CDU 响应滞后可能导致结点温度在其稳态工作点之上升高 10 到 20°C。该估计值源自使用 Rth,j-c ≈ 0.015–0.025°C/W 的标准热阻分析,适用于直接液冷加速器封装——这一范围与供应商发布的芯片热设计规范一致——并结合滞后窗口期间冷板入口处的 5–12°C 冷却剂温度偏移,通过公式 ΔTjunction = Rth,j-c × Q + ΔTcoolant 应用得出。
对于调整为在固件级别节流阈值附近运行的加速器——这是在优化每瓦冷却能量最大利用率的部署中常见的配置——这种超出会触发频率限制,并导致计算吞吐量明显下降。节流事件会被记录,但很少被调查。操作员观察到计算利用率指标短暂下降,并将其归因于作业调度程序开销或节点间通信延迟。热根源通常未被诊断出来。
在中期内,跨越数千次训练作业启动的重复热循环会加速加速器封装内的机械疲劳。瞬态事件中芯片基板与冷板表面之间的温差会产生差异热膨胀。即使在规定限值内,这种温差的反复循环也会逐渐累积焊点疲劳、封装边缘的底部填充层分层以及多芯片加速器架构中介层的应力。故障是累积性的且不明显:在液冷 AI 部署中使用 18 个月后失效的设备,可能表现出的是数万次热循环积累的机械损伤,而不是潜在的制造缺陷。
**当前运营实践中的可见性缺口**
目前针对液冷 AI 部署的运营监控平台几乎普遍围绕稳态热参数进行配置。DCIM(数据中心基础设施管理)系统将供液和回液温度报告为滚动平均值——通常是一到五分钟的时间窗口。压差和流量率也以类似的频率进行监控。这些参数很好地实现了其预期目的:它们确认冷却系统在正常持续运行期间保持足够的性能。
它们无法揭示的是秒到分钟时间尺度上的热行为。一个报告供液冷却剂温度在设定点 ±0.5°C 范围内的 DCIM 平台提供了准确的稳态性能画面——但对 GPU 集群功率转换最初 90 秒内发生的情况没有任何画面。
热信号存在于数据中。现代 AI 加速器通过基板管理控制器(BMC)以亚秒级的轮询间隔暴露结点温度遥测数据。一个在稳态下运行温度为 35°C、在 75 秒的瞬态过程中达到 52°C 的加速器,如果收集了该数据并与 CDU 响应时间戳相关联,会在 BMC 日志中注册该偏移。在大多数部署系统中,这种关联并未建立。加速器侧的遥测数据和 CDU 侧的控制日志存在于单独的系统中,由单独的运营团队管理,很少一起检查。
结果是出现了一个结构性的可见性缺口:热可靠性风险最高的精确间隔,正是当前监控平台未配置去捕获的间隔。