真正能承载 120 kW 机柜的数据中心散热解决方案:芯片直连迁移指南

data center cooling solutions

芯片直连液冷是唯一能够承载超过 50 kW AI 机柜的数据中心散热解决方案,而其经济性促使运营商在远低于大多数人所预期的功率密度下就切换方案。TrendForce 报告称,随着 NVIDIA GB200 NVL72 机柜达到每机柜 130-140 kW 的功率密度,AI 数据中心液冷渗透率从 2024 年的 14% 跃升至 2025 年的 33%,这一密度迫使运营商重新审视其数据中心散热解决方案。

芯片直连数据中心散热解决方案在任何功率密度下都能将 PUE 保持在接近 1.10,而风冷方案在 60 kW 以上会从 1.5 一路攀升至 1.7-2.0。这是一项财务决策,而非技术决策。

什么是芯片直连冷却?它为何正在重塑数据中心散热解决方案?

芯片直连(DTC)冷却是为 AI 算力集群增长最快的数据中心散热解决方案,它将精密冷板直接安装在 GPU 和 CPU 上,并让冷却液流经微通道,从源头捕获热量。冷却液分配单元(CDU)将该热量传递给设施水回路或干式冷却器。ResearchIntelo 估计 2025 年 DTC 占液冷支出的 38.4%,而 DC Market Insights 认为芯片直连占更广泛液冷市场份额的 71.4%。

这种架构解释了为什么 DTC 是 GPU 算力集群的首选数据中心散热解决方案。据 ResearchIntelo 称,在相同功耗下,结温比风冷低 15-25°C,从而扩大了性能余量并保护加速器投资。NVIDIA 出货的 GB200 NVL 系列自带原生冷板接口,几乎所有主流服务器 OEM 现已提供支持 DTC 的 GPU 平台。这一转变已成为主流,而非试验性尝试。

数据中心散热解决方案

风冷数据中心散热解决方案实际上能支持多大的机柜功率密度?

风冷在每机柜约 25-30 kW 处触及物理上限,这正是现代数据中心散热解决方案转向液冷的原因。American Compute 记录显示,一台 10 kW 机柜在 PUE 1.5 下风冷运行时,当负载达到 60 kW 时 PUE 会恶化至 1.7-2.0。

水的体积热容量约为空气的 3,500 倍,因此一旦 GPU 热设计功耗超过 1,000 瓦,无论施加多大风量,风扇和冷通道都将失去余量。

NVIDIA 的路线图量化了这一转变:2020 年 A100 为 300W,2023 年 H100 为 700W,2025 年 GB200 模块超过 1,000W。一个容纳八块此类 GPU 的机柜需要 80-120+ kW,这是任何风冷数据中心散热解决方案都无法带走的热量。这是物理上限,而非风扇数量问题。

GYGO 的 2026 年架构指南指出,背板热交换器(rear-door heat exchanger)上限约为 40-50 kW,无法扩展至 Blackwell 的功率密度。仅靠气流移除 100 kW 的热量需要每分钟输送约 35,000 立方英尺的空气,这使得结构化布线和维护几乎无法实现。

改造现有设施与新建「液体就绪」的数据中心散热解决方案相比,成本如何?

根据 Rax 2026 数据,芯片直连数据中心散热解决方案的资本成本约为每机柜 5,000-15,000 美元,另加 CDU、管道和外部排热系统。回收期取决于功率密度。ToneCooling 报告称,每机柜 40 kW 以上的新建高密度部署在一年内即可收回投资,而改造项目需要 1.5-3 年。Dell 宣称直接液冷可将数据中心能耗成本降低多达 45%,投资回收期可在 1.3 年内实现。

Axis Intelligence 用美元量化了年度收益:将一台 132 kW 的 GB200 NVL72 机柜从风冷 PUE 1.56 转为液冷 PUE 1.10,在电价为每千瓦时 0.10-0.15 美元的情况下,每年可节省 53,191-79,786 美元。在十年的基础设施周期内,累计可节省 531,907-797,861 美元。

Supermicro 补充称,其 DLC-2 平台可将数据中心功耗降低多达 40%,并将总拥有成本降低 20%。这些节省使「液体就绪」的数据中心散热解决方案成为一项资本支出决策,而非运营支出风险。等待的代价会随着每一代 GPU 不断累积。

在可靠的芯片直连数据中心散热解决方案中,哪些组件最关键?

任何芯片直连数据中心散热解决方案的可靠性都由四个层面决定:芯片级的冷板、托盘级的分歧管(manifold)和快速接头、机柜级的CDU,以及用于排热的设施水系统。侧置式(sidecar)CDU 目前占主导地位,而列间式单元在高密度 AI 机柜中正逐渐兴起。Vertiv 的测试显示,泵驱两相芯片直连方案在将外壳温度维持在 56.4°C 的同时可带走 170 kW 的热量。组件选择决定了这种能力在持续负载下能否保持。

Supermicro 报告称,其机柜内 CDU 每机柜可带走 250 kW 热量,并可捕获机柜高达 98% 的热量。快速接头值得特别关注,因为其密封完整性决定了泄漏是否会波及计算设备。在每一种芯片直连数据中心散热解决方案中,运营商都必须将液冷回路视为基础设施,从一开始就设计冗余、过滤和化学监控。一块缺液(starved)的冷板会悄无声息地限制整个 GPU 托盘的性能。

数据中心散热解决方案

如何在投入之前验证数据中心散热解决方案?

在规模化部署前先运行结构化试点,因为调试失败会摧毁大多数数据中心散热解决方案的预算。NVIDIA GB200 NVL72 要求供水温度为 25-45°C,且水质化学指标严格;机柜在分歧管处需要每分钟超过 700 升的流量。验证中发现的任何偏差都应叫停部署。在签署验收前,请核对清单上的每一项:

  • 按机柜峰值功率加 20% 余量来选型 CDU;选型偏小是最常见的现场故障。
  • 在每一个冷板连接点和分歧管接头处部署泄漏传感器,而不只是在 CDU 处。
  • 对照 OEM 规格书核验水质和电导率目标值。
  • 使用 CFD 模拟所有冷板的流量分配;一块 GPU 缺液即可使整个机柜失效。
  • 在上线前对运维人员进行流体处理、压力检查和快速接头操作流程培训。
  • 投运后的头一个季度,每周监测每个模块的冷却液流量并记录压差。

数据中心散热解决方案在真实世界中改造需要多长时间?

完整的风冷转液冷改造遵循可预期的流程:热环境调查、为管路施工而进行的机柜迁移、CDU 安装、分歧管布线以及分阶段切换。American Compute 建议,当每机柜功率密度目标超过 40 kW 时,一座 2 MW 的设施需要 12-18 个月。采用「液体优先」设计的新建项目可将这一周期压缩至 6-9 个月,因为楼板、供水和排热从第一天起就已规划完成。

不确定因素在于设施水系统。芯片直连数据中心散热解决方案需要清洁、经过处理的水回路,而老旧建筑物的水压、冗余和过滤能力往往达不到要求。Vertiv 和 Supermicro 等供应商现提供预装式 CDU 撬装机组,只需极少的土建工作即可安装到位。建议将项目时间的 20% 预留给水质验证和许可证办理,因为工期延误往往发生在这一环节。

哪些错误会悄然毁掉数据中心散热解决方案的投资回报?

第一个错误是在比较数据中心散热解决方案时把 PUE 当作唯一的 KPI。高盛现在建议衡量「功率计算效能」(Power Compute Effectiveness),因为 1.10 的 PUE 完全无法说明一座设施每平方英尺交付的是 50 还是 500 TFLOPS。第二个错误是忽视水效率。NVIDIA 的 45°C 芯片直连架构在气候条件有利的情况下,可将设施冷却用水从每年每 MW 约 260 万加仑降至接近零。

第三个错误是拒绝改造。背板热交换器的上限约为 40-50 kW,无法扩展至 Blackwell 的功率密度,因此任何建立在其上的迁移方案都会在下一代 GPU 到来时停滞。第四个错误是把流体化学处理推迟到故障出现之后;腐蚀和生物污垢会悄然抬高压降,直至 CDU 跳闸。每一个错误都会叠加放大,把一个合理的数据中心散热解决方案变成成本黑洞。运营商几乎无法挽回失去的季度。

运营商如何让液冷设施无停机运行?

芯片直连数据中心散热解决方案自 2018 年起已在生产的超大规模数据中心运行,ToneCooling 报告的 MTBF(平均无故障时间)超过 100,000 小时。停机风险集中在流体处理环节,而非硬件。运营商应为每个 CDU 区域安排季度压力测试、月度电导率检查以及冗余的泵回路。NVL72 每分钟超过 700 升的流量意味着,任何非计划内的阀门关闭都会在几分钟内演变为热事件。

备用快速接头和冷板应在第一台机柜通电前就备在场内。调试记录应将每台机柜与其 CDU、分歧管和传感器组建立映射,以便运维人员快速定位压差异常。NVIDIA 的参考设计将液冷回路视为与电力、网络、存储和计算并列的第五大关键系统。运行手册演练可以避免因恐慌性重启而导致的大多数次生故障。

数据中心散热解决方案

运营商何时应升级其数据中心散热解决方案战略?

升级触发条件应以功率密度为准,而非日历时间。每机柜低于 30 kW 时,优化后的风冷仍然具有成本效益。每机柜在 30-80 kW 之间时,芯片直连成为数据中心散热解决方案的实际默认选择;超过 80 kW 时,它则是唯一选择。监管也在强化这一时间表。欧盟规定到 2030 年新建数据中心的 PUE 必须低于 1.3,新加坡要求低于 1.2。密度区间正在以比多数路线图预期更快的速度收紧。

未来的硬件将使这一触发条件变得不可逆转。NVIDIA 的 Vera Rubin NVL144 目标为每机柜约 600 kW,而德勤估计下一代 AI 机柜即使在 2026 年也可能达到 370 kW。现在部署「液体优先」的设施将能承载这些系统;而等待观望的设施则要争夺不断缩小的改造窗口期,并承受不断攀升的水回路成本。为数据中心选择合适的散热解决方案应与电力采购一起,列入本季度的董事会议程。

数据中心散热解决方案的选择如今决定了一座设施是能够承载 2027 代 GPU,还是沦为闲置资产。芯片直连方案可实现每机柜 80-120+ kW、PUE 1.05-1.15,在 1-3 年内收回成本,并且结温比风冷低 15-25°C。这是设施今年最值得做的基础设施升级。

TrendForce 预计,随着 2027 年后液-液架构加速发展,液冷渗透率将攀升至 33% 以上。设定触发阈值、用试点验证并守护水化学指标的运营商,将收获现代数据中心散热解决方案的密度经济性。其余的人将付出三倍的代价才能追上。