Охлаждение для высокопроизводительных вычислений преодолело решающий порог. ИИ-акселераторы, такие как NVIDIA H100 мощностью 700 Вт и Blackwell B200 мощностью 1000 Вт, поднимают плотность стоек выше 100 кВт, в то время как воздушное охлаждение ограничивается примерно 25–30 кВт на стойку. Ответ отрасли — жидкостное охлаждение, рынок которого, по прогнозам Dell'Oro Group, достигнет примерно 7 млрд долларов к 2029 году. Для операторов HPC вопрос больше не в том, стоит ли внедрять жидкостное охлаждение, а в том, какая архитектура соответствует рабочей нагрузке, бюджету и ограничениям объекта.
Почему система охлаждения высокопроизводительных вычислительных систем стала критическим «узким местом» в кластерах искусственного интеллекта?
Физика конвективного теплообмена устанавливает жесткий предел для воздушного охлаждения; вентиляторы и радиаторы не способны его преодолеть. Мощность ускорителей резко выросла: H100 потребляет 700 Вт, Blackwell B200 — 1 000 Вт, а Rubin следующего поколения, согласно отчету The Cooling Report, как ожидается, превысит эти показатели. Плотный кластер для обучения ИИ повышает плотность мощности в стойке свыше 100 кВт, а в некоторых конфигурациях она приближается к 120 кВт. Проекты следующего поколения нацелены на достижение показателя от 200 до 250 кВт на стойку, поэтому охлаждение высокопроизводительных вычислительных систем стало приоритетной задачей при проектировании.
Решения AMD MI300X и Intel Gaudi 3 также выходят за пределы энергетических ограничений, с которыми способно справиться воздушное охлаждение, так что это не проблема одного конкретного производителя. Ожидается, что к 2026 году глобальные рабочие нагрузки в сфере ИИ достигнут примерно 44 ГВт, превысив рабочие нагрузки, не связанные с ИИ, которые составят примерно 38 ГВт. Когда одна стойка потребляет больше энергии, чем небольшое офисное здание, охлаждение ограничивает вычислительную плотность, затраты на электроэнергию и время безотказной работы. Решения по охлаждению высокопроизводительных вычислительных систем теперь определяют, будет ли кластер работать с полной загрузкой или его производительность будет снижаться из-за тепловой нагрузки.
Какие основные технологии охлаждения для высокопроизводительных вычислений используются сегодня?
В современных центрах высокопроизводительных вычислений (HPC) преобладают три семейства технологий. Традиционное воздушное охлаждение использует вентиляционные установки компьютерного зала, вентиляторы и радиаторы для отвода тепла. Жидкостное охлаждение непосредственно на уровне микросхем, также называемое охлаждением с помощью холодных пластин, обеспечивает циркуляцию хладагента через металлические пластины, установленные на процессорах (CPU), графических процессорах (GPU) и модулях памяти. При погружном охлаждении целые серверы погружаются в диэлектрическую жидкость в однофазных или двухфазных конфигурациях. Каждое из этих семейств решает свой диапазон задач охлаждения в сфере высокопроизводительных вычислений.
Данные о внедрении показывают, насколько быстро меняется ситуация. Исследование «Cooling Systems Survey 2024» от Uptime Institute, основанное на опросе 964 респондентов, показало, что 22 процента уже используют прямое жидкостное охлаждение на своих объектах, а 61 процент рассмотрит возможность его внедрения в будущем. Почти половина пользователей DLC сообщают, что эта технология используется менее чем в 10 процентах их ИТ-стоек. В сфере охлаждения высокопроизводительных вычислительных систем практический вопрос уже заключается не в том, у какого поставщика покупать оборудование, а в том, на какой архитектуре следует стандартизировать систему по мере увеличения плотности размещения оборудования.
Какой объем тепла способно отводить традиционное воздушное охлаждение высокопроизводительных вычислительных систем?
Практический предел воздушного охлаждения составляет примерно 25–30 кВт на стойку, и этот предел уже много лет практически не меняется. Оптимизация не позволяет преодолеть этот барьер. Любой кластер высокопроизводительных вычислений (HPC), потребляющий более 30 кВт на стойку, требует применения иной стратегии отвода тепла. Понимание этого предела является первым шагом в разработке любой стратегии охлаждения систем высокопроизводительных вычислений.
Разрыв в эффективности столь же очевиден в показателе эффективности использования электроэнергии (PUE). Согласно данным China Economic Net, традиционные центры обработки данных с воздушным охлаждением уже давно работают с показателем PUE выше 1,8. На охлаждение обычно приходится от 30 до 40 процентов общего энергопотребления центра обработки данных, уступая лишь самому ИТ-оборудованию, на долю которого приходится от 45 до 60 процентов. Объекты с жидкостным охлаждением могут снизить показатель PUE до уровня ниже 1,1, а восемь национальных узловых центров Китая в настоящее время демонстрируют средний показатель около 1,25. В случае охлаждения высокопроизводительных вычислительных систем эта разница в эффективности напрямую влияет на эксплуатационные расходы, углеродный след и возможность увеличения вычислительной мощности в рамках существующих ограничений по энергопотреблению.
«Direct-to-Chip» или «Immersion»: какую архитектуру охлаждения для высокопроизводительных вычислений выбрать?
При жидкостном охлаждении «прямо на чип» холодные пластины крепятся к компонентам, выделяющим наибольшее количество тепла, и отводят большую часть тепла непосредственно у источника. При погружном охлаждении весь сервер погружается в диэлектрическую жидкость, которая отводит практически всё тепло от каждого компонента. Выбор между этими двумя методами определяет всю стратегию охлаждения систем высокопроизводительных вычислений, поэтому это решение требует тщательного анализа.
По данным Dell’Oro Group, однофазное прямое жидкостное охлаждение укрепило свои позиции в качестве доминирующей архитектуры для кластеров искусственного интеллекта. Для большинства организаций технология «прямого охлаждения микросхем» (direct-to-chip) представляет собой самый быстрый путь к обеспечению охлаждения высокопроизводительных вычислительных систем с минимальными перебоями в работе. Иммерсионное охлаждение по-прежнему остается привлекательным решением в тех случаях, когда требуемая плотность размещения превышает возможности модернизации существующей инфраструктуры или когда операторы стремятся полностью отказаться от систем вентиляции.
Сколько стоит модернизация системы охлаждения для высокопроизводительных вычислений и какую экономию она обеспечивает?
Экономическая эффективность систем охлаждения высокопроизводительных вычислительных систем улучшается по мере расширения рынка. По прогнозам Dell’Oro Group, к 2029 году объем мирового рынка жидкостного охлаждения достигнет примерно $7 миллиардов по выручке производителей. По данным Китайской академии информационных и коммуникационных технологий, в Китае рынок жидкостного охлаждения для интеллектуальных вычислительных центров в 2024 году достиг 18,4 млрд юаней, продемонстрировав рост на 66,1 % по сравнению с предыдущим годом, и к 2029 году может достичь примерно 130 млрд юаней.
Экономия в сфере охлаждения высокопроизводительных вычислительных систем достигается за счет снижения показателя PUE. Снижение показателя PUE с 1,8 до уровня ниже 1,2 позволяет сократить энергопотребление на охлаждение более чем наполовину. В настоящее время показатель PUE на узлах национальных центров в среднем составляет от 1,2 до 1,3, а системы с жидкостным охлаждением демонстрируют показатель PUE ниже 1,1. Повторное использование тепла создает дополнительный источник дохода: теплый теплоноситель может подаваться в систему централизованного теплоснабжения, превращая отработанное тепло в ценный ресурс. За пятилетний срок эксплуатации объекта экономия энергии, достигаемая за счет модернизации систем охлаждения высокопроизводительных вычислительных систем, как правило, превышает капитальные затраты на само оборудование.
Как осуществить перенос системы охлаждения для высокопроизводительных вычислений без простоев?
Миграция осуществляется поэтапно, что обеспечивает защиту действующих рабочих нагрузок. Во-первых, необходимо провести аудит фактической тепловой нагрузки на каждую стойку с использованием данных телеметрии, а не номинальных значений, указанных на паспортной табличке. Во-вторых, следует провести пилотное внедрение на одном ряду или в одном отсеке, проверив расход охлаждающей жидкости, обнаружение утечек и контроль температуры в условиях производственной нагрузки. В-третьих, следует постепенно расширять масштаб, уделяя приоритетное внимание стойкам с наибольшей плотностью размещения оборудования, где воздушное охлаждение уже работает на пределе возможностей. Поэтапный план позволяет обеспечить предсказуемость модернизации систем охлаждения высокопроизводительных вычислительных систем.
Блок распределения охлаждающей жидкости является центральным узлом интеграции, который разделяет техническую воду объекта и охлаждающую жидкость серверов, а также контролирует расход и температуру. Коллекторы направляют охлаждающую жидкость к каждому серверу, а быстроразъемные фитинги позволяют выполнять техническое обслуживание без слива контура. Система обнаружения утечек должна быть установлена на каждом соединении, а мониторинг должен отслеживать температуру охлаждающей жидкости и температуру перехода чипа. При использовании оборудования разных поколений следует выделить небольшую зону с воздушным охлаждением для устаревших серверов. Любая миграция системы охлаждения высокопроизводительных вычислительных систем должна быть обратимой на уровне стойки, чтобы сбой при внедрении затрагивал только один сегмент, а не весь кластер.
Какие преимущества в плане надежности и производительности может обеспечить система охлаждения для высокопроизводительных вычислений?
Жидкостное охлаждение устраняет тепловое ограничение, которое является проблемой для ускорителей с воздушным охлаждением. Стабильно низкие температуры позволяют графическим процессорам работать на полной тактовой частоте в течение длительного времени, сокращая время обучения и моделирования. Платформа Neptune от Lenovo, в которой холодные пластины устанавливаются непосредственно на графические процессоры и модули памяти, обеспечивает меньшее количество замедлений и более длительный срок службы оборудования за счет устранения тепловых пиков. Эти преимущества превращают систему охлаждения высокопроизводительных вычислительных систем не просто в средство обеспечения работоспособности, а в фактор, влияющий на производительность.
Операторы также используют цифровые двойники для настройки режимов охлаждения. Команда Ок-Риджской национальной лаборатории, стоящая за созданием экзафлопного суперкомпьютера «Frontier», создала цифровой двойник, который моделирует телеметрические данные по энергопотреблению и охлаждению, позволяя инженерам тестировать температуру охлаждающей воды и изменения в графике работы, прежде чем применять их к реальной машине. Это снижает риск проведения экспериментов с системой, которая слишком ценна для непосредственного тестирования. Таким образом, система охлаждения высокопроизводительных вычислительных систем превращается из статического вспомогательного модуля в активно управляемую подсистему, в которой надежность, эффективность и производительность оптимизируются одновременно.
Как будет развиваться система охлаждения высокопроизводительных вычислительных систем до 2030 года?
До конца десятилетия три тенденции будут определять развитие систем охлаждения в сфере высокопроизводительных вычислений. Во-первых, однофазное прямое жидкостное охлаждение останется стандартом для кластеров искусственного интеллекта, в то время как двухфазные и иммерсионные подходы будут совершенствоваться для нишевых применений. Во-вторых, плотность заполнения стоек будет продолжать расти; уже разрабатываются проекты, рассчитанные на 200–250 кВт на стойку, что приведет к повышению температуры охлаждающей жидкости и сделает повторное использование тепла более привлекательным. В-третьих, интеграция объектов будет углубляться: системы жидкостного охлаждения будут проектироваться в здания с самого начала, а рекуперация тепла станет стандартом в холодном климате.
Стратегический вывод очевиден: охлаждение высокопроизводительных вычислительных систем теперь является ключевым архитектурным решением, а не второстепенным аспектом при проектировании инфраструктуры. Организации, которые внедряют стандартизированные стойки, готовые к жидкостному охлаждению, обученные специалисты и инструменты мониторинга, смогут без проблем внедрять каждое новое поколение графических процессоров без необходимости перепроектирования инфраструктуры. Те же, кто будет ждать, пока воздушное охлаждение выйдет из строя под нагрузкой, столкнутся с необходимостью спешной миграции и предотвратимыми простоями.
Заключение
Охлаждение высокопроизводительных вычислительных систем превратилось из дополнительной меры по повышению эффективности в обязательное требование для кластеров, рассчитанных на работу с искусственным интеллектом. Воздушное охлаждение ограничивается примерно 25–30 кВт на стойку, в то время как ускорители класса B200 выводят потребляемую мощность стоек за пределы 100 кВт. Жидкостное охлаждение непосредственно на уровне чипов является доминирующим решением в ближайшей перспективе. Данные Uptime Institute показывают, что 22 % объектов уже используют DLC, Dell’Oro прогнозирует, что к 2029 году объем рынка достигнет $7 млрд, а объекты с жидкостным охлаждением регулярно достигают показателя PUE ниже 1,2. Концепция проста: проведите аудит тепловой нагрузки, запустите пилотный проект на одном отсеке, стандартизируйте стойку с поддержкой жидкостного охлаждения и масштабируйте систему с помощью мониторинга. Каждое решение по охлаждению высокопроизводительных вычислительных систем, принятое сегодня, определит, какие организации смогут развернуть ускорители следующего поколения с полной загрузкой.
