Будем честны: воздушное охлаждение достигло своего предела. Если вы эксплуатируете серверы высокой плотности или кластеры ИИ, вы это уже знаете. Именно поэтому центры обработки данных повсеместно переходят на решение с жидкостным охлаждением – лучшая тепловая эффективность, более низкий PUE и гораздо более быстрый путь к снижению совокупной стоимости владения (TCO).
Воздушное охлаждение было стандартом на протяжении десятилетий, но оно больше не является устойчивым. Обычные кондиционеры (CRAC/CRAH) не справляются со стойками, мощность которых превышает 15-20 кВт на стойку. Высокопроизводительные CPU и GPU теперь генерируют 300-700 Вт на чип, а мощность AI-ускорителей, таких как NVIDIA H100 или AMD Instinct, может превышать 700 Вт. Низкая удельная теплоемкость воздуха и плохая теплопроводность требуют мощного воздушного потока, что приводит к шумным вентиляторам, высокой паразитной мощности и ограниченной мощности охлаждения.
В отличие от этого, при жидкостном охлаждении используется вода или диэлектрические жидкости, которые на порядки эффективнее передают тепло. Теплопроводность жидкости в 30-50 раз выше, чем у воздуха, а удельная теплоемкость примерно в 4 раза больше. Это фундаментальное преимущество делает жидкостное охлаждение единственным жизнеспособным решением для центров обработки данных высокой плотности.
Ключевые преимущества решения жидкостного охлаждения
Значительное снижение эффективности энергопотребления
Наиболее убедительным показателем для любого центра обработки данных является PUE. Традиционные центры с воздушным охлаждением обычно имеют показатель PUE 1,5-1,8, что означает, что на охлаждение тратится 50-80% дополнительной энергии. Хорошо продуманное решение для жидкостного охлаждения может обеспечить PUE на уровне 1,04-1,1, приближаясь к теоретическому единству. Охлаждение непосредственно на кристалле (холодная пластина) и погружное охлаждение позволяют отказаться от большинства вентиляторов и снизить нагрузку на чиллер, сократив затраты энергии на охлаждение на 50-80%.
Поддержка экстремальных плотностей мощности
В то время как максимальная мощность воздушного потока составляет около 30 кВт на стойку, решение на основе жидкостного охлаждения легко поддерживает 50, 100 и даже 200 кВт на стойку. Такие возможности крайне важны для обучающих кластеров ИИ, симуляторов высокопроизводительных вычислений и крупномасштабных облачных вычислений. Гипермасштабируемые компании, такие как Google, Microsoft и Meta, уже используют стойки с жидкостным охлаждением для размещения большего количества вычислений на квадратный фут, что позволяет сократить общую площадь помещения и расходы на инфраструктуру.
Обеспечение свободного охлаждения и повторного использования тепла
Системы жидкостного охлаждения работают при более высоких температурах охлаждающей жидкости (40°C-65°C), в отличие от воздушного охлаждения, для которого требуется охлажденный воздух (~22°C). Это позволяет использовать систему жидкостного охлаждения для бесплатного охлаждения с помощью сухих охладителей или градирен в течение большей части года. Еще лучше то, что отработанное тепло может быть повторно использовано для обогрева зданий, теплиц или сетей централизованного теплоснабжения, превращая центр затрат в источник дохода.
Снижение уровня шума вентиляторов, уменьшение объема технического обслуживания и частоты отказов серверов
Воздушное охлаждение требует наличия в серверах высокоскоростных вентиляторов, которые потребляют электроэнергию, создают шум (часто >85 дБА) и накапливают пыль. Вентиляторы являются одними из наиболее подверженных отказам компонентов сервера. Решение с жидкостным охлаждением позволяет отказаться от большинства вентиляторов в самом сервере (за исключением памяти/VRM в некоторых конструкциях), что обеспечивает более тихую работу, низкий уровень вибрации и более высокую надежность. Исследования показывают, что серверы с жидкостным охлаждением имеют на 25-40% более низкую годовую частоту отказов по сравнению с аналогами с воздушным охлаждением.
Типы решений жидкостного охлаждения для центров обработки данных
Жидкостное охлаждение непосредственно на чипе (Cold Plate)
Холодная пластина крепится непосредственно к процессорам, графическим процессорам или памяти, а жидкость циркулирует по пластине. Это решение с замкнутым циклом жидкостного охлаждения позволяет сохранить воздушное охлаждение для других компонентов (систем хранения, сетей). Это наиболее распространенный вариант модернизации существующих центров обработки данных.
Однофазное погружное охлаждение
Серверы погружаются в непроводящую диэлектрическую жидкость в специально разработанном резервуаре. Тепло передается непосредственно от всех компонентов к жидкости, которая затем перекачивается в теплообменник. Это решение для жидкостного охлаждения обеспечивает высочайшую плотность и полностью исключает использование вентиляторов.
Двухфазное погружное охлаждение
Диэлектрическая жидкость кипит при низкой температуре; пар поднимается вверх, конденсируется на охлажденном змеевике и стекает обратно. Двухфазное погружение обеспечивает еще больший отвод тепла на литр и пассивную циркуляцию (не нужны насосы для жидкости), хотя и требует осторожного обращения с паром.
Безопасно и надежно ли жидкостное охлаждение?
Жидкость и электроника не сочетаются - что делать с утечками?
В современных конструкциях систем жидкостного охлаждения используются диэлектрические жидкости (в погруженном состоянии) или дистиллированная вода с ингибиторами коррозии в герметичных контурах холодных пластин. Системы обнаружения утечек и быстроразъемные соединения с защитой от протечек являются стандартными. При иммерсионном охлаждении платы рассчитаны на работу в погруженном состоянии - короткое замыкание невозможно, поскольку жидкость непроводящая.
Модернизация - это дорого и сложно
Хотя первоначальные капитальные затраты на инфраструктуру жидкостного охлаждения (резервуары, CDU, трубопроводы) могут быть выше, чем на воздушное, общая стоимость владения (TCO) в течение 3-5 лет почти всегда ниже за счет экономии энергии, повышения плотности и увеличения срока службы оборудования. Многие поставщики предлагают модульные комплекты решений для жидкостного охлаждения, которые подходят для стандартных 19-дюймовых стоек.
Что касается обслуживания и доступа?
Погружные резервуары позволяют производить "горячую" замену серверов - просто извлеките сервер, слейте лишнюю жидкость и выполните техническое обслуживание. Потери жидкости минимальны, и ее можно долить. В шлейфах прямого подключения к чипу используются быстроразъемные соединения, которые автоматически отключаются при разъединении.
Жидкостное охлаждение больше не является опцией - оно необходимо
Индустрия достигла переломного момента. Воздушное охлаждение просто не справляется с тепловыми нагрузками современных ускорителей искусственного интеллекта, процессоров с большим количеством ядер и плотных массивов хранения данных. Жидкостное охлаждение обеспечивает тепловой запас, энергоэффективность и надежность, необходимые для центров обработки данных нового поколения.
Независимо от того, что вы выберете - прямое охлаждение чипа, однофазное погружение или двухфазное погружение, - переход с воздушного на жидкостное охлаждение является стратегической инвестицией, которая окупается снижением эксплуатационных расходов, повышением плотности вычислений и улучшением показателей экологической безопасности. В условиях, когда центры обработки данных стремятся к углеродной нейтральности и нулевым показателям, жидкостное охлаждение не просто лучше воздушного - это единственный масштабируемый путь вперед.
