Каковы преимущества решений для жидкостного охлаждения центров обработки данных перед воздушным охлаждением?

Данная статья, подтвержденная данными, проводит углубленный технический анализ и рассматривает кейс-стади, связанные с практическим применением, отвечая на ключевые вопросы о том, почему решения жидкостного охлаждения центров обработки данных превосходят воздушное охлаждение, и давая ценные выводы для руководителей ИТ-сектора и операторов центров обработки данных.

В эпоху стремительного роста рабочих нагрузок ИИ, высокопроизводительных вычислений и плотности энергопотребления охлаждение центров обработки данных превратилось из “вспомогательной функции” в ключевой фактор повышения эффективности, надежности и снижения затрат. Воздушное охлаждение, традиционный стандарт, используемый на протяжении десятилетий, сейчас приближается к пределу своей производительности, в то время как решения для жидкостного охлаждения центров обработки данных все чаще становятся предпочтительным выбором для дальновидных предприятий.

Насколько эффективна теплопередача решений для жидкостного охлаждения?

Эффективность теплообмена - основа эффективного охлаждения, и жидкостное охлаждение здесь доминирует.

Жидкости (например, диэлектрические охлаждающие жидкости или водно-гликолевые смеси) обладают присущими им тепловыми свойствами, с которыми воздух просто не может сравниться:

Жидкости проводят тепло в 23-25 раз быстрее, чем воздух. Например, теплопроводность воды составляет ~0,6 Вт/(м-К) при 25°C, в то время как воздуха - всего ~0,026 Вт/(м-К).

Жидкости способны поглощать в 3000 с лишним раз больше тепла на единицу объема, чем воздух, прежде чем произойдет повышение температуры. Это означает, что решения для жидкостного охлаждения могут отводить тепло от критически важных компонентов (CPU, GPU, ASIC) напрямую и в больших масштабах.

Воздушное охлаждение, напротив, основано на принудительной конвекции для передачи тепла от компонентов к окружающему воздуху, чему препятствуют многочисленные тепловые сопротивления (например, от чипа к радиатору, от радиатора к воздуху и от воздуха к системе HVAC). Эти сопротивления создают “горячие точки” (часто встречающиеся в плотных стойках GPU) и ограничивают возможности охлаждения.

Для большинства центров обработки данных максимальная мощность воздушного охлаждения составляет ~10-15 кВт на стойку. Решения для жидкостного охлаждения в центрах обработки данных, особенно погружные или с холодными пластинами, легко справляются с 50-100 кВт на стойку, а некоторые HPC-установки могут достигать 200+ кВт. Это делает жидкостное охлаждение незаменимым для рабочих нагрузок AI/ML, где один GPU может потреблять 400+ Вт.

Могут ли решения для жидкостного охлаждения обеспечить более низкий коэффициент полезного действия по сравнению с воздушным охлаждением?

Да, причем со значительным отрывом. PUE - это золотой стандарт эффективности центров обработки данных, а жидкостное охлаждение снижает PUE до недостижимого уровня воздушного охлаждения.

Типичные центры обработки данных с воздушным охлаждением имеют показатель PUE 1,5-1,8 (это означает, что 50-80% общей энергии уходит на неинформационные нужды, такие как охлаждение). Даже “эффективные” центры с воздушным охлаждением редко опускаются ниже 1,4.

Современные решения для жидкостного охлаждения центров обработки данных достигают показателя PUE 1,05-1,15. Жидкостное охлаждение, позволяющее отказаться от использования серверных вентиляторов и снизить нагрузку на систему отопления, вентиляции и кондиционирования воздуха, в оптимальных условиях может достигать 1,02-1,08.

Жидкостное охлаждение отводит тепло непосредственно от компонентов, исключая энергозатратные промежуточные этапы (например, серверные вентиляторы, которые потребляют 10-25% мощности ИТ, и большие блоки CRAC/CRAH).

Многие системы жидкостного охлаждения используют “свободное охлаждение” круглый год: холодный наружный воздух или вода (без механического охлаждения) охлаждают циркулирующую жидкость, что еще больше снижает энергопотребление.

Центр обработки данных искусственного интеллекта компании hyperscaler, использующий иммерсивное жидкостное охлаждение для 500 GPU-серверов (50 кВт на стойку), достиг показателя PUE 1,08 - экономия 400 000+ кВт/ч в год по сравнению с аналогом с воздушным охлаждением (PUE 1,6).

Как решения жидкостного охлаждения поддерживают более высокую мощность?

Рост ИИ и высокопроизводительных вычислений привел к увеличению плотности мощности стоек с 5-10 кВт (традиционные) до 30-100+ кВт (современные). Воздушное охлаждение не справляется с этой задачей - жидкостное охлаждение является единственным жизнеспособным решением для плотного развертывания.

При плотности свыше 15 кВт на стойку воздушное охлаждение требует непрактично больших вентиляторов, более широких горячих проходов и негабаритных систем ОВКВ. Горячие точки становятся неизбежными, что приводит к дросселированию или выходу из строя компонентов.

Гибкость жидкостного охлаждения:

Крепится непосредственно к процессорам/ГПУ, охлаждая отдельные компоненты со скоростью 30-50 кВт/рейку - идеальное решение для модернизации существующих серверов.

Погружает целые серверы в диэлектрическую охлаждающую жидкость, поддерживая 50-100+ кВт на стойку без горячих точек.

Жидкостное охлаждение устраняет необходимость в больших воздуховодах, лотках для вентиляторов и широких проходах. Центры обработки данных могут сократить площадь на 30-50%, размещая при этом в 2-3 раза больше вычислительной мощности.

Организации могут наращивать вычислительную мощность, не увеличивая площадь центров обработки данных, что очень важно для городских районов, где недвижимость стоит недешево.

Являются ли решения для жидкостного охлаждения более надежными, чем воздушное охлаждение?

Да, жидкостное охлаждение снижает риск простоя и продлевает срок службы оборудования.

Жидкостное охлаждение поддерживает температуру компонентов в пределах ±1°C по сравнению с ±5-8°C при воздушном охлаждении. Постоянная температура минимизирует тепловую нагрузку на микросхемы, конденсаторы и другие чувствительные детали, снижая частоту отказов на 30-50%.

Для воздушного охлаждения используются тысячи серверных вентиляторов и воздуходувок HVAC - все они подвержены износу, скоплению пыли и выходу из строя. В системах жидкостного охлаждения гораздо меньше движущихся частей (например, насосов, клапанов), что позволяет сократить ежегодное число отказов с 3-5% (воздушные) до 0,5% или ниже (жидкостные).

Герметичные решения с замкнутым циклом жидкостного охлаждения предотвращают попадание пыли, влаги и коррозийных частиц на компоненты. Это особенно важно для промышленных или прибрежных центров обработки данных, где качество воздуха оставляет желать лучшего.

Сокращение числа отказов оборудования и увеличение срока службы серверов (на 15-20% при использовании жидкостного охлаждения) снижает затраты на замену и незапланированные простои, что позволяет организациям экономить $100 000+ в год для центров обработки данных среднего размера.

Поддерживают ли решения для жидкостного охлаждения цели устойчивого развития?

Абсолютно жидкостное охлаждение является краеугольным камнем “зеленых центров обработки данных” и стратегий сокращения выбросов углекислого газа.

Благодаря снижению коэффициента полезного действия и уменьшению энергопотребления жидкостное охлаждение сокращает выбросы в атмосферу (Scope 2) (за счет электроэнергии из сети). Центр обработки данных мощностью 1 МВт с жидкостным охлаждением (PUE 1,1) выбрасывает на 30-40% меньше CO₂, чем аналогичный центр с воздушным охлаждением (PUE 1,6).

Вопреки мифам, многие решения для жидкостного охлаждения потребляют меньше воды, чем воздушное охлаждение. В центрах обработки данных с воздушным охлаждением используются испарительные кулеры (которые потребляют 20-40 галлонов воды на кВт в год), в то время как системы жидкостного охлаждения с замкнутым контуром используют минимальное количество воды (или вообще не используют ее в конструкциях на основе диэлектрической охлаждающей жидкости). Холодное жидкостное охлаждение позволяет сократить потребление воды на 45% по сравнению с воздушным охлаждением.

Жидкостное охлаждение улавливает тепло при температуре 40-50°C (по сравнению с 25-30°C при воздушном охлаждении), что позволяет использовать его для централизованного отопления, обогрева офисов или промышленных процессов. Это “переработанное” тепло может компенсировать 30%+ потребностей здания в тепловой энергии, превращая центры обработки данных в чистых поставщиков энергии.

Какие эксплуатационные преимущества дают решения для жидкостного охлаждения?

Помимо эффективности и надежности, жидкостное охлаждение улучшает повседневную работу и условия труда:

Вентиляторы на серверах уменьшены или вовсе отсутствуют. Центры обработки данных с жидкостным охлаждением работают при уровне шума 40-50 дБ (как в офисе) против 65-75 дБ (при воздушном охлаждении, эквивалентном пылесосу). Это улучшает условия труда и позволяет строить центры обработки данных ближе к городским районам.

Системы жидкостного охлаждения требуют менее частых проверок, чем воздушное охлаждение (например, не нужно чистить вентиляторы, заменять фильтры или проверять воздуховоды). Многие современные решения включают дистанционный мониторинг уровня охлаждающей жидкости, производительности насоса и температуры, что позволяет сократить время обслуживания на объекте на 20-30%.

По мере роста плотности мощности (ожидается, что к 2030 году она достигнет 200 кВт на стойку) воздушное охлаждение станет неактуальным. Инвестиции в решения для жидкостного охлаждения центров обработки данных сегодня позволяют избежать дорогостоящей модернизации в будущем и обеспечивают совместимость с оборудованием следующего поколения (например, квантовыми вычислениями, передовыми ускорителями ИИ).

Какую роль играет CDU в решениях жидкостного охлаждения?

Блок распределения охлаждения CDU (Cooling Distribution Unit) - это “центральная нервная система” систем жидкостного охлаждения, и именно поэтому они превосходят воздушное охлаждение по масштабируемости, точности и надежности. В отличие от воздушного охлаждения (в котором отсутствует сопоставимый централизованный компонент управления), решения для жидкостного охлаждения ЦОД зависят от CDU для управления всем жизненным циклом охлаждающей жидкости, что делает их незаменимыми при развертывании систем высокой плотности.

Основные функции CDU:

В блоках CDU установлены насосы (часто с частотно-регулируемыми приводами, VFD), которые циркулируют охлаждающую жидкость (водно-гликолевую или диэлектрическую) между ИТ-оборудованием (серверами, графическими процессорами) и внешним источником охлаждения (например, чиллерами, сухими охладителями или системами естественного охлаждения). Они поддерживают постоянное давление (обычно 2-4 бар) для равномерного охлаждения всех стоек, устраняя “дисбаланс потоков”, который вызывает горячие точки в системах воздушного охлаждения.

В CDU интегрированы теплообменники (например, пластинчато-каркасные или кожухотрубные), которые регулируют температуру охлаждающей жидкости до того, как она достигнет ИТ-компонентов. Передовые CDU достигают точности поддержания температуры ±0,5 °C - гораздо выше, чем у воздушного охлаждения ±5-8 °C. Например, CDU может подавать охлаждающую жидкость с температурой 22-24 °C на холодные пластины, обеспечивая оптимальную рабочую температуру GPU (35-45 °C) даже при нагрузке 100%.

CDU оснащены высокоэффективными фильтрами для удаления мусора, частиц коррозии или пузырьков воздуха из контура охлаждающей жидкости. Это предотвращает засоры в холодильных плитах или каналах охлаждения серверов - распространенное место отказа в плохо управляемых жидкостных системах - и продлевает срок службы насосов и клапанов.

Современные CDU оснащены датчиками температуры, давления, расхода и уровня охлаждающей жидкости в режиме реального времени, а также программным обеспечением для удаленного управления (например, интеграция с BMS). Они также включают в себя механизмы безопасности: обнаружение утечек (с помощью датчиков влажности), автоматические запорные клапаны и обходные контуры для предотвращения простоя в случае выхода из строя какого-либо компонента.

Модульные блоки CDU позволяют центрам обработки данных наращивать мощность по мере увеличения плотности размещения стоек (например, с 50 кВт на стойку до 100 кВт на стойку). Насосы с ЧРП регулируют скорость в зависимости от потребности в охлаждении, снижая энергопотребление на 15-25% по сравнению с насосами с фиксированной скоростью.

Почему решения для жидкостного охлаждения центров обработки данных - это будущее

Технология воздушного охлаждения служила индустрии центров обработки данных на протяжении десятилетий, но она больше не может соответствовать требованиям искусственного интеллекта, высокопроизводительных вычислений и вычислений высокой плотности. Решения жидкостного охлаждения для центров обработки данных обеспечивают превосходный теплообмен, более низкие показатели PUE, более высокую плотность мощности, большую надежность и повышенную устойчивость - все это способствует снижению долгосрочных затрат.

Для ИТ-руководителей и операторов центров обработки данных вопрос больше не стоит так: “Нужно ли внедрять жидкостное охлаждение?”, а “Когда?”. Ответ: чем раньше, тем лучше. В условиях растущих рабочих нагрузок и повышения стоимости энергии жидкостное охлаждение - это не просто модернизация, это стратегическая необходимость для поддержания конкурентоспособности, эффективности и устойчивости.

Если вы рассматриваете возможность перехода на жидкостное охлаждение, начните с пилотного проекта, например с модернизации стойки GPU с охлаждением холодными пластинами, чтобы оценить окупаемость инвестиций и получить практический опыт. Преимущества - снижение затрат на электроэнергию, сокращение времени простоя и уменьшение углеродного следа - будут очевидны.