Сборный контейнерный центр обработки данныхМодульный центр обработки данных с проходамиМодульный центр обработки данных RowШкаф модульного центра обработки данных

Жидкостное охлаждение серверов искусственного интеллекта: выбор оптимальной стратегии для каждого сценария развертывания

поделиться с:

Переход от воздушного к жидкостному охлаждению стал одним из ключевых инфраструктурных решений в сфере искусственного интеллекта. Операторы центров обработки данных, которые когда-то рассматривали жидкостное охлаждение как экзотический вариант для крайних случаев использования суперкомпьютеров, теперь сталкиваются с совершенно иной реальностью: планы развития графических процессоров (GPU) компаний NVIDIA, AMD и Intel привели к тому, что энергопотребление одной стойки значительно превысило возможности вентиляторов и системы воздушного охлаждения.

Подбор подходящего Жидкостное охлаждение сервера с искусственным интеллектом Подход к каждому сценарию внедрения уже не носит теоретический характер — именно он определяет, оправдают ли инвестиции в инфраструктуру искусственного интеллекта ожидания в отношении производительности.

По данным TrendForce, уровень внедрения жидкостного охлаждения в центрах обработки данных для искусственного интеллекта резко вырос с 14% в 2024 году до 33% в 2025 году. В отчете AFCOM за 2026 год отмечается, что средняя плотность нагрузки на стойку за один год выросла с 16 кВт до 27 кВт.

В настоящее время мощность стоек для обучения ИИ составляет от 40 до 132 кВт, при этом платформа NVIDIA Vera Rubin стремится достичь 190 кВт на стойку, а тестовый образец Rubin Ultra Kyber, согласно анализу Goldman Sachs, планирует выйти на уровень примерно 600 кВт к 2027 году. Эффективность воздушного охлаждения достигает своего практического предела на уровне примерно 30–40 кВт на стойку, в результате чего жидкостное охлаждение становится стандартом для современных кластеров графических процессоров. Если ваша организация планирует развертывание инфраструктуры искусственного интеллекта, вопрос заключается не в том, стоит ли внедрять жидкостное охлаждение, а в том, какая архитектура соответствует плотности ваших рабочих нагрузок.

«Стена физики»: почему воздух не может охлаждать ИИ

Жидкость передает тепло примерно в 3 500 раз эффективнее, чем воздух. Устаревшие центры обработки данных с воздушным охлаждением обычно работают с показателями PUE в диапазоне от 1,55 до 1,67, что означает, что примерно одна треть поступающей электроэнергии расходуется на питание инфраструктуры, а не на ИТ-оборудование. Когда операторы пытаются охладить стойку с графическими процессорами мощностью 100 кВт исключительно с помощью воздуха, необходимый объем воздушного потока создает физические помехи для соседних стоек и становится чрезмерно энергоемким, как показано в анализе экономики охлаждения, проведенном Axis Intelligence в июле 2026 года.

В отличие от этого, система жидкостного охлаждения с прямым контактом с чипом обычно обеспечивает показатели PUE в диапазоне от 1,10 до 1,20. Компания Schneider Electric сообщает, что её архитектуры с прямым контактом с чипом позволяют сократить энергопотребление на охлаждение на 30–60 процентов в соответствующих сценариях применения. Для оператора, ограниченного фиксированным объемом выделенной мощности — согласно данным Data Center Dynamics, очереди на подключение к сети на крупных рынках сейчас достигают трех–четырех лет, — каждый мегаватт, сэкономленный за счет сокращения затрат на охлаждение, напрямую превращается в доступную вычислительную мощность для ИИ. Ваш существующий лимит мощности может внезапно обеспечить поддержку на 20–30 % большего количества стоек с графическими процессорами без необходимости ожидания нового доступа к энергосети.

Масштабные вычислительные системы: стойки мощностью 100 кВт и более требуют жидкостного охлаждения

Наиболее сложным сценарием внедрения жидкостного охлаждения является крупномасштабный кластер для обучения. Система NVIDIA GB200 NVL72 объединяет 72 графических процессора и 36 процессоров Grace в платформу, занимающую одну стойку, с потребляемой мощностью примерно от 120 до 132 кВт. Система GB300 NVL72 увеличивает эту мощность до 132–155 кВт. Эти системы генерируют тепловую нагрузку, эквивалентную десяткам жилых домов, при этом занимая площадь меньше, чем парковочное место.

В случае кластеров для обучения, включающих сотни или тысячи графических процессоров, проблемы с теплоотводом усугубляются. Система из 10 000 графических процессоров на базе оборудования класса GB200 занимает примерно 140 стоек и выделяет от 16 до 18 МВт тепла. Без жидкостного охлаждения серверов искусственного интеллекта операторы сталкиваются с двумя неприемлемыми последствиями: снижением тактовой частоты графических процессоров, что удлиняет сроки обучения на 20–40 процентов, либо с избыточными системами вентиляции, потребляющими больше энергии, чем сами вычислительные процессы.

Жидкостное охлаждение сервера искусственного интеллекта

По данным Datacentres.com, компания Microsoft внедрила систему иммерсионного охлаждения в 14 новых региональных кластерах центров обработки данных, построенных с января 2026 года. Компания NVIDIA теперь устанавливает жидкостное охлаждение в качестве базового требования — а не опции модернизации — для своих новых объектов в Северной Америке, Европе и Азиатско-Тихоокеанском регионе.

Кластеры вывода заключений: стабильная пропускная способность без ограничений

Хотя обучение и привлекает к себе внимание СМИ, именно инференс является операционной основой корпоративного ИИ. Рабочие нагрузки инференса выполняются непрерывно, ежедневно обрабатывая тысячи пользовательских запросов. Термическая стабильность важна не только для обеспечения пиковой производительности, но и для предсказуемой задержки и пропускной способности.

В сценариях инференса с высокой степенью параллелизма температура перехода графического процессора при воздушном охлаждении может колебаться в пределах от 15 до 20 градусов Цельсия во время пиковых нагрузок, что приводит к корректировке тактовой частоты и ухудшению времени отклика. Точное жидкостное охлаждение стабилизирует температуру перехода в пределах от 3 до 5 градусов, обеспечивая стабильную тактовую частоту и постоянную задержку инференса. Компания CoolIT Systems отмечает, что это снижает изменчивость температуры перехода чипа, создавая предсказуемые тепловые условия для длительно выполняемых рабочих нагрузок со смешанной точностью. При запуске ориентированных на клиентов приложений искусственного интеллекта, где стабильность времени отклика напрямую влияет на удовлетворённость пользователей, такая предсказуемость тепловых режимов напрямую обеспечивает соблюдение соглашений об уровне обслуживания и защищает доходы.

Колокация с поддержкой нескольких клиентов и смешанные рабочие нагрузки искусственного интеллекта

Центры колокации, в которых размещаются различные арендаторы, должны обеспечивать поддержку ИИ-рабочих нагрузок без ущерба для существующих клиентов. Даже одно развертывание ИИ-системы с высокой плотностью может перегрузить систему общего охлаждения, рассчитанную на 8–12 кВт на стойку, что приводит к появлению «горячих точек», снижающих производительность соседних систем.

В период с февраля по июль 2026 года компания Equinix ввела в эксплуатацию три центра обработки данных высокой плотности для ИИ в шведских регионах Стокгольма и Гётеборга общей мощностью 340 МВт. Эти специально построенные объекты разделяют арендаторов, использующих ИИ, на зоны с жидкостным охлаждением, сохраняя при этом традиционное воздушное охлаждение для стандартных корпоративных рабочих нагрузок. Жидкостное охлаждение с прямым контактом с микросхемами позволяет провайдерам услуг колокации предлагать клиентам, работающим в сфере ИИ, мощность от 50 до 70 кВт на стойку без необходимости переноса оборудования каждым арендатором.

Эта модель смешанного охлаждения — жидкостное охлаждение для серверных стоек с ИИ, воздушное — для всего остального — является доминирующей схемой для операторов колокационных центров, расширяющих свою деятельность в сфере хостинга ИИ. Если ваша компания арендует колокационное пространство, проверка наличия поддержки зон с жидкостным охлаждением перед подписанием договора может помочь избежать дорогостоящих конфликтов, связанных с инфраструктурой, в середине срока аренды.

Edge AI: жидкостное охлаждение в условиях ограниченной площади установки

Сценарии развертывания на периферии сопряжены с различными ограничениями. Ограниченное физическое пространство, отсутствие специализированных технических служб и суровые условия окружающей среды делают традиционные стойки с воздушным охлаждением непригодными для ИИ высокой плотности. Прецизионное жидкостное охлаждение позволяет создавать герметичные, практически бесшумные серверные корпуса, которые могут эксплуатироваться в офисах, на производственных площадках или в наружных телекоммуникационных будках без шума и запыленности, характерных для высокоскоростных вентиляторов.

По прогнозам Международного энергетического агентства, к 2030 году мировое потребление электроэнергии центрами обработки данных достигнет примерно 945 ТВт·ч, что в значительной степени будет обусловлено развитием искусственного интеллекта. Значительная часть этого роста придется на объекты, расположенные за пределами традиционных кампусов, — распределенные периферийные узлы, обеспечивающие вычисления для автономных транспортных средств, промышленного контроля качества и видеоаналитики в режиме реального времени.

Жидкостное охлаждение на периферии позволяет снизить энергопотребление вентиляторов, сократить расход воды на 96 процентов на каждый модуль Iceotope и защитить электронные компоненты от загрязнений, переносимых воздухом. Благодаря этому серверы с жидкостным охлаждением на периферии становятся реальным решением там, где установка традиционных стоек с воздушным охлаждением невозможна, а также позволяют размещать системы инференции ИИ ближе к источникам данных, вместо того чтобы передавать данные по магистрали.

Модернизация устаревших центров обработки данных с целью внедрения жидкостного охлаждения

Не каждая организация может построить новый центр обработки данных с ИИ с нуля. Существующие объекты, рассчитанные на мощность от 5 до 10 кВт на стойку, необходимо адаптировать для размещения кластеров графических процессоров — и именно в процессе такой модернизации жидкостное охлаждение демонстрирует свою гибкость. Контуры охлаждения с прямым подводом к чипам можно развернуть в определенных зонах стоек без необходимости перестройки всей системы охлаждения.

К ключевым компонентам модернизации относятся блоки распределения хладагента (CDU), которые можно устанавливать в виде боковых пристроек или в линию, а также теплообменники, размещаемые в задней двери и обеспечивающие отвод остаточного тепла со стороны воздуха. Анализ компании Schneider Electric показывает, что поэтапная модернизация с внедрением жидкостного охлаждения позволяет операторам постепенно переводить на новую систему стойки высокой мощности.

На кампусе TeraWulf «Lake Mariner» в Буффало, штат Нью-Йорк — проекте по реконструкции заброшенного промышленного объекта — интегрированная инфраструктура электроснабжения и жидкостного охлаждения обеспечивает поэтапное расширение мощностей, которые, как ожидается, достигнут 750 МВт, что доказывает: существующие сетевые подключения могут служить базовыми активами для развертывания систем искусственного интеллекта высокой плотности. Если у вашего объекта есть резервные мощности, но устаревшая инфраструктура охлаждения, поэтапная модернизация с внедрением жидкостного охлаждения позволит получить доход от размещения графических процессоров (GPU) без многолетних сроков, характерных для нового строительства.

Строительство с нуля: встроенная система жидкостного охлаждения с самого начала

Строительство новых центров обработки данных на базе ИИ сформировалось в рамках единой концепции: жидкостное охлаждение является стандартом. Согласно данным Datacentres.com, из общего объема проектов по всему миру, находящихся в стадии реализации и суммарной мощностью 25 000 МВт, примерно 60 процентов проектов гипермасштабируемых компаний в настоящее время предусматривают использование архитектур с погружным охлаждением или прямым охлаждением микросхем. Google и AWS развернули в Европе модульные центры обработки данных, готовые к жидкостному охлаждению, а модульное строительство сократило сроки возведения новых объектов с 36–42 месяцев до 22–26 месяцев для типичного объекта мощностью 50 МВт.

Проектирование с учетом возможности установки встроенной системы жидкостного охлаждения позволяет создать интегрированную тепловую и электрическую инфраструктуру, что исключает потери эффективности при модернизации и обеспечивает рекуперацию отработанного тепла для централизованного теплоснабжения, что все чаще становится обязательным требованием европейских нормативных актов. Дополнительные капитальные затраты на инфраструктуру, готовую к установке системы жидкостного охлаждения, которые оцениваются в 8–12 процентов по сравнению с традиционными проектами, окупаются за счет сокращения эксплуатационных расходов на 20–30 процентов в течение всего срока службы объекта.

Выбор подходящей архитектуры жидкостного охлаждения сервера ИИ

Выбор подходящей архитектуры зависит от трёх параметров: плотности мощности в стойке, типа объекта и характеристик рабочей нагрузки. Для стоек мощностью до 40 кВт достаточно гибридных воздушно-жидкостных решений. Для учебных стоек мощностью от 40 до 100 кВт общепринятым стандартом является система «прямого охлаждения чипов» с рядовыми блоками CDU. При мощности более 100 кВт на стойку становится необходимым полное жидкостное охлаждение с отводом тепла по принципу «жидкость-жидкость». Иммерсионное охлаждение позволяет достичь показателя PUE на уровне всего 1,05, но сопряжено с более высокими капитальными затратами, что ограничивает его применение системами сверхвысокой плотности.

При планировании кластера ИИ с жидкостным охлаждением своевременная оценка мощности блоков CDU, уровня резервирования и совместимости с инфраструктурой объекта позволяет избежать дорогостоящих изменений в проекте. Холодные пластины, быстроразъемные соединения и коллекторы должны соответствовать конкретным конфигурациям графических процессоров — это представляет собой определенную сложность СОТЕК решает эти задачи за счет комплексной поставки оборудования, рассматривая охлаждение как часть сквозного стека предоставления вычислительных ресурсов.

Goldman Sachs отмечает, что конструкции серверных стоек для ИИ 2027 года потребуют примерно в 50 раз больше энергии, чем современные серверные стойки для интернета, при этом консультанты рассчитывают, что в течение пяти лет мощность стоек достигнет 2,2 МВт. Жидкостное охлаждение серверов ИИ превратилось из нишевого преимущества в базовое условие для любой организации, внедряющей вычисления с ускорением на графических процессорах в крупных масштабах.

Об авторе

Гэвин

Гэвин

Гэвин - менеджер по операциям в компании, специализирующейся на вспомогательном оборудовании для центров обработки данных. Он разбирается в источниках бесперебойного питания для центров обработки данных, прецизионных кондиционерах и решениях для центров обработки данных. Он может помочь вам лучше понять эти продукты и выбрать различные решения.

Похожие посты