Согласно данным Markets and Markets, мировой рынок жидкостного охлаждения для центров обработки данных, по прогнозам, вырастет с 19,6 млрд долларов в 2024 году до 211,4 млрд долларов к 2032 году, с среднегодовым темпом роста 33,2%. В центре этой трансформации находится одно оборудование, которое вы не можете позволить себе упустить: жидкостный блок распределения охлаждающей жидкости (CDU). Ваш выбор CDU определяет, будет ли ваша инфраструктура охлаждения масштабироваться плавно или станет узким местом, ограничивающим вашу вычислительную мощность.
Какую роль играет блок CDU с жидкостным охлаждением в вашем контуре
Блок распределения теплоносителя служит связующим звеном между первичным водяным контуром вашего объекта и вторичным контуром, проходящим через серверы. Представьте его себе как «стража» теплообмена: он изолирует два контура, передает тепловую энергию через пластинчатые теплообменники с КПД, превышающим 95%, и гарантирует, что никакие загрязнения из водопроводной системы вашего здания никогда не попадут в ваши кластеры графических процессоров. Без блока распределения жидкостного охлаждения (CDU), правильно подобранного по размеру, все ваши инвестиции в жидкостное охлаждение превращаются из актива в пассив.
CDU обеспечивает точный контроль температуры, давления и расхода охлаждающей жидкости. Современные агрегаты регулируют эти параметры с точностью ±0,5 °C в соответствии с отраслевыми стандартами ведущих производителей. Когда ваш кластер для обучения ИИ за считанные секунды переходит из режима простоя в режим полной нагрузки, ваш CDU должен реагировать столь же быстро — регулируя скорость насоса и положение клапанов, чтобы предотвратить опасные скачки температуры, которые могут привести к ограничению производительности или повреждению ваших процессоров.
Почему ваша система воздушного охлаждения не справляется
Если вы до сих пор полагаетесь на традиционное воздушное охлаждение, вам уже известно, где проходит предел. Плотность мощности в стойках выросла с 10 кВт всего несколько лет назад до 30–50 кВт в современных системах искусственного интеллекта, а в стойках следующего поколения она превышает 100 кВт. По данным IntelMarketResearch, жидкостное охлаждение обеспечивает на 40–501 TP3T большую эффективность по сравнению с воздушным охлаждением, и этот разрыв увеличивается с каждым годом по мере роста показателей TDP микросхем.
По данным издания «Science and Technology Daily», для центра обработки данных на 500 стоек такое сокращение показателя PUE означает экономию примерно 140 миллионов кВт·ч в год, что эквивалентно сокращению выбросов углерода примерно на 110 000 тонн ежегодно. Если просчитать показатели для вашего собственного объекта, преимущества использования блока жидкостного охлаждения (CDU) становятся трудно игнорируемыми. Блок жидкостного охлаждения на уровне помещения — это уже не просто дополнительная опция, а основа, которая в первую очередь делает возможным развертывание систем искусственного интеллекта с высокой плотностью.
Теплообменная способность: ваш первый контрольный пункт
При оценке блока CDU с жидкостным охлаждением в первую очередь следует обратить внимание на показатель теплообменной способности, измеряемый в киловаттах. Этот показатель определяет, способен ли блок фактически отводить тепловую нагрузку, создаваемую вашими серверами. Прежде чем приступать к сравнению моделей, необходимо рассчитать общее пиковое энергопотребление серверов и умножить его на коэффициент безопасности от 1,2 до 1,3.
Для понимания ситуации: данные Polaris Market Research показывают, что в 2024 году сегмент мощностью 100–500 кВт занимал доминирующую долю на рынке CDU. Однако если вы развертываете более 100 шкафов с жидкостным охлаждением — это тот порог, при достижении которого возникает необходимость в установке CDU на уровне помещения, — вам следует обратить внимание на агрегаты в диапазоне от 800 кВт до 2 000 кВт. CDU с жидкостным охлаждением мощностью 1 000 кВт может обслуживать примерно 100 шкафов, каждый из которых потребляет 10 кВт, или пропорционально меньшее количество шкафов при более высокой плотности размещения. Вам необходимо понимать эту логику расчета мощности, поскольку выбор слишком маломощного оборудования приведет к тому, что система охлаждения станет «узким местом», ограничивающим производительность серверов, в то время как выбор слишком мощного оборудования приведет к ненужным затратам капитала и площади без соответствующего прироста производительности.
Резервирование N+1 обеспечивает непрерывную работу блока CDU системы жидкостного охлаждения
Простои в кластере обучения ИИ обходятся вам не только в расходы на электроэнергию — они приводят к потере времени сходимости модели, восстановление которой может занять дни или недели. Именно поэтому резервирование по схеме N+1 является обязательным условием при любом серьезном развертывании CDU с жидкостным охлаждением. В конфигурации N+1 в вашей системе установлен на один насос больше, чем требуется по минимуму, поэтому отказ любого отдельного компонента не приводит к прерыванию потока хладагента. Некоторые устройства корпоративного уровня распространяют этот подход на теплообменники, источники питания и управляющие процессоры, обеспечивая вам полную гибкость при техническом обслуживании.
Вам следует убедиться, что выбранный вами блок CDU системы жидкостного охлаждения поддерживает «горячую» замену насосов и позволяет изолировать один контур теплообменника для проведения технического обслуживания, при этом другой контур продолжает обеспечивать полную мощность охлаждения. Разница между конфигурацией N+1 и отсутствием резервирования может означать разницу между пятиминутным окном для технического обслуживания и пятичасовой аварийной остановкой всего вашего кластера ИИ.
Фильтрация и обнаружение утечек, которые нельзя пропускать
Качество охлаждающей жидкости — это не тот параметр, о котором можно забыть после его настройки. С течением времени в жидкости накапливаются твердые частицы, биологические отложения и побочные продукты коррозии, которые могут привести к закупорке микроканалов в ваших охлаждающих пластинах. Правильно спроектированный блок жидкостного охлаждения (CDU) включает многоступенчатую фильтрацию — как правило, с размером ячейки 25–100 мкм во вторичном контуре и 200–300 мкм в первичном контуре — а также систему онлайн-мониторинга качества воды, которая предупреждает вас до того, как загрязнение станет проблемой. К химическому составу теплоносителя нужно относиться так же серьезно, как и к качеству электроэнергии, ведь загрязненная холодная пластина отводит тепло так же плохо, как сработавший автоматический выключатель обеспечивает подачу ватт.
Не менее важным является обнаружение утечек. Согласно отраслевым исследованиям, опасения по поводу утечек остаются одним из главных препятствий на пути внедрения жидкостного охлаждения, особенно в финансовом и медицинском секторах, где действуют строгие требования к времени безотказной работы. Ваша CDU должна быть оснащена независимыми датчиками утечки в нескольких точках, время срабатывания которых измеряется в миллисекундах, а не в секундах. Когда в контуре охлаждения циркулируют тысячи литров жидкости в непосредственной близости от работающего электронного оборудования, даже небольшая незамеченная капля может привести к катастрофическому сбою, выводящему всю вашу инфраструктуру из строя. Один-единственный сбой системы обнаружения утечек в блоке CDU системы жидкостного охлаждения может стать решающим фактором, определяющим разницу между локализованным инцидентом и эвакуацией всего центра обработки данных.
Удаленный мониторинг: протоколы, необходимые для вашего блока CDU системы жидкостного охлаждения
Если команда по эксплуатации вашего центра обработки данных не может отслеживать работу вашего блока CDU с жидкостным охлаждением, вы действуете вслепую. Современные блоки CDU должны поддерживать как минимум протоколы Modbus TCP/IP и BACnet, а протоколы SNMP и Redfish являются ценными дополнениями для интеграции с вашими существующими системами управления зданием и мониторинга ИТ-инфраструктуры.
Именно здесь выбор оборудования приобретает особое значение. Например, если вы развертываете систему на уровне помещения в крупном центре интеллектуальных вычислений на базе искусственного интеллекта, вам потребуется CDU, которая изначально поддерживает эти промышленные протоколы связи, а не такая, которая требует установки дополнительных шлюзов и написания пользовательских скриптов. Поставщики оборудования, такие как Soeteck, поставляют CDU на уровне отдельных помещений с встроенной поддержкой Modbus и SNMP, что избавляет от проблем с интеграцией, задерживающих ввод в эксплуатацию. Правильно подобранный CDU с жидкостным охлаждением дает вашей команде возможность отслеживать температуру на входе и выходе, состояние насоса, перепад давления в фильтре и проводимость охлаждающей жидкости с единой панели управления — именно такая унифицированная видимость отличает управляемое развертывание от операционных проблем. С помощью правильного набора инструментов мониторинга ваша команда сможет выявить износ подшипника насоса за несколько недель до его выхода из строя, а не обнаружить его в 3 часа ночи, когда сработают сигналы тревоги.
Расчет размеров блока CDU для жидкостного охлаждения на уровне помещения с учетом масштаба
Пороговое значение для использования централизованных блоков CDU на уровне помещения достигается, когда количество установленных стоек с жидкостным охлаждением превышает примерно 20; при этом координация работы блоков, монтируемых на стойках или в рядах, становится нецелесообразной в условиях крупномасштабного развертывания. Централизованный блок на уровне помещения объединяет насосное оборудование, теплообмен, фильтрацию и систему управления в единую систему, которая питает сеть вторичной жидкости по всему центру обработки данных.
Расчет мощности прост: если каждая из ваших 100 стоек потребляет 12 кВт, общая тепловая нагрузка на вторичной стороне составит 1 200 кВт. Прибавьте коэффициент безопасности 1,2, и вам понадобится агрегат мощностью не менее 1 440 кВт. Вы также должны убедиться, что CDU способна поддерживать требуемую температуру подхода при заданном расходе. Сам расход рассчитывается по формуле Q = cmΔT, где ΔT — перепад температур на вторичной стороне, который в правильно спроектированных контурах обычно составляет 10–12 К. Если температура поступающей воды на объект составляет 25 °C, а для подачи на холодные пластины требуется 40 °C, убедитесь, что ваша CDU с жидкостным охлаждением рассчитана на непрерывную работу в этих условиях, а не только на пиковые нагрузки.
Реальная цена ошибки при выборе блока CDU для жидкостного охлаждения
Первоначальные затраты по-прежнему остаются препятствием. Отраслевые данные свидетельствуют о том, что модернизация с переходом на жидкостное охлаждение обходится в 2–3 раза дороже на один стойковый модуль, чем воздушное охлаждение. Однако такая постановка вопроса совершенно не учитывает суть дела, ведь охладить стойку мощностью 50 кВт с помощью вентиляторов просто невозможно.Альтернативой правильно подобранному блоку жидкого охлаждения (CDU) является не более дешёвый воздухообрабатывающий агрегат, а ограниченная производительность, более высокий показатель PUE и серверы, которые никогда не работают на полную мощность. Вы выбираете не между расходами и экономией, а между функционирующим центром обработки данных с ИИ и таким, который подвергается тепловому ограничению при реальных нагрузках.
Расчет инвестиций кардинально меняется, если учесть экономию электроэнергии. Объект с показателем PUE 1,15 по сравнению с 1,6 при ИТ-нагрузке 1 МВт постоянно экономит примерно 280 кВт на накладных расходах электроэнергии. При тарифе $0,10 за кВт·ч это составляет более $245 000 в год. Ваша CDU с жидкостным охлаждением окупается быстрее, чем практически любая другая инвестиция в инфраструктуру вашего дата-центра, и, в отличие от серверов на базе графических процессоров (GPU), которые амортизируются за 3–4 года, хорошо обслуживаемая CDU сохраняет свою ценность в течение десятилетия или более.
Если вы проводите оценку поставщиков оборудования, обращайте внимание на тех, кто с самого начала предоставляет подробную техническую документацию и стандартизированные протоколы связи — такая прозрачность сэкономит вам недели работы инженеров по интеграции на более поздних этапах проекта. Правильно выбрав CDU для жидкостного охлаждения, вы сможете раскрыть весь потенциал своей инфраструктуры искусственного интеллекта; если же вы ошибетесь, ваша система охлаждения станет единственным ограничивающим фактором, сдерживающим производительность всех графических процессоров в здании.
