Жидкостное охлаждение для высокопроизводительных вычислений не является единой монолитной технологией. Это семейство подходов к терморегулированию, использующих жидкую среду (обычно водно-гликолевую смесь или диэлектрическую жидкость) для отвода тепла от компонентов высокопроизводительных вычислений с гораздо большей эффективностью, чем воздух.
Если посмотреть на цифры, физика говорит сама за себя: согласно основополагающим принципам теплотехники, объемная теплоемкость воды примерно в 3 500 раз превышает объемную теплоемкость воздуха. Ваши графические процессоры нового поколения выделяют столько тепла, что один только воздух просто не способен отводить его достаточно быстро. Именно поэтому жидкостное охлаждение в сфере высокопроизводительных вычислений (HPC) стремительно превращается из нишевого решения в необходимость.
По данным TrendForce, прогнозируется, что уровень внедрения жидкостного охлаждения в центрах обработки данных по всему миру вырастет с 14% в 2024 году до 33% в 2025 году. Вы делаете ставку не на экспериментальную технологию, а присоединяетесь к рынку, который за один год удваивает масштабы использования жидкостного охлаждения.
Сам рынок жидкостного охлаждения для центров обработки данных вырос с $4,75 млрд в 2024 году до $5,47 млрд в 2025 году и, по прогнозам, к 2030 году достигнет $11.18 млрд к 2030 году при среднегодовом темпе роста (CAGR) 15,31%, согласно данным ResearchAndMarkets. Для целей планирования важно учитывать, что цепочка поставок оборудования для жидкостного охлаждения высокопроизводительных вычислительных систем (HPC) быстро расширяется, а первые пользователи уже закрепляют за собой оптимальные сроки внедрения.
Ваш переломный момент в плотности размещения оборудования
Вам нужен четкий порог, при достижении которого следует принимать меры. Питер Хуанг, глобальный президент подразделения Castrol по управлению тепловым режимом, предлагает практический ориентир, приведенный в газете «China Daily»: когда мощность вашего стоечного оборудования достигает 70–80 кВт, гибридное охлаждение по-прежнему возможно, но при мощности свыше 100 кВт воздушное охлаждение становится неэффективным, и жидкостное охлаждение для высокопроизводительных вычислений (HPC) становится единственным приемлемым решением. Если вы проанализируете свою дорожную карту развития графических процессоров, то увидите, что этот порог быстро приближается.
Графический процессор NVIDIA Blackwell B200 имеет номинальную тепловую мощность 1 200 Вт на чип, а Blackwell Ultra B300 — 1 400 Вт. При установке этих графических процессоров в конфигурации GB200 NVL72 потребляемая мощность на одну стойку достигает 120 кВт. Ваше существующее помещение с воздушным охлаждением никогда не было рассчитано на такие нагрузки.
Общий взгляд представителей отрасли, отраженный в отчетах нескольких инженерных компаний, занимающихся проектированием центров обработки данных, однозначен: если мощность вашего стоечного шкафа превышает 30 кВт, вам следует немедленно приступить к планированию архитектуры жидкостного охлаждения для высокопроизводительных вычислений (HPC), а не ждать, пока тепловое ограничение заставит вас принять меры.
Охлаждение непосредственно на чипе: самый быстрый путь
Система охлаждения «Direct-to-chip» (DTC) — это наиболее практичный способ начать внедрение жидкостного охлаждения в сфере высокопроизводительных вычислений (HPC). При таком подходе холодные пластины устанавливаются непосредственно на процессоры и графические процессоры, а охлаждающая жидкость циркулирует по микроканалам, отводя тепло непосредственно у источника. Остальные компоненты сервера по-прежнему охлаждаются с помощью воздушного потока, что означает: вам не придется с самого начала перепроектировать весь центр обработки данных.
По данным компании GBC Engineers, технология DTC, как правило, хорошо подходит для стеллажей мощностью от 30 до 100 кВт — именно в этот диапазон мощности в настоящее время вступает большинство операторов.
Для вас, как оператора, показатели энергопотребления выглядят весьма привлекательно. Согласно инженерным тестам компании GBC Engineers, системы DTC обычно демонстрируют показатель PUE в диапазоне от 1,03 до 1,15. Вы можете внедрять технологию DTC в рамках поэтапной модернизации, добавляя стойки с жидкостным охлаждением по мере роста рабочих нагрузок высокой плотности.
Фитинги с быстрым отсоединением позволяют вашим специалистам по техническому обслуживанию работать с серверами, используя привычные рабочие процессы, характерные для стоечных систем, что позволяет свести затраты на переобучение к минимуму. Блок распределения охлаждающей жидкости (CDU) изолирует контур охлаждения серверов от системы водоснабжения здания, защищая ИТ-оборудование от колебаний давления и работ по техническому обслуживанию.
На что следует обратить внимание: обнаружение утечек, контроль качества соединений и мониторинг химического состава хладагента становятся неотъемлемой частью вашей повседневной работы. Однако для большинства существующих центров обработки данных технология DTC обеспечивает наилучший баланс между повышением производительности и бесперебойностью работы среди всех доступных на сегодняшний день решений для жидкостного охлаждения систем высокопроизводительных вычислений (HPC).
Охлаждение погружением: когда плотность требует большего
Если в ваших планах предусмотрена устойчивая плотность нагрузки в стойках на уровне свыше 100 кВт, погружное охлаждение заслуживает вашего внимания как следующий уровень жидкостного охлаждения для высокопроизводительных вычислений (HPC). При этом серверные платы погружаются в диэлектрическую жидкость, которая одновременно отводит тепло от процессоров, памяти и силовой электроники. Однофазное погружное охлаждение поддерживает жидкость в жидком состоянии на протяжении всего цикла работы, тогда как двухфазное погружное охлаждение использует процесс кипения для обеспечения ещё более высоких скоростей теплопередачи.
Согласно тестам компании GBC Engineers, при использовании технологии погружения показатель PUE может снизиться до 1,02–1,05. Однако необходимо учитывать, что это сопряжено с более значительными эксплуатационными затратами: для резервуаров с погружением требуется проведение новых расчетов нагрузки на пол, мониторинг жидкости и процедуры долива, проверка совместимости материалов, а также пересмотр гарантийных условий со стороны производителей серверов. Данный подход наиболее эффективен для новых ИИ-кампусов или контейнерных высокопроизводительных вычислительных систем (HPC), где с самого начала можно планировать архитектуру здания и модель эксплуатации с учетом данной технологии.
Если вы проводите модернизацию существующего объекта, использование погружных охладителей усложняет проект, и это может не оправдать незначительного снижения показателя PUE по сравнению с грамотно спроектированной системой DTC.
Реальная цена отсрочки перехода на жидкостное охлаждение в сфере высокопроизводительных вычислений (HPC)
У вас может возникнуть соблазн продлить срок эксплуатации вашей инфраструктуры с воздушным охлаждением ещё на год. Однако если учесть тепловое ограничение производительности, с экономической точки зрения откладывать решение проблемы нецелесообразно. Графические процессоры, которые снижают производительность для самозащиты, теряют от 15% до 30% вычислительной пропускной способности в зависимости от интенсивности рабочей нагрузки и условий окружающей среды.
Если вы эксплуатируете кластер из 100 графических процессоров, каждый из которых стоит $30 000, то эта потеря производительности приводит к потере вычислительных мощностей на миллионы долларов, за которые вы уже заплатили.
Ваши затраты на электроэнергию отражают аналогичную картину. По данным Китайской академии информационных и коммуникационных технологий, в 2024 году средний показатель PUE для центров обработки данных по стране составил 1,46. Если вам удастся снизить показатель PUE с 1,46 до 1,10 за счет использования жидкостного охлаждения для высокопроизводительных вычислений (HPC), экономия на электроэнергии на объекте среднего размера может составить сотни тысяч долларов в год. И это ещё без учёта преимуществ, связанных с увеличением плотности размещения оборудования: вы сможете разместить больше вычислительных ресурсов на меньшей площади, что позволит отложить или вовсе исключить необходимость в расширении здания в будущем.
От планирования до внедрения: ваш план действий по внедрению системы жидкостного охлаждения для высокопроизводительных вычислений (HPC)
1. Реалистичная оценка нагрузки.
Составьте схему текущего распределения мощности в стойке и наложите на неё план закупок графических процессоров на ближайшие 18–24 месяца. Если пиковая плотность загрузки стойки в течение этого периода превысит 30 кВт, планирование перехода на новую систему охлаждения необходимо начать уже сейчас — а не тогда, когда оборудование поступит на место.
2. Пилотное внедрение
Запустите небольшой кластер — от четырёх до восьми стоек с жидкостным охлаждением — и сравните реальные показатели PUE, температуры охлаждающей жидкости и процедуры технического обслуживания с исходными данными вашей среды с воздушным охлаждением. Многие операторы приходят к выводу, что практический опыт, полученный в ходе пилотного проекта, выявляет проблемы интеграции, о которых не упоминается ни в одном техническом документе поставщика: конфликты при прокладке трубопроводов, ограничения по размещению CDU или пробелы в подготовке персонала вашей технической службы. Именно эти ранние уроки позволяют вам масштабировать систему жидкостного охлаждения HPC на все ваши объекты, не повторяя дорогостоящих ошибок.
3. Выбор поставщика
При оценке партнеров-поставщиков оборудования требуйте предоставить количественные данные: поддерживаемую плотность мощности в стойке, номинальное снижение показателя PUE, периодичность технического обслуживания, доступность запасных частей и механизмы локализации утечек. Если вам сложно сравнить заявления конкурирующих поставщиков или вам нужны холодные пластины, блоки управления охлаждением (CDU) и стоечные коллекторы, которые органично интегрируются в вашу существующую инфраструктуру, такие поставщики оборудования, как SOETECK, могут помочь вам согласовать технические характеристики компонентов с вашим фактическим профилем тепловой нагрузки и ограничениями объекта. Правильные решения по выбору оборудования на этом этапе определяют, будет ли внедрение системы жидкостного охлаждения для высокопроизводительных вычислений (HPC) осуществляться в соответствии с графиком и в рамках бюджета.
Ваши следующие шаги, прежде чем жидкостное охлаждение HPC станет «узким местом»
Вы действуете в условиях, когда первопроходцы укрепляют свои цепочки поставок и наращивают операционный потенциал, который последователи будут спешно пытаться повторить. По прогнозам IDC, рынок серверов с жидкостным охлаждением в Китае будет расти со среднегодовым темпом 46,81 TP3T в период с 2024 по 2029 год, достигнув 1 TP4T 16,2 млрд. Такая траектория роста означает, что сроки поставки оборудования, доступность квалифицированных технических специалистов и внимание поставщиков будут все больше смещаться в сторону целеустремленных покупателей.
Вам нужно предпринять следующие незамедлительные действия: проверить плотность заполнения стоек, рассчитать показатель PUE для вашего текущего центра обработки данных и запустить пилотный проект. Жидкостное охлаждение для высокопроизводительных вычислений (HPC) — это не вопрос будущего, а инфраструктурное решение, от которого зависит, обеспечит ли ваша следующая инвестиция в графические процессоры (GPU) ту производительность, за которую вы заплатили, или же приведёт к снижению производительности до посредственного уровня.
