Модульный ЦОД с изоляцией проходов при GPU-плотности: как выбрать между холодным и горячим проходом

aisle modular data center

Модульный ЦОД с изоляцией проходов может справиться с тепловыделением уровня ИИ, но только при выборе правильной топологии изоляции. При нагрузке ниже 10–15 кВт на стойку изоляция холодного прохода обеспечивает экономию энергии охлаждения на 20–30 % при приемлемой для ретрофита стоимости. При нагрузке выше 20 кВт на стойку необходимы изоляция горячего прохода или конструкции с жидкостным охлаждением, с документированной экономией 30–43 %.

Правильный выбор модульного ЦОД с изоляцией проходов зависит от трёх переменных: плотности стоек, доступного пути обратного воздуха и того, является ли зал новым строительством или ретрофитом. Ошибётесь здесь — и температура на входе GPU превысит 35 °C, что вызовет троттлинг и растянет задачи обучения на 20–50 %. В этом руководстве мы разберём пороговые значения, затраты и режимы отказов на основе измеренных данных.

Что такое модульный ЦОД с изоляцией проходов и почему изоляция так важна?

Модульный ЦОД с изоляцией проходов — это сборное автономное ИТ-помещение. Питание, охлаждение, мониторинг и стойки объединены в один заводской протестированный модуль, поэтому развёртывание обходится без большинства строительных работ на площадке. Данные вендоров иллюстрируют преимущество в скорости: Vertiv сообщает о развёртывании в 80 % быстрее и снижении стоимости развёртывания до 30 % для своей платформы SmartAisle, при PUE всего 1,21.

Изоляция — термическое сердце модульного ЦОД с изоляцией проходов. Герметизация холодного или горячего прохода заставляет приточный воздух проходить через входы ИТ-оборудования ровно один раз и возвращает вытяжной воздух в охлаждающие установки без смешивания. Без такого физического барьера холодный воздух обходит стойки, а горячий рециркулирует, вынуждая CRAC-установки переохлаждать весь зал. По оценке Uptime Institute, изоляция снижает энергопотребление системы охлаждения на 15–30 % в типовых объектах.

Вендоры позиционируют модульный ЦОД с изоляцией проходов как самый быстрый путь к мощности, готовой к нагрузкам ИИ. Например, SOETECK публикует значения PUE всего 1,3 при поддержке 15 кВт и более на стойку. Эти цифры предполагают дисциплинированное управление воздушным потоком, и изоляция — та самая дисциплина, которая делает их реальными.

Насколько горячими на самом деле бывают современные стойки для ИИ?

Средняя плотность стоек удвоилась примерно с 7 кВт в 2021 году до 16 кВт в 2025-м и достигла около 27 кВт к 2026 году, согласно отраслевым данным, на которые ссылается Obelinf. Стойки для обучения ИИ в штатном режиме потребляют 100 кВт и более. Кластеры GPU в конфигурациях NVL72 превышают 40 кВт на стойку, а инженеры Leviathan Systems сообщают о локальных горячих точках на вытяжке выше 50 °C. Системы NVIDIA GB200 NVL72 работают при 120–132 кВт на стойку.

модульный ЦОД с изоляцией проходов

Такое тепло имеет серьёзные последствия. ASHRAE TC 9.9 рекомендует приточный воздух температурой 18–27 °C, но кластерам GPU часто требуется приток ниже 22 °C, чтобы температура на входе ускорителей не превышала 35 °C. Выше этого порога nvidia-smi показывает снижение частот, а задачи распределённого обучения растягиваются на 20–50 %. Обычные открытые проходы просто не могут удерживать стабильную температуру на входе при такой плотности.

Тренд плотности перекраивает всю индустрию охлаждения. Выбор модульного ЦОД с изоляцией проходов без данных о плотности — это гадание. Воздушное охлаждение с хорошей изоляцией справляется примерно с 25–40 кВт на стойку; выше этого объёмы воздушного потока и мощность вентиляторов становятся физически и экономически абсурдными. Изоляция остаётся фундаментом, на котором строится любая стратегия более высокой плотности.

Изоляция холодного прохода: когда она работает в модульном ЦОД с изоляцией проходов?

Изоляция холодного прохода охватывает приточную сторону. Герметичные двери, кровельные панели и заглушки направляют охлаждённый воздух прямо во фронт серверов. Это вариант, удобный для ретрофита, особенно в залах с фальшполом без потолочного возвратного пленума. EziBlank сообщает о типичной экономии на охлаждении в 20–30 % для ретрофита CAC, со сроком окупаемости обычно менее трёх лет.

Большинство операторов модульных ЦОД с изоляцией проходов начинают с изоляции холодного прохода, потому что для неё нужны только накрытия прохода, торцевые двери и кровельная конструкция. Не требуются потолочный пленум или возвратные воздуховоды, что снижает и стоимость, и время простоя. Само помещение выступает путём возврата воздуха, выравнивая перепады давления, которые в противном случае накапливались бы.

При GPU-плотности CAC работает только в строгих условиях. Стандартные перфорированные плиты с 25 % открытой площади обеспечивают примерно 8–10 кВт охлаждения при типичном статическом давлении под полом. Leviathan Systems рекомендует плиты с высокой пропускной способностью, с 56 % открытой площади, и давление под полом выше 50 Па. Стойка на 40 кВт с ΔT 25 °C требует около 4 000 CFM, для чего нужно не менее двух плит с большой открытой площадью на стойку.

Когда эти условия нарушаются, отказ драматичен. Приточный воздух уходит к 25 °C, температура на входе GPU за считанные минуты достигает 38 °C, и начинается троттлинг. Для строительства «с нуля» CAC по-прежнему может работать внутри модульного ЦОД с изоляцией проходов, если мощность охлаждения завышена на 20–30 %, а стоечные охлаждающие установки обрабатывают обратный воздух температурой 45 °C. Измеренные ретрофиты доказывают, что модульный ЦОД с изоляцией проходов способен выдержать модернизацию без полной перестройки зала.

Изоляция горячего прохода: более сильный выбор для плотности уровня ИИ?

Изоляция горячего прохода герметизирует вытяжную сторону. Стойки развёрнуты задними панелями друг к другу, а горячий воздух отводится в потолочный пленум или напрямую обратно к охлаждающим установкам. EziBlank документирует экономию на охлаждении в 30–43 % для HAC, с наибольшим эффектом в новых зданиях, спроектированных вокруг верхних путей возврата воздуха. Температура обратного воздуха может достигать 45 °C, что повышает эффективность чиллеров и расширяет часы работы экономайзера.

HAC также сохраняет рабочую среду приемлемой. Помещение вне изолированных горячих проходов остаётся близко к температуре приточного воздуха, в то время как изолированный холодный проход превращает зал в горячую зону с температурой вытяжки. Руководство по проектированию ЦОД от AMD утверждает, что изоляция горячего прохода поддерживает плотность стоек, превышающую 30–50 кВт на стойку, что делает её предпочтительной топологией для сред с высокой плотностью.

Расплатой становится конструкция. HAC требует пути обратного воздуха, потолочного пленума или стоечных дымоходов, а строительство стоит дороже. Интеграция системы пожаротушения по стандарту NFPA 75 сложнее. Для ИИ-нагрузок выше 20 кВт на стойку эти затраты обычно оправданы отдачей в виде эффективности и тепловой стабильности.

модульный ЦОД с изоляцией проходов

Что говорят цифры об эффективности модульного ЦОД с изоляцией проходов?

Измеренные сравнения из тестов Cool-Shield показывают предел плотности каждой топологии. При комнатном охлаждении открытая компоновка достигает максимума около 5 кВт на стойку, тогда как HAC достигает 20 кВт, а CAC — 16 кВт. Эффективность охлаждающих установок повторяет ту же закономерность: примерно 0,92 кВт энергии охлаждения на каждый кВт тепла в открытом помещении, 0,42 кВт при HAC и 0,50 кВт при CAC.

Эти выгоды накапливаются во всём модульном ЦОД с изоляцией проходов. Uptime Institute сообщает о снижении затрат на охлаждение на 15–30 % благодаря изоляции. Белая книга Schneider Electric показывает снижение PUE с 1,8 до уровня ниже 1,4, а в развёртываниях с высокой плотностью — примерно до 1,25. Внедрение ускоряется: Data Center Strategy прогнозирует, что мировой рынок изоляции будет расти с CAGR 12,7 % до 4,6 млрд долларов к 2030 году.

Ключевые метрики для отслеживания при оценке любого проекта модульного ЦОД с изоляцией проходов:

  • Предел плотности стойки: открытая компоновка 5 кВт, CAC 16–25 кВт, HAC 20–30+ кВт на стойку.
  • Энергия охлаждения на кВт тепла: 0,92 кВт открыто, 0,50 кВт CAC, 0,42 кВт HAC.
  • Типичная экономия на охлаждении: 20–30 % для CAC, 30–43 % для HAC.
  • Стоимость ретрофита: примерно 5 000–50 000 долларов за проход, срок окупаемости 6–18 месяцев.

Куда вписывается жидкостное охлаждение в модульном ЦОД с изоляцией проходов?

Грамотно реализованный модульный ЦОД с изоляцией проходов достигает PUE ниже 1,3 в умеренном климате, но у воздушного охлаждения есть жёсткий потолок. Руководство по проектированию AMD определяет практический предел примерно в 45 кВт на стойку, после чего необходимы другие стратегии. Заднедверные теплообменники расширяют конструкции на воздушном охлаждении до 50–80 кВт на стойку, что делает их естественным шагом при ретрофите.

Жидкостное охлаждение с прямым контактом с чипом справляется с 40–100 кВт на стойку и удаляет 60–80 % тепла в источнике, согласно рекомендациям AMD. Оставшееся тепло всё равно требует управления воздушным потоком, поэтому изоляция не исчезает — она сводится к вспомогательной роли. Гибридный модульный ЦОД с изоляцией проходов сочетает холодные пластины для ускорителей с изоляцией горячего прохода для остаточной нагрузки воздушного охлаждения.

Переход ступенчатый, а не бинарный. Сначала RDHx, затем холодные пластины, затем иммерсионное охлаждение для 100 кВт и более. Каждая ступень предполагает, что воздушный поток модульного ЦОД с изоляцией проходов уже изолирован и предсказуем. На практике модульный ЦОД с изоляцией проходов со стоечным охлаждением выдерживает до 40 кВт на стойку до перехода на жидкость, поэтому решение о топологии принимается в первую очередь.

Как выполнить ретрофит модульного ЦОД с изоляцией проходов в существующем зале?

Ретрофит изоляции работает поэтапно. Начните с торцевых дверей прохода, которые создают «ванну» холодного воздуха и поддерживают 5–8 кВт на стойку. Добавьте изоляционный воротник высотой 18–36 дюймов, чтобы поднять диапазон до 10–12 кВт. Полный холодный проход с компоновкой из двух плит поддерживает 20–25 кВт на стойку; проход из трёх плит достигает 30 кВт и более, согласно отчёту Technoguard о высокой плотности.

Данные о стоимости говорят в пользу поэтапного развёртывания. Министерство сельского хозяйства и агропродовольствия Канады (Agriculture and Agri-Food Canada) изолировало около 70 % своих стоек менее чем за 100 000 долларов, тогда как один дополнительный кондиционер стоил бы около 300 000 долларов, и при этом выдержало рост ИТ-нагрузки на 60 % без новой инфраструктуры охлаждения. Герметизируйте каждую щель: полевой опыт Leviathan Systems показывает, что утечки более 1 см снижают эффективность изоляции на 15–20 %.

Проверяйте перед масштабированием. Измеряйте температуру на входе стоек, значения ΔT и карты горячих точек. Используйте CFD-моделирование для сложных геометрий или рядов с высокой плотностью, а затем расширяйтесь ряд за рядом, когда результаты совпадут со спецификацией.

Какие ошибки чаще всего портят производительность модульного ЦОД с изоляцией проходов?

Неполная герметизация — самая распространённая причина отказов. Щели в торцевых дверях прохода, открытые стойки и незагерметизированные кабельные проёмы позволяют горячему вытяжному воздуху рециркулировать на вход. Заглушки — самый высокоокупаемый элемент бюджета охлаждения: каждая открытая серверная единица — это путь рециркуляции между горячей и холодной стороной.

модульный ЦОД с изоляцией проходов

Неправильно откалиброванные системы управления — вторая ловушка. CRAC-установки, настроенные под открытую компоновку, продолжают подавать воздух с температурой, рассчитанной на смешанную среду, сводя на нет экономию, которую должна давать изоляция. После установки сбросьте заданные значения и частоты вращения вентиляторов, опираясь на данные датчиков, а не на предположения.

Усреднение плотности — третья ошибка. Проектирование под среднюю стойку игнорирует тот факт, что ряды GPU работают значительно горячее, чем средняя температура зала. Рекомендации AMD и полевые отчёты сходятся: проектируйте под наихудшую стойку, а не под среднюю, и планируйте воздушный поток, изоляцию и охлаждение каждой зоны плотности отдельно. Модульный ЦОД с изоляцией проходов, спроектированный под средние значения, окажется несостоятельным в крайних режимах.

Как проверить производительность модульного ЦОД с изоляцией проходов после ввода в эксплуатацию

Мониторинг отделяет реальные выгоды от воображаемых. Индекс температуры обратного воздуха (RTI) количественно оценивает байпас и рециркуляцию: 100 % означает сбалансированный воздушный поток, ниже 100 % — неиспользуемый возврат холодного воздуха, выше 100 % — смешивание горячего воздуха с приточным. RTI требует только температуры на входе и обратного воздуха, которые уже доступны в большинстве систем мониторинга.

Проверка давления и тепловизионный контроль подтверждают герметичность после установки. Датчики температуры внутри и снаружи прохода отслеживают стабильность температуры на входе под нагрузкой. Для проходов с высокой плотностью непрерывный мониторинг PUE в связке с нагрузкой охлаждения позволяет рано обнаружить дрейф. Проверьте результаты, задокументируйте базовую линию и настройте систему управления, прежде чем объявлять проект завершённым.

Правило принятия решения для вашего следующего модульного ЦОД с изоляцией проходов

Правильный проект модульного ЦОД с изоляцией проходов следует за плотностью, а не за модой. При нагрузке ниже 15 кВт на стойку изоляция холодного прохода даёт быструю и доступную экономию при ретрофите. При нагрузке выше 20 кВт на стойку изоляция горячего прохода или гибридные конструкции с жидкостным охлаждением защищают производительность GPU и открывают экономию на охлаждении в 30–43 %.

Подбирайте топологию под нагрузку, герметизируйте каждую щель и проверяйте измерениями. Если вы не уверены в будущей плотности, оставьте место для поэтапной модернизации. Модульный ЦОД с изоляцией проходов создан, чтобы расти: торцевые двери сейчас, воротники позже, а путь обратного воздуха активируется, когда придёт время нагрузок ИИ.