Если вам предложили решение для прецизионного охлаждения, а в техническом паспорте указано лишь “блок CRAC”, не спешите принимать решение. Архитектура вашей кондиционирование компьютерного зала Система охлаждения — независимо от того, осуществляется ли охлаждение на уровне помещения, ряда или стойки — оказывает большее влияние на ваши расходы на электроэнергию и надежность, чем бренд или холодопроизводительность. Если вы сделаете неверный выбор, вам придется годами бороться с перегревом или платить за мощности охлаждения, которые так и не дойдут до ваших серверов.
В данном руководстве представлена практичная и четкая методика, которая поможет вам принять это решение с учетом фактической плотности мощности в стойке, ограничений, связанных с планировкой помещения, а также перспектив развития.
Плотность мощности — измеряемая в кВт на стойку — является главным фактором при выборе схемы охлаждения. Все остальное зависит от этого показателя. Прежде чем читать дальше, рассчитайте его: разделите общую мощность ИТ-оборудования (кВт) на количество стоек в помещении.
Основной вопрос: чем отличаются эти типы друг от друга?
Все три метода предполагают прохождение холодного воздуха через нагретое оборудование. Разница заключается в том, что насколько какой путь должен пройти воздух и насколько точно он направляется.
Комнатное охлаждение
- Авиаперелеты: 10–20 и более метров поперек комнаты
- Таргетинг: Вся комната, а не отдельные стеллажи
- Идеально подходит для: Средняя плотность ≤ 5 кВт/стойка
- Основной риск: Очаги напряжённости в районах с высокой плотностью населения
Рядовое охлаждение
- Авиаперелеты: 0,5–2 метра, от стеллажа до блока
- Таргетинг: Один ряд стеллажей на единицу
- Идеально подходит для: Средняя мощность 5–20 кВт на стойку
- Основной риск: Больше объектов, требующих управления и обслуживания
Охлаждение стеллажа
- Авиаперелеты: Сантиметры — внутри стеллажа
- Таргетинг: Один стоек, точность на уровне блейдов
- Идеально подходит для: > 15 кВт на стойку, до 60 кВт на стойку
- Основной риск: Более высокая первоначальная стоимость одной стойки
Охлаждение помещений (CRAC/CRAH) — когда это правильный выбор
На протяжении десятилетий кондиционирование компьютерных залов на уровне отдельных помещений было стандартом в отрасли. Напольная установка CRAC размещается по периметру помещения, подает холодный воздух через пленум фальшпола и забирает теплый возвратный воздух сверху. Когда условия в помещении соответствуют проектным предположениям, такая система работает чрезвычайно эффективно и остается самой простой в эксплуатации.
Комнатное охлаждение
Системы охлаждения помещений наиболее эффективны в традиционных помещениях со средней или низкой плотностью размещения оборудования, где средняя плотность стоек составляет по 1–5 кВт — что характерно для серверов общего назначения, массивов хранения данных и смешанного сетевого оборудования. Пространство под фальшполом служит каналом подачи охлажденного воздуха под давлением, а перфорированные плитки направляют воздушный поток в холодный проход.
Включайте кондиционер в следующих случаях:
- У вас уже есть фальшпол (рекомендуемая высота пленума — не менее 300 мм)
- Ваша средняя плотность установки стабильно составляет менее 5 кВт на стойку
- На вашем плане этажа предусмотрено место для установки блоков CRAC по периметру (обычно с зазором 0,5–1,0 м)
- Вам нужна единая система с централизованным управлением и минимальным количеством устройств
- Ваша ИТ-команда предпочитает минимальную инфраструктуру охлаждения в помещениях
✅ Сильные стороны
- Меньшее количество единиц — проще в управлении
- Проверенная и хорошо изученная технология
- Более низкие капитальные затраты на малолюдные помещения
- Простая схема резервирования N+1
- Широкий ассортимент — агрегаты мощностью от 7,5 кВт до более 300 кВт
⚠️ Ограничения
- При мощности свыше 5 кВт на стойку неизбежно возникают «горячие точки»
- Требуется фальшпол (увеличивает стоимость и сложность)
- Эффективность охлаждения снижается с ростом плотности
- Холодный воздух смешивается с горячим, прежде чем поступает к серверам
- Единственная точка отказа охватывает всю комнату
Вы управляете серверной на 20 стоек для средней компании. В большинстве стоек установлены серверы Dell или HP высотой 1U/2U, потребляющие в среднем по 2–3 кВт каждый. Глубина фальшпола составляет 400 мм. Два блока CRAC мощностью 30 кВт в конфигурации N+1 без проблем справляются с этой нагрузкой, при этом остается запас для расширения до 25–30 стоек, прежде чем потребуется пересмотреть топологию.
Если вы заметили, что некоторые стойки нагреваются заметно сильнее других, несмотря на нормальную работу системы CRAC, это классический признак того, что плотность размещения оборудования превысила уровень, при котором система охлаждения помещения способна обеспечить равномерное распределение холода. Не стоит просто устанавливать дополнительные блоки CRAC — подумайте, не следует ли в качестве следующего шага внедрить целевое охлаждение внутри рядов.
Охлаждение внутри ряда — когда плотность требует большего
При межрядном охлаждении специальные охлаждающие агрегаты устанавливаются непосредственно между рядами серверных стоек. Вместо охлаждения всего помещения каждый агрегат охлаждает только стойки, расположенные по обе стороны от него, что значительно сокращает путь прохождения воздуха и повышает эффективность. Это правильный подход, если средняя плотность стоек превышает 5 кВт или если в помещении большей площади со смешанной плотностью имеется зона высокой плотности.
Рядовое охлаждение
Блоки, устанавливаемые в ряд, обычно имеют ту же ширину, что и стандартная 19-дюймовая стойка (600 мм), и занимают одну единицу высоты стойки. Они подают холодный воздух горизонтально в холодный проход, а возвратный воздух из горячего прохода поступает непосредственно обратно в агрегат — без длительного перемещения по полу и без смешивания. Такая замкнутая циркуляция воздуха обеспечивает гораздо больший контроль, чем охлаждение на уровне помещения.
Используйте охлаждение в ряду в следующих случаях:
- Средняя плотность размещения в 5–20 кВт на стойку диапазон
- У вас нет фальшпола или высота пленума слишком мала (< 250 мм)
- Вы развертываете блейд-серверы, гиперконвергентные узлы или кластеры процессоров с большим количеством ядер
- Вам необходимо увеличить охлаждающую мощность в определенной зоне, не перестраивая при этом все помещение
- Ваш центр обработки данных должен быть способен выдержать будущее увеличение плотности размещения оборудования без полной перепроектировки
✅ Сильные стороны
- Не требуется фальшпол — экономия средств
- Энергосбережение при использовании вентилятора 50%+ по сравнению с охлаждением помещения
- Изоляция сбоев — сбой одного модуля = затронут один ряд
- Масштабируется по мере добавления стоек
- Совместимо с системой локализации «горячий проход/холодный проход»
⚠️ Ограничения
- Больше устройств = больше точек технического обслуживания
- Каждому блоку требуется подключение к водопроводу или к трубопроводу с хладагентом DX
- Занимает место на полу/в стойке (обычно 1–2 единицы высоты)
- Более высокая общая стоимость установки по сравнению с охлаждением помещений при низкой плотности
Вы расширяете свой центр обработки данных за счет установки кластера высокопроизводительных вычислительных систем, состоящего из 10 стоек. Средняя потребляемая мощность каждой стойки составит 12 кВт — это значительно превышает возможности ваших существующих периферийных кондиционеров CRAC. Вы устанавливаете один блок охлаждения в ряду на каждые две стойки HPC, создавая автономную зону охлаждения, которая не влияет на (и не зависит от) остальную систему терморегулирования помещения.
Охлаждение стоек — решение для систем высокой плотности
При стоечном охлаждении охлаждающий агрегат размещается либо внутри стойки, либо непосредственно за ней (теплообменник на задней стенке). Прохождение воздуха измеряется в сантиметрах, а не в метрах. Это единственный жизнеспособный подход для узлов обучения ИИ, плотных блейд-шасси или кластеров графических процессоров, которые потребляют 20–60 кВт в одной стойке высотой 42U.
Охлаждение стеллажа
Наиболее распространенным подходом на уровне стоек является теплообменник задней двери (RDHx) — дверца с водяным охлаждением, которая заменяет стандартную заднюю дверцу стойки и поглощает тепло при прохождении через нее вытяжного воздуха. Во многих конструкциях вентиляторы не требуются; воздух проходит через теплообменник под действием собственных вентиляторов сервера. Для обеспечения еще более высокой плотности размещения контуры прямого жидкостного охлаждения подают хладагент непосредственно на процессоры и графические процессоры.
Используйте стоечное охлаждение в следующих случаях:
- Мощность отдельного стойки превышает 15–20 кВт
- Вы развертываете ускорители искусственного интеллекта (NVIDIA H100/H200, AMD MI300) или узлы с высокой плотностью графических процессоров
- Речь идет о шасси для блейд-серверов (например, 84 блейда = ~28 кВт от одного шасси)
- У вас есть среда колокации, в которой вы управляете только своими собственными стойками
- Систему кондиционирования в вашей комнате нельзя модернизировать, но вам нужно увеличить плотность размещения
✅ Сильные стороны
- Мощность до 60 кВт на стойку
- Полностью удаляет горячий отработанный воздух (с помощью RDHx)
- Минимальный риск появления перегрева — охлаждение осуществляется для каждой стойки отдельно
- Работает в средах колокации
- Снижает или полностью устраняет необходимость в охлаждении помещений
⚠️ Ограничения
- Наибольшая первоначальная стоимость на одну стойку
- Требуется подача охлажденной воды или подключение к контурному кондиционеру для каждого стойки
- Риск утечки в большей степени связан с аппаратным обеспечением — его выявление имеет решающее значение
- С ростом масштабов сложность обслуживания увеличивается
- Нерентабельно при мощности ниже ~12 кВт на стойку
Вы развертываете кластер для инференции ИИ, состоящий из 5 стоек. Каждая стойка содержит 8 графических процессоров NVIDIA H100 в корпусе NVL, потребляющих 22 кВт в стационарном режиме (с пиковыми нагрузками до 28 кВт во время пакетной инференции). Ни одна система охлаждения на уровне помещения или в ряду не способна реально охладить эти стойки при такой плотности. Теплообменники на задней дверце каждой стойки, питаемые от выделенного контура охлажденной воды, являются единственным практичным решением — и они окупаются в течение 18 месяцев только за счет экономии энергии на вентиляторах.
Схема принятия решений
Отвечайте на эти вопросы по порядку. Ваш ответ на первый вопрос, давший однозначный результат, и будет вашей рекомендацией.
🧭 Какой тип кондиционера для компьютерного зала вам нужен?
→ ДА: Используйте охлаждение стоек (RDHx или прямое жидкостное охлаждение). Помежные и межрядные агрегаты не способны надежно справиться с такой нагрузкой.
→ НЕТ: Перейдите к вопросу № 2.
→ ДА: Используйте систему охлаждения внутри ряда. Системы CRAC на уровне помещения не справятся с очагами перегрева при средной мощности более 5 кВт на стойку.
→ НЕТ: Перейдите к вопросу № 3.
→ ДА: Система охлаждения помещений (CRAC) — отличный вариант. Убедитесь, что средная мощность не превышает 5 кВт на стойку.
→ НЕТ: Рассмотрите возможность использования системы охлаждения между рядами даже при низкой плотности размещения, поскольку для этого не требуется фальшпол.
→ ДА: Используйте гибридный подход — сохраните систему охлаждения помещения для зон с низкой плотностью, а для зон с высокой плотностью установите блоки в рядах. Не перепроектируйте все помещение.
→ НЕТ: Охлаждения помещения при надлежащей изоляции «горячих» и «холодных» проходов, скорее всего, будет достаточно.
Сравнение «бок о бок»
| Фактор | Комнатное охлаждение | Рядовое охлаждение | Охлаждение стеллажа |
|---|---|---|---|
| Оптимальный диапазон плотности | 1–5 кВт на стойку | 5–20 кВт на стойку | 15–60 кВт на стойку |
| Требуется ли фальшпол? | Предпочтительный | Не требуется | Не требуется |
| Капитальные затраты (на 1 кВт охлаждаемой мощности) | Низкий | Средний | Высокий |
| Энергоэффективность при высокой плотности застройки | Недостаточная (>5 кВт/стойка) | Хорошо | Превосходно |
| Энергосбережение вентилятора по сравнению с помещением | Базовый уровень | ~50% экономия | Экономия до 70% |
| Ограничение последствий аварии | Пострадала вся комната | Затронута одна строка | Пострадала одна стойка |
| Постепенно увеличивается? | Ограниченный | Да — за каждую строку | Да — за стойку |
| Работает в одном помещении? | Редко | Иногда | Да |
| Сложность обслуживания | Низкий (меньшее количество единиц) | Средний | Высокий (обслуживание на месте) |
| Что лучше подходит для задач, связанных с ИИ и графическими процессорами? | Нет | Незначительная (до ~20 кВт) | Да — до 60 кВт |
Гибридные подходы, которые действительно работают
Большинство реальных центров обработки данных не подпадают под одну конкретную категорию. Хорошая новость заключается в том, что вам не нужно выбирать один тип для всего этажа. Грамотно спроектированная гибридная система позволяет обеспечить экономичность охлаждения помещений для стандартных стоек и точность охлаждения отдельных рядов или стоек именно там, где это необходимо.
Вариант 1: Помещение + в ряду (наиболее распространённый)
Сохраните имеющиеся периферийные блоки CRAC для поддержания базовой температуры окружающей среды (около 22–24 °C). Затем установите блоки внутри ряда рядом с плотными кластерами стоек. CRAC справляется с фоновой тепловой нагрузкой, а блоки внутри ряда — с пиковыми нагрузками. Это наиболее распространенный способ модернизации, когда команда добавляет гиперконвергентную инфраструктуру или новую зону HPC в существующее помещение.
Модель 2: Внутристрочное + стеллаж (AI/GPU Labs)
Если в вашем помещении размещены разнородные рабочие нагрузки — стандартные серверы в одних рядах и узлы с высокой плотностью графических процессоров в других — используйте систему охлаждения внутри рядов для стандартных серверов и теплообменники на задней панели для стоек с графическими процессорами. Это позволит избежать затрат на подвод воды к каждой стойке в помещении, при этом обеспечив охлаждение оборудования с самой высокой плотностью.
Вариант 3: Охлаждение помещения + локализация (экономичный вариант модернизации)
Если плотность размещения оборудования в вашем помещении пока недостаточно высока для установки оборудования внутри рядов, то внедрение системы разделения «горячего» и «холодного» проходов в существующую систему охлаждения помещения может значительно продлить срок службы этой системы. Изоляция предотвращает смешивание холодного приточного воздуха с горячим возвратным, эффективно увеличивая полезную мощность вашего CRAC на 20–40% без какого-либо нового охлаждающего оборудования.
При комбинировании различных типов систем охлаждения убедитесь, что ваша система управления зданием (BMS) управляет ими как единой тепловой системой, а не как отдельными агрегатами. Нескоординированная работа систем охлаждения может привести к тому, что агрегаты будут «конкурировать» друг с другом: один будет нагревать помещение, а другой — чрезмерно охлаждать. В такой ситуации централизованный контроллер быстро окупит себя.
3 ошибки при выборе, которых следует избегать
Ошибка № 1: расчет мощности с учетом сегодняшней нагрузки, а не завтрашней
Самая распространённая и дорогостоящая ошибка. Вы устанавливаете систему охлаждения помещения, рассчитанную на текущую среднюю нагрузку в 3 кВт на стойку, а через два года добавляете ряд блейд-серверов, которые повышают среднюю плотность до 8 кВт на стойку — и вдруг вам приходится бороться с перегревом с помощью переносных точечных охладителей. Всегда моделируйте траекторию роста на 3 года и выбирайте топологию, способную ее обеспечить, даже если вы не развернете все оборудование в первый день.
Ошибка № 2: предположение, что использование ин-рядного подхода в целом обходится дороже
Охлаждение в ряду характеризуется более высокой первоначальной стоимостью единицы оборудования, однако совокупная стоимость владения (TCO) при плотности мощности свыше 5 кВт на стойку, как правило, ниже в течение пяти лет — ведь экономия на энергозатратах вентиляторов со временем увеличивается. Прежде чем принимать решение, сравните совокупную стоимость владения, а не только первоначальные затраты.
Ошибка № 3: игнорирование воздушных потоков и переход сразу к аппаратному обеспечению
Прежде чем приобретать новое оборудование для кондиционирования компьютерного зала, проверьте организацию воздушных потоков. Отсутствующие заглушки в стойках, пучки кабелей, перекрывающие перфорированные решетки, неправильная ориентация «горячих» и «холодных» проходов — все эти проблемы могут стать причиной 30–50 % неэффективности системы охлаждения. Сначала устраните проблемы с воздушными потоками, а затем заново оцените, действительно ли вам требуется дополнительное оборудование.
