Вы заходите в свой машинный зал и замечаете, что температура на входе стойки №14 снова составляет 42°C. Ваши периметральные установки CRAC работают на полную мощность, но горячие точки никуда не исчезают. Если это звучит знакомо, значит, ваша архитектура кондиционирования центра обработки данных достигла предела по плотности. Разрыв между традиционным охлаждением на уровне помещения и современными стойками высокой плотности — это место, где живут простои, и ваша стратегия точного охлаждения на уровне рядов — единственный мост через него.
Когда система периметрального охлаждения выходит из строя в вашем центре обработки данных
Система CRAC по периметру — кондиционеры для компьютерных залов, установленные вдоль стен и подающие холодный воздух через фальшпол, — на протяжении десятилетий оставалась стандартным способом кондиционирования воздуха в центрах обработки данных. Она работает. Пока не перестанет работать.
Согласно данным полевых исследований, собранным CRAC.services, эффективность периметрального охлаждения резко снижается, как только плотность установки в стойке превышает 10 кВт на шкаф. Физика здесь проста: путь воздуха от настенного агрегата до стойки, расположенной на расстоянии 15 метров, слишком велик. Холодный воздух смешивается с горячим отработавшим воздухом, не успев достичь впускных отверстий серверов. Давление в пленумном пространстве пола не может быть достаточно высоким, чтобы не выбить плитки из их положения.
Теперь добавьте к этому кластеры для обучения ИИ, потребляющие 30–100 кВт на стойку. Согласно отчету Vertiv «Data Center 2025», 41% отраслевых специалистов считают, что гибридная модель терморегулирования «воздух-жидкость» станет новым стандартом. Ваша устаревшая периферийная инфраструктура никогда не была рассчитана на такие условия. Это не просто незначительная проблема — это полное несоответствие архитектуры.
Понимание архитектуры точного охлаждения на основе строк
При точном охлаждении по рядам узкопрофильные охлаждающие агрегаты устанавливаются непосредственно внутри ряда серверов, между стойками. Вместо того чтобы прогонять воздух на расстояние 15 метров по помещению, путь прохождения воздуха сокращается примерно до 30–50 см от охлаждающего агрегата до впускного отверстия стойки. Каждый блок, установленный в ряду, обеспечивает холодопроизводительность 10–50 кВт в зависимости от модели — при этом Vertiv Liebert CRV является наиболее широко используемой эталонной моделью в этом сегменте.
Ваш «горячий» проход становится обратным каналом. Холодный воздух поступает к передней части стойки, поглощает тепло, выделяемое серверами, выводится в изолированный «горячий» проход и сразу же возвращается в приточный отсек внутрирядного блока. Контур замкнут. Рециркуляция — главный враг системы кондиционирования ЦОД, основанной на периметральном принципе, — практически исчезает.
Эта архитектура также решает проблему модернизации. Если у вас есть устаревший центр обработки данных, в котором 80% стоек потребляют по 5 кВт, но два ряда серверов с графическими процессорами требуют по 35 кВт каждый, вы устанавливаете внутрирядные блоки в этих двух рядах, а периферийные системы CRAC продолжают обслуживать остальную часть. Вы не демонтируете существующую инфраструктуру; вы точно добавляете мощность там, где этого требует плотность размещения оборудования.
Расчет нагрузки на систему кондиционирования воздуха в центре обработки данных
Ошибки в расчетах нагрузки являются основной причиной большинства сбоев в системах прецизионного охлаждения. Отраслевое исследование, проведенное компанией Airventec China, показывает, что в 85% компьютерных залов заданная температура устанавливается ниже необходимой, что приводит к перерасходу энергии компрессоров на 15–25%, при этом горячие точки так и не удается устранить. Решение проблемы начинается с точного расчета нагрузки.
Во-первых, рассчитывайте нагрузку на ИТ-оборудование исходя из фактического потребления, а не номинальной мощности. Серверы редко потребляют 100% от своей номинальной мощности. Реальный коэффициент загрузки составляет 60–80% от номинальной мощности. Для стойки с 10 серверами номинальной мощностью 1 200 Вт каждый фактическая нагрузка будет ближе к 7,2–9,6 кВт, а не к 12 кВт. Размерное перепроектирование системы кондиционирования центра обработки данных на основе номинальных значений приводит к нецелевому расходованию капитала и вынуждает компрессоры работать в режиме неэффективного циклического переключения при частичной нагрузке.
Во-вторых, учитывайте тепло, выделяемое в результате потерь в ИБП, освещения и деятельности персонала — как правило, это составляет 5–10% от ИТ-нагрузки. В-третьих, непосредственно применяйте тепловые рекомендации ASHRAE TC 9.9: температура на входе в серверный шкаф должна составлять 18–27 °C, а относительная влажность должна поддерживаться в диапазоне от минимальной точки росы 5,5 °C до максимальной относительной влажности 60%. Если вы поддерживаете температуру в холодном проходе на уровне 18 °C, тогда как ASHRAE допускает 25 °C, каждый градус излишнего охлаждения обходится вам примерно в 3–5% годовых затрат на электроэнергию, согласно тем же отраслевым данным.
Правила локализации горячего прохода и управления воздушными потоками
Точное охлаждение в ряду без изоляции «горячего» прохода — пустая трата денег. Эти два элемента неразделимы. Если установить блоки охлаждения в ряду, но оставить «горячие» и «холодные» проходы открытыми, подаваемый холодный воздух полностью обходит впускные отверстия серверов — он возвращается в впускное отверстие охлаждающего агрегата, так и не выполнив полезной работы.
Полная герметизация «горячего» прохода — с использованием жестких панелей, дверей и потолочного барьера — обеспечивает возвращение каждого кубического метра горячего вытяжного воздуха через межрядные блоки. Альтернативой является герметизация «холодного» прохода: при этом вы изолируете «холодный» проход, а остальную часть помещения превращаете в камеру возврата горячего воздуха. Выбор зависит от планировки вашего объекта. В любом случае изоляция является обязательным условием. Данные технического анализа 51cps.net показывают, что правильно организованная изоляция «горячего» прохода сама по себе снижает энергопотребление на охлаждение на 20–30%, независимо от модернизации оборудования.
Кроме того, необходимо закрыть все неиспользуемые U-слоты в стойке заглушками. Даже один зазор размером 1U на лицевой панели стойки позволяет холодному воздуху полностью обходить серверы, создавая «короткий путь» с низким сопротивлением, что ухудшает охлаждение всех последующих стоек. Степень закрытия заглушками должна превышать 95%.
Выбор системы прецизионного охлаждения
Ваши блоки охлаждения, устанавливаемые в ряды, бывают двух основных типов: с прямым испарением (DX) и с охлажденной водой (CW). Каждый из них имеет строгий режим эксплуатации.
Агрегаты DX оснащены собственным контуром хладагента и компрессором. Они представляют собой автономные системы — не требуют подключения к контуру охлажденной воды здания. Благодаря этому системы DX становятся оптимальным выбором для небольших серверных, периферийных объектов и проектов по модернизации, где прокладка трубопроводов охлажденной воды к отдельному ряду серверов является экономически нецелесообразной. Компромисс заключается в том, что эффективность при частичной нагрузке снижается быстрее, чем в системах с охлажденной водой, а максимальная мощность одного агрегата, как правило, не превышает 30 кВт.
Блоки охлаждения с подачей охлажденной воды подключаются к центральной холодильной установке вашего здания. Они эффективно масштабируются — коэффициент эффективности (COP) при частичной нагрузке остается высоким, поскольку компрессоры центральной установки справляются с более значительной и стабильной нагрузкой. Для систем мощностью свыше 30 кВт на стойку или многорядных установок система с охлажденной водой почти всегда обеспечивает более низкую совокупную стоимость владения. Если у вас возникают проблемы со стабильностью температуры при колебаниях нагрузки, использование инструмента мониторинга поможет отслеживать в режиме реального времени колебания температуры на входе во всех стойках и определять, в каких рядах требуется перераспределение мощности, прежде чем «горячие точки» приведут к сбоям в работе.
Модернизация систем кондиционирования воздуха в центрах обработки данных
Модернизация системы охлаждения высокой плотности в действующем центре обработки данных может показаться дорогостоящей — и так и будет, если выбрать неверный подход. Теплообменники, устанавливаемые на задней дверце (RDHx), предлагают наиболее простой способ модернизации. Ребристый теплообменник крепится болтами к задней части существующего стойки, подключается к системе подачи охлажденной воды и отводит 80–90% тепла от стойки у двери, прежде чем оно успеет попасть в помещение. Ваши периферийные кондиционеры CRAC справляются только с остаточными 10–20%. Никакой перепланировки всего помещения. Никаких изменений в расположении рядов.
Модернизация с внедрением системы охлаждения внутри ряда требует чуть большего планирования — на каждый охлаждающий блок необходимо выделить 30–60 см пространства в ряду, — однако прирост мощности при этом пропорционально выше. Для стоек мощностью 20–50 кВт система охлаждения внутри ряда является оптимальным практическим решением.
Экономическая эффективность становится очевидной, если учесть сокращение времени простоя. Согласно данным Uptime Institute о затратах, связанных с простоями, один незапланированный простой из-за тепловой перегрузки обходится типичному оператору центров колокации в сумму от $500 000 до $1 миллиона в виде штрафов по соглашению об уровне обслуживания (SLA) и потери клиентов. Модернизация системы прецизионного охлаждения окупается уже при первом случае предотвращения отключения из-за перегрева.
Как избежать 5 самых распространенных ошибок при использовании систем прецизионного охлаждения
Установка слишком низкой температуры
Каждый градус ниже рекомендуемого диапазона ASHRAE обходится вам в 3–5% энергии, при этом надежность от этого ничуть не повышается.
Пренебрежение контролем влажности
Системы кондиционирования воздуха в центрах обработки данных должны обеспечивать регулирование как явной, так и скрытой нагрузки. Точка росы ниже 5,5 °C приводит к возникновению электростатических разрядов — которые остаются незаметными для вас до тех пор, пока модуль DIMM не выйдет из строя по непонятной причине. При относительной влажности выше 60% риск образования конденсата возрастает. Вашим прецизионным устройствам необходимы исправные системы увлажнения и осушения воздуха, а не датчики, обойденные в обход.
Работа компрессоров с фиксированной скоростью
Исследование компании Airventec показало, что 44% центров обработки данных по-прежнему используют системы охлаждения с постоянной скоростью. Частотно-регулируемые приводы адаптируют скорость компрессора к нагрузке в режиме реального времени, сокращая энергопотребление на 30–50%. Если ваши компрессоры включаются и выключаются каждые несколько минут, вы тратите деньги на создание перепадов температуры.
Внедрение системы локализации без использования CFD-моделирования
Моделирование с помощью методов вычислительной гидродинамики (CFD) обходится в несколько тысяч долларов и занимает неделю. Оно позволяет точно определить, где находятся «мёртвые зоны», контуры рециркуляции и перепады давления, ещё до того, как будет установлена хотя бы одна панель. Отказ от CFD — это самый быстрый способ потратить шестизначную сумму на систему локализации, которая не оправдает ожиданий.
Несоблюдение графика технического обслуживания
Встроенные фильтры забиваются. Змеевики охлажденной воды загрязняются. Запас хладагента постепенно утекает в течение нескольких месяцев. Каждый из этих факторов незаметно снижает производительность системы кондиционирования вашего центра обработки данных, пока очередная волна жары не доведет ситуацию до критической точки.
График технического обслуживания систем кондиционирования вашего центра обработки данных
Вам необходим письменный график технического обслуживания, который следует строго соблюдать. Воздушные фильтры в рядах: проверяйте ежемесячно, заменяйте ежеквартально — чаще, если ваше помещение находится рядом со строительной площадкой или в зоне с повышенной запыленностью. Змеевики охлажденной воды: ежегодная химическая очистка. Заправка хладагентом в системах DX: проверка давления каждые шесть месяцев. Дренажные поддоны и конденсатные трубопроводы: проверяйте ежеквартально, чтобы предотвратить повреждение от воды стоек, между которыми установлены ваши внутрирядные агрегаты.
Датчики температуры на каждом входе в стойку следует ежегодно калибровать с помощью эталонного датчика. Если показание датчика на 2 °C ниже фактической температуры, это означает, что фактическая температура на входе на 2 °C выше, чем показывает панель мониторинга DCIM — а 2 °C — это разница между стабильной работой и термическим ограничением производительности современных процессоров.
Согласно прогнозам, рынок систем кондиционирования для центров обработки данных вырастет с $2,1 млрд в 2024 году до $5,8 млрд к 2030 году, согласно данным DataString Consulting — среднегодовой темп роста (CAGR) составит 18,3%, что почти полностью обусловлено переходом от охлаждения на уровне отдельных помещений к прецизионному управлению тепловым режимом на уровне рядов серверных стоек. Ваш выбор инфраструктуры сегодня определяет, сможет ли ваш объект воспользоваться этой кривой роста или останется обслуживать стойки мощностью 5 кВт, в то время как отрасль переходит на 50.
