Охлаждение дата-центров

CRAC (Computer Room Air Conditioner, кондиционер компьютерного зала) — автономный агрегат с компрессором и фреоновым контуром. Охлаждает воздух и подаёт его через фальшпол в серверные стойки. Типичная производительность — 20-100 кВт холода на агрегат.

CRAH (Computer Room Air Handler, воздухоохладитель компьютерного зала) — менее автономный агрегат без собственного компрессора. Использует охлаждённую воду от центрального чиллера (7/12°C) или сухого охладителя (dry cooler). Производительность — 50-300 кВт на агрегат.

Схема с CRAH + чиллеры — наиболее распространённая в enterprise-дата-центрах. Чиллеры размещаются на улице или на крыше, охлаждённая вода циркулирует по закрытому контуру. PUE такой системы — 1.4-1.7.

Проблемы воздушного охлаждения:

• Низкая теплоёмкость воздуха (1 кДж/кг·К против 4.2 кДж/кг·К у воды)
• Высокий расход электроэнергии на вентиляторы (30-50% от общего потребления охлаждения)
• Ограничение плотности мощности: > 15 кВт на стойку — предел для эффективного воздушного охлаждения
• Серверы с GPU (для ИИ-нагрузок) выделяют 30-70 кВт на стойку — воздух не справляется

Испарительное охлаждение использует энергию фазового перехода воды из жидкости в пар. 1 кг испарившейся воды отводит ~2260 кДж тепла — это в 500 раз больше, чем при нагреве воды на 1°C.

Градирни (cooling towers) — открытые системы с прямым контактом воды и воздуха. Горячая вода от чиллеров (35-40°C) распыляется внутри градирни, часть воды испаряется, охлаждая оставшуюся до 25-30°C. Потери воды на испарение — 1-2% от циркуляции.

Адиабатическое охлаждение — увлажнение воздуха перед сухими охладителями. Вода распыляется в воздушный поток, снижая его температуру на 5-15°C за счёт испарения. Используется как «дожим» в жаркую погоду.

Качество воды для градирен:

Cycles of Concentration (CoC) — коэффициент концентрирования: отношение концентрации солей в оборотной воде к концентрации в подпиточной. При CoC = 5 на каждые 100 л испарённой воды требуется всего 25 л продувки. Оптимальный CoC — 4-8, ограничен качеством подпитки и риском накипи.

Фрикулинг — использование холодного наружного воздуха для охлаждения без запуска компрессоров чиллеров. При температуре наружного воздуха ниже 10-15°C сухие охладители (dry coolers) напрямую отводят тепло от серверов.

Виды фрикулинга:

1. Воздушный прямой — холодный наружный воздух подаётся напрямую в серверный зал. Требует фильтрации (F7-F9), контроля влажности (40-60% RH), защиты от пыли и загрязнений. Применяется в северных регионах (Исландия, Скандинавия).

2. Воздушный косвенный — теплообменник «воздух-воздух» между наружным и внутренним контурами. Исключает загрязнение серверного зала, но снижает эффективность на 10-20%.

3. Водяной фрикулинг — сухие охладители охлаждают воду контура CRAH напрямую, без включения компрессоров чиллеров. Наиболее распространённый вариант.

Часы фрикулинга в России:

• Москва: ~5000 часов/год (57%)
• Санкт-Петербург: ~6000 часов/год (68%)
• Новосибирск: ~6500 часов/год (74%)
• Якутск: ~7500 часов/год (86%)

В Москве фрикулинг позволяет снизить PUE с 1.5 до 1.2-1.3 за счёт отключения компрессоров чиллеров в холодный период.

Direct Liquid Cooling (DLC) — подвод охлаждающей жидкости непосредственно к тепловыделяющим компонентам (CPU, GPU, память). Жидкость циркулирует через cold plates (пластины охлаждения), установленные на чипах.

Преимущества DLC:

• Тепловое сопротивление в 10-100 раз ниже, чем у воздуха
• Плотность мощности до 100 кВт на стойку (vs. 15 кВт для воздуха)
• Снижение PUE до 1.03-1.10
• Температура жидкости 35-45°C — пригодна для рекуперации тепла

Типы систем DLC:

1. Rear-door heat exchanger (RDHx) — теплообменник на задней двери стойки. Горячий воздух от серверов охлаждается водой (15-25°C) прямо в стойке, не попадая в зал. Простая интеграция в существующие дата-центры. Снижение нагрузки на CRAH на 60-80%.

2. Direct-to-chip cooling — cold plates непосредственно на CPU/GPU. Требует модификации серверов. Температура процессора снижается на 20-30°C. Шлейфы с быстроразъёмными соединениями (dripless quick disconnects) для обслуживания.

3. Full server liquid cooling — все компоненты охлаждаются жидкостью, включая память и накопители. Серверы без вентиляторов. Плотность мощности до 200 кВт на стойку.

Требования к качеству воды для DLC:

Деионизированная вода с ингибиторами коррозии (бензотриазол для меди, нитриты для стали) — стандартный теплоноситель. Пропиленгликоль (20-30%) добавляется для защиты от замерзания в северных регионах.

Immersion cooling — полное погружение серверов в диэлектрическую жидкость. Жидкость отводит тепло непосредственно от всех компонентов — это наиболее эффективный метод охлаждения.

Типы иммерсионного охлаждения:

1. Однофазное (single-phase) — жидкость остаётся жидкостью при рабочих температурах. Используются синтетические углеводороды (минеральные масла, эстеры) или специальные жидкости (3M Novec, Shell Immersion Fluid). Температура жидкости 40-60°C.

2. Двухфазное (two-phase) — жидкость кипит на поверхности чипов, пар конденсируется на холодильнике внутри бака. Скрытая теплота парообразования обеспечивает сверхэффективный теплосъём. Используются фторуглероды (3M Fluorinert, 3M Novec 649).

Характеристики диэлектрических жидкостей:

Преимущества иммерсионного охлаждения:

• PUE до 1.02-1.05 (почти вся энергия идёт на серверы)
• Плотность мощности > 250 кВт на стойку
• Бесшумная работа (нет вентиляторов)
• Защита оборудования от пыли, влажности, вибрации
• Продление срока службы электроники (снижение термоциклирования)
• Возможность работы при высоких температурах окружающей среды (до 45°C)

Ограничения:

• Высокая стоимость жидкости ($10-100K на стойку)
• Специальные серверы (без вентиляторов, совместимые материалы)
• Обслуживание сложнее (извлечение серверов из жидкости)
• Не все компоненты совместимы (некоторые конденсаторы, разъёмы)

Применение: Майнинг криптовалют, HPC-кластеры (High Performance Computing), обучение моделей ИИ (NVIDIA DGX в иммерсии), edge-дата-центры в экстремальных условиях.

1. Чиллерный контур (закрытый):

Исходная вода → Умягчение (Na-катионирование) → Заполнение контура + ингибиторы

• Объём контура: 10-50 м³ (зависит от мощности)
• Подпитка: < 1% в год (утечки, дренирование)
• Умягчение обязательно для предотвращения накипи в испарителях
• Ингибиторы: молибдаты (5-15 мг/л MoO₄²⁻) + нитриты (500-1500 мг/л NaNO₂) + азолы (10-30 мг/л)

2. Градирни (открытый контур):

Исходная вода → Механическая фильтрация (100 мкм) → Умягчение или частичное RO → Дозирование (антискалант, биоцид, ингибитор) → Оборотная система

• Подпитка: 2-5% от циркуляции (испарение + продувка)
• Продувка: автоматическая по проводимости (уставка 1500-3000 мкСм/см)
• Биоциды: хлор (0.5-1 мг/л остаточный), бром (для pH > 8), неокислительные (изотиазолоны)
• Контроль легионеллы: обязателен по СанПиН

3. Direct-to-chip (закрытый контур высокой чистоты):

Городская вода → Механический фильтр 5 мкм → Угольный фильтр → Умягчение → RO (обратный осмос) → Дегазация → EDI (электродеионизация) → Бак-накопитель → Дозирование ингибиторов → CDU (Coolant Distribution Unit) → Серверы

• Проводимость: < 1 мкСм/см на входе в CDU
• После добавления ингибиторов: 50-200 мкСм/см
• Контур деаэрирован (азотная подушка в баке)
• Фильтрация: 1-5 мкм перед серверами

4. Испарительные панели (адиабатическое охлаждение):

Исходная вода → RO (обратный осмос) → Бак → Форсунки

• Полностью деминерализованная вода (проводимость < 20 мкСм/см)
• Предотвращает отложения на испарительных панелях
• Расход воды: 0.5-2 л/кВт охлаждения (зависит от климата)
• Форсунки: самоочищающиеся или с регулярной промывкой

Деионизированная вода агрессивна — она «вытягивает» ионы из металлов. Медь cold plates, алюминий радиаторов, сталь трубопроводов — все подвержены коррозии.

Гальваническая коррозия: При контакте разных металлов (медь + алюминий) в присутствии электролита возникает гальваническая пара. Медь — катод (защищена), алюминий — анод (разрушается).

Решения:

1. Ингибиторы коррозии:

   • Бензотриазол (BTA): 10-30 мг/л — защита меди
   • Молибдаты: 50-200 мг/л — защита стали
   • Силикаты: 10-50 мг/л — защита алюминия

2. Контроль pH: Оптимум 7.5-9.0 (слабощелочная среда)

3. Деаэрация: Растворённый кислород < 0.5 мг/л (азотная подушка в баке)

4. Материалы: Единая металлургия (все медь или все нержавейка) исключает гальваническую коррозию

5. Мониторинг: Купоны коррозии, анализ металлов в воде (Cu, Fe, Al < 0.1 мг/л)

Даже закрытые контуры с деионизированной водой подвержены биологическому загрязнению. Бактерии попадают при подпитке, обслуживании, через неплотности.

Признаки биообрастания:

• Повышение перепада давления на теплообменниках
• Снижение теплопередачи (рост температуры)
• Запах (анаэробные бактерии, сульфатредукция)
• Мутность воды, слизь в фильтрах

Профилактика:

• Биоциды: изотиазолоны (50-100 мг/л), глутаровый альдегид (100-200 мг/л)
• УФ-стерилизация подпиточной воды (40-60 мДж/см²)
• Фильтрация: 1 мкм для удаления микроорганизмов
• Периодическая промывка: 1-2 раза в год с повышенной дозой биоцида

Важно: Некоторые биоциды несовместимы с материалами серверов. Глутаровый альдегид может повреждать некоторые эластомеры. Согласуйте выбор биоцида с производителем серверов.

Пример: Дата-центр 10 МВт IT-нагрузки, Московский регион

Воздушное охлаждение (CRAH + чиллеры):

• CAPEX: $3-4 млн (чиллеры, CRAH, трубопроводы)
• PUE: 1.5 → дополнительные 5 МВт на охлаждение
• OPEX электроэнергия: 5 МВт × 8760 ч × 0.06 $/кВт·ч = $2.6 млн/год
• OPEX обслуживание: $200K/год
• Итого OPEX: ~$2.8 млн/год

Жидкостное охлаждение (DLC + фрикулинг):

• CAPEX: $6-8 млн (CDU, cold plates, трубопроводы, водоподготовка)
• PUE: 1.1 → дополнительно 1 МВт на охлаждение
• OPEX электроэнергия: 1 МВт × 8760 ч × 0.06 $/кВт·ч = $0.5 млн/год
• OPEX обслуживание + водоподготовка: $300K/год
• Итого OPEX: ~$0.8 млн/год

Экономия: $2 млн/год. Окупаемость дополнительных инвестиций: 2-2.5 года.

Дополнительные выгоды DLC:

• Рекуперация тепла (45-60°C пригодна для отопления)
• Меньшая площадь дата-центра (выше плотность)
• Продление срока службы серверов (ниже температуры)

Обучение моделей ИИ (GPT, LLaMA, Stable Diffusion) требует кластеров GPU. Одна стойка NVIDIA DGX H100 выделяет 70-100 кВт тепла — это невозможно охладить воздухом.

Требования ИИ-дата-центров:

• Плотность мощности: 50-150 кВт на стойку (vs. 5-10 кВт в enterprise)
• Стабильность температуры: ±2°C (влияет на производительность и точность)
• Надёжность: N+1 или 2N резервирование охлаждения
• Масштабируемость: быстрое наращивание мощности

Решения: Жидкостное охлаждение (DLC) становится стандартом для ИИ. NVIDIA DGX SuperPOD поставляется с интегрированным DLC. Microsoft, Google, Meta переводят ИИ-кластеры на жидкостное охлаждение.

Иммерсионное охлаждение — следующий шаг. GRC, LiquidCool Solutions, Asperitas предлагают готовые решения. Преимущество: нет модификации серверов, любое оборудование можно погрузить в жидкость.

Дата-центры — крупные потребители воды. Гиперскейлеры (Google, Microsoft, Meta) публикуют Water Usage Effectiveness (WUE) — расход воды на кВт·ч IT-нагрузки.

WUE ведущих операторов:

• Google: 0.44 л/кВт·ч (среднее по миру)
• Microsoft: 0.5-1.0 л/кВт·ч
• Meta: 0.26 л/кВт·ч (благодаря фрикулингу)

Стратегии водосбережения:

1. Фрикулинг — отказ от испарительного охлаждения в холодный период
2. Рециркуляция — максимальный CoC в градирнях (8-10 с RO-подпиткой)
3. Альтернативные источники — очищенные сточные воды, ливневая вода
4. Безводное охлаждение — сухие охладители, иммерсионное охлаждение

Цели: Google обязался восполнить 120% потреблённой воды к 2030 году. Microsoft планирует стать «water positive» — возвращать больше воды, чем потребляет.