Охлаждение ИТ-комплексов

В России для поддержания температурно-влажностного режима в аппаратных комнатах с вычислительным и коммуникационным оборудованием долгое время пытались использовать — и, что печально, использовали — относительно дешевые комфортные (бытовые) кондиционеры. Эти устройства разработаны для жилых домов и офисов, и существует ряд серьезных причин, по которым их применение в высокотехнологичных комплексах, мягко говоря, нежелательно. Достаточно сказать, что большинство таких кондиционеров рассчитаны на эксплуатацию в течение примерно 10 часов в сутки и только в теплый период года, а при круглосуточной эксплуатации они вырабатывают свой ресурс за пару лет.

Лет семь-восемь назад, когда количественный рост парка ИКТ-систем стал сопровождаться повышением требований к качеству (читай — непрерывности) их работы, а термин «ЦОД» начал входить в обиход специалистов, все больше компаний стали отказываться от бытовых кондиционеров, отдавая должное промышленным (прецизионным) системам. Последние предназначены для круглогодичной эксплуатации в режиме 24×7 в течение 10 и более лет и способны в точности поддерживать температурно-влажностные параметры (±10С для температуры, ±5% для влажности), обеспечивая высокую степень однородности теплового поля внутри помещения.

В промышленных кондиционерах применяются значительно более производительные вентиляторы, обрабатывающие многократно больший объем воздуха. Как следствие, такие кондиционеры обеспечивают значительно более интенсивный теплообмен, что позволяет снизить градиент температур в помещении. Кроме того, они способы прокачивать охлажденный воздух через не слишком протяженные воздуховоды и пространство фальшпола, в результате достигается наиболее эффективное распределение тепловых потоков. Для управления промышленными кондиционерами применяются значительно более точные и сложные алгоритмы, нежели те, что реализованы в комфортных кондиционерах. Они позволяют эффективно поддерживать параллельную работу нескольких устройств, функции аварийного охлаждения и т. д.

МОНОБЛОКИ, СПЛИТЫ ИЛИ ШКАФЫ

На рынке представлены промышленные кондиционеры самых разнообразных конструкций. На небольших объектах, например на базовых станциях сотовой связи, часто применяют моноблочные решения. Благодаря объединению всех элементов конструкции в одном блоке производители имеют возможность заправить агрегат хладагентом, протестировать и настроить его в заводских условиях. Все это значительно упрощает установку оборудования: достаточно только смонтировать кондиционер и подвести к нему электропитание.

Одно из преимуществ моноблочных кондиционеров наружной установки заключается в том, что их можно обслуживать, не заходя в само технологическое помещение, где могут применяться специальные средства контроля доступа. Такие кондиционеры монтируются с наружной стороны на стене кондиционируемого объекта, например контейнера с оборудованием сотовой связи. Недостаток этой конструкции является продолжением ее достоинств: поскольку кондиционер находится снаружи, любой прохожий теоретически может его повредить. Методы защиты ясны: это размещение объекта на охраняемой территории и использование вандалоустойчивых конструкций. По меньшей мере винты крепления наружных панелей должны иметь специальные головки, для которых обычные ключи не подходят.

Моноблоки внутренней установки монтируются в самом технологическом помещении, поэтому требования к вандалоустойчивости конструкции заметно ниже — достаточно установить надежные решетки на воздухозаборники. Такого рода решения особенно востребованы в тех ситуациях, когда контейнеры с оборудованием устанавливают «в чистом поле», где сложно обеспечить надежную охрану. Кондиционеры рассматриваемого типа обладают всеми преимуществами моноблочных устройств; устанавливать их тоже несложно, вдобавок они могут поддерживать различные схемы распределения воздуха, например с верхним и нижним выдувом.

Как и большинство бытовых кондиционеров, промышленные решения могут быть выполнены в виде сплитсистем. Такая система состоит из двух отдельных блоков: блок испарителя устанавливается внутри кондиционируемого помещения, а блок конденсатора монтируется снаружи. Используемые для ИКТ-объектов сплит-системы — это относительно небольшие кондиционеры, холодопроизводительностью до 15 кВт, которые ориентированы на обслуживание объектов масштаба «контейнер».

На крупных объектах, например в ЦОД, обычно применяют шкафные кондиционеры с гораздо более высокой холодопроизводительностью: до 100 кВт и более. Как и рассмотренные выше типы кондиционеров, эти устройства могут использовать в качестве хладагента фреон и работать по обычному парокомпрессионному холодильному циклу.

Кроме того, в ЦОД широко применяют шкафные кондиционеры, работающие на охлажденной воде (см. ниже).

КЛАССИКА ОХЛАЖДЕНИЯ

Шкафные кондиционеры, «раздающие» холодный воздух в пространстве под фальшполом, — классика охлаждения серверных залов ЦОД. Подача воздуха к оборудованию осуществляется через решетки фальшпола, а отвод воздуха обратно в кондиционеры — через верхнюю часть зала или пространство фальшпотолка. Рекомендуется, чтобы монтажные шкафы с оборудованием были изначально расставлены таким образом, чтобы проходы между ними формировали холодные и горячие коридоры. Иначе эффективность работы системы охлаждения оказывается существенно ниже (см. Рисунок 1) — от стойки можно отвести всего несколько киловаттов тепла (в среднем до 4 кВт). При выделении упомянутых коридоров (см. Рисунок 2) тепловая нагрузка на стойку может составлять до 5–8 кВт.

Рисунок 1. Пример охлаждения на уровне зала. Холодный воздух подается под фальшполом. Принцип холодных/горячих коридоров не реализован.

Рисунок 2. Пример построения системы охлаждения с изоляцией холодного коридора.

При более высокой плотности тепловыделения классическая схема тоже применима, но для обеспечения отвода тепла требуется увеличивать как производительность кондиционеров, так и высоту фальшпола. Главная сложность в масштабировании описанного выше классического подхода состоит в подаче охлажденного воздуха к источникам тепла (серверам и другому ИТ-оборудованию). В частности, из-за высоких скоростей движения и истечения воздуха воздушный поток в зоне перед стойками оказывается неравномерным, что, в свою очередь, приводит к их неравномерному охлаждению и чревато перегревом.

Один из рецептов «тюнинга» решения на базе шкафных кондиционеров — установка дополнительных решеток вокруг стойки или повышение коэффициента их перфорации, что увеличивает площадь сечения, через которое поступает холодный воздух. Дополнительно можно использовать элементы активного фальшпола — например, плитки, оснащенные вентиляторами, применение которых позволяет в четырепять раз увеличить объем потока. Дополнительно такие плитки могут оборудоваться поворотными ламелями, направляющими потоки холодного воздуха на наиболее горячие участки. По утверждению поставщиков подобных решений, они позволяют отводить от стойки до 15–20 кВт тепла.

ОХЛАЖДЕНИЕ НА УРОВНЕ ЗАЛА, РЯДА ИЛИ ШКАФА

Другой способ повышения эффективности решения на базе шкафных кондиционеров — изоляция воздушных потоков, которая, как правило, реализуется путем герметизации холодного или горячего коридора. При изоляции холодного коридора шкафные кондиционеры снабжают холодным воздухом не весь машинный зал, а только коридоры с установленным оборудованием (см. Рисунок 2). По сути, от охлаждения на уровне зала мы переходим к охлаждению на уровне ряда стоек, что значительно повышает эффективность работы системы кондиционирования. В случае если производительности шкафных кондиционеров не хватает для съема тепла, непосредственно в ряды стоек могут быть установлены внутрирядные кондиционеры (или доводчики).

Использование подобных доводчиков повышает свободу маневра при развитии ЦОД — например, для оборудования с повышенной плотностью тепловыделения можно организовать одну или несколько зон, тогда как в остальной части машинного зала продолжать эксплуатировать менее «горячее» оборудование. Такие зоны реализуются путем изоляции соответствующих коридоров и установки в них необходимого числа доводчиков. Внутрирядные кондиционеры могут как дополнять шкафные, так и использоваться самостоятельно, без систем охлаждения уровня зала (см. Рисунок 3).

Рисунок 3. Пример охлаждения на уровне ряда стоек. Изолирован горячий коридор.

Решения с использованием внутрирядных кондиционеров отлично себя зарекомендовали при тепловыделении вплоть до 20–30 кВт на шкаф. Выше этой границы, по мнению многих экспертов, выгоднее использовать закрытые серверные шкафы с локальными системами охлаждения. В этом случае реализуется охлаждение на уровне шкафа (см. Рисунок 4).

Рисунок 4. Пример охлаждения на уровне шкафа. Каждый шкаф изолирован.

Главный минус такого решения — высокая стоимость соответствующего оборудования. Главный плюс — отличная масштабируемость и гибкость: появление новых шкафов не добавляет тепловую нагрузку в зале и не приводит к перераспределению тепла. При этом такой шкаф можно установить практически в любом месте — если, конечно, туда подведен трубопровод с холодной водой. Как правило, подключение шкафа к системе холодоснабжения не вызывает особых сложностей. Эксперты все же рекомендуют ставить такие шкафы с учетом принципа формирования горячих и холодных коридоров, что обеспечит работоспособность шкафов при аварийном или технологическом открывании дверей.

ФРЕОН ИЛИ ВОДА

Локальные системы охлаждения, устанавливаемые в шкафы с оборудованием, практически все работают на воде — значит, требуют подводку этой жидкости в серверный зал, что далеко не всем нравится. Что же касается шкафных и внутрирядных кондиционеров, они выпускаются как в водяном, так и во фреоновом исполнении. Для первого варианта обычно используется обозначение CW (Chilled Water — охлажденная вода), для второго — DX (Direct eXpansion — прямое расширение). У каждого варианта есть свои плюсы и минусы.

Кондиционеры CW значительно компактнее своих «собратьев», работающих на фреоне. Фреоновый шкафной кондиционер, который в англоязычной литературе часто обозначают Computer Room Air Conditioner (CRAC), имеет в своем составе почти все элементы классического парокомпрессионного холодильного цикла: испаритель (радиатор), компрессор, терморегулирующий вентиль (ТРВ) и пр. Вне шкафа находится только относительно небольшой конденсатор. В случае использования кондиционера CW (он же фэнкойл, или Computer Room Air Handler, CRAH) вся массивная часть инфраструктуры охлаждения располагается вне этого устройства; это чиллеры, насосы, система трубопроводов и прочие элементы, отвечающие за подготовку и доставку холодной воды. Сам шкафной кондиционер CW содержит только теплообменник воздух – вода, регулирующие вентили и систему автоматики, поэтому и размер его невелик.

При использовании фреоновых кондиционеров достаточно относительно небольшого места на крыше или прилегающей территории для размещения конденсаторных блоков, тогда как при применении решения на воде потребуется выделить довольно существенную площадь под организацию насосной станции и установку водоохлаждающих машин (чиллеров).

Фреоновая система предусматривает ограничение по длине трубопровода и перепаду высот между внутренними и наружными блоками: общая длина трассы фреонопровода не должна превышать 50 м, а перепад по высоте — 30 м. Чиллерная система таких ограничений не накладывает, поэтому ее можно приспособить практически к любым особенностям здания и прилегающей территории. Выбор в пользу фреоновых кондиционеров может быть сделан по причине отсутствия места на улице (например, из-за невозможности обеспечить пожарный проезд) или на кровле (из-за особенностей конструкции или ее недостаточной несущей способности) для установки моноблочных чиллеров наружной установки.

Для доставки холода от чиллеров до шкафных кондиционеров на воде часто используется двухконтурная система трубопроводов. Внешний контур связывает чиллеры и промежуточные теплообменники. Хладоносителем в нем служит водный раствор этиленгликоля, который не замерзает при минусовых температурах на улице. Внутренний — теплообменники и кондиционеры (шкафные и/или внутрирядные). В нем уже циркулирует чистая вода. Двухконтурная схема позволяет снизить объем дорогого хладоносителя (этиленгликоля) и является более экологичной (этиленгликоль — ядовитое, химически активное вещество, и при его протечке внутри помещения ЦОД ликвидация последствий аварии обернется серьезной проблемой для службы эксплуатации). Следует учитывать и то, что для прокачки раствора гликоля (более вязкого по сравнению с водой) потребуются более мощные насосы, их электропотребление будет выше — соответственно, эксплуатационные расходы тоже увеличатся.

При использовании чиллеров относительно просто реализовать «бесперебойное охлаждение»: при потере электропитания система способна поддержать охлаждение оборудования все время до запуска дизеля или корректного выключения серверов за счет холодной воды, запасенной в баках-аккумуляторах. Для поддержания функционирования чиллерной системы кондиционирования при исчезновении питания необходимо только обеспечить работу перекачивающих насосов и вентиляторов кондиционеров — потребление от ИБП сводится к минимуму. В случае классических фреоновых систем требуется обеспечить питание всего комплекса целиком, для чего придется приобретать кондиционеры и ИБП в более дорогой комплектации.

Используя в качестве хладоносителя воду и/или этиленгликолевую смесь, можно задействовать типовые способы естественного охлаждения (фрикулинга) в чиллерах. Как правило, оно реализуется с помощью сухих градирен (их еще называют драйкулеры) — см. Рисунок 5. Конструкция такой градирни проста: это теплообменник, по которому циркулирует теплая вода, охлаждаемая потоками уличного воздуха. Такая градирня называется сухой, потому что вода течет по герметичным трубкам — она не выходит наружу. В обычной (не сухой) градирне для охлаждения вода разбрызгивается из специальных форсунок. В градирнях удается добиться лишь незначительного охлаждения теплой воды (например, с 40–50 до 25–30°С), то есть она не становится ледяной, как в чиллере (скажем, +7°С).

Рисунок 5. Использование шкафного кондиционера на воде (CRAH) и чиллера с сухой градирней.

В случае фреоновых шкафных кондиционеров можно использовать различные варианты фрикулинга — например, те же сухие градирни для охлаждения воды, которая затем подается на водяной теплообменник для охлаждения внутреннего воздуха (см. Рисунок 6). В подобных схемах применяется промежуточный теплоноситель (вода или ее растворы), а потому такое естественное охлаждение называют непрямым. В принципе возможен и прямой фрикулинг, без каких-либо промежуточных носителей: наружный воздух через специальную камеру, где производится фильтрация и смешение воздуха, попадает непосредственно в обслуживаемое помещение ЦОД. В этом случае особое внимание следует уделять очистке уличного воздуха и его увлажнению/осушке. В больших мегаполисах, например в Москве, воздух сильно загрязнен, поэтому реализация прямого фрикулинга потребует существенных дополнительных расходов, что следует учитывать при выборе системы охлаждения.

Рисунок 6. Использование шкафного кондиционера на фреоне (CRAC) с сухой градирней.

Рассмотрение различных вариантов естественного охлаждения выходит за рамки данного материала, знакомящего лишь с основными принципами организации систем охлаждения ИТ-объектов. Будем благодарны, если вы, уважаемый читатель, сообщите, на каких вопросах, связанных с охлаждением, нам следует остановиться в следующих публикациях.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.