Максимальное приближение теплообменников к источникам тепла, рядная архитектура, охлаждение на уровне ряда стоек — вот лишь некоторые из большого набора понятий, связанных с рядным охлаждением в центрах обработки данных. В настоящей статье используются термины «рядный кондиционер» и «зона» (см. определение во врезке «Что называют «зоной» в ЦОДе?»).

Хотя технология рядного охлаждения применяется уже около 10 лет, многие все еще не до конца понимают особенности ее использования. В этой связи можно выделить три распространенных заблуждения о функционировании и способах применения рядного охлаждения.

Заблуждение 1. Рядные кондиционеры нуждаются в приспособлениях для создания направленных воздушных потоков. Распространено мнение, будто рядные кондиционеры необходимо оснащать отражателями для направления кондиционированного воздуха на передние панели оборудования в стойках. На самом деле такие приспособления применяются лишь некоторыми разработчиками, операторами и производителями.

Заблуждение 2. Рядные кондиционеры необходимо устанавливать в каждом ряду стоек. Интуитивные сомнения вызывает способность кондиционеров охлаждать оборудование не только в своем, но и в противоположном ряду зоны.

Заблуждение 3. Действие рядного кондиционера ограничено пределами конкретной зоны, а наращивание мощности охлаждения в одной из зон не помогает отводу тепла из других.

Зал со стандартным стоечным оборудованием и системой внутрирядного кондиционирования InRow APC by Schneider Electric
Зал со стандартным стоечным оборудованием и системой внутрирядного кондиционирования InRow APC by Schneider Electric

 

Приводимые в настоящей статье научные доказательства и описываемые в ней базовые принципы организации отвода отработанного воздуха позволяют показать ошибочность этих мнений. Кроме того, в статье излагаются три ключевых принципа проектирования рядных систем охлаждения, использование которых позволяет максимально эффективно отводить отработанный воздух.

 

Что называют «зоной» в ЦОДе?

Зона (pod) представляет собой группу шкафов c общей инфраструктурой электропитания и охлаждения, которая монтируется как единое целое. Помещения рассчитываются на определенное число зон, которые, однако, могут развертываться и обновляться независимо одна от другой. Обычно сборка зоны выполняется на месте по стандартным схемам, но возможна и более или менее значительная доля компонентов заводской сборки.

Чаще всего встречаются зоны из двух рядов шкафов с «горячим» коридором между ними. Проектирование по зонам — рекомендуемый к использованию подход в крупных ЦОДах.

 

ПРИНЦИП СБОРА ОТРАБОТАННОГО ВОЗДУХА

Основная задача любой системы охлаждения центра обработки данных — отвод тепла, выделяемого ИТ-оборудованием. Мера эффективности сбора отработанного воздуха (или подвода кондиционированного к воздухозаборникам ИТ-устройств), называемая коэффициентом изоляции, рассчитывается исходя из схемы воздушных потоков. Обычно расчет выполняется постоечно. Диапазон значений простирается от 0 до 100%. Более высокие значения соответствуют лучшей работе системы охлаждения и лучшей масштабируемости ее архитектуры.

Рис. 1. Коэффициент  изоляции отработанного воздуха
Рис. 1. Коэффициент изоляции отработанного воздуха 

 

Коэффициент изоляции отработанного воздуха определяется как доля нагретого ИТ-оборудованием воздуха, поступающая напрямую в теплообменники рядных кондиционеров, которые расположены в той же зоне. Это базовая метрика для количественной оценки эффективности рядного охлаждения. На рис. 1 показано, что к теплообменнику кондиционера напрямую поступает 78% воздуха, использованного для охлаждения ИТ-оборудования. На рис. 2 представлен результат аэродинамического моделирования распределения температур в ЦОДе, оснащенном рядными кондиционерами.

Рис. 2. Результаты численного аэродинамического моделирования процесса отбора отработанного воздуха (центральный проход служит «горячим» коридором; голубым цветом отмечены рядные кондиционеры)
Рис. 2. Результаты численного аэродинамического моделирования процесса отбора отработанного воздуха (центральный проход служит «горячим» коридором; голубым цветом отмечены рядные кондиционеры)

 

Полезное применение коэффициента изоляции отработанного воздуха — оптимизация размещения стоек и кондиционеров в пределах зоны. Цель состоит в том, чтобы весь отработанный воздух направлялся на теплообменники охлаждающих устройств, не повышая температуру в помещении. В этом случае постоечные значения коэффициента изоляции показывают, насколько полно изолируются воздушные потоки, отводимые от каждой стойки. На основании этих значений можно вносить изменения в проект, чтобы получить в итоге приемлемое решение. В общем случае построение зоны считается эффективным при значении коэффициента изоляции отработанного воздуха не ниже 90%. Достичь этого уровня и превзойти его помогают следующие приемы проектирования.

  • Использование панелей-заглушек и уплотнительных щеток. Отработанный воздух может просачиваться из «горячего» коридора через незанятые U-позиции, а также через кабельные вводы в крыше и днище шкафа. Проблема эффективно решается с помощью панелей-заглушек и уплотнительных щеток.
  • Оптимизация размещения рядных кондиционеров. Установка кондиционеров между стойками с ИТ-оборудованием и, в общем случае, не в конце ряда позволяет максимально эффективно отводить отработанный воздух. При равномерном распределении нагрузки по стойкам кондиционеры расставляют вдоль всего горячего коридора, при неравномерном — вблизи высоконагруженных стоек.
  • Использование блоков бокового обдува. Многие модели коммутаторов и маршрутизаторов рассчитаны на поперечное направление потока охлаждающего воздуха. В общем случае это несовместимо с организацией воздушных потоков от фронтальной стенки к тыльной, принятой для ИТ-оборудования. При использовании блоков бокового обдува стойки с коммутаторами и маршрутизаторами можно разместить в общем ряду и в то же время организовать надлежащие воздушные потоки, чем обеспечивается более экономное использование полезной площади.
  • Отказ от блоков вентиляторов. Установка вентиляторных кассет или вентиляторов на крышу шкафа может ухудшить ситуацию, поскольку их работа несовместима с организацией воздушных потоков от фронтальной стенки шкафа к тыльной.
  • Использование шкафов увеличенной глубины. Последние 10 лет наблюдается тенденция роста глубины корпусов ИТ-оборудования. В неглубоких (900 мм) шкафах выход отработанного воздуха может быть затруднен. В более глубоких остается больше места для кабелей, так что они меньше препятствуют движению воздуха.
  • Использование средств изоляции воздушных потоков. Чем дальше кондиционеры располагаются от стоек с ИТ-оборудованием, тем труднее предотвратить подмес отработанного воздуха к холодному. Изоляция «горячего» коридора с рядными кондиционерами повышает эффективность системы охлаждения, особенно при уровнях энергетической плотности ниже 3 кВт на стойку.

Три упоминавшихся выше заблуждения являются демонстрацией ошибочного представления о месте рядных кондиционеров в схеме сбора отработанного воздуха. В следующем разделе будут описаны три ключевых принципа их грамотного проектирования.

ПРИНЦИПЫ ПРОЕКТИРОВАНИЯ РЯДНЫХ КОНДИЦИОНЕРОВ

Рядные кондиционеры собирают и нейтрализуют отработанный воздух, прежде чем он успеет смешаться с атмосферой помещения или просочиться к передним панелям ИТ-оборудования. Отвод всего отработанного воздуха обеспечивает высокую энергоэффективность и исключает возникновение зон локального перегрева. Можно выделить три ключевых принципа проектирования рядных кондиционеров, которые помогают собирать и остужать нагретый воздух:

  • направление потоков воздуха от задней панели к передней,
  • согласованность габаритов;
  • управляемая холодопроизводительность.
Рис. 3. Рядный кондиционер с вертикальной линейкой вентиляторов и с потоком воздуха от задней панели к передней
Рис. 3. Рядный кондиционер с вертикальной линейкой вентиляторов и с потоком воздуха от задней панели к передней

Направление потоков воздуха от задней панели к передней. Рядные кондиционеры проектируются таким образом, чтобы забирать воздух с тыльной стороны и выбрасывать через переднюю панель. Небольшие вентиляторы, распределенные по вертикали, вытягивают воздух из «горячего» коридора равномерно по высоте (см. рис. 3). Аэродинамические расчеты и измерения показывают, что коэффициент изоляции отработанного воздуха обычно выше для стоек, расположенных ближе к кондиционеру, и снижается с расстоянием. Такое соотношение обусловливает второй принцип проектирования.

Согласованность габаритов. Рядные кондиционеры согласуются по габаритам со шкафами для ИТ-оборудования (имеют такую же или половинную ширину), чтобы их можно было расставлять между шкафами в пределах зоны. Максимальное расстояние между воздухозаборником кондиционера и выпускными отверстиями ИТ-оборудования обычно не превышает 3 м. Преимущество такой расстановки — повышение коэффициента изоляции отработанного воздуха для зоны в целом. Если даже выброшенный из стойки воздух оказывается «за пределами досягаемости» ближайшего кондиционера в своем ряду, то большая его часть достается кондиционеру из противоположного ряда.

Если весь отработанный воздух в зоне отводится расположенными в ней же кондиционерами (то есть коэффициент изоляции отработанного воздуха составляет 100%), то зоны локального перегрева перед воздухозаборниками ИТ-устройств исключаются. На рис. 4 представлен пример расстановки кондиционеров в ряду стоек. Их число и расположение определяются исходя из энергетической плотности стоек и длины коридора.

 

Рис. 4. Рядные кондиционеры, распределенные по ряду шкафов
Рис. 4. Рядные кондиционеры, распределенные по ряду шкафов

Управляемая холодопроизводительность. Рядные кондиционеры оснащаются вентиляторами с электронной коммутацией, что позволяет управлять скоростью вращения, а значит, и интенсивностью воздушного потока, и холодопроизводительностью.

В традиционных системах уровня помещения обычно предусматривается управление только объемом прокачки воздуха для поддержания давления под фальшполом, что никак не связано с величиной ИТ-нагрузки. Данный же принцип проектирования позволяет регулировать холодопроизводительность в соответствии с тепловой нагрузкой. Последняя определяется посредством измерения температуры на воздухозаборниках устройств, расположенных в близлежащих стойках или по всему помещению.

ЗАБЛУЖДЕНИЕ 1. РЯДНЫЕ КОНДИЦИОНЕРЫ НУЖДАЮТСЯ В ПРИСПОСОБЛЕНИЯХ ДЛЯ СОЗДАНИЯ НАПРАВЛЕННЫХ ВОЗДУШНЫХ ПОТОКОВ

Человеку, малосведущему в вопросах отвода отработанного воздуха, легко прийти к заключению о необходимости отражателей, направляющих поток холодного воздуха к ИТ-оборудованию. Однако описанные выше принципы проектирования это опровергают. Если 100% отработанного воздуха отводится и охлаждается, прежде чем он успеет смешаться с окружающей атмосферой, то весь остальной объем помещения превращается в резервуар холодного воздуха. Поэтому не имеет значения, каким путем он поступает от рядного кондиционера. Главное, чтобы отработанный воздух (от ИТ-оборудования) полностью собирался и нейтрализовывался.

Рис. 5. Результат численного аэродинамического моделирования потока воздуха через направляющие отражатели (показаны векторы скорости потока)
Рис. 5. Результат численного аэродинамического моделирования потока воздуха через направляющие отражатели (показаны векторы скорости потока)

Отражатели применяются некоторыми производителями для направления холодного потока на ближайшие стойки, что говорит о непонимании принципа отвода отработанного воздуха. Использование таких дополнительных приспособлений ведет не только к росту капитальных расходов и увеличению ширины «холодных» коридоров, но и создает сложности с организацией воздушных потоков. Поток воздуха на выходе от отражателей имеет более высокую скорость, чем поступающий воздушный поток от близлежащей стойки, и перпендикулярен ему (см. рис. 5). В результате перед стойками возникают зоны низкого давления, нарушающие расчетные потоки. (Это явление известно как принцип Бернулли — тот самый, благодаря которому крылья поднимают самолет в воздух.) В отличие от мягкого и довольно ровного «высасывания» отработанного воздуха в «горячий» коридор, эти мощные воздушные струи блокируют воздухозаборники и приводят к значительной неравномерности условий от стойки к стойке. (Воздушная струя характеризуется местными перепадами скорости и давления.) Обратите внимание: применение поворотных отражателей приводит к значительному падению давления, что требует расхода энергии на работу вентиляторов.

ЗАБЛУЖДЕНИЕ 2. РЯДНЫЕ КОНДИЦИОНЕРЫ НЕОБХОДИМО УСТАНАВЛИВАТЬ В КАЖДОМ РЯДУ СТОЕК

Многие уверены, что рядные блоки охлаждают лишь стойки, находящиеся в одном с ними ряду. Однако на основании описанных принципов проектирования можно сделать вывод о том, что при высоком коэффициенте изоляции отработанного воздуха не имеет значения, находятся кондиционеры на одной стороне прохода или по обе стороны.

Как показывают результаты численного аэродинамического моделирования и примеры из практики, кондиционеры, расположенные в одном из рядов зоны, достаточно эффективно обеспечивают охлаждение оборудования в обоих (на рис. 6 рядом с каждой стойкой указаны значения коэффициента изоляции отработанного воздуха). Обратите внимание: у передних панелей стоек, где расположены воздухозаборники ИТ-оборудования, цвет голубой, что соответствует холодному воздуху. Красные же оттенки сосредоточены в «горячем» коридоре.

Рис. 6. Результат численного аэродинамического моделирования зоны с размещением всех кондиционеров в одном ряду
Рис. 6. Результат численного аэродинамического моделирования зоны с размещением всех кондиционеров в одном ряду

 

ЗАБЛУЖДЕНИЕ 3. ДЕЙСТВИЕ РЯДНОГО КОНДИЦИОНЕРА ОГРАНИЧЕНО ПРЕДЕЛАМИ КОНКРЕТНОЙ ЗОНЫ

Ошибочно считается, что:

  • рядные кондиционеры предназначаются исключительно для локального охлаждения выделенных зон;
  • рядные кондиционеры непригодны для охлаждения стоек в других зонах;
  • рядные кондиционеры не подходят для охлаждения крупных помещений;
  • рядные кондиционеры не помогут при охлаждении ленточных накопителей, располагающихся по периметру помещения;
  • в случае рядного охлаждения резервирование по схеме N+1 означает наличие дополнительного кондиционера в каждой зоне.

Важно отметить, что коэффициент изоляции отработанного воздуха  определяется как доля этого воздуха, нейтрализованная кондиционерами, которые расположены в одной зоне со стойками. Иначе говоря, если 100% отработанного воздуха стойки попадет в рядный кондиционер, установленный за пределами ее зоны, значение показателя составит 0%.

Таким образом, самый предсказуемый способ охлаждения отдельно стоящего вспомогательного ИТ-оборудования, такого как массив хранения, — размещение рядом с ним кондиционера. Это позволит получить высокий коэффициент изоляции отработанного воздуха. В сущности, речь идет о создании мини-зоны с коэффициентом изоляции отработанного воздуха до 100%. Это сходно с размещением перфорированной плитки непосредственно перед передней панелью отдельно стоящего устройства в рамках архитектуры с фальшполом.

Главное отличие состоит в том, что перфорированная плитка подает холодный воздух, который в этом случае ограничен долей потока (и охлаждающей способности).

А если в зоне, где находится отдельно стоящее ИТ-оборудование нет выделенного рядного кондиционера? Как будет осуществляться охлаждение при использовании рядной архитектуры? Ответ на этот вопрос связан с проектными принципами «согласованности габаритов» и «управляемой холодопроизводительности». Первый предусматривает расстановку в ЦОДе кондиционеров таким образом, чтобы они располагались максимально близко ко всем источникам тепла. А управление холодопроизводительностью позволяет увеличивать подачу кондиционированного воздуха в «холодный» коридор, когда температура в помещении повышается.

Изоляция «горячего» коридора при использовании рядных кондиционеров способствует увеличению коэффициента изоляции отработанного воздуха, особенно если энергетическая плотность составляет менее 3 кВт на стойку. Окажет ли такая изоляция отрицательное влияние на охлаждение отдельно стоящего ИТ-оборудования? Самый простой способ проиллюстрировать это — сравнить две идентичные схемы ЦОДа с 65 стойками в каждом, ИТ-нагрузкой 235 кВт и двумя отдельно стоящими ИТ-устройствами. При этом одна схема предусматривает изоляцию «горячего» коридора, а другая — нет.

Рис. 7. Результат численного аэродинамического моделирования ЦОДа с рядными кондиционерами без изоляции воздушных потоков
Рис. 7. Результат численного аэродинамического моделирования ЦОДа с рядными кондиционерами без изоляции воздушных потоков

 

На рис. 7 представлены результаты аэродинамических расчетов с 14 кондиционерами, равномерно распределенными по ЦОДу, 20 широкими стойками с тепловыделением по 5 кВт и 43 узкими — по 3 кВТ. В верхнем правом углу расположены две единицы отдельно стоящего ИТ-оборудования. Для каждой из стоек указан коэффициент изоляции отработанного воздуха (в процентах). Средняя температура на воздухозаборниках отдельно стоящих устройств мощностью 5 и 1 кВт составляет 22°C. На рис. 8 представлены результаты аэродинамических расчетов для того же ЦОДа, но с изоляцией «горячего» коридора. Для большинства стоек коэффициент изоляции отработанного воздуха составляет 100%. Средняя температура на воздухозаборниках обоих устройств — 21°C.

Рис. 8. Результат численного аэродинамического моделирования ЦОДа с рядными кондиционерами с изоляцией воздушных потоков
Рис. 8. Результат численного аэродинамического моделирования ЦОДа с рядными кондиционерами с изоляцией воздушных потоков


Приведенные иллюстрации позволяют наглядно продемонстрировать влияние рядных кондиционеров на коэффициент изоляции отработанного воздуха и на охлаждение отдельно стоящих устройств. Благодаря возможности регулирования холодопроизводительности рядные кондиционеры способны в избытке подавать кондиционированный воздух в «холодный» коридор. При достижении равновесного состояния температурные показатели на выходе кондиционера и на воздухозаборниках ИТ-оборудования становятся одинаковыми. Если вспомогательное устройство будет установлено вне зоны (то есть как отдельно стоящее устройство), сначала из-за смешения воздушных потоков повысится температура в помещении, но затем ближайшие кондиционеры начнут увеличивать производство холода, чтобы нейтрализовать горячие выбросы. Это увеличение холодопроизводительности достигается повышением расхода кондиционированного воздуха (ускорением вращения вентиляторов) и/или понижением его температуры (увеличением прокачки чиллерной воды через кондиционер). После достижения состояния равновесия все показатели остаются на постоянном уровне.

Этот процесс «подхвата новой вспомогательной нагрузки» остается тем же и при изоляции коридора. В любом случае следует ожидать, что, по сравнению с установленным в стойки оборудованием в границах зоны, вспомогательное устройство будет работать при более высоких температурах, поскольку нет прямого взаимодействия с рядным кондиционером в пределах зоны. Чем дальше устройство располагается от кондиционеров, тем выше температура на его воздухозаборниках. Является ли повышенная температура вспомогательных устройств поводом для беспокойства? Нередко ИТ-оборудование способно выдержать рекомендованный ASHRAE максимум: 27°C. Если это неприемлемо, достаточно переместить рядный кондиционер ближе к отдельно стоящему устройству.

ЗАКЛЮЧЕНИЕ

Рядная архитектура охлаждения была разработана в расчете на отбор нагретого воздуха в пределах зоны. Чем выше показатели изоляции отработанного воздуха, тем меньше его подмешивается в кондиционированный. Таким образом устраняется неравномерность распределения температуры от стойки к стойке (исключаются зоны локального перегрева). Имеет значение не то, в каком направлении перемещается кондиционированный воздух, а то, откуда поступает нагретый. Рядные кондиционеры способны охлаждать и вспомогательное оборудование, и стойки за пределами зон, но использовать коэффициент изоляции отработанного воздуха в таких случаях нет смысла. Вместо этого рекомендуется установить теплообменники ближе к источникам тепла. Понимание описанных принципов помогает избавиться от перечисленных выше заблуждений и способствует эффективному применению рядного охлаждения.

Пол Лин, старший научный сотрудник научно-исследовательского центра Data Center Science Center компании Schneider Electric

Виктор Авелар, директор научно-исследовательского центра Data Center Science Center компании Schneider Electric.

Поделитесь материалом с коллегами и друзьями

Купить номер с этой статьей в PDF