потребляемая мощность в расчете на стойку составляет менее 2 кВт, возникают трудности с обеспечением охлаждения и электропитания.

Потребляемая оборудованием мощность варьируется в очень широких пределах. В центрах обработки данных в расчете на стойку она составляет в среднем около 1,7 кВт, но при заполнении стойки оборудованием с высокой плотностью компоновки, например модульными серверами, достигает 20 кВт. Такие нагрузки значительно превосходят расчетные возможности типовых ЦОД по питанию и охлаждению. На первый взгляд нужно лишь соответствующим образом оснастить ЦОД с целью предоставления требуемой мощности в 20 кВт и обеспечить надлежащее охлаждение каждой стойки. К сожалению, практически во всех случаях это технически нереализуемо и экономически не оправдано. Неправильное решение при проектировании ЦОД может привести к многократному увеличению стоимости эксплуатации физической инфраструктуры.

ОПРЕДЕЛЕНИЕ ПЛОТНОСТИ МОЩНОСТИ

Термин «плотность мощности» (power density) сам по себе неоднозначен. Этот показатель часто выражается в ваттах на квадратный фут или в ваттах на стойку. Такая простая характеристика является достаточной, когда потребляемая мощность одинакова для всех стоек, однако в реальных информационных центрах мощность варьируется в очень широких пределах. На практике значения плотности мощности для одной стойки, ряда стоек и комнаты могут разительно отличаться. Результирующий разброс в значениях плотности мощности оказывает значительное влияние на архитектуру инфраструктуры системы обеспечения питанием и еще в большей степени на реализацию системы охлаждения.

Различия в плотности мощности для стойки, ряда и комнаты показаны на Рисунке 1. В данном примере стойки мощностью 12 кВт установлены в типовой комнате. В первом варианте 15% корпусов, размещенных в комнате, потребляют 12 кВт, а остальные — 1 кВт. Во втором варианте то же количество корпусов потребляет 12 кВт, но они сгруппированы в один ряд. В третьем варианте все корпуса в комнате потребляют по 12 кВт. В каждом из этих вариантов максимальная плотность мощности одинакова и равна 12 кВт на стойку, что эквивалентно 480 Вт/фут2 (5,2 кВт/м2), однако значения плотности мощности, приходящиеся на ряд и комнату, варьируются в очень широких пределах.

Такие различия существенно влияют на реализацию инфраструктуры питания и охлаждения. Общая номинальная мощность систем питания и охлаждения равна простой сумме всех мощностей, потребляемых нагрузками. Это позволяет определить общую емкость источников бесперебойного питания и производительность кондиционеров. Основная проблема, связанная с варьированием максимальных значений плотности мощности, состоит в распределении питания и воздушных потоков в ЦОД.

Следует заметить, что в соответствии с общепринятой практикой данные по плотности мощности приводятся для общей площади помещения, где учитывается окружающее пространство, например проходы между рядами. Однако в некоторых документах (особенно это характерно для изготовителей компьютерного оборудования) плотность мощности выражается в ваттах на единицу площади, где последняя ограничивается поверхностью основания корпуса. Такие значения плотности мощности должны корректироваться в меньшую сторону приблизительно на 75%.

РЕАЛЬНЫЕ ВОЗМОЖНОСТИ ЦОД

Согласно статистическим данным за 2003 г. (см. Таблицу 1), среднее значение проектной плотности мощности для информационных центров равно 35 Вт/фут2 (377 Вт/м2), или 1,1 кВт, на стойку в предположении, что ее основание составляет 30 фут2 (2,8 м2). Средняя реальная мощность на одну стойку зачастую превышает проектное значение, что вполне возможно, поскольку средняя плотность размещения в большинстве случаев не достигается — иначе говоря, ЦОД не заполняются полностью. Например, информационный центр, для которого проектная плотность мощности равна 1,1 кВт на стойку при площади основания 30 фут2, в состоянии обеспечить питанием стойки с плотностью мощности 2,2 кВт для каждой, если последние занимают только половину площади комнаты.

На Рисунке 2 показано частотное распределение потребляемой мощности в расчете на одну стойку. Каждый столбик на диаграмме представляет долю стоек, мощность потребления которых находится в диапазоне от 500 Вт до значения, указанного под столбиком. Например, столбик 1,5 кВт относится к стойкам с потребляемой мощностью между 1 кВт и 1,5 кВт. Как видим, значительное число корпусов в типовом ЦОД потребляет менее 500 Вт. В таких стойках размещаются коммутационные панели, а также сетевое оборудование и серверы с низкой плотностью заполнения, причем во многих из них вертикальное пространство не до конца занято оборудованием. Кроме того, число стоек с потреблением свыше 2 кВт резко уменьшается, а стойки мощностью более 8 кВт вообще не встречались.

На Рисунке 2 вместе с реальными значениями потребляемой мощности в расчете на корпус показан ряд справочных линий. Первые две получены на основе опросов инженеров-консультантов и характеризуют диапазон значений средней плотности мощности, в расчете на которую строятся новые ЦОД.

Последние две линии представляют плотности мощности, достигаемые при заполнении корпусов стоек самыми производительными серверами, доступными на сегодняшний день, к каковым относятся серверы формата 1U и модульные серверы. На основании этих данных можно сделать следующие выводы:

  • большинство стоек в ЦОД потребляют мощность ниже проектной величины для конкретного ЦОД;
  • в действительности высокопроизводительное вычислительное оборудование не устанавливается в конфигурации с максимальной плотностью мощности, которую способно поддерживать архитектуру ЦОД;
  • для подавляющего большинства существующих и проектируемых информационных центров значения плотности мощности, о которых сообщается в популярной прессе, не достигаются.

Ниже термин «высокая плотность» относится к стойкам с потреблением свыше 3 кВт, это значение соответствует верхней границе рабочего диапазона средней системы охлаждения в существующих информационных центрах.

ТРЕБОВАНИЯ К СИСТЕМАМ ПИТАНИЯ И ОХЛАЖДЕНИЯ

Примером стойки с очень высокой плотностью мощности может служить конфигурация из шести шасси модульных серверов высотой 7U, установленных в стойке 42U, где каждый блок потребляет 3 кВт, а общая потребляемая мощность составляет 18 кВт. Это означает, что в стойку должно подаваться питание 18 кВт и обеспечиваться охлаждение такой же мощности.

Требования к питанию. Для данной системы, вероятнее всего, потребуется 12 цепей питания на 30А с напряжением 220 или 230 В (по две для каждого шасси с двумя блоками питания; при совместном использовании цепи двумя серверами отдельные ее нагрузки находились бы в нежелательной близости к порогу срабатывания прерывателя). Провода, из которых состоит цепь питания, достаточно громоздки и обычно проходят по верху во избежание блокирования воздушных потоков под фальшполом (если он используется). Такая прокладка проводов особенно актуальна в случае установки нескольких подобных стоек рядом друг с другом. В альтернативном варианте, когда задействуется фальшпол, его высота должна быть увеличена для размещения электропроводки. Так или иначе, но обязательно придется прокладывать дополнительную электропроводку, что может оказаться делом трудным и дорогостоящим, если информационный центр эксплуатируется в непрерывном режиме.

Требования к охлаждению. Охлаждение стойки со сверхвысокой плотностью мощности представляет собой намного более сложную проблему, чем питание такой системы. Системе модульных серверов, описанной выше, потребовалось бы приблизительно 2500 фут3/мин (1180 л/с) для подачи холодного воздуха на вход (исходя из стандартного значения увеличения температуры выпускаемого воздуха, равного 11?C) и отвода такого же количества нагретого воздуха на выходе из корпуса. Оборудование нуждается в этом объеме воздуха независимо от того, может ли система охлаждения стойки его предоставить. Если помещение не рассчитано на обеспечение стойки таким количеством холодного воздуха, то стойка будет потреблять выпускаемый горячий воздух (собственный или от соседнего оборудования) и в конечном итоге перегреется. Для достижения требуемой эффективности охлаждения необходимы:

  • подача на стойку 2500 фут3/мин (1180 л/с) холодного воздуха;
  • отвод 2500 фут3/мин (1180 л/с) горячего воздуха из корпуса;
  • предотвращение попадания горячего воздуха в воздухозаборник оборудования;
  • обеспечение всех этих функций с избыточностью и в непрерывном режиме.

Любую из этих функций реализовать очень трудно.

Подвод холодного воздуха к корпусу. В типовом ЦОД на каждый корпус отводится одна вентилируемая панель в фальшполу. Стандартно через нее подается приблизительно 300 фут3/мин (142 л/с) холодного воздуха. Это означает, что для стойки мощностью 18 кВт потребуется восемь вентилируемых панелей, т. е. в восемь раз больше обычной нормы. Чтобы выделить такое количество панелей, проходы, а также зазоры между стойками должны быть увеличены. В обычном ЦОД подобная планировка невозможна.

На Рисунке 3 показана зависимость охлаждающей способности панели в фальшполу от величины воздушного потока, проходящего через одну панель. Несмотря на то что охлаждающая способность возрастает вместе с увеличением воздушного потока, видно, что более высокие значения охлаждающей способности становятся нецелесообразными. Получение воздушного потока на одну панель свыше 300 фут3/мин (142 л/с) требует фальшпола специальной конструкции, установки CRAC и устранения препятствий на пути воздушного потока, к которым можно отнести трубы и электропроводку.

Для обеспечения воздушного потока на одну панель свыше 500 фут3/мин (236 л/с) нужны специальные панели в виде открытых металлических решеток. Такое решение способно предоставить воздушный поток до 700 фут3/мин (330 л/с) на одну панель. Однако использование решеток ведет к резкому изменению градиентов давления под полом и оказывает воздействие на воздушные потоки в окружающих областях. При установке нескольких решеток локальное давление под фальшполом будет падать, и полный воздушный поток не будет обеспечиваться. Дополнительно увеличить воздушный поток и уравнять давление под полом удастся, лишь значительно приподняв фальшпол, что в конечном итоге сделает дальнейшее увеличение воздушного потока через панель невозможным.

Даже при реализации такой архитектуры потребуется от четырех до пяти панелей для охлаждения гипотетической стойки мощностью 18 кВт. Однако в планировке типового информационного центра для охлаждения каждой стойки предусматривается всего одна панель. Таким образом, традиционная планировка не позволяет обеспечить охлаждение стоек мощностью свыше 3 кВт на стойку.

Отвод горячего выпускаемого воздуха от корпуса. Воздух может быть возвращен обратно в систему охлаждения тремя способами: через помещение, через трубопровод или через потолочную вентиляционную камеру. В идеальном варианте горячий воздух отводится из оборудования напрямую в систему охлаждения без его смешения с окружающим воздухом и без подачи в воздухозаборник оборудования. Для этого требуется свободный и прямой воздушный канал. Один из способов решения задачи — высокий открытый потолок с системой возврата больших объемов воздуха, расположенной по центру в верхней точке. Однако во многих ЦОД для возврата воздуха используются трубопроводы или подвесные потолочные вентиляционные камеры, а во многих других центрах масса нагретого воздуха возвращается через комнату, потолок которой располагается лишь на несколько футов выше стоек. Реализация этих вариантов представляет собой сложную техническую задачу.

Возможности отвода горячего воздуха от конкретной стойки ограничены так же, как и подвод холодного воздуха. Отвод более 400 фут3/мин (189 л/с) возвращаемого воздуха в расчете на одну стойку требует специальных проектных решений, гарантирующих необходимую производительность и избыточность системы.

Предотвращение попадания горячего выпускаемого воздуха в воздухозаборник оборудования. Кратчайшим путем воздух попадает в воздухозаборник через рециркуляционный канал от собственного воздухоотвода оборудования. Поэтому важнейшей частью планирования ЦОД является обеспечение того, чтобы канал подачи холодного воздуха и канал возврата горячего были устроены рационально. Проблема становится особенно острой для сред с высокой плотностью размещения, так как воздушные потоки должны преодолевать сопротивление систем подачи и возврата воздуха. Для ее решения существуют различные методы.

Обеспечение всех функций с избыточностью и в непрерывном режиме. В ЦОД оборудование должно функционировать во время плановых или неплановых простоев блоков CRAC. Это означает, что охлаждение не должно прерываться при отключении любого из них.

В типовом центре несколько блоков CRAC обеспечивает подачу воздуха под общим фальшполом или через верхнюю вентиляционную камеру, где должны объединяться выходные потоки всех блоков CRAC и поддерживаться одинаковое давление во всей системе распределения воздуха. В обычных ЦОД при увеличении плотности мощности поток воздуха через потолочную вентиляционную камеру возрастает, и фундаментальные предположения о функционировании общей системы вентиляции нарушаются. К тому же выключение отдельного блока CRAC может радикально изменить картину локальных воздушных потоков в пределах потолочной вентиляционной камеры. Воздушный поток через отдельную панель может даже изменить направление на противоположное и затягиваться под пол в результате возникновения эффекта Вентури. Таким образом, при возрастании плотности мощности, особенно в условиях отказа отдельных блоков, работа системы охлаждения становится менее предсказуемой. По этой причине расположение оборудования приходится рассчитывать с использованием методов численного моделирования для определения наличия избыточных мощностей.

Концепция непрерывного охлаждения также трудно реализуема в среде с высокой плотностью мощности. Система охлаждения типового ЦОД получает резервное питание от автономного генератора, а не от системы бесперебойного питания. Возникающая при запуске генератора задержка на 5-20 с приемлема для среднего информационного центра, поскольку соответствующий перерыв в работе системы охлаждения и подаче воздуха, необходимый для запуска генератора, приводит к повышению температуры на 1?С (1,8?F). Однако в случае нагрузок с высокой плотностью мощности, около 18 кВт на стойку, приблизительный рост температуры воздуха в течение типового времени запуска генератора составит недопустимые 8-30?С (14-54?F). При установке такого оборудования требуется непрерывная работа вентиляторов CRAC, насосов и в некоторых случаях даже самих блоков CRAC с тем, чтобы обеспечить непрерывное охлаждение. Это — основной фактор роста расходов и основное препятствие для развертывания вычислительного оборудования с высокой плотностью мощности.

ВАРИАНТЫ РЕШЕНИЙ

Задача обеспечения питания и охлаждения для стоек и модульных серверов с высокой плотностью мощности может быть решена по- разному. Каждый из этих подходов рассматривается далее вместе с присущими ему преимуществами и недостатками.

Метод 1. Охлаждение всего помещения. Помещение должно быть оснащено системами питания и охлаждения, производительности которых будет достаточно для обеспечения потребности всех стоек, работающих с максимальной мощностью. Концептуально — это самое простое решение, но оно никогда не реализуется, поскольку в ЦОД всегда существуют значительные вариации в мощности от стойки к стойке, и проектирование центра в расчете на наихудший случай расточительно и неприемлемо с точки зрения стоимости. Более того, проектирование в расчете на общую плотность мощности свыше 6 кВт на стойку требует чрезвычайно сложных инженерных решений и анализа. Этот подход оправдан только в исключительных ситуациях.

Метод 2. Дополнительное охлаждение. Для охлаждения стоек с плотностью мощности, превосходящей среднее проектное значение, устанавливается дополнительное охлаждающее оборудование. Реализация данного решения обычно требует предварительного планирования размещения оборудования, чтобы дополнительное охлаждение использовалось там, где и когда это необходимо. Дополнительное охлаждение стоек может быть реализовано целым рядом способов:

  • установкой специальных панелей или вентиляторов для увеличения подачи холодного воздуха от блоков CRAC к стойкам;
  • установкой специальных возвратных трубопроводов или вентиляторов для удаления горячего выпускаемого воздуха из корпуса и возврата в агрегаты CRAC;
  • установкой специальных стоек или устройств охлаждения, монтируемых на стойку.

Перечисленные методы стали доступны относительно недавно и пока нашли применение в небольшом числе информационных центров. Однако они предоставляют значительную гибкость и при надлежащем планировании могут приобретаться и устанавливаться по мере необходимости.

Метод 3. Заимствованное охлаждение в соответствии с заданными правилами. Стойки с высокой плотностью мощности могут заимствовать незадействованные мощности охлаждения соседнего оборудования в соответствии с заданными правилами.

Это решение не требует никаких финансовых вложений и применяется довольно часто, но только в редких случаях оно получает документальное оформление. Данный подход основан на том факте, что мощность, потребляемая некоторыми стойками, меньше среднего проектного значения. Не полностью задействованные мощности охлаждения и возврата нагретого воздуха доступны и для стоек, находящихся в непосредственной близости. Соблюдение простого правила «не располагать рядом стойки с высокой плотностью мощности» дает определенные преимущества, а применение более изощренных приемов позволяет выделять для надежного и предсказуемого охлаждения корпусов мощность, величина которой более чем в два раза превышает проектные значения. Эти правила определяются соответствующей политикой, а их соблюдение проверяется путем контроля за потребляемой мощностью на уровне стоек, в том числе автоматизированного, с помощью системы управления.

Пример эффективного правила показан на Рисунке 4. Оно может применяться при развертывании нового оборудования, а следование ему гарантирует, что возможностей системы кондиционирования будет достаточно для охлаждения. Согласно этому правилу, мощности охлаждения, не используемые ближайшими стойками, доступны для охлаждения стойки оборудования с максимальной плотностью мощности, причем потребляемая ею мощность охлаждения может превышать среднее значение в три раза, если мощности охлаждения соседних стоек не востребованы.

В типовых ЦОД такое решение позволяет эффективно размещать стойки с высокой плотностью мощности, поскольку не редки случаи, когда соседние стойки не потребляют доступные мощности охлаждения в полной мере.

Метод 4. Распределение нагрузки. Если нагрузка превышает среднее проектное значение, оборудование стойки может быть распределено между несколькими стойками. Это наиболее популярное решение.

К счастью, все серверы высотой 1U и модульные конструктивы не обязательно устанавливать в одну стойку. При распределении оборудования исключается возможность превышения стойкой проектного значения плотности мощности и, соответственно, функционирование системы охлаждения становится предсказуемым.

Необходимость распределять оборудование с высокой плотностью мощности по нескольким стойкам обусловлена не только фактором охлаждения. Подвод к стойке требуемого числа линий питания или передачи данных может быть невозможным или затратным, а в случае серверов высотой 1U пучок проводов позади корпуса способен блокировать воздушный поток или даже воспрепятствовать закрытию задних створок.

Метод 5. Выделенная зона. Внутри помещения организуется специальная зона с большими возможностями охлаждения для установки стоек с высокой плотностью мощности. Для реализации данного подхода требуется заранее выяснить, какую долю от общего числа оборудования составляют корпуса с высокой плотностью мощности и имеется ли возможность выноса таких корпусов в специальную зону. При этих ограничениях может достигаться оптимальное использование пространства. К сожалению, загодя рассчитать долю стоек с высокой плотностью мощности, как правило, невозможно.

ЦЕНА УПЛОТНЕНИЯ

В отраслевых публикациях доминируют прогнозы о том, что уплотнение информационных центров неизбежно, и этот процесс уже идет полным ходом, поскольку в результате обеспечиваются снижение себестоимости и экономия площадей. Однако, как свидетельствуют исследования, повышение плотности размещения оборудования без фундаментального снижения потребляемой мощности не является экономически эффективным.

На Рисунке 5 показаны значения площади информационных центров на 1 кВт мощности в зависимости от плотности мощности вычислительного оборудования. При повышении последнего значения доля площади здания, занятая этим оборудованием, уменьшается (нижняя кривая). Однако соответствующего сокращения площадей, занимаемых инфраструктурой питания и охлаждения, не наблюдается. Для значений плотности мощности свыше 2,5 кВт на стойку, площадь, отводимая под оборудование питания и охлаждения, в действительности превышает площадь, предоставляемую для вычислительного оборудования.

В результате уплотнение сверх 4-5 кВт на стойку не приводит к какому-либо снижению общей занимаемой площади.

Согласно широко распространенному мнению, расходы информационных центров определяются в основном именно занимаемой площадью, поэтому при ее снижении за счет уплотнения будут снижаться и расходы. На Рисунке 6 показана зависимость совокупной стоимости владения для такого центра от плотности мощности вычислительного оборудования. Оказывается, 75% расходов определяется мощностью и только 25% — площадью. Более того, расходы на 1 кВт возрастают с увеличением плотности мощности вследствие рассмотренных выше факторов. В результате совокупная стоимость не снижается с увеличением плотности мощности, а растет после превышения оптимального значения плотности мощности, которое составляет порядка 4 кВт на корпус.

Преимущества, достигаемые за счет увеличения плотности мощности вычислительного оборудования, не велики. Однако уменьшение потребляемой мощности дает весомые выгоды: данные Таблицы 3 показывают, как дальнейшее уменьшение потребляемой мощности вычислительного оборудования и размера влияют на площадь информационного центра и стоимость владения. По сравнению с базовым вариантом снижение потребляемой мощности более выгодно, чем пропорциональное уменьшение размеров.

СТРАТЕГИЯ ОПТИМАЛЬНОГО ОХЛАЖДЕНИЯ

На основании представленных данных можно определить согласованную стратегию, где используется комбинация подходов, рассмотренных выше. Она будет оптимальной для большинства вариантов размещения оборудования.

Из всего сказанного можно сделать следующие выводы. Макси-мальные значения плотности мощности в расчете на стойку для вычислительного оборудования последнего поколения приблизительно в десять раз выше, чем соответствующее среднее значение в существующих информационных центрах. Однако на практике лишь незначительное число стоек имеют хотя бы половину максимальной плотности мощности.

Традиционные технологии и планировки информационных центров не в состоянии обеспечить охлаждение, необходимое для оборудования с такой высокой плотностью мощности из-за ограничений систем подачи и отвода воздуха, а также проблемы обеспечения достаточной избыточности и непрерывности охлаждения во время включения генератора.

Когда ставится задача снизить совокупную стоимость владения, пользователям следует обращать основное внимание на функциональные возможности устройств в расчете на 1 Вт, а физические размеры оборудования ИТ учитывать в последнюю очередь. Это неожиданное заключение основано на том, что по сравнению с размером оборудования ИТ мощность, когда она превышает 60 Вт/фут2 (0,6 кВт/м2), оказывает большее влияние как на совокупную стоимость владения, так и на площадь.

Имеющиеся решения позволяют эффективно размещать вычислительное оборудование с высокой плотностью мощности в условиях обычных ЦОД за счет внедрения охлаждающих систем, введения правил, обеспечивающих заимствование соседних невостребованных мощностей охлаждения и, наконец, распределения нагрузки между несколькими корпусами. Разработка же ЦОД исключительно в расчете на оборудование с высокой плотностью мощности остается нецелесообразной. Когда планируется установить большое число корпусов с высокой плотностью мощности и оборудование не удается распределить по разным стойкам, единственная возможность — реализация проекта по обеспечению необходимых мощностей охлаждения для всех стоек. По сравнению со стандартными проектами потолки в таком ЦОД выше и используемая площадь значительно больше, что позволяет обеспечивать необходимые воздушные потоки.

Несмотря на активное обсуждение в отраслевых журналах проектов ЦОД для оборудования с плотностью мощности 300-600 Вт/фут2, достижение таких значений остается нецелесообразным из-за чрезмерных расходов и трудностей в достижении высокого коэффициента готовности оборудования. Сущест-вующие проекты высокопроизводительных информационных центров с высоким коэффициентом готовности оборудования обеспечивают предсказуемость и целесообразность работы при плотности мощности в диапазоне от 40 до 100 Вт/фут2 [ 0,4-1,1 кВт/м] (в среднем от 1,2 до 3 кВт на стойку) с возможностью размещения отдельных нагрузок, плотность мощности которых иногда в три раза превышает расчетное значение за счет наличия разнородных нагрузок и использования дополнительных охлаждающих устройств.

Нейл Расмуссен — основатель и главный технический директор компании American Power Conversion. С ним можно связаться по адресу: http//www.apc.com.