Основные возможности по повышению энергоэффективности связаны с совершенствованием систем охлаждения, но определенные резервы остались еще и в средствах электропитания. Задействовать их можно, например, путем оптимизации режимов работы традиционных (для ИТ) статических ИБП или перейдя на динамические ИБП.

ИБП ВЫБИРАЮТ РЕЖИМ

Статические ИБП практически исчерпали резервы по повышению КПД в режиме двойного преобразования, что во многом связано с ограничениями имеющейся элементной базы. Однако производители, похоже, не желают мириться с этим утверждением. Как рассказал Станислав Ильенко, коммерческий директор компании Chloride Rus, в недавно выпущенном ИБП NX (мощностью 30–60 кВт) использована новая элементная база CoolMOS, что позволило «отыграть примерно 1,5%» и поднять КПД до уровня 96%. Пока технология CoolMOS применяется только в одной линейке ИБП, что отчасти связано с ее высокой стоимостью. Но в течение 1,5–2 лет планируется внедрить ее и в других модельных рядах ИБП этого производителя.

Большинство других ведущих производителей также заявляют, что их ИБП нового поколения приблизились к уровню КПД в 96%. Важно отметить, что эти ИБП сохраняют высокий КПД даже при существенном снижении нагрузки (см. Рисунок 1).

Рисунок 1. График зависимости КПД Chloride NX от нагрузки.
Рисунок 1. График зависимости КПД Chloride NX от нагрузки.

 

Но главные надежды на повышение эффективности статических ИБП связаны с их контролируемым переходом в так называемый экономичный (по сути off-line) режим, в котором КПД возрастает до 98–99%. При этом для нормальной работы нагрузки важно, чтобы при ухудшении параметров электросети ИБП был способен максимально быстро вернуться в режим с двойным преобразованием.

Станислав Ильенко представил результаты испытаний ИБП большой мощности Trinergy по переходу из экономичного (off-line) режима в режим с двойным преобразованием (см. Рисунок 2). Как видно из рисунка, такой переход происходит без разрыва синусоиды. Помимо указанных двух режимов, Trinergy способен функционировать и в третьем, который можно охарактеризовать как «интеллектуальный линейно-интерактивный режим».

Рисунок 2. Один из лучших и худших переходных процессов, зафиксированных при переходе ИБП Trinergy из экономичного режима в режим с двойным преобразованием.
Рисунок 2. Один из лучших и худших переходных процессов, зафиксированных при переходе ИБП Trinergy из экономичного режима в режим с двойным преобразованием.

 

В этом случае нагрузка, как и в режиме off-line, подключается через статический байпас с пассивным фильтром, но инвертор работает как активный фильтр и подстраивает напряжение. «Интеллект» Trinergy позволяет этому ИБП самому оценивать происходящие в электросети процессы (предварительно он в течение месяца «изучает» сеть) и выбирать режимы функционирования.

Компания «Абитех» также представила на форуме результаты измерений, выполненных при переходе новых ИБП SG производства компании GE Digital Energy из экономичного режима (eBoost) в режим с двойным преобразованием (см. Рисунок 3). В экорежиме нагрузка работает через статический байпас и дроссель, который вместе с конденсаторами выхода инвертора образует LC-фильтр. Как показывают тесты, переход с байпаса на инвертор осуществляется менее чем за 2 мс.

Рисунок 3. Переходные процессы при переключении ИБП SG из режима eBoost в режим двойного преобразования. Время переключения менее 2 мс (зеленым цветом показан ток на выходе моста инвертора).
Рисунок 3. Переходные процессы при переключении ИБП SG из режима eBoost в режим двойного преобразования. Время переключения менее 2 мс (зеленым цветом показан ток на выходе моста инвертора).

 

Константин Соколов, руководитель отдела технической экспертизы и проектирования «Абитех», представил характеристики работы ИБП в режиме eBoost на общем графике, определяющем работоспособность ИТ-оборудования в зависимости от качества напряжения (см. Рисунок 4). «Пойдя на небольшой компромисс, можно существенно повысить эффективность системы бесперебойного питания, оставаясь при этом в зоне допустимых параметров, — констатировал он. — Система управления постоянно отслеживает характеристики напряжения и практически мгновенно реагирует на любые отклонения, переключая нагрузку на инвертор».

Рисунок 4. График ITI CBEMA определяет работоспособность ИТ-оборудования в зависимости от качества напряжения (график обновлен в стандарте EPRI & IEEE Std 446 в 2000).
Рисунок 4. График ITI CBEMA определяет работоспособность ИТ-оборудования в зависимости от качества напряжения (график обновлен в стандарте EPRI & IEEE Std 446 в 2000).

 

Согласно приведенным специалистом «Абитеха» результатам измерения показателя энергоэффективности (PUE) на реальном объекте, переход на ИБП с режимом eBoost позволил очень существенно улучшить этот показатель: с 1,53 до 1,39. При этом потери, приходящиеся на ИБП, уменьшились с 12 до 4%.

В отличие от большинства других производителей ИБП, компания GE Digital Energy осталась верна традициям и предлагает ИБП с трансформатором инвертора, обеспечивающим, в частности, гальваническую развязку. Конечно, трансформатор повышает стоимость ИБП и снижает его КПД, но при этом, по мнению Константина Соколова, он обеспечивает ряд важных преимуществ, в том числе более высокий ток короткого замыкания при работе от аккумуляторных батарей (АКБ) и улучшенную работу с несбалансированной и нелинейной нагрузкой. Кроме того, при переходе на режим с двойным преобразованием трансформатор сглаживает переходные процессы.

Что касается КПД, то в новом поколении источников SG эту характеристику удалось довести до 95% (в режиме с двойным преобразованием) — один из наилучших показателей для ИБП с трансформатором. Кроме того, несмотря на наличие такого тяжелого и громоздкого узла, как трансформатор, новое оборудование занимает на 10–15% меньше площади, чем модели предыдущего поколения. Усовершенствованы и средства управления. Так, новая плата управления, помимо всего прочего, выполняет функции «черного ящика»: блок с независимым питанием регистрирует переходные процессы, значения напряжения и тока внутри устройства, состояние ИБП при любых внештатных ситуациях, формы сигналов, последовательности переключений и др. — все это помогает расследовать причины нештатного поведения ИБП.

Среди профессионалов ЦОДостроения уже несколько лет активно обсуждаются плюсы и минусы использования вместо обычных (статических) ИБП их динамических конкурентов. Традиционно считается, что динамические ИБП стоят дороже, но за счет более высокого КПД позволяют снизить операционные расходы. На форуме «Мир ЦОД» было приведено немало аргументов в пользу динамических ИБП (см. врезку «ИБП в динамике»).

 

ИБП в динамике

Одна из пока немногочисленных инсталляций динамических ИБП в России осуществлена в ЦОД компании «Крок», расположенном на Волочаевской улице. Там установлены четыре ДИБП производства Hitec мощностью по 1 МВт каждый, при этом в двух других ЦОД этой компании используются статические ИБП.

«Мы имеем возможность сравнить ЦОД, где применяются статические и динамические ИБП. Пока с динамическими ИБП получается проще, причем не только в части эксплуатации, но и в части схемы построения ЦОД. Значит, ниже и начальные затраты», — говорит Руслан Заединов, руководитель направления ЦОД компании «Крок».

Делясь опытом эксплуатации динамических ИБП, Павел Дмитриев, заместитель директора департамента интеллектуальных зданий компании «Крок», отмечает, что по эксплуатационным затратам они сопоставимы с обычными дизель-генераторами, которые традиционно используются в составе системы бесперебойного гарантированного электропитания ЦОД. Но, в отличие от традиционной системы БГЭ, динамические ИБП не нуждаются в аккумуляторных батареях (АКБ), под которые обычно приходится выделять довольно большие помещения, специально усиливать несущие конструкции здания и устанавливать свою систему кондиционирования, не говоря уже о том, что АКБ необходимо менять в среднем каждые пять лет. Ясно, что отсутствие потребности в АКБ позволяет существенно снизить как капитальные, так и операционные расходы.

Алексей Морозов из компании «Термокул» привел расчет инвестиционных и эксплуатационных затрат на системы БГЭ мощностью 10 МВт, построенные на основе статических и динамических ИБП. По его данным, вариант с динамическими ИБП («Термокул» предлагает дизельные динамические ИБП компании Hitzinger) намного выгоднее. При стоимости примерно в 26,3 млн евро он обходится почти на 2,5 млн евро дешевле первого варианта. При этом следует отметить, что основной вклад (около 20 млн евро) в столь значительную сумму вносит плата за подключение к электросети. Сами по себе статические ИБП примерно вдвое дешевле динамических, но при их использовании требуется закупать еще ДГУ и средства кондиционирования помещения с АКБ, да и стоимость пусконаладочных работ примерно в два раза выше.

Эксплуатационные расходы рассчитывались за период 25 лет (расчетный срок эксплуатации динамических ИБП), причем в них не закладывалась собственно стоимость электроэнергии. В проекте со статическими ИБП учитывались пять циклов замены аккумуляторных батарей ИБП и ДГУ, а также два цикла замены самих ИБП и системы кондиционирования, в проекте же с динамическими устройствами — замена подшипников динамических ИБП, а также аккумуляторов этих систем. Итог: экономия эксплуатационных расходов почти 10 млн евро в случае использования динамических ИБП.

В новых модульных ЦОД, строящихся сейчас в Санкт-Петербурге и Казани, компания Stack Data Network, решила использовать динамические ИБП. «Такие ИБП — очень выгодное решение. Они позволяют отказаться от АКБ, а значит, не нужно выделять специальное помещение с системой охлаждения. Кроме того, мы экономим на текущей эксплуатации. Срок работы динамических ИБП Hitec до капитального ремонта (замены подшипников) порядка 10 лет. АКБ за этот период придется менять минимум дважды», — рассказывает Сергей Зайцев, директор управления регионального развития компании Stack Data Network.

 

ИНТЕЛЛЕКТУАЛЬНОЕ ОХЛАЖДЕНИЕ

Модернизация системы охлаждения позволяет существенно повысить энергоэффективность существующих ЦОД. Наглядным подтверждением этого утверждения может служить проект по модернизации одного из ЦОД компании Stack Data Network (см. врезку «Белый асфальт для «зеленого» ЦОД»). Специалистами этой компании был выполнен целый комплекс мер: от изоляции воздушных потоков в вычислительном зале до покраски в белый цвет асфальта рядом с чиллерами.

 

Белый асфальт для «зеленого» ЦОД

ЦОД Stack.М1 — центральный узел сети Stack Data Network (SDN) — был введен в эксплуатацию в 2006 году с использованием классической чиллерной системы охлаждения. Из общей мощности 2 МВт на ИТ-нагрузку приходилась только половина — соответственно, коэффициент PUE составлял около 2,0, что никак не отвечает современным представлениям об энергоэффективном ЦОД.

Как рассказал Сергей Зайцев, для повышения эффективности был предпринят целый комплекс мер. В первую очередь было осуществлено физическое разделение воздушных потоков путем герметизации холодных коридоров и установки заглушек в неиспользуемые юниты стоек. Все кондиционеры оборудовали частотными приводами, позволяющими регулировать их мощность, а радиаторы во внешних чиллерах заменили новыми, со специальным покрытием, предотвращающим осаждение солей при испарении воды. Традиционные парогенераторы кондиционеров уступили свое место системе на основе мелкодисперсного распыления воды под фальшполом. Помимо того что такие распылители потребляют примерно в 100 раз меньше электроэнергии, они еще и обеспечивают дополнительное охлаждение воздуха (за счет испарения воды).

В борьбе за повышение энергоэффективности нет мелочей, о чем свидетельствует еще одна предпринятая мера: покраска в белый цвет асфальта рядом с чиллерами позволила снизить температуру вокруг этих устройств примерно на 5°C. Старания специалистов Stack Data Network окупились сторицей: PUE удалось снизить до 1,5. Если раньше на технологические нужды тратилось примерно 1000 кВт энергии (расходы в месяц 1000 кВт × 720 ч/мес × 4 руб/кВт = 2 900 000 руб/мес.), то теперь уходит всего 500 кВт (500 кВт × 720 ч/мес × 4 руб./кВт = 1 450 000 руб/мес). Таким образом, ежемесячная экономия составляет почти 1,5 млн рублей.

 

Важными атрибутами энергоэффективных систем охлаждения являются элементы, позволяющие изменять потребляемую мощность при изменении нагрузки. Это, например, компрессоры Digital Scroll с плавной регулировкой холодопроизводительности и EC-вентиляторы, способные изменять объем подаваемого воздуха в зависимости от текущих потребностей. Обсуждая преимущества таких вентиляторов, Михаил Андреев, коммерческий директор компании Hosser Telecom Solutions (HTS), отмечает нелинейную зависимость объема воздушного потока от потребляемой вентилятором мощности: при восьмикратном уменьшении мощности объем подаваемого воздуха сокращается только вдвое (см. Рисунок 5).

Рисунок 5. Типичная зависимость объема воздушного потока от потребляемой вентилятором мощности.
Рисунок 5. Типичная зависимость объема воздушного потока от потребляемой вентилятором мощности.

 

Не менее важны и технологии естественного охлаждения (фрикулинг). На форуме «Мир ЦОД» HTS представила решение Stulz с динамическим фрикулингом (DFC), предусматривающим гибкий выбор одного из четырех режимов работы: естественное охлаждение, расширенное естественное охлаждение (когда в режиме фрикулинга работают резервные системы), сочетание естественного охлаждения с компрессорным и компрессорное охлаждение. Сердцем системы служит контроллер, который управляет всеми активными компонентами (вентиляторами, насосами, компрессором, клапаном фрикулинга) в зависимости от наружной температуры и тепловой нагрузки в помещении. Расчет, произведенный для климатических условий Москвы, показал, что 57% времени такая система способна фунционировать в режиме полного естественного охлаждения.

Денис Беляев, коммерческий директор компании «Аякс-Инжиниринг», поделился опытом эксплуатации запатентованной этой компанией системы охлаждения на основе роторных регенераторов Full Free Cooling (FFC), которые часто называют «тепловыми колесами». Она представляет собой два отдельных контура: наружный, куда подается уличный воздух, и внутренний, в котором циркулирует воздух ЦОД. Основной элемент системы — роторный регенератор — обеспечивает теплообмен между наружным (холодным) воздухом и теплым воздухом, поступающим от ИТ-нагрузки.

Такая система с сентября 2011 года находится в коммерческой эксплуатации в расположенном в Московском регионе ЦОД с мощностью ИТ-нагрузки 2,2 МВт. Он состоит из четырех машинных залов (по 560 кВт), примерно половина стоек рассчитаны на энергопотребление 15,5 кВт, остальные — на 12 кВт. В ЦОД установлено восемь установок FFC по 280 кВт (по две установки на машинный зал, см. Рисунок 6) с диаметром роторного регенератора 4,2 м. При температуре на улице ниже +22°С система полностью переходит на режим естественного охлаждения, при более высоких температурах дополнительно подключается чиллерная система, состоящая из пяти холодильных машин по 560 кВт. Полный переход на работу от чиллеров происходит при +33°С.

Рисунок 6. Пример установки системы охлаждения на основе роторного регенератора на объекте. Синим цветом показаны коллекторы подачи холодного воздуха, красным — отвода горячего.
Рисунок 6. Пример установки системы охлаждения на основе роторного регенератора на объекте. Синим цветом показаны коллекторы подачи холодного воздуха, красным — отвода горячего.

 

За прошедший срок эксплуатации коэффициент PUE климатической системы оказался равным 1,20. При этом температура воздуха на входе в стойку составляла +25°С, а на выходе из нее — не более +45°С. Объект оборудован системой мониторинга, измеряющей температуру в каждой стойке. Как отмечает Денис Беляев, температура по залу распределялась неравномерно: на некоторых стойках она доходила до указанного порога (при этом система повышала свою производительность, дабы не допустить перегрева), тогда как средняя температура в горячем коридоре составляла около +33°С. Отчасти это связано с различиями в работе средств охлаждения самих серверов: в устройствах одних производителей вентиляторы работают постоянно, а в других — включаются только при определенных условиях (например, когда температура на выходе превышает +50°С). Представители одного из производителей серверов вообще заявили, что даже температура 55–60°С на выходе из сервера является вполне нормальной. Если ориентироваться на эти показатели, то можно еще снизить PUE, но в данном проекте, как уже указывалось, был выбран порог в +45°С.

Что касается стоимости проекта на базе FFC, то, по словам Дениса Беляева, она сопоставима со стоимостью «хорошего чиллерного варианта». Сравнивая FFC с типовой фреоновой системой Direct Expansion (DX), он отметил, что при использовании роторных регенераторов экономия за год на электроэнергии (для рассматриваемого проекта) составит около 18 млн рублей. Таким образом, разница в стоимости между FFC и фреоновой системой покрывается за 2,2 года.

Описанное выше решение «АяксИнжиниринг» во многом копирует разработку голландской компании Kyoto Cooling. Европейское решение будет использовано в новых, модульных, ЦОД компании Stack Data Network. – «Решение по воздушному охлаждению с помощью тепловых колес в промышленности применяется уже давно. Для отрасли же ЦОД они в новинку: в мире имеется пятьшесть инсталляций, да и то относительно небольших — на 300–600 кВт. Мы монтируем систему холодопроизводительностью до 10 МВт, — рассказывает Сергей Зайцев, директор управления регионального развития компании Stack Data Network. — Управляемая система позволит регулировать температуру в холодных коридорах, опуская ее зимой до +18°С и поднимая летом до +27°С, а значит, дополнительное охлаждение потребуется включать не более чем на 100–120 ч в год». В качестве такого дополнительного оборудования Stack использует относительно недорогие фреоновые компрессоры, которые будут включаться, если температура превысит пороговое (для полного естественного охлаждения) значение.

УПРАВЛЕНИЕ ВОЗДУШНЫМИ ПОТОКАМИ

Огромное значение для повышения эффективности работы систем охлаждения имеет грамотное управление воздушными потоками. Для достижения этой цели хорошо себя зарекомендовали средства герметизации горячих или холодных коридоров. На форуме «Мир ЦОД – 2012» такое решение, SmartAisle, представила компания Emerson Network Power. Как отметил Андрей Вотановский, технический специалист этой компании, Emerson позже многих конкурентов вышла на рынок с таким решением, но зато смогла учесть все проблемы, которые возникали при инсталляции и эксплуатации первого поколения подобных систем. SmartAisle не привязана к каким-то специальным шкафам (можно использовать монтажные конструктивы других производителей) и комплектуется распашными или сдвижными дверьми с автоматическим доводчиком.

Изюминка этого решения — система SmartAisle Dynamic Control, которая позволяет оптимизировать объем подаваемого в закрытый холодный коридор воздуха (а следовательно, и энергозатраты). Вместо того чтобы «городить» сложную конструкцию из датчиков давления, Emerson разработал изящное решение на базе простых датчиков температуры. Один из таких датчиков устанавливается в специально организуемом открытом канале между закрытым коридором и основным пространством вычислительного зала. Если объем воздуха, прокачиваемый вентиляторами серверов, превысит объем холодного воздуха, подаваемый кондиционерами, то горячий воздух из основного пространства пойдет в холодный коридор, что и будет зафиксировано датчиком температуры. В обратной ситуации воздух из холодного коридора пойдет не через серверы, а через канал с установленным датчиком, что тоже будет им зафиксировано. Данные с датчиков подаются на контроллер Liebert iCom, который регулирует работу кондиционеров (см. Рисунок 7).

Рисунок 7. Схема системы SmartAisle Dynamic Control.
Рисунок 7. Схема системы SmartAisle Dynamic Control.

 

Компания Panduit также предлагает решения для изоляции холодного коридора. Но Александр Брюзгин, региональный менеджер Panduit в России, СНГ и странах Восточной Европы, обращает больше внимания на другое решение — вытяжную трубу (выхлоп). Эта пассивная система отводит тепло из шкафа, причем для ее использования не нужно, чтобы шкафы стояли в линию (следовательно, она подходит для помещений сложной формы, в том числе с колоннами). Такие вытяжные трубы применены, в частности, в новом ЦОД DC2 компании Cisco, расположенном в городе Аллен (штат Tехас, США). В нем нет ни фальшпола, ни фальшпотолка, а коэффициент PUE находится на отличном уровне — 1,20.

Рисунок 8. Отсутствие бланкирующей панели (заглушки) приводит к нарушению циркуляции воздушных потоков и чревато перегревом оборудования.
Рисунок 8. Отсутствие бланкирующей панели (заглушки) приводит к нарушению циркуляции воздушных потоков и чревато перегревом оборудования.

 

Рисунок 9. Бланкирующие шторки устанавливаются в верхней части шкафа и, как жалюзи, опускаются в нужную позицию.
Рисунок 9. Бланкирующие шторки устанавливаются в верхней части шкафа и, как жалюзи, опускаются в нужную позицию.

Александр Брюзгин считает, что одной из главных проблем отрасли ЦОД является деградация характеристик этих объектов со временем. В качестве примера он приводит типичную ситуацию, когда, убрав из стойки один из серверов, обслуживающий персонал не устанавливает бланкирующие панели (заглушки), что приводит к нарушению циркуляции воздушных потоков и чревато перегревом оборудования (см. Рисунок 8). Компания Panduit провела опрос, чтобы выяснить причину этого. Наиболее популярными оказались следующие ответы: «нет панелей», «нет винтов», «не совпадает резьба», «нет отвертки». Чтобы решить проблему, Panduit разработала и выпустила легкосъемные бланкирующие панели, для монтажа/демонтажа которых не требуется инструмента. Кроме того, был начат выпуск бланкирующих шторок: они устанавливаются в верхней части шкафа и, как жалюзи, опускаются в нужную позицию (см. Рисунок 9).

На форуме активно обсуждались перспективы использования жидкостного охлаждения для серверных плат, которое обеспечивает рекордные значения PUE. В этом случае жидкость подводится гораздо ближе к серверным процессорам, чем в ставших уже широко распространенными средствах жидкостного охлаждения на уровне шкафа (холодные двери и пр.). Однако представители коммерческих ЦОД не высказали большого энтузиазма по поводу использования таких решений. Как отметил Александр Ласый, технический директор департамента интеллектуальных зданий компании «Крок», охлаждение водой непосредственно процессоров актуально для суперкомпьютеров, которые имеют более-менее постоянную (высокую) нагрузку. Это специализированные вычислительные устройства, для которых применяется совсем другой подход к организации инженерной инфраструктуры. Ставить же системы с таким охлаждением в коммерческий ЦОД, у которого нагрузка от стойки к стойке может сильно варьироваться, невыгодно. «Ситуация изменится только тогда, когда все производители серверов перейдут на решения с непосредственным водяным охлаждением», — считает он.

«УМНЫЙ» ФАЛЬШПОЛ

Повысить эффективность распределения холодного воздуха позволяют и активные решетки, которые устанавливаются вместо решеток фальшпола. Например, компания Stulz предлагает решение с использованием трех типов таких решеток. Изделия AirModulator состоят из жалюзи и сервопривода. По показателям двух температурных датчиков, установленных на передней части стойки, рассчитывается средняя величина и сравнивается с заданным значением. Если разница температур растет, жалюзи открываются, в результате чего увеличивается объем холодного воздуха, поднимающегося от пола к серверам. Кроме того, в системе используются средства контроля давления под фальшполом.

Решетки AirBooster снабжены электрокоммутируемым вентилятором и используются для охлаждения стоек с высокой плотностью энергопотребления — до 15 кВт. Если разница между средней и заданной температурами увеличивается, повышается и скорость вращения ЕС-вентилятора. Модель AirBoosterPro отличается от предыдущей наличием настраиваемой воздухораспределительной решетки, которая позволяет направить воздушный поток на наиболее подверженный перегреву участок. При включении устройства AirBooster поток воздуха к стойкам с низкой тепловой нагрузкой, очевидно, уменьшается. Средства контроля давления под фальшполом фиксируют это, и на кондиционер подается команда повысить скорость вращения вентилятора, чтобы гарантировать достаточную подачу воздуха на соответствующие стойки.

Михаил Андреев привел пример проекта модернизации ЦОД, где системы Air Booster были установлены с целью создания новой зоны со стойками повышенной плотности (в проекте также используются рядные системы охлаждения). Активные решетки позволяют не только более эффективно использовать холодный воздух центральной системы кондиционирования, но и резервировать работу рядных кондиционеров: в случае выхода из строя такого кондиционера, активная решетка обеспечивает охлаждение соседней с ним стойки высокой плотности.

Рисунок 10. Составляющие плиток с водяным теплообменником Hydrologic компании Weiss.
Рисунок 10. Составляющие плиток с водяным теплообменником Hydrologic компании Weiss.

На рынке имеются и активные плитки фальшпола, представляющие собой полноценные фанкойлы. Это, например, плитки с водяным теплообменником Hydrologic компании Weiss (см. Рисунок 10). Алексей Морозов, начальник отдела продаж систем центрального кондиционирования и вентиляции компании «Термокул», провел сравнение трех различных способов охлаждения вычислительного зала: с помощью названных плиток Weiss, рядных кондиционеров HiRef и вентиляционных установок Frapol. Все три варианта рассматривались как часть проекта построения системы кондиционирования ЦОД суммарной холодопроизводительностью 7,5 МВт и выделенной для инженерных систем электрической мощностью 10 МВт. Внешние элементы системы во всех случаях были одинаковые: чиллеры на турбокомпрессорах Turbocor компании Danfoss и драйкулеры Cabero.

Анализ показал, что выбор варианта охлаждения зависит от архитектурных и технических особенностей ЦОД. При этом первый, довольно инновационный вариант на основе подпольных фэнкойлов Weiss оказался чуть дешевле и энергоэффективнее ставшего уже типовым для ЦОД варианта с рядными кондиционерами. Плюсом использования плитокфэнкойлов является еще и то, что они не занимают полезное место вычислительного зала (каждая плитка обеспечивает отвод 10 кВт тепла).

Интерес представляет третий вариант — с использованием специально разработанных для ЦОД вентиляционных установок компании Frapol, которые устанавливаются вместо шкафных кондиционеров. При этом они забирают теплый воздух сверху зала, а холодный выдают под фальшпол. При равной с первым вариантом стоимости он оказался еще немного более энергоэффективным. За счет увеличения поверхности темплообмена вентиляционных установок можно использовать более теплую воду (17/23°С по сравнению с 12/18°С), что позволяет снизить энергопотребление чиллера и расширить «окно» для естественного охлаждения. Правда, сами вентиляционные установки потребляют больше (чем подпольные фанкойлы), но общая энергоэффективность, как уже было сказано, оказывается выше. Существенным минусом использования таких установок является необходимость в высоком (1200 мм) фальшполе, тогда как для двух других вариантов достаточно высоты 500 мм. Кроме того, сами вентиляционные установки занимают много места.

По мнению Алексея Морозова, все три варианта позволяют добиться высокой энергоэффективности во многом за счет применения холодильных машин с турбокомпрессорами. Среди преимуществ таких компрессоров, где используются электромагнитные подшипники, — отсутствие трения и потерь производительности, низкий уровень шума и отсутствие вибрации, уменьшение веса и габаритов. За счет существенной экономии электроэнергии и меньших эксплуатационных расходов, по сравнению с оборудованием с винтовыми компрессорами, разница в стоимости таких систем окупается за один–два года эксплуатации.

ОХЛАЖДЕНИЕ РЕЧНОЙ ВОДОЙ

Дабы снизить расходы на содержание ЦОД, что особенно важно для коммерческих центров, все больше компаний идут на нестандартные решения. «Крок», например, предлагает использовать для охлаждения воду из реки — если, конечно, это позволяет сделать территориальное расположение ЦОД.

Такое решение будет реализовано в строящемся сейчас в Иркутске ЦОД мощностью 12 МВт. Он располагается неподалеку от ТЭЦ (от нее, кстати, и будет получать электроэнергию напрямую), которая для своих технологических нужд использует подготовленную речную воду. В теплообменники ЦОД вода будет забираться непосредственно из имеющейся магистрали (см. Рисунок 11), что позволит минимизировать капитальные затраты. По расчетам, 90% всего времени эксплуатации ЦОД будет охлаждаться речной водой, и только когда температура окружающего воздуха будет подниматься выше +25°С, будут задействованы чиллеры.

 

Рисунок 11. Возводимый компанией «Крок» в Иркутске ЦОД мощностью 12 МВт будет получать для охлаждения речную воду непосредственно из имеющейся магистрали, откуда она будет направляться в теплообменник.
Рисунок 11. Возводимый компанией «Крок» в Иркутске ЦОД мощностью 12 МВт будет получать для охлаждения речную воду непосредственно из имеющейся магистрали, откуда она будет направляться в теплообменник.

 

На объекте планируется использовать энергоэффективные турбочиллеры, затраты на обслуживание которых минимальны (нет износа движущихся частей, не требуется замена масла и т. д.). Кроме того, планируется установка динамических ИБП. Согласно расчетам, зимой PUE этого ЦОД составит 1,25–1,35, а летом — 1,35–1,6.

КОМПЛЕКСНОЕ УПРАВЛЕНИЕ

Для эффективной работы ЦОД необходимы интеллектуальные средства управления, способные «общаться» с большим числом его подсистем. Вот уже несколько лет вопросы комплексного управления инфраструктурой ЦОД (соответствующие системы получили название Data Center Infrastructure Management, DCIM), находятся в фокусе внимания специалистов. На форуме «Мир ЦОД — 2012» такие решения представили как поставщики инженерных систем, так и компании, «выросшие» из индустрии структурированных кабельных систем (СКС).

Предлагаемый компанией Schneider Electric набор приложений StruxureWare позволяет контролировать состояние ИТ-оборудования, установленного в стойках ЦОД, на всех стадиях его жизни: от планирования размещения до утилизации. В частности, система StruxureWare «порекомендует», куда лучше установить серверы с учетом текущей ситуации в ЦОД: наличия свободных мест в стойках, доступной электрической мощности и резерва по охлаждению. Она произведет расчет веса стойки с оборудованием для контроля несущей способности фальшпола, выявит наличие свободных розеток на блоке PDU и проверит балансировку фаз на ИБП. Функция трехмерного моделирования воздушных потоков (3D-Airflow) позволяет наглядно увидеть картину температурного поля в вычислительном зале, что полезно как при выборе места установки новых серверов, так и при принятии мер по устранению очагов перегрева.

Расчет текущего коэффициента PUE становится уже стандартной функцией для современных систем управления. Помимо этого, StruxureWare умеет анализировать эффективность использования электроэнергии в ЦОД в целом и в отдельных его подсистемах в частности, а также идентифицировать потери, существенно влияющие на энергоэффективность. В систему можно ввести информацию о стоимости электричества, чтобы она учитывалась при создании отчетов по группам потребителей.

Входящие в состав пакета StruxureWare приложения также обеспечивают доступ к данным о состоянии ЦОД через смартфон или планшетный компьютер и визуализацию этих данных с помощью виджетов. Отдельного упоминания достоин функционал по интеграции с системами управления виртуальными машинами (ВМ) VMware и Microsoft. Такая интеграция позволяет, в частности, переводить ВМ с сервера, где возникла проблема с электропитанием или охлаждением, на «здоровый» сервер, что повышает отказоустойчивость информационной системы.

Компания Emerson Network Power одной из первых выдвинула концепцию построения единой системы управления (получившей название Trellis), которая могла бы взаимодействовать как с инженерной инфраструктурой, так и с ИТ-устройствами. Произошло это в 2010 году после покупки компании Avocent. Однако конкретные продукты для реализации Trellis появились относительно недавно.

Как отметил Юрий Колесов, региональный менеджер подразделения Avocent компании Emerson Network Power, информационные системы в современных ЦОД очень динамичны (устанавливаются новые серверы, переезжают виртуальные машины и пр.), тогда как традиционные инженерные системы — статичны. Для эффективной работы ЦОД необходимо интеллектуальное взаимодействие между ними, чтобы вслед за изменениями ИТ перестраивались системы электропитания и охлаждения.

Мостом между инженерной частью и ИТ в системе Trellis служит шлюз Universal Management Gateway (UMG). С одной стороны, он выполняет мониторинг инженерных систем и сбор данных с различных датчиков, а с другой — обеспечивает управление ИТ-системами, взаимодействуя с ними через порты KVM, RS-232 и сервисные процессоры. По состоянию на июнь 2012 года было выпущено четыре базовых программных модуля Trellis:

  • Inventory Manager — для документирования всех активов ЦОД, включая представление визуальных планов размещения объектов в ЦОД и в отдельной стойке;
  • Change Planner — для планирования изменений и управления ими (например, для предоставления техническому персоналу инструкций по реализации изменений);
  • Site Manager — для сбора/анализа данных, оповещений и тревожных сообщений (с инженерного оборудования), а также отображения статуса устройств;
  • Energy Insight — для формирования отчетов по потреблению энергии и операционной эффективности (включая PUE).

Если Schneider Electric и Emerson Network Power подходят к комплексным системам управления класса DCIM со стороны инженерного оборудования, то такие компании, как CommScope, Panduit и RiT Technologies, — со стороны кабельной инфраструктуры, используя свою экспертизу в области интеллектуальных (то есть управляемых) СКС. При этом они делают акцент на управлении тем, что находится внутри шкафов.

«Контролируя обстановку внутри монтажного конструктива, вы контролируете фактическую работоспособность ЦОД», — утверждает Дмитрий Никулин, технический директор RiT Russia. Эта компания представила на форуме «Мир ЦОД» свое новое решение CenterMind, в котором реализован целостный подход к управлению инфраструктурой ЦОД.

CenterMind состоит из трех подсистем, объединенных единым ПО. Подсистема RiT PatchView контролирует кабельную и сетевую инфраструктуры, CenterMind G+ — параметры рабочей среды внутри шкафа (для этого используются различные датчики: температуры, влажности, протечки воды, открытия двери), а CenterMind P+ — потребление электроэнергии (с помощью интеллектуальных PDU). Каждая из этих подсистем может функционировать как совместно с остальными, так и отдельно, «закрывая» свою зону ответственности.

Рисунок 12. Разработанная Panduit система PViQ-IS использует разнообразные датчики, устанавливаемые внутри шкафа.
Рисунок 12. Разработанная Panduit система PViQ-IS использует разнообразные датчики, устанавливаемые внутри шкафа.

Обеспечиваемый системами управления контроль параметров ЦОД на уровне шкафа, по мнению Александра Брюзгина, регионального менеджера Panduit в России, СНГ и странах Восточной Европы, позволяет устранить одну из главных на сегодня проблем — проблему ухудшения характеристик ЦОД со временем. Разработанная Panduit система PViQ-IS также использует разнообразные датчики, устанавливаемые внутри шкафа (см. Рисунок 12). Помимо стандартного набора датчиков, компания также предлагает основанное на технологии RFID средство для определения положения (номера юнита) устройства внутри шкафа.

В целом на рынке появляется все больше различных систем управления и мониторинга для ЦОД, которые находят своих заказчиков. «Укомплектованные» такой интеллектуальной начинкой, современные центры обработки данных способны работать гораздо более предсказуемо и эффективно, что повышает надежность и снижает совокупную стоимость владения этими энергозатратными объектами.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.