С ростом количества и масштабов ЦОД защита оборудования и данных оказывается для предприятий приоритетной задачей. По оценкам экспертов, в США надежность энергоснабжения составляет примерно 99,98% (если исключить стихийные бедствия), что эквивалентно 100-200 мин простоя в год. В действительности время простоя оказывается еще больше из-за необходимости восстановления, перезагрузки систем и решения других, вызванных перебоями в энергоснабжении, проблем.

Для России проблема защиты оборудования ИТ особенно актуальна: многие электросети устарели, поэтому в результате сбоев в питании устройств пользователи несут убытки из-за отказов и потери важной информации. Внедрение ИБП помогает не только избежать перебоев в работе ЦОД, но и уменьшить число отказов оборудования благодаря повышению качества электропитания.

По данным IMS Research, в прошлом году оборот мирового рынка ИБП достиг 7 млрд долларов, причем такому результату способствовал бум в строительстве ЦОД. Три ведущих производителя (ИБП APC-MGE, Emerson Network Power и Eaton Powerware) контролируют примерно 80% рынка. Ожидается, что в ближайшие два года его динамика останется высокой благодаря строительству крупных ЦОД и вследствие потребности в качественном и надежном электропитании. В результате к 2010 г. оборот может составить уже 10 млрд долларов.

Рост отечественного рынка ИБП старшего класса подстегивают как строительство ЦОД, так и периодические перебои в энергосистемах, убеждающие заказчиков в серьезности проблемы. При этом сегмент рынка «тяжелых» решений для централизованных систем бесперебойного электропитания — один из наиболее динамичных.

Аналитики VDC Research Group отмечают, что в мире продажи ИБП средней и большой мощности растут опережающими темпами (см. Рисунок 1). Однако экономический кризис негативно скажется на набранных темпах роста. По оценкам российских экспертов, к началу 2009 г. можно ожидать сокращение числа проектов ИТ на 25-35%. С другой стороны, как показывают опубликованные данные опросов, снижение издержек за счет инвестиций в новые технологии – вторая по популярности мера после избавления от непрофильных активов (ее указали 25% респондентов).

Рисунок 1. В мире рост спроса на ИБП большой мощности в два с лишним раза превышает рост продаж устройств более низкого класса.

По прогнозам Gartner, в 2009 г. затраты на ИТ вырастут лишь на 2,3% против ожидавшихся 5,8%, однако за рубежом многие компании наращивают инвестиции в ЦОД даже при сокращении расходов на другие направления бизнеса. Внедрению более совершенных систем электропитания способствует и стремление к повышению энергоэффективности. В применении к ЦОД это означает правильный подбор высокоэффективных компонентов электропитания и охлаждения. Сейчас уже около 80% предприятий реализуют программы снижения энергопотребления, что требует внедрения современных инфраструктурных решений.

Ведущие производители не ограничиваются одними ИБП. Многие, прежде всего лидеры рынка, предлагают полные решения для электропитания, охлаждения и мониторинга в ЦОД – от ИБП, систем распределения электроэнергии и оборудования кондиционирования до услуг проектирования и поддержки. Одна из особенностей современного рынка систем электропитания — стремление производителей к продаже решений.

Быстро развивается и сегмент услуг, связанных с установкой и обслуживанием ИБП. Как ожидается, до 2014 г. среднегодовые темпы роста этого направления будут составлять 5,7%. В основном речь идет об услугах поддержки трехфазных ИБП, предусматривающих заключение долгосрочных контрактов (3-5 лет) с обслуживанием у заказчика. Кроме того, стремясь помочь предприятиям оптимизировать свои ЦОД и повысить надежность их работы, производители предоставляют услуги и инструментальные средства для оценки эффективности, мониторинга энергопотребления и контроля состояния систем электропитания.

ИБП ДЛЯ ЦОД

Повышение требований информационных систем к электропитанию стимулирует рост отечественного рынка ИБП. Дорогостоящее оборудование ИТ должно иметь надежное электроснабжение: при аварии в энергосети оно получает питание от ИБП с двойным преобразованием и аварийных генераторов. В условиях укрупнения ЦОД технологии защиты электропитания приобретают особое значение. Как считает Дмитрий Шаров, ведущий инженер отдела корпоративной сетевой инфраструктуры компании «АМТ-Груп», ИБП, предназначенный для ЦОД, должен иметь высокий КПД, быть отказоустойчивым, масштабируемым, адаптивным, интегрируемым в систему мониторинга и управления.

Система электропитания — основа надежного функционирования всего центра данных. В ЦОД реализуются системы с бесперебойным, гарантированным и бесперебойным гарантированным электроснабжением (СБГЭ). Последние применяются там, где отказы электропитания могут привес-ти к значительным убыткам и необходимо предусмотреть возможность длительной автономной работы. В первую очередь акцент делается на надежности СБГЭ. Мощные ИБП с двойным преобразованием — хорошая основа для создания отказоустойчивых систем электроснабжения ЦОД. В современных ИБП обычно применяется технология двойного преобразования на биполярных транзисторах с изолированным затвором (IGBT) выпрямителя и инвертора. Она предусматривает автоматическое наращивание мощности (до 10%) и обеспечивает эффективность преобразования (до 98%).

По словам Алексея Рылова, менеджера по работе с корпоративными заказчиками «Трансфер Эквипмент Восток», адаптивность и масшатбируемость востребованы в тех случаях, когда заказчик не вполне представляет, как будет развиваться его бизнес и будут расти потребности в серверных ресурсах. В этом случае задействуются имеющиеся в здании резервы площадей и электрических мощностей, как правило небольшие (до 50-60 кВА). При этом можно начать с 20-30 кВА и постепенно наращивать мощность путем добавления ИБП. Другой вариант возможен, когда требуется масштабируемость (и мобильность), а заказчик знает, что ему нужно, но доступные электрические мощности и площади не позволяют удовлетворить предъявленные требования. В такой ситуации можно реализовать временное решение на базе модульных (контейнерных) ЦОД, пока подыскивается площадка с необходимыми мощностями. Модульный ЦОД можно достаточно просто демонтировать и перевезти на новую площадку, добавить необходимые мощности. Но за мобильность и масштабируемость приходится платить лишние деньги, поэтому для крупных ЦОД (от 500 кВт серверной нагрузки) сначала ищут площадку в соответствии с бизнес-планом и планом ввода электрических мощностей, площадей и нагрузок. В этом случае основным параметром является мощность ИБП (минимизация количества источников питания), удельная мощность на единицу площади, КПД ИБП, от которого зависят затраты на утилизацию выделяемого тепла, коэффициент мощности и суммарный коэффициент нелинейных искажений на входе ИБП (THDI), который имеет определяющее значение для расходов на оплату электричества и совместимости с ДГУ. В ЦОД питание серверной нагрузки и инженерных систем разделено, причем начиная с главного распределительного щита, а не только на уровне ИБП.

Создание отказоустойчивых систем электропитания предполагает высокую надежность ИБП. Применение передовой элементной базы позволяет сократить количество внутренних элементов и уменьшить число соединений, повысив надежность. Важная функция — контроль работоспособности и возможность «горячей» замены батарей. Современные ИБП предусматривают «горячую» замену большинства компонентов. Надежность можно повысить путем резервирования компонентов как в рамках одного ИБП, так и путем построения параллельных систем, для чего применяется несколько схем, включая схемы с общим байпасом и электронными коммутаторами питания, когда при отказе основного устройства нагрузка переводится на резервный ИБП. Если для одиночного ИБП «теоретическая готовность» составляет, по данным «Диссолт», «четыре девятки» (99,981%), то посредством параллельного включения ее можно увеличить почти до «пяти девяток» (99,997%) при условии надлежащего сервиса. Энергетическая система ЦОД с уровнем надежности Tier IV предусматривает полное резервирование (см. Рисунок 2).

В числе наиболее важных характеристик ИБП для ЦОД — экономичность, техническая поддержка и сервис, технологии резервирования. Технология ИБП развивается в направлении увеличения емкости источников питания при сохранении их габаритов и упрощения конструкции, при этом акцент постепенно смещается в сторону модульных систем. Как считают в компании Emerson, комплексная система гарантированного электроснабжения ЦОД должна обеспечивать электропитание в соответствии с требованиями конкретных категорий потребителей и приспосабливаться под новую конфигурацию центра данных. ИБП, объединяемые в СБЭ, должны удовлетворять растущие потребности в электропитании, поэтому необходимо предусмотреть возможность модернизации устройств и наращивания мощности (см. врезку «Питание на вырост»).

Среди основных направлений развития технологий ИБП Дмитрий Шаров выделяет повышение КПД, увеличение надежности и отказоустойчивости, адаптацию в соответствии с требованиями современного оборудования ИТ, унификацию изделий, оптимизацию массо-габаритных параметров. Учитывая прямые и косвенные затраты, разница КПД даже в 1% дает существенную экономию электроэнергии и позволяет уменьшить потребляемую ИБП полную мощность и тепловыделение.

По словам Сергея Щербакова, руководителя группы системных инженеров АРС by Schneider Electric в России и странах СНГ, технологии ИБП развиваются в направлении повышения эффективности систем — в основном за счет отказа от трансформаторных топологий, применения тиристорных выпрямителей, DSP и т. д. Повышение уровня адаптивности, готовности, управляемости и удобства в сервисном обслуживании систем электропитания сегодня в основном достигается путем использования модульных систем либо с помощью схем электропитания с избыточным резервированием.

Далеко не все вендоры позиционируют ИБП, применяемые в центрах данных, в качестве решений только для ЦОД. В Chloride считают, что ЦОД — такая же ответственная нагрузка, нуждающаяся в бесперебойном электропитании, как и другие подобные приложения, поэтому заказчики могут выбирать оборудование в соответствии со своими потребностями из всей обширной линейки Chloride, проверенной на многих типах нагрузки, на различных объектах и в разных условиях эксплуатации. Вместе с тем компания предлагает решения, ориентированные на конкретные категории пользователей и разработанные специально для того или иного сектора рынка, в том числе и для ЦОД.

По словам Анатолия Маслова, менеджера по продуктам компании Chloride Rus, ИБП Chloride серий 70, 80 и 90-Net позволяют наращивать мощность до 50 МВА и более. Наряду с масштабируемостью по мощности обеспечивается масштабируемость по автономии за счет расширенного диапазона изменения зарядного тока (что дает возможность применять АКБ любого типа и емкости, размещаяя их как в батарейном кабинете, так и на стеллаже) и масштабируемость по резервированию (построение систем N+2, N+3 и т.д). В сложившейся кризисной ситуации необходимо учитывать временное снижение мощности ЦОД из-за вероятной незагруженности. ИБП Chloride позволяют с минимальными потерями питать нагрузку при мощности в 50% от номинала, поскольку КПД уменьшается всего на 2%. Этот способ надежнее и экономичнее, чем отключение «ненужных» ИБП в параллельной системе, так как последнее означает необходимость перекоммутации и простой оборудования.

ИБП применяют для аварийного питания не только систем ИТ (серверов, СХД, сетевого оборудования), но и систем кондиционирования и охлаждения. Специалисты Chloride рекомендуют подключать системы кондиционирования к отдельному ИБП. Технологии Chloride позволяют экономить затраты на электроэнергию за счет переключения ИБП, питающего кондиционер, в режим интеллектуальной оптимизации КПД (ECO mode).

Система кондиционирования потребляет значительную электрическую мощность: пик потребления достигает порой 43% от общего потребления ЦОД. Кроме этого, при ее запуске возникает большой пусковой ток. Это заставляет искать решения, не требующие приобретения чрезмерно мощных и дорогостоящих систем бесперебойного электропитания. Например, как рассказывает Владимир Левин, директор по продажам компании HTS, все системы кондиционирования STULZ CyberAir оснащены вводом (сухой контакт) от ИБП и/или ДГУ, при срабатывании которого кондиционер «видит» только те свои компоненты, которые были заданы при пуско-наладке системы. Например, если при срабатывании ИБП мощности хватает только на запуск вентиляторов кондиционера или только на вентиляторы и холодильный контур (без увлажнения и осушения воздуха), то при настройке указываются эти критические компоненты, которые и будут получать бесперебойное питание. При подборе ДГУ в HTS также учитывают необходимость снижения пусковых токов агрегатов кондиционера (вентилятора и компрессора). В кондиционер можно установить систему плавного пуска компрессора, что снижает пусковой ток в три-четыре раза, а вентиляторы линейки кондиционеров CyberAir снабжены встроенной системой плавного пуска.

Наряду с резервированием для повышения надежности системы электроснабжения ЦОД традиционно применяются дизель-генераторы (ДГУ). ИБП обеспечивают электропитание нагрузки вплоть до восстановления питающей сети или запуска ДГУ, причем современные ИБП могут работать при больших колебаниях входного напряжения без перехода на работу от батарей. Обычно в ИБП с двойным преобразованием применяется цепочка аккумуляторных батарей, подключенная к шине постоянного тока между выпрямителем и инвертором. Чтобы аккумуляторы служили не менее четырех лет, они должны эксплуатироваться при постоянной температуре 25°C, для чего необходимо кондиционирование воздуха. Перегрев или переохлаждение, плохое обслуживание, коррозия, слабо затянутые соединители и пульсации тока могут привести к преждевременному выходу из строя этих батарей. В подавляющем большинстве зарубежных ЦОД используется централизованная архитектура СБЭ, когда мощные ИБП, объединенные в параллельные системы, устанавливаются в отдельных помещениях и оснащаются собственными системами кондиционирования.

Повышение плотности оборудования в ЦОД требует соответствующего увеличения мощности ИБП и наличия средств ее резервирования. Параллельное включение применяется не только для резервирования, но и для наращивания мощности, причем в современных системах установка дополнительного ИБП не требует отключения питания защищаемого оборудования. Схема резервирования и дублирования компонентов считается наиболее эффективной для обеспечения непрерывного электропитания
в чрезвычайных ситуациях или во время проведения плановых профилактических работ.

Для разных ситуаций предлагаются два варианта подхода к организации бесперебойного питания: стоечные ИБП или внешние централизованные системы ИБП, устанавливаемые в отдельном помещении. Однако, как подчеркивает Дмитрий Шаров, осуществлять резервирование питания на уровне отдельной стойки дороже, чем на уровне всего ЦОД. Кроме того, в масштабе ЦОД практически невозможно обеспечить оптимальную нагрузку индивидуальных ИБП.

Отличительные качества ИБП для ЦОД — надежность и долговечность при соблюдении условий работы и хранения, поддерживаемых системой кондиционирования в том помещении, где они находятся. Если нагрузка небольшая, и заказчик готов мириться с вероятным отказом одиночного ИБП, то, как считают в HTS, вариант со стоечными ИБП обходится намного дешевле. Его целесообразно применять в небольших серверных или для организации ИБП второго уровня. Ряд производителей предлагает схемы с любой избыточностью и различными возможностями наращивания, на основе распределенных систем, централизованных и систем повышенной надежности. Для достижения очень высокой надежности используются системы с резервированием 2(N+1), когда, помимо дублирования подсистем, каждая из них, в свою очередь, обладает избыточностью. Это позволяет исключить единую точку отказа при расширении инфраструктуры ЦОД.

Для увеличения времени автономной работы применяются внешние модули батарей. В компании «Диссолт» считают важным не только удобство обслуживания, наличие в ИБП средств диагностики и анализа состояния, но и организацию сервисной службы, от чего зависит время восстановления после отказа (время реакции на инцидент плюс время ремонта оборудования — MTTR). Нередко ИБП позиционируются как простое в обслуживании оборудование. Однако многие компании начали развертывать комплексные решения для ЦОД, включающие системы кондиционирования и управления. Заказчики далеко не всегда готовы внедрять и обслуживать их самостоятельно. В результате вендоры стали активнее развивать сервисные службы, и потому продажа услуг растет опережающими темпами. В России потребителями последних являются в основном покупатели «тяжелых» решений из финансовой, нефтегазовой, телекоммуникационной отраслей и предприятия государственного сектора.

ПРОЕКТИРОВАНИЕ И УПРАВЛЕНИЕ

По прогнозам Gartner, уже в следующем году затраты на электроэнергию станут (с вероятностью 60%) второй по величине статьей расходов (после зарплаты персонала) в 70% эксплуатируемых в мире ЦОД. Поэтому все большее значение приобретают вопросы энергоэффективности оборудования. В APC-MGE считают, что для повышения эффективности системы электропитания и охлаждения в ЦОД нужны высокоэффективные ИБП, системы распределения питания, охлаждение на уровне стоек, масштабируемые системы электропитания и охлаждения, а, кроме того, следует позаботиться о планировании электропитания и охлаждения в ЦОД и о внедрении ПО управления. Причем, по данным компании, высокоэффективные ИБП улучшают показатели энегоэффективности инфраструктуры ЦОД (Data Сenter infrastructure Efficiency, DСiE) примерно на 4%, а повышение DCiE на 1% сокращает энергопотребление на 2%. В типовом ЦОД на ИБП приходится около 18% потребляемой электрической мощности, а в процентах от нагрузки оборудования ИТ – около 50% (см. Рисунок 3). До сих пор энергоэффективность ИБП в большей степени интересовала зарубежных заказчиков, однако в России тоже начинают считать затраты на эксплуатацию различного оборудования, в том числе и ИБП.

По словам Дмитрия Шарова, растущие цены на электроэнергию заставляют все чаще задумываться о стоимости владения системой, поэтому еще на этапе планирования решения нужна возможность выбора наиболее подходящего варианта. Подобные инструменты очень важны, особенно если они позволяют получить корректные оценки, считает Алексей Рылов. Это достаточно сложная, многопараметрическая задача, а имеющиеся решения обладают рядом недостатков. Он считает, что такие инструментальные средства должны предлагать не производители ИБП, а независимые разработчики. Между тем, далеко не все вендоры считают необходимым наличие инструментов «виртуального» проектирования. Так, Chloride основное внимание уделяет правильному управлению проектом, что в понимании компании означает профессиональный подход к любому заказчику с любым решением.

Тем временем вендоры продолжают совершенствовать свои продукты. В этом году Emerson представила ПО Energy Logic, призванное помочь заказчикам принимать обоснованные решения по оптимизации энергопотребления без снижения уровня готовности и гибкости систем ИТ. В нем применяется подход, основанный на управлении приоритетами, где учитываются потребляемые мощности, особенности построения систем охлаждения и занимаемые площади. По данным Emerson, Energy Logic позволяет точно оценить экономию и срок возврата инвестиций для каждого рекомендованного изменения. В результате потенциал экономии составляет более 50% от изначально потребляемой ЦОД электроэнергии. При этом освобождается до двух третей пространства, одной трети мощности ИБП и 40% мощности систем охлаждения.

По мнению Нейла Расмуссена, основателя и главного технического директора APC, для проектирования энергоэффективных ЦОД необходимо точно определить метрики эффективности, использовать инструменты для поддержки принятия решений, применять стандартизированные процессы проектирования, автоматизировать проектирование ЦОД при помощи соответствующих инструментальных средств.

Рисунок 4. Калькулятор эффективности ЦОД от APC позволяет проверить влияние различных подходов к электропитанию и охлаждению на эффективность центра данных.Разработанный в этом году комплект приложений APC TradeOff Tools позволяет поэкспериментировать с различными сценариями. Эти инструменты-калькуляторы дают возможность моделировать различные подходы и конфигурации для вычисления показателей эффективности (DCiE), потенциального выигрыша от виртуализации и распределения электропитания (см. Рисунок 4).

Инструментарий APC включает в себя компоненты Data Center Energy Efficiency Calculator для расчета энергоэффективности ЦОД и стоимости электроэнергии, Data Center Capital Cost Calculator для оценки капитальных затрат, а также Power Sizing Calculator для определения потребности в электропитании, исходя из ожидаемой нагрузки. Carbon Calculator помогает определить, насколько близок проект к «зеленому» ЦОД; Virtualization Energy Cost Calculator позволяет выяснить, что даст виртуализация серверов; InRow Containment Selector упрощает выбор конфигурации систем охлаждения стоек, а AC vs. DC Calculator помогает выбрать систему электропитания постоянного или переменного тока. Назначение таких инструментов — упрощение проектирования и планирования ЦОД, помощь в определении приоритетов посредством сопоставления с имеющимся бюджетом и доступными площадями.

Кроме того, в октябре APC представила новые продукты Datacenter Physical Infrastructure Management. Цель разработки — эффективное управление всей инженерной инфраструктурой и рациональное использование физического пространства в условиях развития ЦОД. Datacenter Physical Infrastructure Management обеспечивают визуализацию, прогнозирование и регулярную переоценку приоритетов в процессе эксплуатации ЦОД.

Для консолидации данных мониторинга (см. врезку «Мониторинг электропитания») различных устройств в новой платформе APC InfraStruXure Central впервые реализована поддержка инфраструктурного оборудования других производителей, что позволяет собирать данные мониторинга из разных источников. По замыслу разработчиков, измерение и мониторинг показателей инженерной инфраструктуры и накопление информации в единой БД позволят оперативно оценить ситуацию, принять обоснованные решения и повысить энергоэффективность ЦОД. Для составления схем размещения оборудования ИТ и инфраструктурного оборудования в ЦОД можно использовать ПО APC Change Manager. В сочетании с ПО Capacity Manager это приложение моделирует состояние инженерной инфраструктуры при различных сценариях.

Новый комплект ПО управления ЦОД от APC оснащен консолью с интерфейсом на русском языке, где можно переключаться между режимами мониторинга, проектирования и эксплуатации. Система позволяет получить рекомендации на основе передового опыта отрасли, включая советы по размещению оборудования ИТ, схемы электрических линий, анализ и распределение нагрузки с поддержкой трехфазных ИБП.

Возможности интеллектуального управления питанием исследуют и ведущие производители серверов. Например, IBM реализует программу по оценке энергоэффективности ЦОД. Для этого применяются бесплатные инструментальные средства, разработанные британской консалтинговой компанией The Bathwick Group. Новая версия ПО IBM Systems Director Active Energy Manager предусматривает интеграцию с продуктом Liebert SiteScan от Emerson Network Power, который используется для мониторинга параметров среды в ЦОД и характеристик ИБП (в будущем планируется интеграция с продуктами других производителей). Energy Manager отслеживает потребление электроэнергии оборудованием ИТ и при необходимости ограничивает его. Информация поступает с датчиков, установленных в ЦОД. В соответствии с меняющимися показателями регулируется работа систем охлаждения и электропитания.

В состав программного пакета HP Insight Control Environment входит компонент HP Insight Power Manager (IPM), обеспечивающий точное измерение энергопотребления и тепловыделения серверов. Он позволяет управлять режимами экономии
энергоресурсов и ограничивать потребляемую серверами мощность по заданным правилам. Кроме того, HP продолжает совершенствовать средства управления серверными нагрузками в рамках ПО Insight Dynamics-VSE и механизмов Data Center Automation.

Недавно HP объявила о выпуске Thermal Logic — комплекта инструментов, предоставляющих пользователям HP BladeSystem возможности более точного управления энергопотреблением и охлаждением. Цель разработки — повышение энергоэффективности ЦОД с высокой плотностью оборудования. С помощью средств для измерения энергопотребления и управления ими компонент HP Dynamic Power Capping дает возможность контролировать энергопотребление каждого сервера и избежать лишних энергозатрат. ПО мониторинга следит за нагрузкой серверов и помогает соотнести ее с энергопотреблением.

Компания Neptuny представила на прошедшей в октябре конференции Gartner Data Centre Summit свое решение Caplan 3.0, предназначенное для управления мощностью в крупных ЦОД в соответствии с требованиями бизнеса. Оно поддерживает процессы управления в соответствии с ITIL. С помощью коннекторов и стандартных интерфейсов система интегрируется с ведущими платформами управления и может использовать различные источники данных. Caplan Capacity Database (CMIS, в терминологии ITIL v3) содержит ключевые индикаторы производительности (Key Performance Indicators, KPI), относящиеся к инфраструктуре и бизнесу, и обрабатывает данные, поступающие от серверов, СХД, виртуальной инфраструктуры, баз данных, сетевого оборудования и т.д. Кроме того, она может учитывать нетехническую информацию, касающуюся людских ресурсов, площадей и финансовых показателей. Предусмотрены средства анализа, моделирования и вывода отчетов.

Пока нет единого мнения в отношении того, какой должна быть степень интеграции систем мониторинга/управления инженерной инфраструктурой ЦОД и систем управления более высокого уровня, да и нужна ли такая интеграция вообще. Например, по мнению Алексея Рылова, мониторинг инфраструктуры ИТ и инженерных систем ЦОД (куда входит и электропитание) следует производить раздельно, так как ими пользуются разные люди и подразделения, а лишняя информация, как минимум, рассеивает внимание.Дмитрий Шаров, напротив, утверждает, что система мониторинга оборудования электропитания должна быть частью общей системы управления ЦОД, так как комплексный мониторинг и управление непосредственно влияют на надежность работы всего ЦОД.

НОВИНКИ ДЛЯ ЦОД

Разработчики систем бесперебойного питания продолжают совершенствовать свое оборудование и внедрять новые технологии. Новые продукты отличает удобство эксплуатации, повышенный КПД, усовершенствованные решения для параллельного включения, увеличение мощности. Малое значение TDHI (<5%) уменьшает нагрузку на генератор, увеличивает срок его службы и устраняет необходимость оптимизировать размеры генераторов, кабелей и выключателей. Инверторы IGBT повышают эффективность функционирования ИБП, уменьшают затраты на охлаждение и способствуют более продолжительной работе устройств.

Рисунок 5. ИБП MGE Galaxy 5000 поддерживает SNMP, подключение по J-Bus/ModBus и RS232-RS485, поставляется с приложением мониторинга MGE UPS Web-Pac для корректного завершения работы серверов и контроля работы устройства через Internet.В конце сентября APC объявила о расширении линейки ИБП MGE Galaxy. Новая модель трехфазных интерактивных ИБП MGE Galaxy 5000 (см. Рисунок 5) обладает повышенной мощностью, масштабируемостью и поддерживает параллельное включение без внешнего статического переключателя. Топология повышенной надежности предусматривает защиту всех критических нагрузок. Производитель предлагает модули мощностью от 40 до 130 кВА. В системе применяется усовершенствованная технология инвертора, благодаря которой гармонические искажения не превышают 5%. Такой инвертор быстро реагирует на изменение нагрузки точной регулировкой напряжения и обеспечивает защиту от короткого замыкания со стороны нагрузки или от перегрузки. Кроме того, улучшена совместимость этого ИБП с ДГУ — приобретать ДГУ повышенной мощности, чтобы добиться его надежного взаимодействия с ИБП, не потребуется.

Выпущенные в этом году ИБП MGE Galaxy 7000 при экономичности и компактности отвечают, по мнению разработчиков, требованиям современных ЦОД к гибкости и надежности. В них используется новая бестрансформаторная топология, встроенный статический переключатель, сервисный байпас и система коррекции коэффициента мощности. В режиме двойного преобразования эффективность работы ИБП MGE Galaxy 7000 составляет 94,5%, а в экономичном режиме — до 97%, что позволяет сократить потребление электроэнергии. Выходной коэффициент мощности 0,9 отвечает требованиям современного оборудования ИТ, оснащаемого блоками питания с коррекцией коэффициента мощности (PF). ИБП рассчитан на нагрузку от 250 до 500 кВА.

Как утверждает Алексей Рылов, в устройствах серии Galaxy 7000, оснащенных выпрямителем на транзисторах IGBT, значение THDI снижено до 3%, а ИБП новой серии Galaxy 9000 с мощностью до 900 кВА, наиболее востребованные в крупных ЦОД, обладают максимальной (среди устройств разных производителей) мощностью на один моноблок.

На прошедших в октябре отраслевых форумах производитель продемонстрировал свое решение APC InfraStruXure и APC InfraStruXure Systems for High Density, включающее ИБП APC Symmetra LX и PX2 мощностью до 48 кВт с резервированием N+1, интеллектуальную систему распределения электропитания в стойке, а также сервер централизованного контроля и мониторинга инженерной инфраструктуры АРС InfraStruXure Manager. Модульная архитектура АРС InfraStruXure позволяет заменять оборудование без отключения нагрузки, а интеллектуальная система распределения питания дает возможность удаленно отслеживать нагрузку на каждой розетке в стойке или во всем ЦОД.

По словам Сергея Щербакова, вслед за представленными в 2008 г. MGE Galaxy 7000 и Symmetra PX2 в следующем году ожидается обновление оборудования Symmetra MW и, возможно, анонс новой модели Symmetra 250/500. Основные преимущества всех этих ИБП — высокий КПД (от 94% и выше) и компактные размеры.

APC обновила и линейку ИБП меньшей мощности. Как утверждается, новые продукты имеют повышенный уровень адаптивности, готовности, управляемости и удобства в сервисном обслуживании. В этом году компания вывела на рынок новые ИБП АРС Smart-UPS RT RM 15 кВА и АРС Smart-UPS RT RM 20 кВА в компактном трансформируемом корпусе высотой 12U. ИБП двойного преобразования позволяют выбирать фазность по входу и выходу (1:1, 3:1 или 3:3), поэтому проводку в серверном зале можно не перекладывать. Кроме того, эти устройства можно использовать в составе APC InfraStruXure. В числе новых возможностей трехфазных ИБП линейки APC Smart-UPS VT — встроенная поддержка параллельного включения до четырех ИБП, что позволяет наращивать систему защиты электропитания. Smart-UPS VT имеет функцию «горячей» замены батарей.

Рисунок 6. Новая модель трехфазного ИБП Eaton Powerware 9395 предназначена для крупных ЦОД и других масштабных приложений, она имеет КПД 94% и масштабируемую архитектуру.Компания Eaton представила в октябре новую версию своего трехфазного ИБП с двойным преобразованием Eaton 9395 (см. Рисунок 6). Его мощность увеличена до 1100 кВА. ИБП Eaton 9395 мощностью 275-550 кВА были выпущены в марте 2007 г., а уже в этом году его мощность была повышена до 825 кВА. По данным производителя, последняя новинка отличается не только очередным увеличением мощности, но и более высокой эффективностью и масштабируемой архитектурой. Кроме того, модуль Eaton 9395 System Bypass Module (SBM) допускает параллельное включение ИБП разной мощности (до 32 ИБП), что помогает заказчику сэкономить средства при наращивании системы. Eaton 9395 дает «чистое» питание с регулируемыми параметрами напряжения и частоты.

В текущем году Chloride разработала новые ИБП серии 80-NET мощностью от 30 до 40 кВА. В компании считают, что внедренные в них разработки позволят обеспечить надежное и бесперебойное питание даже в самых трудных условиях. В стандартной комплектации одиночный ИБП уже готов к работе в параллельной системе, расширяемой до восьми ИБП. Каждый ИБП снабжается идентификационной картой, на которой содержатся все его рабочие параметры; он полностью совместим с автоматом выбора линии компании Chloride (CROSS). Модели 80-NET разработаны так, чтобы их установка и обслуживание были несложными.

Новинкой Tripp Lite стали новые модульные трехфазные ИБП SmartOnline SU20KX, SU40KX, SU60KX и SU80KX мощностью от 20 до 80 кВА. По данным производителя, их КПД доходит до 97%. ИБП содержат автономные модули с мощностью 20 кВА, заменяемые без выключения системы. Они обеспечивают избыточность N+1 и способны компенсировать нагрузку в случае отказа модуля. При параллельном включении системы SmartOnline автоматически выдерживают полную нагрузку при отключении одного ИБП. Параллельное соединение можно использовать и для увеличения мощности до 160 кВА. Низкий THDI, составляющий 5%, улучшает совместимость этой линейки ИБП с дизель-генератором.

ЗАКЛЮЧЕНИЕ

По мнению аналитиков Gartner, если не заниматься модернизацией ЦОД, то к 2011 г. затраты на электроэнергию вырастут вдвое по сравнению с 2005 г. Важными средствами управления ЦОД должны стать инструменты измерения и моделирования, которые помогут снизить энергопотребление и оптимизировать инфраструктуру. Будущие «динамические» ЦОД смогут быстро реагировать на изменение потребностей бизнеса.

Для построения эффективных ЦОД аналитики рекомендуют модульный подход, альтернативные источники энергии (см. врезку «Новое изобретение колеса»), инструменты мониторинга и советуют не пренебрегать возможностью отключения недостаточно нагруженного или неиспользуемого оборудования. Средства измерения энергопотребления и управления им становятся еще более важными в условиях виртуализации серверов и динамического перемещения виртуальных машин. Очевидно, развитие подобных решений потребует более тесного сотрудничества разработчиков оборудования ИТ и систем электропитания, создания единой экосистемы, метрик и стандартов. Системы мониторинга и управления электропитанием могут стать важным элементом «адаптивной инфраструктуры» и динамических ЦОД нового поколения.

Сергей Орлов — обозреватель «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.


Рисунок 2. Требования к энергетической системе ЦОД Tier 4 предусматривают полное резервирование.

Рисунок 3. Энергопотребление оборудования ЦОД в процентах от общего потребления электроэнергии оборудованием ИТ (по данным APC).


Питание на вырост

Несмотря на стандартизованный подход к проектированию и созданию ЦОД, в реальных проектах приходится учитывать разнообразные требования заказчиков. Кроме того, оборудование ИТ обновляется быстрее, чем инженерная инфраструктура, которая проектируется с учетом длительного срока эксплуатации (10-15 лет), поэтому комплексная система гарантированного электропитания ЦОД должна предусматривать возможность изменений и наращивания. По мнению аналитиков Forrester Research, для успешной консолидации в ЦОД важно планировать изменения в системах электропитания и охлаждения — без этого эффективность консолидации снизится на 60%.

На начальном этапе требуемые на текущий момент мощности систем электропитания нередко завышаются в несколько раз (под будущую нагрузку), что увеличивает стоимость проекта. Отчасти проблема решается за счет применения современных модульных систем, позволяющих поэтапно инвестировать в развитие ЦОД. Установив модульную систему ИБП с уровнем наполнения 15-20%, владелец ЦОД исключает постоянные затраты на подзарядку 80-85% батарей, работающих в холостом режиме, как в случае решений других типов. Вместе с тем, современные ИБП намного эффективнее функционируют при неполной нагрузке, что позволяет изначально использовать более мощные системы бесперебойного питания с расчетом на последующее увеличение числа и мощности потребителей.

Производители соответствующих систем утверждают, что модульный подход дает возможность сэкономить и на обслуживании — за счет средств самодиагностики и замены модулей в «горячем» режиме. Зачастую по модульному принципу строится и система охлаждения. Однако у каждого решения — модульного или монолитного — есть свои достоинства и недостатки. Обоснованность применения модульных систем бесперебойного питания зависит от решаемой задачи. Как считает Константин Иванов, заместитель директора «Диссолт» по техническим вопросам, выбор модульных или монолитных систем определяется общей надежностью, согласованием с ДГУ, удобством их вывода из работы. Преимущество монолитных ИБП — в большей надежности за счет меньшего числа разъемных соединений, меньшей концентрации элементов силовой электроники, высокой надежности звена постоянного тока.

Комплексные решения, объединяющие системы электропитания и климатику, экономят, как утверждают разработчики, до 50% электроэнергии. Некоторые производители разработали так называемые адаптивные инженерные инфраструктуры для ЦОД, предусматривающие возможность поэтапного внедрения при неизвестных будущих потребителях с эффективным использованием электроэнергии, охлаждения и пространства (АРС InfraStruXure, Rittal RimatriX5, Emerson Liebert X-Treme). Например, входящая в АРС InfraStruXure система защиты электропитания Symmetra PX позволяет масштабировать нагрузку в диапазоне от 10 до 80 кВт и обеспечивает резервирование N+1. Она имеет модульную конструкцию, допускающую самостоятельную замену пользователем батарей и силовых модулей. Впрочем, модульное обслуживание предусматривают и новые монолитные ИБП. Так, в системе Chloride 80-NETMPR все силовые модули можно удалять из соответствующих слотов на передней панели устройства. Однако единое мнение в отношении идеи адаптивности отсутствует. Как считает Алексей Рылов, адаптивность и масштабируемость приводят к излишним тратам бюджета, площадей и другим негативным последствиям универсализации.

Столь же неоднозначно оценивается и возможность использования готового интегрированного решения. С одной стороны, как рассказывает Дмитрий Шаров, инсталлятору или заказчику остается лишь составить из правильно выбранных компонентов нужную конфигурацию, что, как правило, не требует специальных навыков, а необходимость в привлечении высококвалифицированных специалистов возникает уже на этапе пуско-наладки оборудования. С другой стороны, опытный инсталлятор способен создать комплексное решение, более дешевое при аналогичных показателях надежности и отказоустойчивости и, что очень важно, точнее соответствующее требованиям заказчика. Например, оно может иметь более подходящие массо-габаритные характеристики или обладать каким-либо уникальным набором возможностей. Но в этом случае бремя ответственности за совместимость оборудования, работоспособность решения и сервис в большей степени ложится на интегратора.

В Chloride считают, что интеграцией систем в ЦОД должны заниматься профессиональные и опытные интеграторы, которые грамотно подберут все элементы сложной системы и обеспечат гибкость решений. Производителям, в свою очередь, следует фокусироваться на качестве оборудования приоритетного для себя направления. Производитель не может заменить интегратора, задача последнего — найти оптимальное решение под конкретную задачу.


Мониторинг электропитания

Для создания отказоустойчивых систем электроснабжения ЦОД и обеспечения работоспособности СБЭ необходимы инструменты измерения и мониторинга, которые помогают администраторам видеть, что происходит в ЦОД, и предпринимать ответные действия. ИБП, как важнейший элемент инфраструктуры ЦОД, должен поддерживать локальный и удаленный контроль основных параметров. Иногда предусматривают различные способы оповещения о низком заряде аккумуляторных батарей. Своевременное оповещение поможет предотвратить простой оборудования. Например, Chloride предлагает сервис удаленной диагностики LIFE.net, который дает возможность делегировать функции мониторинга СБЭ экспертам сервисного центра Chloride. Они информируют клиентов о сбоях и могут предложить оптимальное решение проблемы. По сути, это решение эквивалентно постоянному присутствию инженера Chloride у заказчика.

По данным опроса Actionable Research, заказчики нуждаются также в инструментальных средствах, помогающих контролировать электропитание и энергопотребление в ЦОД и управлять им. Лишь 55% респондентов имеют возможность осуществлять мониторинг энергопотребления, да и то в основном на уровне ИБП. Имеющиеся инструменты обычно не предоставляют возможностей для экономии электроэнергии. 83% респондентов назвали возможность измерения энергопотребления на уровне ЦОД ценной или очень ценной. В «АМТ-Груп» отмечают, что измерение энергопотребления важно не столько на уровне всего ЦОД, сколько на уровне отдельных стоек. При планировании изменений в ЦОД это позволяет избежать ошибок, связанных с перегрузкой распределительной сети.

В Emerson считают, что мониторинг инженерных систем ЦОД должен обеспечивать контроль систем кондиционирования, электропитания (включая ДГУ, ИБП, АВР), серверных стоек (температура, влажность, положение дверей, пожарная сигнализация внутри стойки, параметры энергопотребления и дистанционного отключения или включения потребителей), пожарную сигнализацию в помещении ЦОД.


Новое изобретение колеса

По мере увеличения вычислительных мощностей и объемов хранимых в ЦОД данных производители и конечные пользователи начинают ценить методы, помогающие снизить затраты на электроэнергию и операционные расходы. Это касается не только повышения эффективности оборудования, проектирования, ПО мониторинга и управления, но и технологий накопления электроэнергии. Альтернативные технологии могут применяться в сочетании с традиционными батарейными ИБП и позволяют уменьшить количество свинцово-кислотных аккумуляторов, сократить отводимые для их хранения площади. Возрождение интереса к таким решением отчас-ти вызвано и желанием вендоров использовать природосберегающие технологии, тем более что современные системы, запасающие кинетическую энергию, стали более энергоэффективными и компактными, хотя и не обладают такой емкостью, как ИБП батарейного типа.

Рисунок 7. Система Socomec Sicon UPS VSS+dc смонтирована в шкафу 63х83х180 см весом 590 кг, где размещаются модули управления, магнитной левитации, преобразователя и маховика. Маховик системы VSS+dc от Socomec Sicon изготовлен из пропитанной эпоксидной смолой углеродной нити и не подвержен разрушению. Включение маховика в параллельную работу с аккумуляторами позволяет эксплуатировать последние в щадящем режиме и значительно увеличить срок их службы.Одна из последних разработок такого рода — выпущенный год назад высокоскоростной накопитель электроэнергии, который компания Socomec Sicon создала совместно с Pentadyne Power. Разработчики уменьшили массу маховика, но увеличили скорость вращения (см. Рисунок 7). Если удвоение массы ведет к удвоению накоп-ленной энергии, то удвоение скорости увеличивает накопленную энергию вчетверо. В отличие от аккумуляторов, система не требует резервирования для повышения надежности, обходится без кондиционирования воздуха и отдельного помещения для установки, не содержит вредных веществ, занимает на 50% меньшую площадь, чем традиционные ИБП, и практически не нуждается в техническом обслуживании.

Система VSS+dc совместима со многими ИБП двойного преобразования, увеличивает срок службы аккумуляторов, снижает стоимость их эксплуатации и техобслуживания. Сопряжение ИБП с двойным преобразованием Socomec Sicon UPS и маховиком VSS+dc осуществляется путем подключения к шине постоянного тока ИБП между выпрямителем и инвертором. Маховик Socomec Sicon UPS VSS+dc вращается в вакууме со скоростью более 50 тыс. оборотов/мин, и когда уровень напряжения в шине постоянного тока падает ниже заданного значения, генератор маховика поддерживает питание шины. Время отклика VSS составляет менее 0,5 мс, а падение напряжения в начале переходного процесса — менее 5% от номинала.

При запуске в эксплуатацию системе требуется менее 15 мин для достижения полной скорости. ИБП обеспечивает лишь малую часть мощности, тогда как основную дает VSS+dc. Система генерирует до 190 кВт в течение 13 сек — этого времени, как правило, достаточно для запуска ДГУ. Для наращивания мощности системы VSS+dc можно подключать параллельно. В Socomec уверены, что высокоскоростной маховик Socomec Sicon UPS VSS+dc является настоящим прорывом в технологии высокона-дежного электропитания.

Подобные системы выпускают несколько вендоров. Например, Active Power (подразделение Emerson) недавно усовершенствовало свою разработку Flywheel Energy Storage System. По словам Андрея Шарова, за рубежом находят применение устройства для аккумулирования электрической энергии в периоды снижения потребности (например, по ночам) с целью последующего ее использования при пиковых нагрузках, тем самым обеспечивается более равномерная загрузка генераторов и экономное расходование энергоносителей. Что касается применения роторных накопителей энергии в составе ИБП, то жизнеспособность этой идеи, весьма перспективной и интересной, будет определяться уровнем стоимости решения относительно других технологий — аккумуляторов и топливных элементов.