«Рост энергопотребления — следствие эволюционного роста энтропии. Поскольку эволюция идет с наращиванием процессов превращения взаимодействий, постольку мы обязаны наращивать процессы потребления энергии».
(Журнал Российской академии естественных наук)

«К 2016 году мировые валюты будут вытеснены универсальным эквивалентом в виде киловатт-часа».
(Из прогнозов Артура Кларка)

Центры обработки данных занимают важное место в стратегии развития технологий и продуктов производителей серверов, систем хранения, бесперебойного питания и кондиционирования, сетевого оборудования и инженерной инфраструктуры. В фокусе внимания разработчиков — повышение энергоэффективности ЦОД, виртуализация серверов, СХД и сетевых подключений, управление инфраструктурными сервисами в реальном времени, упрощение адаптации физической инфраструктуры к меняющимся потребностям. Среди недавних анонсов — новая специализированная услуга HP для оценки текущего состояния ЦОД и составления плана его пошаговой модернизации (Adaptive Infrastructure Maturity Model, AIMM); представленная Cisco Systems стратегия Data Center 3.0, предусматривающая выпуск продуктов для автоматизации изменений в распределении ресурсов; новые решения для модульных серверов (IBM, HP, SGI) и обновление линеек СХД ведущих поставщиков. Производители расширяют функциональность и по-вышают энергоэффективность продуктов. Даже технологии виртуализации рассматриваются теперь с точки зрения энергосбережения.

По данным опроса Gartner, 70% заказчиков считают главными задачами эксплуатации ЦОД обеспечение оптимального энергопотребления и охлаждения (двумя годами ранее таких респондентов было 40%). Решать эти задачи приходится на всех уровнях — от компонентного до инфраструктурного. Во всем мире затраты на энергоснабжение и охлаждение составляют 25-50% ежегодных расходов на ЦОД, причем, как полагают аналитики Gartner, они могут вырасти до 60%. По словам Алексея Солодовникова, директора департамента по работе с корпоративными заказчиками APC-MGE, именно проблемами энергетики обусловлен назревающий «кризис ЦОД» — снижение экономического эффекта от внедрения серверов. Если в 2000 г. заказчики, введя в эксплуатацию новое поколение серверов, получали от сделанных вложений 11-кратный возврат за три года, то сегодня речь идет лишь о 5-кратной отдаче инвестиций, а в ближайшие годы этот параметр может снизиться до трехкратного или даже нулевого уровня. За тот же период стоимость владения сервером выросла с 11 до 145% от его покупной цены, а среднее энергопотребление на сервер высотой 1U — с 8 до 109 Вт. При этом расходы на инженерные системы и электроэнергию растут быстрее, чем повышается производительность. Например, за три года эксплуатации сервера НР 360G4p потребление электроэнергии составит 37% от его первоначальной стоимости (при загрузке в 100%) и еще столько же потребуется для отвода тепла.

Несмотря на снижение тепловыделения процессоров, из-за повышения плотности оборудования увеличивается мощность потребления серверных стоек. По прогнозам Gartner, к концу следующего года половина ЦОД столкнется с проблемами электропитания и охлаждения оборудования высокой плотности. Стоимость электроэнергии растет на 5-12% в год, а ее потребление в ЦОД — до 20%
в год, отмечают в Corning. По данным зарубежных аналитиков, если мощности в ЦОД превышают 100 Вт/фут2, то экономия площади не дает значительного финансового эффекта, ввиду усложнения инженерной инфраструктуры, на которую приходится уже почти 80% стоимости ЦОД. К тому же увеличение расходов на электроэнергию обычно сводит на нет весь выигрыш. За рубежом стоимость расходуемой ЦОД электроэнергии часто в два-три раза превышает стоимость аренды площадей, причем до 50% энергопотребления приходится на системы инженерного обеспечения. Поэтому выбор инженерной инфраструктуры во многом определяет окупаемость ЦОД.

ОПТИМИЗАЦИЯ ИНФРАСТРУКТУРЫ

Наряду с вопросами энергоэффективности ЦОД заметное значение приобретают задачи поддержки бизнес-процессов. Все чаще высказывается мнение, что главное в ЦОД — его ценность для бизнеса. В июне состоялась вторая ежегодная конференция по центрам данных, проведенная «Журналом сетевых решений/LAN» и «Агентством корпоративных коммуникаций OSP-Con». На этот раз она называлась «ЦОД: оптимизация инфраструктуры. Как добиться оптимального соответствия инженерной и вычислительной инфраструктуры центра обработки данных задачам бизнеса». В фокусе внимания участников форума оказались технологические возможности решения проблем современных ЦОД. Вопросам поддержания устойчивого развития корпоративных вычислительных систем в условиях дефицита электропитания был посвящен февральский круглый стол, организованный компаниями АРС и КРОК, редакцией журнала «Сети/Network World Russia» и OSP-Con.

Как считает Александр Ласый, директор департамента автоматизации инженерных систем КРОК, правильно организованная инженерная инфраструктура ЦОД — базис для бесперебойной работы информационных систем, а основное требование к ЦОД — соответствие бизнес-процессам заказчика с учетом перспектив роста. В отношении ЦОД действуют американский стандарт TIA/EIA-942 и окончательная редакция европейского стандарта EN 50173-5, который может быть утвержден в сентябре. Содержащаяся в них рекомендательная информация может быть использована интеграторами в работе с клиентами и для собственных нужд. При организации ЦОД предприятия обычно руководствуются стандартом TIA/EIA-942, где определяются четыре уровня отказоустойчивости ЦОД и рассматривается все его инженерное обеспечение.

В числе требований к ЦОД в КРОК выделяют круглосуточный режим работы и мониторинга, высокую отказоустойчивость, избыточность (резервирование), безопасность, контроль параметров среды, пожарную безопасность, возможность быстрого развертывания и изменения конфигурации, подключение к территориальным, глобальным сетям или Internet. Расположение и размер ЦОД должны соответствовать устанавливаемому оборудованию, а его инженерное обеспечение — обязательно предусматривать резервирование систем кондиционирования наряду с гарантированным электропитанием, системами пожаротушения и защиты от протечек. При необходимости обеспечить бесперебойное функционирование следует использовать схемы резервирования электропитания.

В КРОК отмечают, что внедрение комплексной системы инженерного обеспечения дает значительный эффект. Например, у одного из заказчиков после развертывания отказоустойчивой системы кондиционирования, бесперебойного питания и ограничения доступа в серверное помещение количество отказов серверов снизилось на 30%, комплектующих — на 50%, затраты на сервис и ремонт уменьшились на 35%, а кроме того, был исключен НСД. В ряде случаев рекомендуется применять защищенные помещения Lampertz, исключающие большинство факторов риска. По данным КРОК, такое помещение площадью около 100 м2 обходится примерно в 2 млн долларов, но с учетом высокой стоимости оборудования в ЦОД эти затраты оказываются оправданными.

Системы c контуром естественного охлаждения (Free Cooling), использующие «бесплатный холод» с улицы (при условии, что температура не превышает 50C), даже в условиях Москвы позволяют экономить 10-15%, а в северных районах — 20-30% электроэнергии, отмечает Александр Ласый. Их применение ведет к двукратному увеличению начальных вложений. Более эффективные технологии кондиционирования и использование энергосберегающих чиллеров позволяют заметно снизить энергопотребление, но для их внедрения нужны серьезные инвестиции, подтверждает Алексей Солодовников.

Российские системные интеграторы накопили достаточно большой опыт создания инженерных систем ЦОД, а управляющая и консалтинговая компания IntelinePro наряду с экспертизой существующих ЦОД и рекомендациями по их модернизации, разработкой нормативной документации и управлением комплексными проектами стала внедрять в практику непосредственное знакомство заказчиков с лучшим международным опытом создания и эксплуатации центров данных, включая применение предлагаемых инфраструктурных решений.

ОХЛАЖДЕНИЕ БЕЗ ПЕРЕРЫВОВ

Для многих заказчиков центр обработки данных — основа бизнеса. Например, для телекоммуникационной компании остановка ЦОД — ситуация катастрофическая, поэтому инженерное обеспечение проектируют с учетом возможных чрезвычайных происшествий. Пока что немногие заказчики в России знакомы с понятием бесперебойного охлаждения, еще меньше компаний его применяют, а года три назад идея подключения систем кондиционирования к ИБП вызывала по меньшей мере непонимание, рассказывает Алексей Солодовников. Однако ситуация меняется, а производители разработали общие подходы к охлаждению и кондиционированию на случай аварии в электросетях.

Если не используются специальные схемы, то при аварии в электроснабжении оборудование ИТ в ЦОД питается от ИБП, а системы кондиционирования останавливаются. По словам Юрия Грачева, представителя компании Emerson Network Power в Северо-Западном регионе, мощность оборудования в современных ЦОД такова, что, питаясь от ИБП, без кондиционирования оно проработает считанные минуты. Даже при мощности 2 кВт на стойку (одна стойка занимает 3 м2) температура в помещении ЦОД за 5 мин возрастает более чем на 100C (в зависимости от объема воздуха в помещении), отмечает Алексей Солодовников, а при 15 кВт на стойку не спасает и принудительная циркуляция воздуха. Для запуска ДГУ и особенно систем кондиционирования требуется несколько минут. За это время помещение ЦОД успеет изрядно прогреться, и при поступлении холодного воздуха оборудование получит термический удар, что может привести к выходу серверов из строя. Производители гарантируют работоспособность оборудования ИТ при условии, что температура будет стабильна: ее изменение не должно превышать 5-100С в час.

Чтобы избежать подобных ситуаций, применяются системы бесперебойного охлаждения. В Uptime Institute определяют три класса систем, выбор которых зависит от нагруженности стоек и объема воздуха в машинном зале в расчете на стойку: Класс A (вентиляторы кондиционеров и циркуляционные водяные насосы питаются от ИБП, между чиллером и кондиционером имеется гидроаккумулятор в водяной петле), Класс B (вентиляторы кондиционеров работают за счет ИБП) и Класс C (традиционное электроснабжение системы охлаждения: только от гарантированного электропитания с перерывом на время запуска ДГУ и повторного включения системы охлаждения).

В первом случае (Класс A) для предотвращения быстрого прогрева помещения ЦОД при отказе питания для отвода тепла используется аккумулирующий бак с холодной водой, запитанные от ИБП насосы и вентиляторы. Во многих ситуациях эта схема оптимальна, однако для фреоновых кондиционеров единственный способ — питание всей системы от ИБП, что требует увеличения их мощности в полтора или даже два раза. При реализации же чиллерной схемы (см. Рисунок 1) мощность ИБП должна быть увеличена лишь на 15-20%. В России компания APC-MGE продвигает технологию бесперебойного охлаждения около года. По ее данным, для серверной комнаты с оборудованием мощностью 20-30 кВт объем бака должен составлять 1,5-2 м3. В Emerson считают, что наряду с аккумулирующим баком есть смысл применять еще несколько способов длительного поддержания рабочей температуры в ЦОД, например аварийную вентиляцию или питание вентиляторов от постоянного тока 48 В при избыточных мощностях питания DC на телекоммуникационных объектах.

Рисунок 1. Uptime Institute предлагает схему бесперебойного охлаждения Класса A с установкой аккумулирующего бака для небольшого количества воды и подключением оборудования, вентиляторов, кондиционеров и гидронасосов к системе бесперебойного питания. APC-MGE реализовала это решение у более чем десятка российских заказчиков.
Как сообщил Алексей Солодов-ников, результатом массового развертывания стоек мощностью 4-5 кВт стали две основные технологические тенденции: внедрение схем бесперебойного (непрерывного) охлаждения и встраивание кондиционеров в ряды со стойками для обеспечения циркуляции воздуха в горизонтальной плоскости без фальшпола. По информации APC-MGE, системы с горизонтальной циркуляцией (их используют, в частности, HP, Rittal и Liebert) сравнимы по стоимости с традиционным подходом, однако в случае их применения не возникает проблем, связанных с недостаточной высотой фальшпола.

Фальшполы рекомендуется устанавливать при мощности не более 5 кВт, иначе возникают сложности с отводом тепла, увеличивается энергопотребление. По словам Виктора Гаврилова, менеджера по продуктам и технической поддержке Emerson, они используются для подачи воздуха более чем в половине случаев. Такой вариант подходит и для больших помещений с тепловыделением до 1,5 кВт/м2. Это позволяет перераспределять потоки воздуха, подавая их к нужным стойкам в необходимом количестве, к тому же под фальшполом удобно прокладывать кабели. Высота фальшпола определяется, исходя из геометрии помещения и скорости воздушного потока 1 м/с. Кабельные лотки, силовые кабели, системы пожаротушения и другие компоненты должны располагаться под полом вдоль потоков воздуха. Силовые кабели рекомендуется размещать в пространстве холодного коридора, а информационные — в горячем коридоре.

В более трети ЦОД применяется верхняя раздача воздуха через воздуховоды. Такая система подходит для средних помещений с тепловыделением до 0,5 кВт/м2 (если позволяет высота потолков), однако она занимает верхнее пространство ЦОД и может пересекаться с кабельными лотками. При отсутствии фальшпола или его недостаточной высоте для оптимального распределения воздуха используется также метод вытеснения, когда охлажденный воздух подается на уровне пола и естественная конвекция вытесняет горячий воздух наверх. В таком случае скорости воздушных потоков небольшие, и на их пути не должно быть препятствий.

Около 30% потребляемой мощности расходуется на охлаждение воздуха. Подчас у заказчиков установлены системы кондиционирования с «запасом мощности», но из-за неправильного размещения шкафов возникают зоны локального перегрева. Принятие достаточно простых и недорогих мер, а также правильная организация горячих и холодных коридоров нередко позволяют более эффективно использовать имеющиеся мощности, снизить энергопотребление и улучшить охлаждение. Поскольку стойки имеют разное тепловыделение, система распределения воздуха должна быть сбалансирована, а оборудование расположено согласованным образом, когда наиболее горячие стойки размещаются между «холодными» (метод заимствования). Для управления воздушными потоками в подпольном пространстве можно установить дефлекторы. В качестве дополнительной меры охлаждения иногда применяют вентиляторы, размещаемые сверху, позади стойки или перед ней, но при таком подходе возможно нарушение воздухообмена в соседних стойках.

Если необходимо усилить охлаждение нескольких стоек с тепловыделением 9-10 кВт, используют локальные модули охлаждения, работающие по принципу воздушной завесы, а также кондиционеры-доводчики. Например, модуль Liebert XDO с фреоновым охлаждением подвешивается к потолку, забирая нагретый воздух из горячего коридора и подавая его в холодный. Обычно доводчики устанавливают по мере увеличения мощности до 6-14 кВт на стойку.

НЕ ТОЛЬКО ВОЗДУХ

Рост объема передаваемых данных и подключение все большего числа серверов обуславливают необходимость реорганизации помещений и поиска новых технологических решений — так считает Владимир Лёвин, директор представительства группы компаний «Хоссер». В частности, для модульных серверов IBM измеренное потребление составляет 4,1 кВт/7U (24,6 кВт на стойку 42U). Их охлаждение потребует организации герметично замкнутых горячих и холодных коридоров или отвода тепла от каждой стойки.

Как утверждают в Knuerr, предельное значение для обычных методов воздушного охлаждения составляет 1,5 кВт на м2 (до 3-5 кВт на шкаф). Чтобы отвести 5 кВт от стойки, необходимо прокачивать 1000 м3 воздуха в час, а для отвода около 25 кВт от стойки 42U — уже 4740 м3/ч. Даже в случае принудительного продува шкафа воздушного охлаждения оказывается недостаточно. Повышение плотности оборудования заставляет искать новые подходы. Производители, включая Knuerr, Liebert, APC, STULZ и Rittal, стараются приблизить охлаждение к источнику тепла. Если отводить тепло прямо из шкафа через внутренний теплообменник, создавать холодную зону вдоль передней стенки шкафа и горячую — позади серверов, то можно избавиться от 20-25 кВт тепла, а в случае использования модульных серверов — от 35 кВт в расчете на одну стойку, считает Игорь Антин, менеджер по продажам компании Knuerr AG.

Теплопроводность воды в 3,5 тыс. раз выше, чем воздуха, поэтому ряд производителей предлагает системы с водяным охлаждением. Среди подобных решений — Emerson/Knuerr CoolTherm, IBM Rear Door Heat eXchanger, Schroff Varistar LHX20 Rittal LCP. Чтобы отвести 1 кВт тепла и понизить температуру на 100C, за час нужно прокачивать 325 м3 воздуха или всего лишь 90 л воды. В системе STULZ CyberChill используется охлаждаемая водой стойка (до 26 кВт). Это оборудование работает с прецизионной холодильной машиной CyberCool Datachiller как уличного, так и внутреннего исполнения. Интегрированный контроллер позволяет применять различные способы резевирования холодильных модулей и их узлов и использовать аварийный источник питания с оптимальным энергопотреблением (плавный пуск компрессоров, задержка на включение отдельных потребителей). Чиллер имеет холодопроизводительность от 20 до 100-102 кВт при площади основания менее 0,9 м2. В зависимости от требуемой «на выходе» температуры и степени резервирования применяются различные типы охлаждающих модулей и их комбинации. Температура воды не должна превышать 120C, чтобы избежать образования конденсата на оборудовании в стойках. Для России системы с водяным охлаждением в ЦОД пока редкость, однако интерес к ним растет. «Хоссер» реализовала в России несколько проектов с применением систем водяного охлаждения STULZ с охлаждаемыми водой стойками Knuerr CoolTherm и APC RC InRow. По ее данным, их стоимость на 50% выше по сравнению с системами, оснащенными воздушным охлаждением, но, чем больше мощность ЦОД, тем меньше оказывается эта разница.

Рисунок 2. Пример экономии инвестиций в ЦОД за счет применения систем жидкостного охлаждения (по данным Knuerr).
Решение Knuerr CoolAdd отводит дополнительно 8 кВт на шкаф. Горячий воздух подается вентиляторами на теплообменник с водой, которая поступает для охлаждения в чиллер, после чего холодный воздух попадает в помещение ЦОД. В системе Knuerr CoolTherm, отводящей до 35 кВт на стойку, применяется замкнутая схема: герметичный (IP54) шкаф, как утверждают в Knuerr, обходится не дороже традиционных систем кондиционирования, но экономит до 80% площади помещения и на 15-40% сокращает потребление электроэнергии (см. Рисунок 2). За последние четыре года в мире установлено более 600 систем CoolTherm, однако далеко не все заказчики готовы подводить воду к серверным стойкам, хотя теплообменник находится в нижней части стойки и опасности ее попадания на оборудование нет.

Система APC InfraStruXure InRow RP использует водяное охлаждение с внешним чиллером (в этом случае отводится до 70 кВт на стойку) или хладагент (до 37 кВт). Rittal также производит системы с водяным охлаждением (до 20 кВт на стойку) — Liquid Cooling Package (LCP). HP выпускает ее модифицированную версию — HP Modular Cooling System. Emerson предлагает несколько вариантов удаления тепла в зависимости от конкретной конфигурации стоек. Вертикальные модули Liebert XDH с фреоновой системой охлаждения устанавливаются на пол между стойками и отводят до 30 кВт с одной стойки. Система Liebert XDFN монтируется в любом помещении и рассчитана на тепловыделение до 24 кВт на стойку. Она предусматривает полное резервирование, средства контроля доступа и мониторинга (температуры, напряжения, потребляемой мощности). Воздух циркулирует внутри шкафа, а хладагент подается к стойке через систему труб сверху. Питание вентиляторов от ИБП защищает оборудование на время, необходимое для запуска генератора.

ПИТАНИЕ БЕЗ ПЕРЕБОЕВ

Ключевую роль в бесперебойном функционировании ЦОД играет электроснабжение, однако требования потребителей электроэнергии к качеству электропитания не одинаковы. Обобщив опыт построения ЦОД в России и за рубежом, специалисты Emerson разделили устройства, потребляющие электроэнергию, на три категории. Первая (серверы, СХД, системы управления, общая и пожарная сигнализации, системы пожаротушения, аварийное электропитание климатического оборудования, аварийное освещение, системы контроля доступа и видеонаблюдения) требует жестко заданных параметров напряжения (±0,5 В), частоты (±0,05 Гц), искажения формы сигнала (КНИ<1%) и не допускает прерывания электропитания в течение заданного времени (до нескольких лет). Вторая группа (климатическое оборудование, аварийное освещение и розетки второй категории, аварийная приточная и вытяжная вентиляция) допускает кратковременное прерывание электропитания (до 30 сек), а для третьей (общее освещение, розетки для бытовых нужд, электрические отопительные приборы, общая приточная и вытяжная вентиляция) перерывы могут доходить до 24 ч. Эти потребители менее требовательны и к стабильности напряжения/частоты.

При построении комплексной системы гарантированного электропитания должны быть составлены таблицы потребителей для всех возможных режимов (рабочий, аварийный, сервисное обслуживание) с указанием их мощности и категории. Устройства, относящиеся к первой категории питаются от ИБП через автоматические статические переключатели (АСП), запитываемые от одной из шин в двухлучевой системе (Dual Bus). Оба набора ИБП в ней синхронизированы (согласованы по напряжению и частоте) через информационный кабель (см. Рисунок 3). Для мониторинга параметров (напряжение, потребляемый ток, кВтxч) блок распределения питания (Power Distribution Unit, PDU) имеет ЖК-панель. Питанием каждой розетки можно управлять дистанционно, а также через PDU задавать длительность питания тех или иных серверов от ИБП.

Рисунок 3. Комплексная система гарантированного электропитания в ЦОД (по данным Emerson).
Питание серверов от постоянного тока упрощает реализацию схем с длительным временем автономной работы и снижает тепловыделение благодаря отсутствию трансформаторов в блоках питания серверов. По данным Ecos Consulting, перевод мощностей ЦОД на питание от постоянного тока позволяет сократить расходы на электроэнергию более чем на 20%. Источники DC используются
в телекоммуникационной отрасли для питания сетевого оборудования уже не первый год. Теперь производители пытаются распространить эту модель на серверы.

По мнению Юрия Грачева, мониторинг инженерных систем ЦОД должен обеспечивать контроль систем кондиционирования и электропитания (включая ДГУ, ИБП и автомат ввода резерва — АВР), серверных стоек, вывод аварийных сигналов от элементов инженерной системы, а также предоставлять возможность подключения нескольких ЦОД к единой системе контроля. При выборе ИБП следует исходить из шага наращивания мощности, требуемой степени избыточности и автономного времени работы. Последний параметр определяется периодом, необходимым для запуска резервного электроснабжения (ДГУ), завершения критичных операций или питания нагрузки до восстановления напряжения в основной электросети. ИБП могут поддерживать в рабочем состоянии вентиляторы и приводы заслонок фальшпола.

Для создания избыточных систем или наращивания мощности ИБП включаются параллельно. Вертикально наращиваемые (стоечные) ИБП Emerson обеспечивают до 30 кВА электроэнергии для одной стойки. Система мониторинга аккумуляторных батарей, разработанная приобретенной Emerson компанией Alber, контролирует напряжение, ток, температуру и внутреннее сопротивление батареи, что позволяет оценивать ее состояние в графическом интерфейсе. Кроме того, производители ИБП продолжают разрабатывать технологии, позволяющие запасать энергию иным способом. Один из вариантов — использование кинетической энергии маховика. Например, система Flywheel Energy Storage System, новейшая разработка Emerson, питает постоянным током нагрузку величиной 60 кВА в течение 10-20 с., что достаточно для запуска ДГУ. Первые подобные решения были громоздкими и тяжелыми. Сегодня появились более легкие и компактные конструкции, их стоимость в расчете на кВт сократилась наполовину, однако широкого распространения они пока не получили.

Серверы обновляются быстрее, чем инженерная инфраструктура, поэтому комплексная система гарантированного электропитания ЦОД должна не только снабжать электроэнергией конкретные категории оборудования в соответствии с их требованиями, но и обладать адаптивной структурой, позволяющей легко перестраивать ее под новую конфигурацию, заключает Юрий Грачев.

МЕДЬ ИЛИ ОПТИКА?

Условия ЦОД предъявляют особые требования и к информационной инфраструктуре. Среди них специалисты КРОК выделяют высокую плотность портов, механическую надежность, помехоустойчивость, гибкость проектных решений, удобство эксплуатации и запас на будущее по пропускной способности. В соответствии со стандартами в ЦОД рекомендуется применение кабельных систем не ниже Категории 6 (ANSI/TIA/EIA-568-B.2-1), многомодового (OM3) или одномодового оптического волокна.

Рисунок 4. Потребление электроэнергии в ЦОД (по данным исследования Berkly National Labs 2004 г.). В настоящее время доля энергопотребления инженерных систем заметно выросла.
Олег Востриков, менеджер по продажам Corning в России и СНГ, полагает, что выбор оптической или медной кабельной системы сказывается, в частности, и на решении проблемы охлаждения и энергопотребления. Если мощность медного порта активного оборудования составляет 15-20 Вт/порт, то у оптического решения — 1-3 Вт/порт. Правда, в энергопотреблении всего ЦОД (см. Рисунок 4) это составляет малую долю. Важнее то, что компактная волоконно-оптическая кабельная проводка упрощает решение задач охлаждения, не препятствуя потокам воздуха, а с увеличением плотности оборудования еще одним преимуществом оптики становится высокая плотность портов.

Рисунок 5. Розеточный модуль RJ45 Volition OCK10S8 от 3M с полным экранированием устойчив к наводкам. Он снабжен встроенной шторкой, монтируется без инструмента (технология One-Сlick) и допускает повторное использование.Corning разработала для ЦОД полное волоконно-оптическое кабельное решение Plug&Play Universal с претерминированными компонентами и патентованной системой управления полярностью Fibre Polarity Management. В нем применяются кабельные сборки MTP, модули и панели с установленными соединителями, коммутационные шнуры с соединителями всех типов. Компания 3M не ограничивается волоконно-оптическими решениями. По словам Ольги Харитоновой, руководителя направления СКС «3M Россия», для приложений 10GBaseT предлагается экранированная система Volition 10 Gigabit Класса Ea (500 МГц), в том числе кабели S/FTP, полностью экранированные модули (см. Рисунок 5) и коммутационные панели 1U на 24 модульных порта. Экранированный вариант решает проблему перекрестных наводок. Стоимость активного оборудования для таких систем может быть вполовину меньше, чем для волоконно-оптических каналов связи, однако, как отмечают в 3M, до окончательного принятия стандарта на медные кабельные системы для 10GbE (802.3an) их применение сопряжено с определенным риском. Предлагая наряду с медным решением волоконно-оптическое или комбинацию того и другого, 3M предоставляет клиентам выбор, причем медная система рекомендована для инсталляций, насчитывающих до нескольких сотен портов.

При построении в ЦОД структурированной кабельной системы (см. Рисунок 6) КРОК предпочитает использовать продукцию Systimax/CommScope, однако в ряде проектов применяются решения и других производителей (Corning, R&M, Nexans и др.). Systimax предлагает для ЦОД медные и оптические системы: неэкранированную GigaSPEED exTENd (10 Гбит/с на расстоянии до 100 м) и GigaSPEED XL (до 10 Гбит/с на расстоянии до 60 м), LazrSPEED с кабелем LazrSPEED (150, 300 и 550 м) и соединителями LC. Такой кабель позволяет организовать взаимодействие между серверными на достаточно больших расстояниях внутри зданий или между ними.

Как утверждает Александр Ласый, при правильной инсталляции неэкранированные кабельные системы не уступают по характеристикам экранированным. Что касается медных или оптических решений, то выбор, по его мнению, зависит от состава и внутренней организации ЦОД. Каждый из вариантов имеет свои достоинства и недостатки. Хотя без учета активного оборудования 10-гигабитные оптические кабельные системы дешевле, при схожей плотности портов полное оптическое решение оказывается почти в два раза дороже. Правда, «удельный вес» кабельной системы в стоимости ЦОД снижается. Применение оптики в серверных помещениях имеет и другие ограничения, включая предпочтения вендоров сетевого оборудования в пользу «меди», реализацию Fibre Channel на базе продуктов одного производителя и др. Впрочем Александр Ласый уверен, что они преодолимы.

Рисунок 6. Базовая топология СКС в ЦОД (по информации КРОК).
Компания RiT Technologies предложила для сетей 10GBaseT неэкранированное решение, оснащенное кабелем U/FTP с такими же характеристиками, как у экранированных систем, но при этом не требующее заземления и избавляющая пользователей от проблем эксплуатации экранированных СКС. Кроме того, в этом году RiT выпустила пятую версию системы управления кабельной инфраструктурой PatchView for the Enterprise (PV4E), где особое внимание уделено специфике применения системы на объектах разного типа, таких как ЦОД, большие офисные здания, территориально распределенные заводские сети, сети с повышенными требованиями по безопасности и т. д. Вдобавок PatchView 5 предлагает новые инструменты и функции анализа для управления инфраструктурными изменениями.

КАБЕЛЬНАЯ СИСТЕМА НА ЗАКАЗ

Уже в течение нескольких лет некоторые производители предлагают для ЦОД претерминированные кабельные системы и сборки, которые изготавливаются для конкретного заказчика. В России эта технология еще мало известна — ее стали использовать лишь в последние год-полтора. Об опыте применения таких продуктов рассказал Андрей Алисов, руководитель группы проектирования кабельных систем компании «Систематика», входящей в НКК. В реализованном «Систематикой» проекте нужно было реконструировать волоконно-оптическую кабельную систему небольшого функционирующего ЦОД площадью 73 м2. В нем размещалось девять шкафов с оборудованием. С находящимся неподалеку центральным коммуникационным узлом их соединяли 48 волоконно-оптических линий. В результате модернизации было добавлено пять шкафов с оборудованием и четыре шкафа ИБП, перемещены имеющиеся шкафы, созданы новые высокоскоростные каналы связи между шкафами, увеличено число оптических линий между шкафами и центральным узлом.

При реконструкции требовалось обеспечить надежную работу оборудования ЦОД, максимально быстро смонтировать кабельную систему, оптимально разместить оборудование внутри помещения и обеспечить поддержку скоростей 10 Гбит/с. По оценкам «Систематики», монтаж такой системы занял бы около пяти недель. Чтобы ускорить процесс, была использована кабельная система на основе модульных претерминированных компонентов (MPO) от AMP Netсonnect. В проекте применялись 12-волоконные кабельные сборки MPO, протестированные в заводских условиях. Для перехода с 12-волоконного соединителя MPO на двухволоконные SC, MT-RJ и LC производитель предлагает кассеты-переходники: 12- и 24-волоконные кассеты вставляются в стандартные коммутационные панели 1U и настенные оптические шкафы 19″. У AMP имеется аналогичный вариант и для медного кабеля (MRJ 21 Connector System) для гигабитных сетей.

По данным «Систематики», благодаря применению системы MPO три монтажника и инженер выполнили инсталляцию всего за четыре дня. Высокая плотность портов позволила развести 144 канала на четыре панели высотой по 1U, причем специфических навыков и особого оборудования не потребовалось, а готовая система не нуждалась в тестировании. Исполнителем были отмечены лишь отдельные конструктивные недостатки решения. Кроме того, производство и поставка претерминированных кабелей занимает определенное время, но в ходе реализации проекта спецификации нередко меняются, и изготовленная продукция может им уже не соответствовать.

Если раньше кабельная проводка, как правило, размещалась под фальшполом, то теперь ее все чаще выносят в подпотолочное пространство, хотя распространению такого варианта мешает дефицит шкафов с верхним вводом кабелей. Как считает Александр Ласый, разнородность используемых шкафов, часто несовместимых друг с другом, создает немалые сложности при проектировании ЦОД, а их унификация заметно облегчила бы организацию охлаждения.

ОПТИМИЗАЦИЯ ПРОХОДОВ

Проблемы ЦОД не ограничиваются энергопотреблением и охлаждением. Еще на этапе строительства и оснащения следует учитывать требования к транспортировке шкафов, серверов и инженерного оборудования, предусмотреть стандартные и нестандартные пути подвоза, проемы в стенах, стационарные подъемники, подъемные краны. А генеральный директор «Датадом» Андрей Павлов напомнил, что при выборе помещения надо принимать во внимание нагрузочные способности перекрытий, габариты комнат и проходов.

Минимальная допустимая нагрузка для коммутационных комнат должна быть не меньше 225 кг/м2, однако для серверной требуется уже 720 кг/м2 (а лучше 1200 кг/м2). Типичная для бизнес-центров нагрузочная способность перекрытий может оказаться недостаточной, поэтому придется их усиливать или применять фальшполы с распределением нагрузки. Стандарты проектирования путей подхода описываются в ANSI/TIA/EIA-569-A: размеры дверей составляют 1х2,13 м, высота от фальшпола до потолочных конструкций — 2,6 м, а ширина проходов — 1-1,2 м.

Для доставки и установки оборудования применяются гидравлические тележки и штабелеры, подвижные подъемные столы, ричтраки, погрузочные платформы и подъемники. Чтобы не ломать стены, необходимо выяснить, как удобнее занести оборудование (кондиционеры, ИБП, батарейные шкафы, серверы, панели защитных помещений и т. д.). Для транспортировки техники существуют нормативы наклона пандусов (10-120). Иногда приходится прибегать к организации «нестандартных» путей доставки, использовать оконные проемы или временные проемы в стенах, подавать оборудование краном. Сборка защитных помещений может потребовать дополнительного сноса стен. Например, сейфовые двери Lampertz при габаритах 2,3х1,2 м имеют вес 700 кг.

КОНСОЛИДАЦИЯ И ВИРТУАЛИЗАЦИЯ

В мире насчитывается 24 млн работающих серверов и, как ожидают аналитики IDC, к 2010 г. их будет 35 млн. По мнению Виктора Городничего, директора департамента серверов стандартной архитектуры «HP Россия», ответом на проблему быстрого роста серверного парка и, как следствие, дефицита площадей и энергомощностей является виртуализация, новый форм-фактор (модульные серверы), более эффективные процессоры. Например, модульная серверная платформа HP BladeSystem с-Class экономит 25% электроэнергии за счет интеллектуальной системы охлаждения и электропитания модулей полки, оптимизирующей работу вентиляторов и источников питания. Виртуализация серверов позволяет сократить количество единиц оборудования в ЦОД.

Однако некоторые эксперты с пессимизмом относятся к возможностям технологического решения проблем энергодефицита в ЦОД, где с развитием приложений требования к вычислительным мощностям неуклонно возрастают. Например, исследователи из IBM полагают, что к 2010 г. мощность, потребляемая одной серверной стойкой, уменьшится незначительно. По словам Олега Письменского, регионального менеджера по развитию бизнеса APC-MGE, в ближайшие 5-7 лет элементная база останется той же, и проблемы повышения эффективности энергопотребления не станут менее актуальными (см. Рисунок 7). Ситуация такова, что из подаваемой в ЦОД мощности лишь 0,0003% идет на вычисления. Все остальное превращается в тепло. Тем не менее, ведущим производителям удается добиться определенных результатов за счет консолидации своих ЦОД и внедрения энергоэффективных технологий (см. «На собственном примере»).

Рисунок 7. По данным APC-MGE, электричество остается существенной статьей затрат в TCO инфраструктуры ИТ, и в ближайшее время его доля будет расти.
Как показывают недавние зарубежные опросы, технологии виртуализации применяют уже более половины подразделений ИТ. IBS DataFort относится к консолидации и виртуализации как к одному из вариантов оптимизации инфраструктуры ЦОД и сокращения затрат. Компания рекомендует выносить на виртуальные серверы некритичные для бизнеса приложения. Кроме того, виртуализация — хорошее решение при нехватке площадей и мощностей. Согласно оценкам IBS DataFort, она позволяет сэкономить до 15% на эксплуатации оборудования и его размещении и быстро выделять виртуальные машины для перспективных проектов, хотя не снижает расходы на администрирование.

По словам Алексея Сивидова, заместителя генерального директора IBS DataFort, внедрение этой технологии осложняется необходимостью решения проблем лицензирования и высокой стоимостью средств виртуализации. Ее применение требует поддержки производителями выполняемых на виртуальных серверах приложений, вынуждает увеличивать количество администраторов на каждый физический сервер, но позволяет перейти от продажи ресурсов ЦОД к предложению услуг с добавленной стоимостью (VAS) на основе программно-аппаратных комплексов и экспертизы. В настоящее время виртуальные системы используют лишь 5% клиентов IBS DataFort, однако в течение трех лет эту долю планируется увеличить до 50%.

Вячеслав Слободчук, начальник отдела инженерной поддержки продаж компании «Классика», указал на проблему интеграции разнородных систем хранения. Особенно остро она проявляется при слияниях и поглощениях в давно работающих компаниях или обладающих децентрализованной структурой. «Зоопарк» систем хранения усложняет контроль ресурсов и управление ими, ведет к непроизводительным потерям и снижению эффективности использования. Специалисты «Классики» считают, что общего решения этой проблемы нет, однако существует множество частных решений — программных, аппаратных и комбинированных. Одно из них — виртуализация разнородных СХД, их объединение в единый пул (как в HDS USP или IBM SVC). Еще один подход состоит в реализации решений класса ILM с переносом некоторой информации на менее дорогие устройства. Каждая ситуация требует индивидуального рассмотрения.

В этом случае стоит воспользоваться консалтинговыми услугами опытного системного интегратора. Как показывает практика «Классики», часто организации не уделяют должного внимания корректной последовательности преобразования инфраструктуры ИТ. Результаты проявляются на других уровнях и непосредственно влияют на производительность приложений.

ИНСТРУМЕНТЫ ОПТИМИЗАЦИИ

Проблема повышения эффективности ЦОД многогранна. Олег Письменский, в частности, указывает на такие возможности как грамотное распределение воздушных потоков, консолидацию и виртуализацию ресурсов ИТ. Зная, какое оборудование будет устанавливаться, можно прогнозировать примерное энергопотребление. Физическая инфраструктура ЦОД должна обладать масштабируемостью, поддерживать частично определенные требования, поскольку закладывать резервы мощности (например, по системам кондиционирования) нерационально, обеспечивать поэтапное внедрение при неизвестных будущих потребителях, а также сводить к минимуму потери за счет эффективного использования электроэнергии, систем охлаждения и площадей.

APC-MGE предлагает инструментарий проектирования инженерной инфраструктуры ЦОД Infrastructure Design Portal — систему САПР с базой знаний, учитывающей варианты распределения тепловых потоков и позволяющей поэтапно детализировать будущие изменения. В настоящее время компания создает портал, который, исходя из введенных показателей, будет показывать энергоэффективность ЦОД. Кроме того, новые приложения — Capacity Manager и Change Manager для программного управления ЦОД — позволяют в реальном времени приводить его инфраструктуру в соответствие с меняющимися потребностями и определять оптимальное место для установки оборудования на основе данных об электрической нагрузке и температурном профиле.

На необходимость уделять больше внимания рациональному управлению воздушными потоками в ЦОД обращает внимание и Александр Мартынюк, технический директор управляющей компании IntelinePro. При этом он сетует на то, что, судя по результатам более чем 100 экспертиз серверных комнат и ЦОД, проведенных компанией в разных регионах России, постоянно повторяемые тезисы о необходимости учитывать все нюансы жизненного цикла ЦОД при его строительстве отнюдь не уберегают заказчиков от проблем, и в практике работы компании достаточно примеров, когда в авральном порядке приходилось устранять или предотвращать нештатные ситуации, возникшие из-за пренебрежения заказчика к «мелочам» при строительстве или модернизации ЦОД.

Планировать новые ЦОД или реорганизовывать существующие заказчикам помогают услуги HP Thermal Assessment Services. HP предлагает экспертную оценку ЦОД и проведение измерений, сбор данных и трехмерное моделирование. Методика термического моделирования разработана для анализа и оптимизации охлаждения оборудования. По словам Григория Юдина, инженера-консультанта отдела поддержки корпоративных клиентов, она позволяет оценить происходящие процессы и дать рекомендации, подчас отличающиеся от традиционных схем, где предусматривается организация горячих и холодных коридоров. Как утверждают в HP, модель, создаваемая при помощи ПО HP Thermal Zone Mapping, показывает диаграмму воздушных потоков и давлений с учетом «прозрачности» плиток фальшпола и имеет высокую точность моделирования (не менее 90%), так что разница с реальными температурами составляет всего 2-30С. В существующих ЦОД для построения модели можно использовать реальные измерения — скорость воздуха, давление и температуру в отдельных точках. Теперь такие услуги предлагаются и в России.

Моделирование помогает оценить варианты перестановки или монтажа оборудования, а также период времени с момента отключения кондиционирования до остановки серверов из-за достижения температурой критических значений (обычно это 5-7 мин.), выяснить влияние изменения высоты фальшпола (см. Рисунок 8) или добавления вентиляционных плиток, оптимизировать размещение оборудования. По данным HP, применение разработанных ею средств анализа тепловыделения в ЦОД позволит сэкономить 10-45% электроэнергии. ПО Thermal Zone Mapping может работать в сочетании с системой HP Dynamic Smart Cooling (DSC). Сеть датчиков снимает показания температуры, интенсивности потока воздуха и т.д. На основе этих данных ПО дает команды управления инженерным системам — кондиционерам, напольным плиткам с заслонками на электроприводе, регулирующими направление воздуха и т.д.

Рисунок 8. Увеличение минимальной высоты фальшпола с ростом тепловыделения стоек (по данным Emerson Network Power).
Усовершенствовали предлагаемые администраторам ЦОД средства управления и производители оборудования KVM.

Например, компания «Ниеншанц-Автоматика», официальный партнер Raritan в России, представила сразу две новинки: Dominion KX II, новое полнофункциональное решение KVM певерх IP для дистанционного и локального управления оборудованием ИТ, и DOMINION PX, интеллектуальную систему удаленного и защищенного управления питанием. Поскольку ЦОД, как заметил Александр Ласый, представляет собой «интеллектуальное здание в миниатюре», здесь могут найти применение и решения Moxa, обеспечивающие интеграцию с сетями Ethernet разнообразных устройств с последовательными портами.

ЗАКЛЮЧЕНИЕ

При организации ЦОД российским заказчикам приходится иметь дело с многочисленными проблемами. В их числе Алексей Солодовников назвал получение требуемых мощностей, энергобезопасность, охлаждение оборудования, его рациональное, грамотное размещение. При организации ЦОД в Москве очень трудно найти подходящий с точки зрения энергоснабжения вариант. С серьезными сложностями обеспечения энергоресурсами новых ЦОД сталкиваются телекоммуникационные операторы при подключении новых узлов связи, банки, создающие резервные центры данных, и другие компании. Подчас они вынуждены выносить ЦОД в ближнее или дальнее Подмосковье либо в другие регионы.

По оценкам Gartner, к 2009 г. в 70% ЦОД оплата электроэнергии станет второй по величине статьей расходов, поэтому за рубежом активно обсуждаются проблемы энергосбережения в ЦОД. Однако в России актуальным остается получение требуемых мощностей и обеспечение бесперебойной работы центров данных. По мнению Александра Ласого, в России при нынешней стоимости электроэнергии отдача от энергосберегающих технологий не очень велика. Если подходящее место для размещения ЦОД найдено и необходимые мощности получены, то клиенты не проявляют интереса к сокращению энергопотребления.

Это касается даже тех площадок, где используются мощности более мегаватта, которых в России единицы, подтверждает Алексей Солодовников. Пока что бизнес в России развивается экстенсивным путем, потребление электроэнергии отраслью ИТ по сравнению с США относительно невелико. Между тем его рост в России более чем вдвое опережает производство электроэнергии. В минувшем полугодии потребление составило 572,9 млрд кВтxч, что на 1,6% превышает аналогичный показатель прошлого года, а выработка электроэнергии увеличилась лишь на 0,7%.

До тех пор, пока в бюджете компании расходы, связанные с энергоснабжением ИТ, будут невелики, заказчики не станут обращать внимания на появление новейших и весьма дорогостоящих технологий энергосбережения. Но время все расставляет на свои места. В России серверный рынок растет в три раза быстрее европейского, и к 2010 г. в стране может насчитываться уже около 1 млн серверов.

Сергей Орлов — обозреватель «Журнала сетевых решений/LAN». С ним можно связаться по адресу sorlov@lanmag.ru.


На собственном примере

Стремясь повысить эффективность эксплуатации ЦОД и снизить энергопотребление, компании идут по пути консолидации этих структур. Например, количество центров данных HP в мире будет сокращено с 85 до шести. IBM заменяет 3900 серверов в своих ЦОД на 30 мэйнфреймов. Как ожидается, переход на мэйнфреймы System z под управлением ОС Linux позволит ей снизить расходы на электроэнергию на 80% и сократить общие затраты на 250 млн дол. Серверы стандартной архитектуры обычно используются на 10-20% своей мощности. Для мэйнфреймов этот показатель составляет 80%, а виртуализация реализована много лет назад. Sun Microsystems тоже консолидировала свои центры обработки данных, вдвое уменьшив их площади. В калифорнийском ЦОД 2177 серверов заменены на 1240 новых серверов SunFire T1000/T2000 и x64 под управлением ОС Solaris. Это оборудование потребляет почти на 80% меньше электроэнергии, а вычислительная мощность увеличилась на 456%. Использование средств виртуализации Solaris позволило заменить часть физических серверов виртуальными. Для охлаждения применяются закрытые холодные и горячие коридоры. Каждый сервер снабжен датчиком температуры для динамического регулирования системы охлаждения. Вместо прежних дисковых массивов развернуты СХД StorageTek 3000 и 6000 с дисками Fibre Channel по 144 Гбайта. Емкость возросла на 244%, хотя дисковых массивов стало на 70% меньше. Sun заменила несколько европейских ЦОД на один, расположенный в Великобритании, оснастив его 80 серверами (вместо 100) и СХД StorageTek 9985.