В июньском номере «Журнала сетевых решений/LAN» говорилось о проблемах строительства ЦОД в России и состоянии этого сегмента отечественного рынка, о задачах, которые решаются системными интеграторами, и использовании модульного подхода. Сегодня речь пойдет о новых для российского рынка продуктах — «ЦОД в контейнере». Пока подобные центры данных остаются экзотикой даже для зарубежного рынка, однако проекты, где данный подход применяется, появляются и у нас, хотя их количество растет далеко не такими темпами, как рассчитывали разработчики.

МОБИЛЬНЫЙ ЦОД

Мобильные контейнерные ЦОД (Mobile Data Center, MDC), такие как Sun Blackbox или ICE Cube (Integrated Concerto Environment) компании Rackable (см. Рисунок 1), —новые решения на российском рынке. За рубежом данный подход развивается с 2005 г. (см. Рисунок 2). Часто для монтажа «ЦОД в контейнере» достаточно ровной площадки, электричества и канала связи. Тем не менее, предлагаемые варианты различаются по степени своей завершенности: они могут быть как полностью автономными (трейлер с генератором и беспроводной связью), так и нуждаться в подключении элементов внешней инфраструктуры, в частности подводе воды для охлаждения, подключении электропитания, организации каналов связи. Преимущества заключаются в быстроте и простоте развертывания, а также в масштабируемости (за счет установки дополнительных контейнеров). Однако при прокладке коммуникаций на прилегающей территории могут возникнуть сложности, дорогостоящее оборудование требуется охранять и защищать от пыли, а к немалой цене самого решения добавляется высокая стоимость доставки, к тому же возможны проблемы с запасными узлами.

Рисунок 1. Контейнерный ЦОД ICE Cube компании Rackable содержит 1400 двухпроцессорных серверов половинной высоты с двухъядерными процессорами Intel Xeon (всего 11200 процессорных ядер). Кроме того, контейнер вмещает системы хранения общей емкостью 4,1 Пбайт.    Рисунок 2. APC InfraStruXure Express Medium Density On-demand Mobile Data Center — один из первых вариантов «мобильных ЦОД». Он содержит 12 стоек с оборудованием ИТ (500U) и обеспечивает высокий уровень готовности.  

MDC (или МЦОД) может использоваться и как временное быстро развертываемое решение при отсутствии подходящих стационарных площадок, и в качестве резервного центра данных. Обычно для МЦОД характерен высокий уровень надежности (Tier III/IV) и плотности оборудования. За последние три года свои решения представили около десятка компаний, включая APC, Altron, Sun Microsystems, IBM, NAAT, Rackable Systems, SunGard, Pacific Voice&Data (PVD), Verari Systems, подобные разработки ведут Dell и HP, а недавно о создании собственного продукта класса MDC заявили российские системные интеграторы: «Черус» занимается внедрением МЦОД для нескольких российских заказчиков, а «СИТРОНИКС Информацион-ные Технологии» (бывшая «Квазар-Микро») разработала собственный вариант МЦОД как серийного продукта.

Еще в 2005 г. APC реализовала мобильный ЦОД InfraStruXure Express Medium Density On-demand Mobile Data Center. Проект получил развитие в разработках партнеров APC — Pacific Voice&Data (PVD Mobile Data Center) и IBM (Scalable Modular Data Center). В нем применяется система APC InfraStruXure, различные варианты охлаждения (в зависимости от плотности оборудования) и система мониторинга NetBotz. APC InfraStruXure включает стандартные компоненты для построения модульных решений и интегрирует элементы электропитания, охлаждения, стойки для оборудования, системы управления и безопасности. Уже опробованные в стационарных ЦОД модульные решения для инфраструктуры ИТ уровня APC InfraStruXure или Rittal RimatriX5 удачно вписались в мобильные контейнерные ЦОД. По данным IBM и APC, развертывание Scalable Modular Data Center занимает на 60-75% меньше времени, чем постройка или модернизация обычного серверного зала, а его использование позволяет значительно сэкономить на проектировании, подборе компонентов, устройстве фальшполов и эксплуатации ЦОД.

При всей своей привлекательности ЦОД в контейнере подходят далеко не для всех, полагает Нейл Расмуссен, старший вице-президент и главный технический директор APC. Большинство компаний наращивают мощности постепенно, устанавливая новые стойки с оборудованием по мере необходимости. Лишь немногие развертывают сразу тысячи серверов. Именно для таких крупномасштабных проектов выгодны контейнерные ЦОД: заказчик получает укомплектованный модуль с десятками готовых к работе серверов. Такая модель — хороший вариант для компаний масштаба Microsoft, Google или Yahoo. Другое применение — временные, мобильные ЦОД и центры данных, развертываемые в экстренных обстоятельствах. Как и в случае классических ЦОД, каждая ситуация выдвигает свои требования, поэтому нужны контейнерные ЦОД, ориентированные на различные задачи. Такие продукты должны быть рассчитаны на разные климатические условия и иметь разные уровни физической защиты.

Хотя APC и является зачинателем этого направления, данный бизнес, как подчеркивает Нейл Расмуссен, остается для нее узкой нишей, основным сегментом всегда будут классические ЦОД, развертываемые в специально возводимых или существующих зданиях. А для таких центров очень важно создание стандартизированных «блоков», включающих отдельные подсистемы ЦОД, например, чиллеры, системы охлаждения и электропитания, причем они должны вписываться в помещения разного размера и конфигурации, быть удобными в транспортировке и легко монтироваться.

Sun Microsystems разрабатывала концепцию Blackbox три года. Проект был анонсирован в октябре 2006 г., а коммерческие поставки начались в середине прошлого года. Sun Blackbox — полностью оснащенный ЦОД, перевозимый в типовом морском контейнере 6,1x2,4 м. В нем заранее монтируется все оборудование: серверы Sun под управлением ОС Sun Solaris 10, системы хранения, водяного охлаждения и электропитания. Через один-три месяца клиент получает заказанный ЦОД в собранном и протестированном виде. Остается только установить его в нужном месте, подключить к системе водоснабжения, электропитания (мощность составляет порядка 200 кВт) и каналам связи. По данным Sun, Blackbox позволяет сократить расходы в пять раз (на единицу площади) —экономия достигается при строительстве, настройке и обслуживании ЦОД, а также за счет эффективности энергопотребления и охлаждения. Он потребляет на 20% меньше электроэнергии по сравнению с традиционными ЦОД сопоставимой вычислительной мощности, занимаемая оборудованием площадь втрое меньше, а развертывание осуществляется всего за несколько недель. Стоимость BlackBox — около полумиллиона долларов.

Рисунок 3. Как заявляет компания Sun, мобильный ЦОД Sun Modular Datacenter S20 позволяет сократить расходы на увеличение вычислительных мощностей, а при необходимости его можно транспортировать в новое место. Плотность оборудования на стойку вчетверо превосходит показатели традиционного ЦОД, а стоимость охлаждения на 40% дешевле. ЦОД занимает всего 1/8 площади сопоставимого по вычислительной мощности центра данных. Это полностью сконфигурированный ЦОД, где могут размещаться 120 серверов Sun Fire T2000, 250 серверов Sun Fire T1000 (2000 ядер), 250 серверов х64 (1000 процессорных ядер).Хотя разработка вызвала гораздо больше энтузиазма в прессе, чем среди потенциальных заказчиков, Sun продолжила работу над проектом и в этом году переименовала Blackbox в Sun Modular Datacenter S20 (см. Рисунок 3). «Новая версия» Sun MD обладает более высокой вычислительной мощностью (18 вместо 15 Тфлопс) и емкостью хранения (до 3 вместо 1,4 Пбайт). Добиваясь более простого развертывания и управления комплексом, Sun предлагает услуги предварительного обследования инфраструктуры ИТ для выбора конфигурации и ее оптимизации «под заказчика» (Sun MD Customer Ready System Factory Configure and Build). Предусматривается сервис удаленного мониторинга и управления. Фактически, заказчик получает готовый к работе (Plug-and-Play) ЦОД.

Чуть более года назад производитель серверов Rackable Systems представила «ЦОД в контейнере», где с целью снижения операционных издержек и ТСО используются ее патентованные разработки — серверы серии Eco-Logical и системы хранения, специально сконструированные стойки высокой плотности, системы распределения питания и охлаждения. Все это уже опробовано в сложных проектах ЦОД традиционной архитектуры. Несмотря на патентованный дизайн, Rackable готова устанавливать серверное оборудование и системы хранения в произвольной комбинации —«наполнять» контейнер можно по заказу. Решение предназначено для тех компаний, которые нуждаются в быстрой доставке и развертывании центра данных. Контейнер удвоенной длины (40 футов) вмещает до 1200 серверов или системы хранения общей емкостью 3,5 Пбайт. В составе ЦОД — серверы 1U, 2U, 3U или 4U с процессорами AMD и Intel. Как и у Sun, охлаждение водяное, причем специалисты Rackable утверждают, что его эксплуатация обходится на 80% дешевле, чем работа традиционных систем охлаждения в стационарных ЦОД с аналогичным набором оборудования. В текущем году Rackable планирует развернуть от 20 до 50 контейнерных ЦОД.

Системы контейнерного типа выпускает и Verari Systems. Контейнер Verari FOREST (Flexible, Open, Reliable, Energy efficient, Scalable, Transportable) предназначен для тех, кому необходимо расширить имеющийся ЦОД. Он потребляет мощность 200 кВт и нуждается только в электропитании и каналах связи. Еще один вариант, 40-футовый контейнер V2, имеет мощность 500 кВт и требует внешнего чиллера. Он вмещает 1400 серверов (модульных серверов Verari или традиционных систем). По данным производителя, решение повышает энергоэффективность ЦОД на величину до 110%.

Активным игроком на быстро развивающемся рынке «контейнерных ЦОД» становится IBM. Серия модульных контейнерных решений Modular Data Center предназначена для компаний, которым необходимо быстро увеличить мощность своих ЦОД. Эти разработки — часть проекта Project Big Green, нацеленного на повышение энергоэффективности. Новые продукты предлагаются в разном форм-факторе, включая модуль площадью 46 м2 для корпоративных заказчиков, модуль 18 м2 для быстрого создания в ЦОД зоны с высокой плотностью оборудования, ЦОД в контейнерах длиной 20 и 40 футов. По замыслу проектировщиков, такие решения снизят стоимость и сроки расширения ЦОД, а тиражируемость позволит сделать их дешевле. В IBM считают, что благодаря модульности архитектура ЦОД изменится кардинальным образом.

Новейший контейнерный продукт IBM Portable Modular Data Center (Blue Pod) развертывается за пару недель, а стоимость такого проекта на 30% меньше, чем у традиционного ЦОД аналогичной вычислительной мощности.

Рисунок 4. ЦОД Sun Blackbox с питанием от ветровой электростанции.По мнению сторонников идеи модульного подхода, замена стоек серверов на системы, установленные в морских контейнерах, позволяет быстро строить ЦОД, причем контейнеры можно монтировать прямо в здании, на крыше (см. Рисунок 4) или во дворе. В результате упрощается масштабирование, т.е. наращивание вычислительной мощности ЦОД. Анатолий Окряк, главный инженер, начальник ЦУС компании «Айпинэт», считает, что развитие бизнеса и рост потребностей в обработке и хранении больших объемов информации приведет к объединению контейнерных и классических ЦОД.

Однако необходимо принимать во внимание ряд факторов, сопутствующих проектам мобильных ЦОД. Так, Александр Мартынюк, генеральный директор консалтинговой компании «Ди Си квадрат», обращает внимание на то, что при анонсе контейнерных решений вендоры не всегда предоставляют полную информацию по их комплектации и функционалу. Порой «неожиданно» выясняется, что для запуска МЦОД требуется дополнительное оборудование, поскольку он рассчитан на питание 110 В, а для отказоустойчивой версии необходимо наличие свободных мощностей на двух холодильных машинах. Помимо этого следует продумать возможность оперативной поставки нестандартных запасных частей.

Вслед за растущим числом предложений стали появляться и крупные проекты внедрения контейнерных ЦОД. Например, Microsoft строит в окрестностях Чикаго ЦОД площадью 500 кв. футов. В нем будет установлено 220 морских контейнеров, каждый из которых поставляется с уже сконфигурированным оборудованием и содержит 2000 серверов, сетевое оборудование и устройства распределения питания. Все эти контейнеры планируется разместить на первом этаже будущего ЦОД. Второй этаж более традиционный: это помещение с фальшполом, используемое для дополнительного оборудования.

Предполагается, что с обслуживанием ЦОД справится небольшая команда штатных сотрудников (см. врезку «Автоматизированный ЦОД»), причем для устранения неисправностей системным администраторам даже не понадобится заходить в контейнеры. По данным исследования Microsoft, от 20 до 50% случаев отказа систем вызвано «человеческим фактором», поэтому, вместо того чтобы пытаться ремонтировать отказавшие серверы, проще их отключить. Весь ЦОД Microsoft (а это более 440 тыс. серверов на огромной площади) будут обслуживать 35 человек, то есть не более 10 специалистов в смене. Когда число отказавших серверов в контейнере достигнет некоторой критической отметки, Microsoft просто отправит этот контейнер по-ставщику на замену.

Тенденции рынка уловили и российские системные интеграторы. В мае компания «Черус» выпустила собственный МЦОД. Он размещается в корпусе, который по габаритам аналогичен стандартным транспортным 20-футовым контейнерам (см. Рисунок 5). МЦОД оборудован всеми необходимыми инженерными системами, включая энергоснабжение, технологическое кондиционирование, пожаротушение, охранную сигнализацию, контроль доступа и диспетчерское управление. В соответ-ствии с проектом в контейнере размещают серверы, СХД, телекоммуникационные системы. Оборудование (любых ведущих вендоров) устанавливается в стандартных стойках высотой 38U. Таким образом, оно должно иметь стандартную ширину 19” и глубину не более 80 см. Внутри МЦОД разделен на тамбур и комнату с оборудованием. Важным преимуществом решения считается отсутствие специальных требований к внешним коммуникациям. В нем применяется воздушное охлаждение, поэтому подвода воды не требуется. В то же время возможно увеличить мощность охлаждения, добавить водяное охлаждение и использовать дополнительные средства обеспечения безопасности.

Рисунок 5. МЦОД от «Черус» предусматривает разные варианты компоновки. 20-футовый контейнер с двумя помещениями (ЦОД и тамбур-шлюз) вмещает четыре-шесть  стоек 19″ высотой 1800 мм. Он оснащен инженерными системами (электроснабжение, ИБП, освещение, вентиляция и кондиционирование, комплексная система безопасности) и рассчитан на 25 кВт электрической холодильной мощности; диапазон температур эксплуатации от -35 до +450С. При необходимости его можно адаптировать под требования заказчика и задачи бизнеса. Стоимость типового контейнера, в зависимости от комплектации, составляет 200-300 тыс. евро (включая пусконаладочные работы).

Решение «СИТРОНИКС Инфор-мационные Техноло-гии» разработано с учетом особенностей подходов российских компаний и предприятий из стран СНГ к по-строению и эксплуатации инфраструктуры ИТ, включая разнообразие климатических зон. В компании отмечают, что это серийный продукт, созданный с использованием математического моделирования тепловой нагрузки для всех вариантов компоновки, а также необходимых проч-ностных и других расчетов. Согласно представленным данным, МЦОД способен работать в диапазоне температур от -35 до +500C, а при необходимости изготавливается катастрофоустойчивый контейнер. Ряд этих разработок защищен заявками на получение российских и международных патентов. Каждый МЦОД собирается в заводских условиях, где проходит стандартное многоэтапное тестирование, причем осуществляется адаптация компоновки и ряда характеристик изделия под нужды заказчика, что не влияет на сроки производства и поставки.

Хотя ряд готовых ЦОД (например, IBM Scalable Modular Data Center) позиционируется в качестве решений для SMB, Gartner полагает, что ЦОД в контейнерах выгоден лишь для крупных компаний, а таких заказчиков немного, поэтому решение не станет массовым. Однако, как заявляет «Черус», ее разработка вызвала интерес у небольших компаний и среди крупных территориально распределенных предприятий. При активном росте бизнеса и региональной экспансии МЦОД помогут быстрее открывать дополнительные офисы, филиалы или торговые точки и сохранять контроль над распределенной корпоративной ин-фраструктурой. Кроме того, МЦОД может служить в качестве резервного узла при наличии стационарного ЦОД. Однако низкая защищенность от внешнего воздействия и консерватизм заказчиков не дают оснований предполагать, что контейнерные решения будут широко использоваться. Тем не менее, специалисты «Черус» уверены: при строительстве ЦОД все больше компаний ориентируется, в первую очередь, на гибкость и масштабируемость решения, минимизацию энергопотребления, высокую надежность, а МЦОД обладают в этом отношении рядом преимуществ.

В качестве главных достоинств отмечается масштабируемость решения, отсутствие арендной платы за помещение, возможности размещения вблизи более дешевых источников электроэнергии, быстрота развертывания и легкость доставки на новое место. Использование МЦОД как альтернативы стационарному центру данных эффективно во многих случаях, особенно когда ЦОД необходимо организовать в удаленных точках, где нет нужной инфраструктуры (хотя в любом случае потребуются коммуникации и охрана), или строитель-ство и реконструкция помещений для стационарного ЦОД оказываются делом слишком сложным и затратным. Снять проблему с подбором зданий и помещений — одна из основных задач подобных решений.

Вероятно, как полагает Константин Спиров, директор по продажам компании HTS (группа компаний «Хоссер»), данный подход поможет сгладить остроту проблемы выбора помещений для ЦОД, но мобильный ЦОД — недешевый выбор, несмотря на снижение затрат на строительство, аренду и т.д. В конечном счете приемлемость цены определяет сам заказчик. По мнению Геннадия Дмитриева, менеджера проектов «Тринити Солюшнс», ввиду высокой стоимости такого решения отечественные компании не проявляют к нему большого интереса. Исключением могут стать крупные предприятия и организации из телекоммуникационной, финансовой, нефтегазовой отраслей. Однако в целом российский рынок еще очень далек от спроса на подобные продукты.

По мнению Алексея Трояновского, директора департамента инженерных систем «Черус», мобильный ЦОД не является модульным решением. Это готовое изделие, масштабируемое только путем покупки дополнительного контейнера. Его применение не позволяет снизить требования к опыту и квалификации специалистов. В частности, для снабжения холодной водой необходим монтаж чиллеров, а это намного сложнее, чем установить кондиционер. Кроме того, энергии такой ЦОД потребляет не меньше, чем обычный, хотя использовать различные «продвинутые» системы (например, Free Cooling) в нем гораздо проще. Надежность мобильного решения тоже несколько ниже. ЦОД, расположенный в здании, обладает более высокими показателями, но перед контейнерным вариантом и не ставится задача превзойти по надежности стандартный ЦОД.

В то же время типовые контейнерные решения доставляют заказчику значительно меньше проблем на стадии проектирования. «Коробочный продукт» с системой управления, мониторинга и всей необходимой комплектацией эксплуатировать проще. В целом, как утверждает Алексей Трояновский, вариант, который предлагает «Черус», позволяет снизить стоимость ЦОД по сравнению с классическим. В «Антрел-Интегро» полагают, что такой принцип дает возможность упростить сам процесс создания ЦОД, а следовательно, удешевить его и сделать доступным широкому кругу заказчиков. Однако до готовых «кубиков» все равно очень далеко, и чем активнее маркетологи говорят об «упрощении» того или иного компонента, тем более высокая квалификация необходима для проектирования, внедрения и обслуживания этого решения. Хотя поставить контейнер со стойками легче и быстрее, чем отремонтировать и подготовить здание, но это ненамного упрощает задачу.

Как считают в «СИТРОНИКС Информационные Технологии», такой вариант хорош не тем, что позволяет разместить оборудование высокой плотности, а своей доступностью и легкостью развертывания в любое время. Именно за счет этого и будет расти популярность подобных решений. Фактически, ЦОД можно иметь «про запас», без особых затрат на хранение. Дорогостоящее высокоплотное оборудование лучше устанавливать в стационарных, хорошо охраняемых ЦОД, а контейнер использовать для расширения или резервирования. Отличие россий-ских разработок контейнерных ЦОД состоит в меньшей плотности оборудования и, соответственно, цене.

В «Черус» одним из типичных сценариев применения мобильного ЦОД называют его установку на склад-ской площадке офиса, находящегося в черте города. Если компания не может разместить ЦОД непосред-ственно в офисе, мобильный контейнерный вариант — весьма удобное решение. Подмосковные складские площадки представляют собой охраняемые территории с ангарами и оборудованы электроснабжением. Контейнерный ЦОД не требует строительства здания и отапливается за счет работающего в нем оборудования. Нужны лишь хорошие линии связи и достаточные энергетические мощности. Контейнерный вариант удобен, когда есть неосвоенные площади (например, крыша здания, часть стоянки, участок в производственном корпусе). Кроме того, если компания собирается переезжать в новое помещение, то переместить контейнерный ЦОД гораздо проще и быстрее.

Применяя мобильные контейнерные ЦОД, можно значительно снизить требования к размещению центра данных. В то же время, по мнению Александра Любушкина, руководителя отдела систем электроснабжения компании «Поликом Про», сложности интеграции и об-служивания для стационарных и контейнерных ЦОД одинаковы, и в этом отношении никакого выигрыша нет. Однако специалисты «Антрел-Интегро» считают, что контейнер нельзя просто поставить на открытом месте: если температура может достигать значений -400С, то, например, решение Sun Blackbox, рассчитанное на -200С, работать не будет, а кроме того, понадобится второй контейнер для системы инженерного обеспечения, подвода воды и т.д. По словам Николая Паршина, директора центра эксплуатации ЦОД IBS DataFort, в настоящее время ЦОД предъявляют значительные требования не только к электрической мощности, но и к каналам передачи данных. Как правило, волоконно-оптические линии большой емкости подводятся к стационарным зданиям, что связано с высокой стоимостью организации каналов связи.

Между тем, как считают в «СИТРОНИКС Информационные Технологии», круг потенциально заинтересованных в МЦОД компаний достаточно широк: телекоммуникационные компании (в связи со стремительной региональной экспансией), промышленность, которой необходимо развернуть инфраструктуру ИТ с первого дня строительства завода, и, конечно, сегмент SMB, поскольку у них нет ни желания, ни ресурсов, ни опыта для самостоятельнго поиска помещений и создания стационарного ЦОД. Многие пока относятся настороженно к мобильному ЦОД, однако уже развернувшие их заказчики, несомненно, оценят такое решение. Контейнерные ЦОД снимают множество проблем, позволяя не тратить ресурсы на обустройство помещения, проектирование и интеграцию. Заказчик получает готовый продукт, соответствующий его по-требностям. Причем покупать его не обязательно: в ближайшее время на рынке появится полный комплекс услуг: сдача в аренду, обслуживание и модернизация. «СИТРОНИКС Информационные Технологии» сейчас работает над целым рядом таких проектов.

«ЦОД в контейнере» должны пройти проверку временем, чтобы подтвердить свои преимущества. Они не отличаются простотой и дешевизной, и, считает Валерий Тимошин, менеджер отдела маркетинга решений «Энвижн Груп», этим новым концепциям еще предстоит завоевывать российский рынок. Основное преимущество контейнерных систем — скорость и простота развертывания, но любое универсальное решение хуже специального. Очевидно, что и на российском рынке будут задачи, где развертывание контейнерных систем окажется выгодным. Сейчас большинство заказчиков ждет первых откликов по опыту эксплуатации таких решений. В России известны пока лишь единичные внедрения.

IntelinePro по поручению одной из крупных российских компаний, имеющей территориально-распределенную структуру, провела маркетинговое исследование рынка мобильных/модульных ЦОД. Поводом стала необходимость модернизации сущест-вующих серверных помещений и выбор наиболее удобных путей, причем рассматривалась и возможность приобретения и установки модульного (мобильного) ЦОД от одного из производителей. В рамках обследования были рассмотрены предложения по МЦОД нескольких зарубежных компаний — Sun Modular Datacenter S20, Rackable Systems Ice Cube, APC InfraStruXure Express, Emerson Network Power Shelter, LAMPERTZ Outdoor Container (LOC) — и российской «Черус».

Анализ собранного материала показал, что исполнение заказа на базовый вариант МЦОД, предусматривающий незначительные доработки, занимает три-шесть месяцев, а создание нового варианта МЦОД —не менее 10-12 месяцев. Первый подход предпочтительнее, если надо установить небольшое количество МЦОД, но во втором случае заказчик получает решение, полностью отвечающее его задачам. Как бы то ни было, необходимо составить детальные требования к перечню оборудования ИТ, энерговооруженности, габаритам и прочим техническим характеристикам мобильного ЦОД и провести дополнительный анализ предлагаемых поставщиками технических решений по развертыванию МЦОД. Вместе с заказчиком специалисты IntelinePro пришли к выводу, что в настоящий момент вариант создания регионального модульного (контейнерного) ЦОД не даст существенного преимущества перед стационарным, однако мобильный/мини ЦОД может быть эффективным в удаленных местах и регионах. В любом случае, как считает Виктор Авдей, исполнительный директор IntelinePro, нужны дополнительные капитальные затраты на научные и проектно-изыскательские работы для достижения единых подходов к решению проблемы и подготовки корпоративного стандарта по созданию МЦОД.

НА СУШЕ И НА МОРЕ

Эксперты считают крайне важным выбор месторасположения ЦОД, причем за рубежом основные приоритеты — надежное электроснабжение и стоимость площадей, а не близость к мегаполисам. Нередко ЦОД выносятся в другие страны. В частности, политика Исландии, Финляндии и некоторых стран Восточной Европы направлена на содействие в реализации таких проектов. Строительство ЦОД в странах с холодным климатом дает возможность сократить энергопотребление до 50% за счет применения систем c контуром естественного охлаждения (Free Cooling).

Желание проектировщиков сэкономить на охлаждении рождает достаточно экзотические проекты. В ноябре прошлого года Sun и консорциум из 11 японских компаний развернули проект строительства подземного центра данных в старой угольной шахте в Японии. Для этого под землю опустят несколько десятков контейнеров Sun Blackbox. Как ожидается, такой ЦОД будет потреблять на 50% меньше электроэнергии, чем его наземный аналог. Для охлаждения предполагается использовать подземные воды, а температура в шахте держится постоянной на уровне 150С. Проектировщики ожидают экономии в 9 млн долларов ежегодно. В общей сложности ЦОД будет содержать до 30 тыс. процессорных ядер. Среди его дополнительных преимуществ —надежная защита от несанкционированного доступа. Контейнеры Blackbox выдерживают землетрясение до 6,7 баллов.

Еще один проект реализует молодая американская компания International Data Security (IDS), планирующая вскоре ввести в строй первый из 50 плавучих ЦОД. Цель — экономия электроэнергии. Эти центры данных оборудуются на списанных судах-контейнеровозах, где будут установлены укомплектованные оборудованием ИТ и инженерными системами контейнеры Sun Blackbox или Rackable ICE Cube. Пришвартованные в портах суда подключат к коммуникациям и сети электропитания. Кроме того, ЦОД могут питаться от корабельных ДГУ, что позволит выдерживать длительные перебои в подаче электроэнергии (до месяца). Охлаждение обеспечит морская вода. Ожидается, что в результате удастся сократить энергопотребление на 30-40%. Избыточное тепло пойдет на обогрев помещений судна. Первоначально такие ЦОД планируется применять в качестве резервных площадок. Их создание занимает всего несколько месяцев, в то время как наземные ЦОД строятся год и более. IDS планирует расположить вдоль побережья США 22 контейнерных ЦОД и еще 28 в других странах.

В России немало мест, где можно было бы выгодно использовать холодный климат или дешевые источники энергии, однако большая территория, отсутствие зрелого рынка, неготовность потенциальных заказчиков отдать свое оборудование или приложения на аутсорсинг и платить за сервисы высокого уровня, а также нехватка квалифицированного персонала препятствуют распространению такого рода решений, считает Андрей Павлов, генеральный директор компании «Датадом». Как известно, большая часть российского бизнеса и финансовых потоков сосредоточена в Москве. Поэтому идея создавать ЦОД в регионах останется утопической до тех пор, пока экономическая ситуация по стране в целом не начнет выравниваться, не будут созданы необходимая инфраструктура и подходящие условия деятельности и не появится квалифицированный персонал. Однако Геннадий Дмитриев полагает, что ЦОД «морского базирования» или иные подобные решения могли бы найти спрос в России, например, у нефтяников или энергетиков.

Рисунок 6. Контейнерные ЦОД можно устанавливать в складских помещениях, на крыше зданий, на нефтяных платформах и т.д.Проектировщики находят оригинальные способы решения проблемы дефицита энергомощностей. Недавно девелоперская компания Roland Patenaude объявила о планах строительства в штате Массачусетс ЦОД площадью в 120 кв. футов с дополнительным питанием от двух ветровых электростанций. Каждая турбина имеет диаметр 10 м. Согласно расчетам, ветровые турбины General Electric мощностью 2,5 МВт каждая сократят расходы на электроэнергию примерно на 20%. Площади ЦОД будут сдаваться в аренду. Ожидается, что объект введут в строй через два года, и позднее число турбин увеличится до восьми. От ветрогенераторных установок питаются и контейнерные ЦОД Microsoft в штате Колорадо. Еще один подобный проект реализован в научном центре в Кливленде. Пару лет назад там установили турбину диаметром 5 м и мощностью 225 КВт. Один из стимулов к реализации таких проектов (см. Рисунок 6) — гранты штатов, за счет которых оплачивается 40% стоимости покупки и строительства ветровых электростанций.

Инженеры Sun Microsystems разработали систему электропитания для Sun Blackbox, работающую от солнечных батарей площадью около 65 м2. Она вырабатывает 10 кВт мощности. Конечно, этого не хватит для всего контейнера, где типовая стойка потребляет 12,5 кВт (а при установке в нее четырех серверов Sun Blade 6000 потребуется 25 кВт), но при наличии свободных площадей можно установить дополнительные солнечные батареи. Специалисты сомневаются в рациональности такого подхода, поскольку для питания оборудования на 1 м2 ЦОД нужны солнечные батареи на порядок большей площади, но он иллюстрирует потенциальные возможности применения возобновляемых источников энергии в небольших модульных ЦОД.

Как отмечают в компании «СИТРОНИКС Информационные Технологии», в условиях сложившегося дефицита электроэнергии владельцы ЦОД уже давно ищут, а некоторые и используют альтернативные источники, например, газ. В любом случае необходима государственная поддержка: оператору, который захочет построить ЦОД на несколько МВт, крайне сложно самостоятельно преодолеть все административные барьеры. Как подтверждает Андрей Павлов, проекты, где оборудование получает энергию от газовых мини-электростанций, в России уже реализуются. Подключение к электромощностям РАО ЕЭС обходится дороже, чем строительство собственной газоэлектростанции, а вырабатываемая таким образом электроэнергия почти втрое дешевле, однако порой получить разрешение на использование таких объемов газа сложнее, чем на электроэнергию.

В целом целесообразны любые модернизации ЦОД, если они позволяют сэкономить деньги, будь то термальные, ветровые электростанции или работающие на солнечных батареях, но для этого, как минимум, необходимо присутствие на российском рынке компаний, специализирующихся на реализации тех или иных технологий получения электроэнергии. Однако Валерий Тимошин напоминает: пока стоимость электроэнергии в России относительно невысока, рентабельность дорогих автономных электростанций ставится под сомнение.

Анатолий Окряк считает, что эффективность применения дополнительных источников электроэнергии (ветровые электростанции, мини-электростанции, солнечные батареи, дизель-генераторы) должна основываться на предварительных анализах и расчетах затрат и полученной прибыли.

ЗАКЛЮЧЕНИЕ

Общего подхода к строительству ЦОД нет, и каждый проект уникален — таков подход «СИТРОНИКС Информационные Технологии». Од-нако компаниям с территориально-распределенной инфраструктурой ИТ и схожими требованиями со стороны филиалов следует присмотреться к модульному варианту: спроектировать типовой ЦОД и тиражировать данное решение по регионам. Телекоммуникационные операторы, испытывающие недостаток места в существующих ЦОД, могут с выгодой использовать ЦОД контейнерного типа. Наличие такого решения поможет защитить компанию от внезапных изменений в требованиях бизнеса. Крупным промышленным компаниям, строящим новые предприятия в регионах, может понадобиться мобильный ЦОД. Николай Паршин полагает, что в ситуации, когда резервы уже исчерпаны, а расширение ЦОД невозможно из-за неадекватности инженерной инфраструктуры, необходимы новые подходы к проектированию и развертыванию центра данных, а также к планированию масштабирования инфраструктуры.

Модульный принцип построения сложных решений помогает обеспечить хорошую горизонтальную масштабируемость решений и высокий уровень надежности за счет резервирования «модулей» — так считает Владимир Ливинский, руководитель направления систем обработки и хранения данных компании «АйТи». Архитектура модульного решения в части управления и подключения модулей должна предусматривать резервирование и отсутствие точки общесистемного отказа. Между тем, по мнению Алексея Трояновского, в ближайшие годы в России будет преобладать «стандартный» подход к проектированию и строительству ЦОД, и в этом направлении еще многое предстоит сделать. Новые интересные проекты, подобные мобильному ЦОД, существенно на рынок не повлияют; даже компании, предлагающие оригинальные подходы, основные доходы будут получать от реализации классических ЦОД.

Модульные или контейнерные ЦОД не помогут упростить задачу поиска помещения с возможностью подключения 2-3 кВт/м2, подчеркивает Андрей Павлов. У каждой технологии есть своя область применения и свои достоинства. Интегрированные системы незаменимы, когда нужно сократить сроки строительных и пусконаладочных работ (хотя вовсе не обязательно, что проектирование и поставка займут меньше времени), требуется максимальная масштабируемость в пределах помещения и ценовой фактор не имеет самодовлеющего значения. Контейнерные ЦОД хороши своей мобильностью и идеальны для установки оборудования в «чистом поле» или для расширения бизнеса, например, при открытии филиала оператора связи, но о масштабируемости внутри контейнера говорить не приходится, а заплатить за подобные системы нужно будет на 40-70% больше, чем за строительство аналогичного по функционалу традиционного ЦОД при равных исходных условиях. Иначе говоря, при более коротких сроках развертывания (но не поставки), подобные решения обойдутся значительно дороже, и определить их применимость можно, лишь зная специфику конкретного бизнеса. Маловероятно также, что ЦОД с «нетрадиционной» архитектурой позволят снизить ТСО.

По мнению специалистов «Антрел-Интегро», в дальнейшем будет эволюционировать не столько сама идея ЦОД, его конструкторское, инженерное, топологическое и инфраструктурное наполнение, сколько методологии использования ЦОД как пула ресурсов. «Современный ЦОД, — подчерк-нул Валерий Тимошин, — лишь на первый взгляд кажется консервативным сегментом отрасли ИТ. Причина «консерватизма» в том, что заказчики очень серьезно подходят к выбору производителя, поставщика, интегратора и внедряют только проверенные и хорошо зарекомендовавшие себя технологии». Несмотря на это, новейшим и эффективным решениям всегда найдется место в ЦОД. Прежде всего, решениям для оптимального использования ресурсов, обеспечения непрерывности бизнес-процессов и различным системам управления.

Сергей Орлов — обозреватель «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.


Автоматизированный ЦОД

омпаниям, для которых ИТ не является профильным бизнесом, системные интеграторы предлагают решения, призванные минимизировать количество обслуживающего персонала и объем выполняемых в ЦОД работ. Весь мониторинг осуществляется удаленно, а для поддержки достаточно небольшого числа сотрудников.

В «СИТРОНИКС Информационные Технологии» разработали концепцию, получившую название «необитаемый ЦОД». Речь идет о минимизации штата персонала, ответственного за поддержание жизнедеятельности ЦОД, для чего все системы, включая оборудование ИТ и инженерное обеспечение, должны отличаться высокой надежностью, автономностью, защищенностью и иметь мощную систему мониторинга и управления. Для достижения этой цели создан комплекс систем автоматики, управления и мониторинга, разработанный «СИТРОНИКС Информационные Технологии» совместно с европейскими партнерами. При наличии подобных систем обслуживание ЦОД можно отдать на аутсорсинг и доверить мониторинг и управление сторонним специалистам. Как отмечается, данный подход реализуется при любой схеме построения ЦОД. Заказчик всегда видит состояние ЦОД, причем находиться в нем не обязательно, поскольку даже регламентные работы требуют минимального присут-ствия.

Собственные подходы предлагают и другие компании. В решении «Черус» параметры работы инженерных и информационных систем контролируются автоматизированной системой диспетчерского управления, а также системой мониторинга и управления серверами и устройствами хранения данных, поэтому персонал присутствует лишь во время профилактического обслуживания. Контролировать работу всех систем и оборудования можно в удаленном режиме. Профилактическое обслуживание оборудования, размещенного в МЦОД, осуществляется на основании сервисных договоров и/или силами заказчика.

По словам Алексея Трояновского, системы мониторинга и управления заметно отличаются по функционалу и потенциалу. Они могут поддерживать как функции контроля (для своевременного реагирования на неполадки с выездом на объект), так и управления (например, для включения/отключения кондиционера в удаленном режиме). При этом для повышения уровня надежности предусматривается также целесообразное резервирование элементов ЦОД, работа которых контролируется удаленно посредством системы мониторинга. В результате оперативная бригада не находится на объекте постоянно, а в экстренных случаях успевает приехать вовремя.

По мнению Владимира Ливинского, еще на этапе создания ЦОД следует предусмотреть резервирование подсистем ЦОД и устранение точек общесистемного отказа. Это обеспечит высокую доступность прикладных сервисов и снизит зависимость пользователей от сбоев в работе ИТ. Организация удаленного мониторинга и управления силами сервисного партнера или интегратора позволит реализовать полноценное управление системными и прикладными сервисами ЦОД на программном уровне. Для устранения инцидентов, связанных с аппаратными отказами ЦОД, рекомендуется приобрести расширенную сервисную поддержку на весь установленный комплекс. Если удаленный мониторинг выявит сбои, то информация будет передана в службу сервиса партнера или интегратора. Часть регламентных работ в ЦОД может выполнять сервисный инженер внешней компании или администратор владельца ЦОД при удаленном сопровождении центра технической поддержки сервисного партнера.

Как отмечают в компании «Антрел-Интегро», современные средства мониторинга, например, EMC Smarts, помогают не только выявить изменение состояния, но и определить его первопричину. Более того, с их помощью можно спрогнозировать последствия для бизнес-процессов, что существенно облегчает работу операторов. В России компании нередко строят инфраструктуру без четкого генерального плана ее дальнейшего развития. Подчас нет точных сведений о количестве имеющихся ресурсов и эффективности их использования, поэтому системы мониторинга, контроля изменений и управления будут все более востребованными. Наряду с минимизацией вложений в инфраструктуру, сокращением площадей и энергопотребления вопросы мониторинга и управления оказываются наиболее актуальными при проектировании и строительстве ЦОД в России.

Как полагает Валерий Тимошин, развитые системы мониторинга и управления необходимы для снижения эксплуатационных расходов и экономически оправданы. Например, средства обнаружения причин сбоев и сбора ключевой информации системы управления информационной инфраструктурой (Operation Support Systems, OSS) позволяют организовать проактивное управление и определить степень воздействия неполадок на бизнес, благодаря чему достигаются лучшие показатели надежности инфраструктуры и обеспечивается непрерывность основных бизнес-процессов.

В большой комплекс управления интегрируются автоматизированная система диспетчеризации и управления (АСДУ) для инженерных систем, системы управления информационной инфраструктурой (OSS), средства автоматизации развертывания вычислительных сред и др. На уровне управления элементами осуществляется контроль отдельных частей инфраструктуры: серверов, сетевых устройств, приложений и т.п. На сетевом или системном уровне реализуется контроль группы элементов. Следующий уровень — управление сервисами, где контролируются конкретные услуги или сервисы, предоставляемые пользователям информационных систем. А на самом верхнем обеспечивается представление информационной инфраструктуры с точки зрения бизнеса компании. Сквозная система управления — большой комплекс интегрированных систем, позволяющий интеллектуально воздействовать на всю инфраструктуру, связывая бизнес и ИТ.

В «Энвижн Груп» создание таких систем управления считают одной из основных технологических тенденций в области ЦОД наряду с борьбой за более эффективное использование ресурсов и построением отказо-устойчивых территориально-распределенных решений. Усложнение вычислительных задач и необходимость снижения стоимости обслуживания информационных систем подталкивают к использованию самых передовых систем управления, которые будут охватывать все подсистемы и процессы эксплуатации ЦОД: управление инфраструктурой, в том числе инженерные системы, поиск и устранение неисправностей, управление изменениями, автоматизацию рутинных операций при эксплуатации, а также системы учета, статистики и анализа потребления всех видов ресурсов.