До кризиса в России количество вновь построенных ЦОД увеличивалось лавинообразно вследствие их дефицита. По информации J’son & Partners, в 2008 г. отечественный рынок коммерческих ЦОД вырос на 55%. Однако на фоне экономического спада инвестиции в создание ЦОД во всем мире сокращаются.
По словам Андрея Синяченко, руководителя центра компетенции ЦОД компании «АйТи», в условиях массового спроса на услуги ЦОД инвесторы, выбирая решение, ориентировались на уже реализованные проекты, что при разумных капиталовложениях давало быструю окупаемость и хорошую прибыль, однако теперь основной акцент, видимо, будет сделан не только на минимизации капитальных вложений, но и на поиске способов снижения себестоимости предоставляемых центром данных услуг и повышения его конкурентоспособности. Как отмечает Сергей Шуршалин, генеральный директор «Центра Хранения Данных» (дочерней компании ISG), в новых условиях пересматриваются бюджеты и количество устанавливаемого оборудования, а также принимается во внимание энергопотребление.
При реализации проектов ЦОД обычно исходят из стандартов, где регламентируются требования к помещениям, инженерной инфраструктуре и безопасности, — американского EIA/TIA-942 и европейского EN 50173-5. В соответствии с положениями этих документов строятся инженерные системы ЦОД, включающие в себя системы бесперебойного и гарантированного электропитания, кондиционирования и охлаждения оборудования, видеонаблюдения и контроля доступа, пожарной безопасности, управления инженерными системами и системами ИТ (см. Рисунок 1).
Как считают аналитики META Group, в течение следующих трех–пяти лет доминирующим методом увеличения эффективности и производительности программно-аппаратных платформ будет консолидация информационных ресурсов. Применение инженерных систем и оборудования ИТ с модульной архитектурой позволяет постепенно наращивать производительность и мощность ЦОД при сокращении первоначальных инвес-тиций.
В новых условиях наиболее актуально оборудование, позволяющее оптимизировать затраты и развертывать мощности ЦОД поэтапно, по мере необходимости, считает Дмитрий Петров, инженер отдела инфраструктурных проектов компании «Комплит». В первую очередь речь идет об оборудовании с модульным наращиванием, например, ИБП APC Symmetra, и решении охлаждения InRow. С помощью таких систем мощности ЦОД можно увеличить многократно без существенных дополнительных затрат.
По мнению Алексея Карпинского, директора департамента инженерных систем компании «Би-Эй-Си» группы «Астерос», для обеспечения большого потенциала наращивания мощности ЦОД его архитектура изначально должна создаваться по модульному принципу. Однако в нашей стране этот принцип соблюдается лишь в трех случаях из десяти. Как правило, большие ЦОД предпочитают строить «на вырост». Зачастую это окзывается оправдано, поскольку при дальнейшем расширении ЦОД первоначальная бережливость может привести к необходимости значительных дополнительных вложений, в несколько раз превышающих сэкономленные средства.
TIER III И ВЫШЕ
ЦОД призван обеспечить надежное размещение оборудования со средствами отказоустойчивости и стабильную информационную связь всех компонентов. В ходе проектирования разрабатываются алгоритмы взаимодействия инженерных систем. «Надежный ЦОД» должен соответствовать специальным требованиям к физической и информационной безопасности, службам технической поддержки, гарантированным параметрам окружающей среды; он нуждается в высококачественном электроснабжении и скоростных каналах передачи данных.
Алексей Карпинский не рекомендует экономить на проектировании ЦОД — от этого зависит дальнейшее развитие всего комплекса. Например, в эксплуатацию можно ввести одну треть максимально возможной мощности, но проект должен охватывать весь ЦОД, а площадка — соответствовать полной нагрузке. В противном случае наращивание мощностей превратится в дорогую и технически неэффективную процедуру. Существенно снизить затраты можно, если на первоначальном этапе строительства предусмотреть резерв по энергетике. Экономить не рекомендуется и на создании системы охлаждения — основном элементе системы жизнеобеспечения ЦОД. Как подчеркивает Денис Калинин, генеральный директор IBS DataFort, «строительство ЦОД — «многофакторное уравнение», в котором попытка «оптимизировать» одну из переменных приводит к ухудшению других, а «облегчение» инженерных систем негативно отражается на уровне надежности».
По мнению Сергея Шуршалина, при строительстве ЦОД необходимо закладывать дублированную основу с запасом по мощности и пропускной способности: систему труб холодоснабжения, рассчитанных на двойную пропускную способность, и обходные маршруты/байпасы на случай аварии и «горячего подключения» нового оборудования, а также главный распределительный электрощит (ГРЩ) с двойным/тройным резервированием и периферийной инфраструктурой, допускающей «горячее» подключение (без остановки сервисов). Остальное оборудование докупается и подключается по ходу реализации проекта и расширения вычислительных мощностей ЦОД.
Как отметил Андрей Касьяненко, заместитель генерального директора компании «Караван», стойки, размещаемые в ЦОД, обычно различаются своими требованиями к энергопотреблению и уровню надежности, причем со временем эти требования могут меняться и по-разному комбинироваться. При проектировании ЦОД Telehouse Caravan на севере Москвы перед разработчиками была поставлена задача реализовать эффективный с технологической и экономической точки зрения проект, удовлетворяющий максимально широкому спектру требований к показателям энерговооруженности (2-30 кВт на стойку)
и надежности ЦОД (Tier II-IV).
В качестве базовой была выбрана категория Tier III с возможностью повышения параметров надежности до Tier IV без прерывания сервисов и увеличения начальных капитальных вложений. В этом ЦОД применяются внутрирядные кондиционеры и изоляция «горячего коридора». О надежности системы кондиционирования соответствуют уровню Tier III, причем система может быть модернизирована до Tier IV без остановки сервисов: при необходимости они переводятся на резервирование по схеме 2N по всем компонентам за счет добавления внутрирядных кондиционеров и изменения схемы подключения к водяной магистрали. В результате такого подхода общая стоимость проекта оказалась меньше, чем если бы ЦОД изначально строился с обеспечением максимальных показателей надежности и энерговооруженности.
В начале строительства национальной сети ЦОД, в настоящее время включающей в себя шесть центров данных общей площадью 2 тыс. м2, компания «Синтерра» разработала проект «типового ЦОД» площадью 200 м2 из расчета размещения стоек мощностью по 5-6 кВт с учетом требований Tier III и предусмотрела возможность его масштабирования по мере заполняемости оборудованием путем «достраивания» нового аналогичного модуля. По словам Павла Кучерука, коммерческого директора национального оператора связи «Синтерра», такой подход позволяет поэтапно финансировать масштабные проекты, наращивая мощность ЦОД, исходя из конкретной ситуации в регионе и получения необходимых дополнительных электрических мощностей нужной категории в определенные сроки.
В регионах наиболее гибкой, с финансовой точки зрения, является именно такая, классическая схема построения ЦОД и оснащения его необходимой инженерной инфраструктурой. Поэтапное наращивание мощности ЦОД при помощи типовых модулей позволяет «Синтерре» гибко реагировать на потребности рынка.
Мировые тенденции в строительстве ЦОД — повышенные требования к отказоустойчивости и бесперебойности работы (уровень не ниже Tier III), рост «энергетической плотности», реализация масштабных проектов. Специалисты IBS DataFort считают, что и в России наиболее востребованы ЦОД уровня Tier III по классификации стандарта ANSI/EIA/TIA-942 (Telecommunications Infrastructure Standard for Data Centers), поскольку их отличает лучший баланс цены и надежности (см. Рисунок 2). Срок развертывания составляет 15-20 месяцев. По оценкам компании, затраты на ЦОД уровней Tier I-VI составляют в среднем 4844, 6440, 9700 и 11800 долларов/м2 соответственно.
По мнению Дмитрия Чагарова, начальника отдела инженерных систем компании «Утилекс АйТи», в связи с кризисом темпы и объемы строительства ЦОД высоких уровней надежности снизятся. Вполне возможно, что некоторые компании пересмотрят свои инвестиционные планы и предпочтут созданию собственного ЦОД услуги аутсорсинга либо отложат проект, однако ситуация вряд ли подтолкнет их к строительству ЦОД более низкого уровня.
Что касается заявленного уровня надежности Tier III и выше, то владелец такого ЦОД зачастую предпочитает умалчивать о его неполном соответствии требованиям стандарта, поясняют в «АйТи». Согласно TIA-942, ЦОД уровня Tier III должен не только обеспечивать резервирование всех инженерных подсистем по схеме N+1, но и иметь, например, дублирующие подъездные пути, охраняемые контрольно-пропускные пункты, а здание — иметь защиту от внешнего электромагнитного излучения. Кроме того, помещения, предназначенные для ввода каналов связи (провайдеров должно быть не менее двух), следует выбирать так, чтобы они располагались не ближе, чем в 20 м один от другого и имели независимые системы электропитания и кондиционирования. Эти требования выполнить сложно, так как большинство действующих ЦОД размещены в приспособленных для этой цели, а не специально построенных зданиях. Подобными «мелочами» обычно пренебрегают еще на этапе проектирования. «Появление в России коммерческих ЦОД с уровнем надежности Tier III и выше — миф, — уверен Алексей Карпинский. — Как правило, из-за экономии уровень надежности отечественных ЦОД оказывается не выше Tier II».
По мнению Андрея Синяченко, выход на рынок новых игроков заставит владельцев коммерческих ЦОД активнее внедрять технологии оптимизации центров данных. В первую очередь это коснется тех ЦОД, где инфраструктура не обеспечивает требуемого уровня надежности для работы оборудования арендаторов. «Первопроходцы» строительства ЦОД в России вынуждены были учиться на своих ошибках, и пока лишь немногие ЦОД «дотягивают» до уровня Tier III. Однако новые игроки ищут конкурентные преимущества и могут их получить, создавая решения, реально соответствующие стандартизированным уровням надежности.
Как подтверждает Андрей Касьяненко, в условиях возрастающих требований к параметрам надежности, доступности и бесперебойности работы ЦОД сервисы высоконадежных площадок пользуются наибольшим спросом, однако подавляющее большинство коммерческих ЦОД в России имеют категорию надежности Tier II и ниже, причем строительство таких площадок продолжается. Центров данных категории Tier III пока немного, а уровню Tier IV, по оценкам компании «Караван», не соответствует в полной мере ни один из коммерческих ЦОД. Это связано с тем, что строительство ЦОД Tier III и IV требует значительных инвестиций.
Что касается корпоративных ЦОД, то обычно они создаются в сжатые сроки, к тому же нередко по ходу работ приходится преодолевать многочисленные препятствия и исправлять ошибки. ЦОД строится в соответствии с имеющимися возможностями, поэтому подходящее помещение находится не всегда, а необходимые этапы проектирования и строительства не соблюдаются, рассказывают в IBS DataFort. «По науке» эти этапы должны включать предпроектную оценку, выбор и обследование площадки (от чего во многом зависит судьба бизнес-плана), создание эскизного проекта, бюджетирование, подготовку технического задания, разработку проекта, выбор поставщиков оборудования и подрядчиков, наконец, строительство и запуск в эксплуатацию. Каждый из перечисленных этапов (за исключением первого) занимает один-три месяца.
Частью работ по созданию ЦОД является комплексное проектирование инфраструктуры инженерных систем, обеспечивающих высокую надежность его функционирования. Расходы на нее могут достигать 50-60% стоимости всего ЦОД.
Как правило, ЦОД размещают на готовых приспособленных площадках, например, в отдельном здании на территории бывшего завода, где имеются свободные энергетические мощности. Строительство с «нулевого цикла» — дорогой проект, требующий длительного согласования документов по процедуре землеотвода. Для инвестора, рассчитывающего окупить проект за три-пять лет, такие задержки могут быть критичными. По словам Павла Кучерука, если создание инженерной инфраструктуры ЦОД (благодаря проверенным типовым решениям) можно прогнозировать достаточно точно, то получение необходимой электрической мощности в установленные сроки остается главной неопределенной переменной. В крупных городах и в центральных регионах России реализация подобной заявки установленным порядком составляет примерно три года. Там, где услуги ЦОД менее востребованы, этот вопрос решается быстрее, но остается существенной финансовой составляющей проекта. Зачастую стоимость получения энергомощности значительно превышает затраты на создание инженерной инфраструктуры ЦОД.
ЭНЕРГЕТИЧЕСКАЯ ПЛОТНОСТЬ
Увеличение потребляемой мощности на единицу площади ЦОД — характерная тенденция для развития современных ЦОД, однако, как рассказывает Андрей Синяченко, рост «энергетической плотности» типичен, скорее, для корпоративных проектов, большинство из которых сейчас заморожены. Коммерческим ЦОД пока нет необходимости увеличивать плотность размещения серверов, ведь
в себестоимости их услуг доля постоянных затрат на аренду площадей составляет не более 10%, поэтому возможности экономии операционных затрат невелики, а создание соответствующей системы охлаждения потребует применения более сложных и дорогостоящих технологичес-ких решений, к тому же более затратных в обслуживании. Сергей Шуршалин тоже предлагает выбирать традиционные стойки в качестве базового решения: более «экзотические» системы всегда можно установить позднее, используя резервы инфраструктуры ЦОД.
Системы, обеспечивающие высокую плотность установки оборудования и отвод большого количества тепла, значительно сложнее и дороже в реализации, требуют тщательного проектирования и поэтому пока имеют узкоспециализированное применение. Пример такого проекта, выполненного компанией «АйТи», — система жидкостного охлаждения вычислительного кластера в Уфимском государственном авиационном техническом университете (УГАТУ). В ней используется система прецизионного кондиционирования на базе воздушно-водяных теплообменников Rittal LCP и чиллеров Uniflair (110 кВт, резервирование N+1). Система отводит тепло от стоек мощностью 15-17 кВт, в которых установлено по 42 модульных сервера IBM BladeCenter. Выбор полностью определялся поставленной задачей: иная система не обеспечила бы требуемой плотности размещения оборудования. Для коммерческих ЦОД необходимость таких решений пока не очевидна, хотя с увеличением доли модульных серверов ситуация может измениться. Дешевле строить традиционную систему с низкой плотностью, но, как отмечает Алексей Карпинский, общая тенденция такова, что ЦОД с высокой плотностью оборудования становятся все более востребованными.
В IBS DataFort стойки с оборудованием высокой плотности размещают отдельно от других стоек, оставляя достаточное свободное пространство вокруг них — в этом случае занимаемая стойкой площадь увеличивается в пять-шесть раз. В качестве альтернативы возможно создание микрогермозон, если для оборудования требуются особые условия функционирования. Эксплуатировать такие системы гораздо сложнее и дороже, чем традиционные стойки с обычными серверами.
По словам Андрея Касьяненко, стоимость решений для высокоплотного оборудования, безусловно, очень высока, однако основная проблема заключается в том, что в ЦОД размещается оборудование с неоднородной нагрузкой и к тому же динамически изменяемой. Если при проектировании ориентироваться на оборудование с высокой энергетической плотностью, то изначально закладывается большой запас по энерговооруженности всего ЦОД, из-за чего установка оборудования с низкой энергетической плотностью оказывается неоправданно дорогой.
10 кВт на стойку — максимальная мощность, когда тепло можно вывести с помощью воздушного охлаждения путем правильного подвода холодного воздуха и забора горячего. Как подчеркивает Денис Калинин, при больших мощностях нужны иные решения, например, системы с жидкостным охлаждением, а Александр Переведенцев, менеджер по продуктам компании «Техносерв», в случае установки оборудования высокой плотности (1о кВт на стойку и более) рекомендует применять внутрирядные кондиционеры с жидкостным охлаждением. Он утверждает, что практика реализованных «Техносерв» проектов и анализ рынка позволяют сделать вывод, что использование высокоплотного оборудования становится все более популярным, особенно в крупных городах. Несмотря на сложную рыночную ситуацию, за последний год компания завершила более десятка проектов, где в ЦОД были установлены кондиционеры с жидкостным охлаждением.
С точки зрения последующей масштабируемости система внутрирядных кондиционеров — наиболее экономически эффективное решение, к тому же не требующее масштабных изменений и больших трудозатрат, считают в «Техносерв». При расширении системы достаточно гибкий трубопровод от вновь установленного кондиционера подсоединить к водяному коллектору (гребенке) трубопровода, однако нужно заранее рассчитать пропускные параметры трубопровода и холодильную мощность чиллера, чтобы избежать последующих проблем и непредвиденных затрат.
Реальный спрос на системы с жидкостным охлаждением существует в корпоративном сегменте, где реализуются проекты консолидации вычислительных ресурсов предприятия. Как сообщил Андрей Синяченко, подобные примеры есть в нефтегазовой отрасли. Их применение часто оказывается экономически обоснованным, а дороговизна компенсируется технологическими возможностями. Не исключено, что интерес к таким решениям будет расти и в секторе коммерческих ЦОД (см. Рисунок 3), но высокий риск протечек сдерживает их внедрение.
По мнению Александра Переведен-цева, однозначного ответа на вопрос о целесообразности установки оборудования высокой плотности быть не может — решение зависит от конкретной ситуации. Четкое позиционирование ЦОД на этапе строительства позволяет подобрать наиболее эффективное техническое решение, уверен Дмитрий Петров. Однако Павел Кучерук подчеркивает, что в любом коммерческом ЦОД, если только он не проектировался под конкретного клиента (с заранее определенным телекоммуникационным оборудованием), лишь на практике можно определить, какое решение оптимально с точки зрения теплоотвода. Заявленные клиентом технические характеристики оборудования часто не совпадают с реальными, и поскольку обычно все несоответствия выявляются уже после начала эксплуатации, при выборе технического решения поставщик услуг ЦОД вынужден заранее ориентироваться на возможность возникновения такой ситуации.
В масштабных проектах, как утверждает Дмитрий Петров, системы с жидкостным охлаждением проще и надежней, что обусловлено особенностями технологии. Они позволяют обойти ограничение на длину трассы, характерное для фреоновых систем прямого охлаждения (DX), и обладают существенными преимуществами в плане резервирования и обслуживания. Однако примеры их внедрения в России пока единичны. Основная причина — высокая стоимость решения (в 1,5 раза дороже традиционного). Кроме того, для обслуживания требуется более квалифицированный персонал.
Один из вариантов размещения высокоплотного оборудования — создание микрогермозон, однако, по оценкам компании «Караван», такое решение менее гибкое по сравнению с подходом, который компания использовала при проектировании своего ЦОД Telehouse, позволившим обеспечить необходимый (но не избыточный) уровень энергообеспечения для любой стойки (до 30 кВт) и наращивать его. Обычно в ЦОД размещаются стойки с неоднородными характеристиками и высокой динамикой изменения нагрузки, что ведет к появлению локальных зон перегрева, неожиданно возникающих в разных местах серверной комнаты. Выбор наиболее подходящей системы водяного охлаждения (см. Рисунок 4) помог решить задачу гибкого распределения холодного воздуха по серверному помещению в широких диапазонах и добиться четкого управления этим процессом (включая локальные зоны перегрева) путем забора воды в необходимом количестве из водяной магистрали, а также снижения высоких динамических и скачкообразных температурных нагрузок. Независимо от температуры поступающего горячего воздуха на выходе системы обеспечиваются заданные климатические параметры.
ЦЕНА ЭФФЕКТИВНОСТИ
В последние несколько лет активно обсуждаются технологии, позволяющие повысить эффективность ЦОД за счет оптимизации занимаемых ими площадей, энергопотребления, охлаждения, вычислительной мощности, повышения гибкости и управляемости. Однако все это требует серьезных начальных инвестиций.
Для повышения эффективности климатического оборудования вендоры предлагают вентиляторы с электронным управлением скоростью вращения (экономия электроэнергии составляет до 30%) и компрессоры Digital Scroll с широким диапазоном регулирования производительности. Многие модели климатического оборудования имеют функцию естественного охлаждения (Free Cooling). Работа систем кондиционирования в таком режиме, без включения компрессора, на 40% (а иногда и более) снижает потребление электроэнергии, но для их проектирования и установки нужны высококвалифицированные специалисты. В ряде случаев (при энергопотреблении более 10 кВт на стойку) заметный эффект дает применение рядных кондиционеров, доводчиков и замкнутых систем охлаждения на уровне шкафа.
Согласно статистике, на долю систем кондиционирования, установленных в ЦОД, приходится 20-55% потребляемой электроэнергии (см. Рисунок 5), поэтому вендоры активно продвигают решения «с низкими операционными затратами». Например, по данным Stulz, технология Dynamic Free Cooling (DFC) снижает энергопотребление до 60% благодаря двум контурам охлаждения и автоматическому выбору контроллером наиболее подходящего режима охлаждения. По расчетам Stulz, для ЦОД мощностью 600 кВт, эксплуатируемого в климатичес-ких условиях Москвы, технология DFC позволяет сократить операционные расходы на 56%, однако капитальные затраты увеличиваются на 66%. Компания DataDome подсчитала, что расчетная окупаемость стоимости Free Cooling для московского региона составляет 1,5 года.
Хотя решения высокой плотности и системы с функциями Free Cooling активно обсуждаются в прессе, реализованных проектов пока немного. Использование свободного охлаждения позволяет в хо-
лодный период добиться почти трехкратной экономии потребляемой чиллером электроэнергии (а это примерно 20% общего энергопотребления ЦОД), однако чиллер должен иметь дополнительный контур для режима свободного охлаждения, что увеличивает его стоимость на 30-35%. Кроме того, в режиме Free Cooling холодопроизводительность чиллера не превышает 60% от номинала, поэтому, поясняет Андрей Синяченко, приходится выбирать модель с запасом 50-60% и тем самым увеличивать стоимость решения на 30-40%. В итоге расходы на установку вырастают почти вдвое. При этом (учитывая стоимость электроэнергии в России) сроки окупаемости решения зачастую превышают плановые сроки эксплуатации ЦОД.
Даже если инвестор готов вложить средства в новые технологии, снижение себестоимости услуг ЦОД (т.е. увеличение прибыли при фиксированной ставке арендных платежей) составит всего 3-5%. Гораздо больше он заработает, потратив деньги на внедрение услуг высокого уровня (резервное копирование, аренда дискового пространства и т. д.). По мнению Алексея Карпинского, сегодня подобные технологии оптимизации востребованы крупными компаниями: они стремятся снизить расходы и готовы заплатить более высокую цену за их внедрение. В SMB их используют в меньшей степени из-за значительных начальных инвестиций.
При создании ЦОД современные технические решения будут пользоваться спросом, уверен Павел Кучерук: они позволяют существенно экономить на энергопотреблении, что актуально в условиях кризиса. Кроме того, в сложившейся ситуации многие поставщики снижают цены, предлагая хорошие скидки на оборудование старшего класса. Дмитрий Петров обращает внимание на то, что многие технологии (например, вентиляторы с электронным управлением, компрессоры Digital Scroll) уже стали стандартами «де-факто».
По словам Сергея Шуршалина, ISG активно использует Free Cooling и компрессоры Turbocore (энергоэффективность которых на 45-55% выше по сравнению с аналогами): в результате энергопотребление сокращается до 30%, хотя на инвестиционной стадии проект оказывается более дорогим. Внедрение решений для оптимизации ЦОД требует высоких начальных затрат, но, как уверяет Андрей Касьяненко, они быстро окупаются. В числе наиболее популярных — системы с функцией Free Cooling, эффективные системы ИБП с высоким КПД, инженерные решения, позволяющие экономить площадь и энергию.
Если за рубежом основным направлением оптимизации стало создание «зеленых» ЦОД (что предполагает снижение энергопотребления и повышение общего КПД центра данных, т.е. соотношения подводимой мощности и мощности, потребляемой оборудованием клиентов), то для России такая оптимизация пока не является первоочередной задачей, полагает Андрей Синяченко. Энергосбережение актуально лишь в крупных городах из-за дефицита доступных мощностей.
Существуют решения с питанием оборудования в ЦОД от источников постоянного тока, что позволяет упростить схему энергоснабжения и повысить КПД, и даже решения, где вообще не используются ИБП, а бесперебойная работа оборудования обеспечивается аккумуляторами, встраиваемыми непосредственно в блоки питания. КПД современного ИБП составляет не более 90-96% (из-за потерь на выпрямителе и инверторе). Кроме того, 10-15% мощности расходуется на преобразование подводимого напряжения переменного тока (220 В AC) в блоках питания. В итоге потери составляют до 25% от потребляемой оборудованием мощности. Поэтому, уверен Андрей Синяченко, у идеи оптимизации ЦОД за счет устранения «лишних» преобразований AC/DC всегда будут сторонники.
Между тем переход на питание от источника постоянного тока означал бы замену всех систем распределения питания (PDU), ИБП и силовых кабелей, оснащение стоек медными шинами электропитания большего сечения, а также замену самих систем ИТ. Выбор оборудования ИТ с питанием от постоянного тока ограничен, поэтому цены на него обычно выше. По расчетам аналитиков, строительство ЦОД с высоким уровнем резервирования (Tier IV) по такой схеме обойдется на 40% дороже традиционного, и не всегда начальные инвестиции компенсируются снижением эксплуатационных расходов. Вдобавок возникают проблемы сопряжения систем питания постоянного тока с ДГУ. Наконец, дополнительные средства придется потратить на обучение технических специалистов. Учитывая все эти факторы, ЦОД с питанием от постоянного тока не скоро найдут дорогу на рынок. К тому же эффективность систем переменного тока за последние годы заметно выросла
(см. Рисунок 6).
ИНТЕГРИРОВАННЫЕ СИСТЕМЫ
Некоторые вендоры предлагают для организации инженерной инфраструктуры ЦОД законченные, масштабируемые решения (Emerson Liebert X-Treme, APC InfraStruXure, Rittal RimatriX5), объединяющие в единой архитектуре системы охлаждения и электропитания и обеспечивающие стабильную работу оборудования с разными уровнями тепловыделения. Ряд системных интеграторов и заказчиков делают выбор в пользу таких комплексных систем от одного поставщика при создании ЦОД с учетом требований масштабирования нагрузки, когда их требуется оснастить средствами контроля и управления.
Специалисты компании «Комплит» внедрили в конце 2008 г. инженерную инфраструктуру APC InfraStruXure (ISX) для обеспечения бесперебойной работы ЦОД компании «Петер-Сервис». Среди преимуществ этого решения они выделяют модульность, позволяющую быстро менять расположение оборудования на объекте; развитую систему самодиагностики на уровне модулей; масштабируемость, обеспечивающую простое наращивание вычислительных мощностей; контроль энергопотребления каждой стойки через единую систему мониторинга APC ISX Central.
Дмитрий Чагаров считает, что при эксплуатации в ЦОД систем от разных производителей повышаются риски. Порой проще и эффективнее использовать в проекте решения от одного вендора, чем после запуска в эксплуатацию решать проблемы с сервисом и гарантийным обслуживанием, поэтому снижение стоимости проекта за счет интеграции различных подсистем в ЦОД силами системного интегратора может привести к дополнительным, изначально не заложенным в проект затратам. Кроме того, использование подсистем от одного производителя повышает управляемость ЦОД, что является одним из важных факторов.
С точки зрения заказчика внедрение таких решений должно гарантировать отсутствие проблем с совместимостью подсистем и простоту управления, поясняет Андрей Синяченко. В действительности же у интегрированных решений для ЦОД присутствует обычно только вторая составляющая — общая система мониторинга и управления. Слияние ряда компаний-производителей инженерных систем позволило предложить более широкий спектр решений ЦОД «из одних рук», управление которыми осуществляется с одной консоли. Однако тот же результат заказчик мог бы получить и при использовании оборудования других вендоров, не имеющих интегрированных решений, — путем создания системы мониторинга ЦОД (например, на базе системы SCADA), более гибкой и полнее отвечающей его требованиям. Как заявляют специалис-ты «АйТи», «интегрированные» решения не являются панацеей.
Основное преимущество комплексного решения от одного вендора — единая «точка входа» по широкому спектру оборудования, подчеркивает Александр Переведенцев. В то же время не стоит забывать, что поставщик, как правило, специализируется в определенной области — в узком сегменте инженерных систем, а все сопутствующее оборудование может выпускаться по ОЕМ-соглашениям. Соответственно, компетенция специалистов, ответственных за сопутствующее оборудование, реализуемое под единым брендом, а также его стоимость, не всегда отвечают предъявляемым требованиям. Комплексные решения, объединяющие различные виды оборудования, полная сдача ЦОД «под ключ» и последующее сервисное обслуживание — задача системных интеграторов, имеющих большой опыт и компетенцию в эксплуатации систем разных производителей.
Масштабируемые комплексные решения ограничивают возможности проектировщика, тогда как подбор систем разных марок позволяет оптимизировать их состав, технические параметры и стоимость. Однако такая работа требует высокой квалификации специалистов и тесного взаимодействия с заказчиком. Если при строительстве новых ЦОД проще (но не дешевле) использовать стандартные блоки, то в случае интеграции ЦОД в существующий объект подбор систем по индивидуальному проекту часто оказывается единственным вариантом.
По словам Андрея Касьяненко, активно рекламируемые комплексные решения подходят для конкретных задач и имеют свои преимущества и недостатки. При проектировании ЦОД Telehouse разработчики компании «Караван» пришли к выводу, что такие решения не отвечают в полной мере предъявляемым требованиям к масштабируемости. Однако не исключено, что для определенной категории заказчиков их применение будет оптимальным.
ЗАКЛЮЧЕНИЕ
Традиционно наиболее крупные проекты коммерческих и корпоративных ЦОД реализуются в Москве и Подмосковье. Несмотря на кризис, IBS DataFort планирует начать этим летом строительство нового ЦОД в Дубне. Он будет вводиться в эксплуатацию поэтапно — по отдельным модулям. В общей сложности ЦОД рассчитан на 800 стойко-мест, а совокупная потребляемая мощность составит 17 МВт. В нем предполагается достаточно высокая плотность оборудования — 10 КВт на стойку. Разработчики рассматривают возможность использования технологий свободного охлаждения и виртуализации серверов. Строительство планируется завершить в I квартале 2010 г. Как ожидается, за 1,5-2 года он будет заполнен оборудованием.
В августе 2008 г. ISG объявила о начале строительства второго ЦОД в Москве; он будет находиться в непосредственной близости от первого, введенного в эксплуатацию в сентябре 2007 г. Несмотря на непростую экономическую ситуацию, его строительство продолжается, однако сроки ввода в эксплуатацию перенесены с I квартала 2009 г. на конец второго. Программа инвестиций на сумму более 1 млрд руб., объявленная ранее ISG, предусматривала создание сети из восьми ЦОД в крупнейших индустриальных округах (см. Рисунок 7) со сроком завершения строительства до 2010 г. Крупными сетями ЦОД уже располагают Stack Group (Stack Data Network) и «Синтерра» (с площадками в Москве, Мурманске, Новосибирске, Ставрополе, Краснодаре и Томске). О реализации или сдаче в эксплуатацию проектов ЦОД для корпоративных заказчиков недавно объявили «Ситроникс ИТ», «Техносерв», «Энвижн Груп», «Микротест», и это только официальные анонсы.
В корпоративном сегменте в последний год активно продвигались так называемые контейнерные/мобильные ЦОД, однако этим быстро развертываемым решениям не суждено совершить революцию в технологии строительства ЦОД: их применение останется нишевым. Вслед за зарубежными вендорами несколько российских системных интеграторов, включая «Черус», «Ситроникс ИТ» и «Техносерв», разработали собственные «ЦОД в контейнере», но внедрения таких решений в нашей стране единичны. Последний пример — проект мобильного ЦОД для центрального офиса корпорации «Иркут» в Москве, реализованный в конце апреля компанией «Техносерв», однако в штатном режиме он эксплуатируется в качестве резервного.
«Техносерв» предлагает «ЦОД в контейнере» как альтернативу стационарному ЦОД. Мобильный ЦОД IT Equipage представляет собой контейнер 40² c серверным и инженерным блоками для обеспечения бесперебойной работы активного оборудования. Контейнер устанавливается на любую ровную площадку (в здании или на улице) либо на прицеп-шасси. В серверном блоке размещается шесть панелей, позволяющих отводить от каждой стойки до 20 кВт тепла. В отсеке электропитания инженерного блока находится шкаф с модульными ИБП (модули по 40 кВт с резервированием N+1), аккумуляторный шкаф, щитовое оборудование. В отсеке холодоснабжения установлен чиллер, гидромодуль и аккумулирующий бак.
По данным «Техносерв», заказчик выбрал мобильный ЦОД из соображений минимальных первоначальных капиталовложений и возможности последующей масштабируемости систем. Кроме того, такое решение позволяет сохранить инвестиции при любом перемещении, связанном с переездом или ростом компании, освобождает от арендной платы за помещение, а также не исключает перепродажу контейнера.
Между тем спрос на такую продукцию оказался очень ограниченным даже за рубежом. Например, в прошлом году американской компании Rackable не удалось продать ни одного из своих контейнерных ЦОД ICE Cube, хотя ее руководство прогнозировало, что 2008 г. станет годом «ЦОД в контейнере» и компания развернет 20-50 ICE Cube.
Принципы проектирования информационной и инженерной инфраструктуры центров данных пока остаются прежними, и жизненный цикл современных ЦОД составит не менее 10 лет, несмотря на новые технологические подходы в ИТ, включая интеграцию локальных сетей/SAN на основе технологии FCoE/CEE, развитие концепции «облачных вычислений», внедрение модульных серверов и другого оборудования высокой плотности. Как уверяет Алексей Карпинский, изменения в архитектуре информационных и инженерных систем в ЦОД произойдут не скоро.
Андрей Касьяненко считает, что новые подходы в большей мере оказывают влияние на длительность жизненного цикла ЦОД низкой категории надежности (Tier II и ниже), которые невозможно модернизировать без глобального пересмотра проекта. Основными параметрами, закладываемыми в инженерную инфраструктуру ЦОД, являются надежность и энерговооруженность. Новые технологии влияют на них посредством изменения требований к инфраструктуре, поэтому у современных ЦОД повышенной категории надежности больше шансов для адаптации.
Несмотря на ввод в эксплуатацию новых технологических площадок, далеко не все они способны гарантировать необходимый заказчику уровень надежности, бесперебойности и доступности ресурсов, не всегда учитываются и потребности энергоемких приложений. По мнению Андрея Касьяненко, в клиентском сегменте с повышенными требованиями к надежности и качеству инфраструктуры ЦОД разрыв между спросом и предложением сохраняется. В то же время Андрей Синяченко считает, что сегодня нужно ориентироваться не на снижение спроса на услуги ЦОД из-за кризиса, а на его прогнозируемый рост. К этому нужно быть готовым, и сейчас самое время «навести порядок» в своем ЦОД.
Сергей Орлов — обозреватель «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.
Рисунок 5. Распределение бюджета на содержание ЦОД Tier IV (по данным APC).