Традиционно для анализа продуктов «Журнал сетевых решений/LAN» совместно с экспертами OSP Data разрабатывает модельные задачи. Это позволяет провести более корректное сравнение разных предложений и познакомить с их возможностями потенциальных заказчиков. На этот раз, согласно предложенной легенде, заказчик планировал на 2016 год строительство нового корпоративного ЦОДа, но ухудшение экономической ситуации вынудило его пересмотреть планы. Часть своих ИТ-мощностей он решил вынести во внешний (коммерческий) ЦОД. Однако наиболее важные системы предпочел оставить у себя, для чего и запланировал установку небольшого ЦОДа.

ЦОД должен быть развернут в офисе, в помещении бывшей серверной, и изначально содержать две стойки с ИТ-оборудованием мощностью по 15–20 кВт каждая. В перспективе может потребоваться двукратное увеличение числа стоек. Инженерная инфраструктура такого микроЦОДа должна быть создана с нуля и быть независимой от имеющихся систем здания. При этом желательно минимизировать пространство, занимаемое инженерными системами. Более подробно см. врезку «МикроЦОД. Задача».

 

МикроЦОД. Задача

Заказчик собирается непосредственно у себя в офисе (в помещении бывшей серверной) развернуть ИТ-комплекс, которые изначально займет две стойки (для установки ИТ-оборудования необходимо примерно 80 юнитов). В перспективе желательно предусмотреть возможность двукратного масштабирования — до четырех стоек с ИТ-оборудованием. Планируемая нагрузка — 15–20 кВт на каждую стойку.

Дополнительные требования (пожелания)

  • Инженерная инфраструктура микроЦОДа должна быть независимой (от имеющихся систем здания) и создаваться с нуля. При этом желательно минимизировать пространство, занимаемое инженерными системами, включая ИБП, АКБ, системы охлаждения.
  • Инженерное оборудование желательно разместить в таких же стойках, что и ИТ-оборудование, чтобы микроЦОД конструктивно выглядел единым комплексом. Возможна установка элементов инженерной инфраструктуры, например ИБП, в одних стойках с ИТ-оборудованием — на усмотрение проектировщика.
  • На базе микроЦОДа планируется развернуть критически важные ИТ-сервисы, поэтому необходимо обеспечить высокий уровень отказоустойчивости — в частности, все основные инженерные системы (электропитание, охлаждение) должны быть зарезервированы по схеме N+1 (минимум).
  • Офисный комплекс, где будет развернут микроЦОД, не оборудован резервным ДГУ, поэтому на случай аварии необходимо обеспечить время автономного питания минимум 30 мин.
  • Выбор технологии охлаждения (фреоновая, чиллерная, адиабатика, фрикулинг…) заказчик оставляет на усмотрение проектировщиков. При этом он просит при выборе исходить из уже указанного условия минимизации площади, занимаемой системой охлаждения, а также снижения совокупной стоимости владения (высокая энергоэффективность приветствуется).
  • Кроме упомянутых систем, решение (микроЦОД) также должно содержать:
  1. систему распределения электропитания с «интеллектуальными» PDU (помимо собственно измерения энергопотребления, они должны поддерживать датчики температуры и влажности для контроля ТВР в стойке);
  2. автоматическую установку газового пожаротушения (АУГПТ);
  3. систему контроля и управления доступом (СКУД);
  4. другие системы на усмотрение поставщика.

Заказчик просит указать срок реализации ЦОДа и особенности доставки оборудования (подъездные пути, специальные механизмы для разгрузки/монтажа).

 

В списке компаний, приславших нам свои проекты, — все многообразие поставщиков: западные и отечественные производители, а также крупные ИТ-интеграторы. Если производители подробно изложили все детали проекта, включая состав продуктов и их характеристики, то интеграторы описали возможные решения в общем, не конкретизируя продукты.

Особое внимание нашего гипотетического заказчика привлек проект, предложенный новосибирской компанией «Утилекс», поскольку большинство подсистем ее микроЦОДа DataStone+ производится в России. Конструктивы для размещения оборудования, система кондиционирования, а также средства дистанционного управления и мониторинга разработаны и производятся самой «Утилекс». Включенная в ее проект система бесперебойного питания выпускается компанией «Связь инжиниринг», а система автоматического газового пожаротушения — компанией «Пожтехника». Но и это решение нельзя назвать отечественным на 100%, поскольку в уже названных системах используется немало импортных компонентов, да и отдельные блоки — зарубежного производства (например, PDU компании Tripp Lite). «Утилекс» — единственная из участников нашего виртуального тендера — не побоялась назвать стоимость предложенного решения с точностью до рубля (см. ниже).

Тщательно проработанные, детальные проекты были получены и от двух зарубежных грандов: Rittal и Schneider Electric. Эти имена сами по себе служат гарантией высокой надежности и функциональности технических решений. Безусловно, предложенные ими проекты можно смело рекомендовать к внедрению, но заказчику придется провести дополнительный этап переговоров, связанный с обсуждением стоимости, поскольку в присланных нам материалах она не приводится.

В проекте «Техносерва» стоимость не указана, в том числе и потому, что этот интегратор не конкретизировал продукты, а лишь назвал для примера возможных поставщиков (это те же Rittal, Schneider Electric, а также Delta Electronics). Впрочем, в этом есть свои плюсы, поскольку остается больше возможностей для выбора, в том числе и с учетом выделенного бюджета. При этом сам проект «Техносерва» также детально проработан, как и проекты «Утилекс», Rittal и Schneider Electric. Более того, интегратор предложил на выбор два варианта реализации (см. ниже).

Что касается ответа, поступившего от другого известного интегратора, компании «Крок», то большая его часть — это анализ возможных вариантов реализации системы охлаждения для микроЦОДа. Рекомендации, которые подготовил Александр Ласый, заместитель директора департамента интеллектуальных зданий этой компаний, безусловно, чрезвычайно полезны, но в данном случае заказчику предстоит еще большая работа по детализации проекта.

ВНЕ ЗДАНИЯ — ВНЕ КОНКУРСА

Одно из поставленных заказчиком условий — реализация микроЦОДа непосредственно в офисе, в помещении бывшей серверной. Тем не менее ряд экспертов настоятельно советовали рассмотреть также вариант с организацией ЦОДа вне здания, поскольку это дает целый ряд преимуществ. Более того, мы получили несколько проектов (от компаний «Связь инжиниринг» и GreenMDC) по реализации микроЦОДа во внешнем конструктиве. Подобное решение в качестве альтернативного варианта предложено и компанией «Техносерв».

По мнению Александра Переведенцева, начальника отдела поддержки продаж департамента ЦОДов компании «Техносерв», преимущество предложенного этим интегратором внешнего модульного ЦОДа в том, что он не привязан к какому-либо помещению или объекту: заказчик устанавливает модульный ЦОД там, где считает нужным, его можно присоединить к капитальному строению. Такой ЦОД изготавливается на производстве и поставляется как готовое изделие, кроме того, он хорошо масштабируется.

Выбор в пользу внешнего ЦОДа развязал бы руки заказчику при выборе систем охлаждения. Модные ныне системы адиабатического охлаждения и фрикулинга, обеспечивающие высокую энергоэффективность, занимают значительно большую площадь, чем классические системы. Как отмечает Александр Ласый, они хорошо подходят для установки во внешнем контейнерном ЦОДе, однако, поскольку заказчик планирует «вместить» ЦОД в здание, от идеи их использования, скорее всего, придется отказаться.

И тем не менее мы решили не отступать от поставленной задачи. Как говорится, в тесноте, да не в обиде. Тем же, кто хочет подробно ознакомиться с внешними модульными ЦОДами, рекомендуем обратиться к нашему исследованию, проведенному год назад (см. статью «Модульный ЦОД: обзор решений» в апрельском номере «Журнала сетевых решений/LAN» за 2015 год).

КОГДА МАЛО МЕСТА…

В условии задачи содержится ряд положений, затрудняющих ее решение. Это, в частности, просьба заказчика минимизировать пространство, занимаемое инженерной инфраструктурой. По мнению Александра Ласого, в наибольшей степени она скажется на выборе системы охлаждения, а проектировщикам придется найти баланс между ценой, компактностью и энергоэффективностью. Это непросто, поскольку чем компактнее система, тем она, как правило, дороже; аналогичная зависимость обычно наблюдается также между энергоэффективностью и стоимостью.

Предложенные заказчику решения основываются на традиционных системах охлаждения: это внутрирядные кондиционеры «на фреоне» (DX) и «на воде» (CX). Причем российские компании («Техносерв» и «Утилекс») предпочли фреон, а зарубежные (Rittal и Schneider Electric) — воду. Как известно, фреоновая система — наиболее дешевое решение, но далеко не самое энергоэффективное. Использование чиллеров существенно увеличивает стоимость проекта, особенно с учетом того, что для обеспечения требуемого уровня резервирования чиллер придется дублировать. Но это более энергоэффективное и надежное решение, а установка бака-аккумулятора с холодной водой для охлаждения оборудования при отключении электропитания позволит существенно снизить мощность (а значит, и стоимость) системы бесперебойного электропитания.

Эксперт «Крок» указывает на то, что, создавая систему с нуля, первым делом заказчику придется решить вопрос с размещением теплообменников: «Хорошо, если можно будет вынести их на фасад или крышу, при условии, что расстояние до крыши не слишком велико».

Рис. 1. Пример закрытой системы охлаждения. Охлаждение осуществляется в замкнутом объеме ряда стоек, выдув из теплообменника — во внутреннее пространство стойки. На фото стойки TS-IT с теплообменниками LCP Rack компании Rittal
Рис. 1. Пример закрытой системы охлаждения. Охлаждение осуществляется в замкнутом объеме ряда стоек, выдув из теплообменника — во внутреннее пространство стойки. На фото стойки TS-IT с теплообменниками LCP Rack компании Rittal 

 

Для повышения эффективности системы охлаждения часто используют средства герметизации потоков воздуха. Рекомендованы они и для этого проекта. При этом «Утилекс» и Rittal предложили так называемую закрытую систему охлаждения (см. рис. 1): она реализуется путем объединения шкафа с внутрирядным кондиционером в общем конструктиве, а при увеличении числа шкафов конструктивы стыкуются друг с другом, образуя общее технологическое пространство, изолированное от помещения серверной. «Технеосерв» и Schneider Electric выбрали классическую схему с изоляцией горячих коридоров (см. рис. 2).

Рис. 2. Пример системы охлаждения с внутрирядными кондиционерами с изоляцией горячего коридора. На фото решение Schneider Electric
Рис. 2. Пример системы охлаждения с внутрирядными кондиционерами с изоляцией горячего коридора. На фото решение Schneider Electric 

 

Лучшим решением, по мнению Александра Ласого, будет использование стоек и серверов с жидкостным охлаждением: они обладают самой высокой энергоэффективностью и заметно экономят занимаемое инфраструктурой пространство. Рабочая температура охлаждающей жидкости может быть высокой (45–60°С), поэтому теплообменник можно будет установить в любом техническом помещении здания и даже на лестничной площадке. При этом для поддержки системы водяного охлаждения процессоров достаточно системы бесперебойного электроснабжения небольшой мощности, и ее можно будет совместить с системой бесперебойного питания серверов и другого активного оборудования (для других вариантов потребуются отдельные ИБП для системы охлаждения — см. ниже). Правда, жидкостное охлаждение обойдется дороже, поскольку предполагает покупку специальных серверов.

…И НЕТ ДГУ

Еще один момент, осложняющий работу проектировщиков микроЦОДа, — отсутствие ДГУ. По словам Александра Ласого, это, в частности, влечет за собой необходимость установки независимых ИБП для ИТ-инфраструктуры и для кондиционирования. Согласно лучшим практикам, инженерные системы и ИТ-инфраструктуру рекомендуется защищать отдельными ИБП. Для обеспечения работы системы охлаждения в случае аварии в электросети мог бы подойти ДГУ, однако по условию задачи в здании его нет и установка не предусматривается. При этом эксперт «Крок» отмечает, что оснащение объекта контейнерным ДГУ могло бы значительно упростить и удешевить резервирование электропитания.

Для выполнения требования по резервированию ИБП наиболее изящное решение — установка модульных ИБП, что и предложили абсолютно все проектировщики. При наличии достаточных средств лучше всего сразу установить все шкафы ИБП (на перспективу расширения), снабдив их модулями в расчете на начальную мощность и необходимый резерв.

При установке фреоновой системы охлаждения мощность ИБП для ее питания будет сравнима с мощностью ИБП для питания активного оборудования. При этом, как отмечает эксперт «Крок», чтобы выдержать стартовые токи компрессоров DX-систем, ИБП должен быть рассчитан на нагрузку в 1,5 раза больше, чем мощность их потребления, то есть его стартовая мощность должна быть более 30 кВт. Как уже говорилось, в случае выбора чиллерной системы установка бака-аккумулятора захоложенной воды позволяет существенно снизить мощность дополнительного ИБП.

ОСОБЕННОСТИ ПРОЕКТОВ

Ниже представлены особенности предложенных проектов (см. также таблицу «Краткая информация о присланных решениях»). Объем журнальной публикации не позволяет дать полное описание решений — в частности, не отражены вопросы, связанные с системой пожаротушения, средствами безопасности и пр. Полностью проекты (ответы) компаний выложены на нашем сайте, где можно будет ознакомиться с ними более детально.

Краткая информация о присланных решениях
Краткая информация о присланных решениях

 

Проект Rittal

Компания Rittal предложила заказчику два варианта: ЦОД в стандартном исполнении и модульные сейфы, обеспечивающие надежную защиту от внешних физических факторов риска (пожар, затопление, задымление и т. п.).

Для размещения оборудования в стандартном варианте предложены стойки TS-IT — универсальное семейство конструктивов с поддержкой различных видов охлаждения, как с подачей холодного воздуха через перфорированные двери, так и с локализацией охлаждения внутри ряда стоек с закрытыми обзорными дверьми. Для данного проекта с учетом компактности ЦОДа, по мнению экспертов Rittal, наиболее эффективное решение состоит в монтаже оборудования в закрытые стойки без внешней вентиляции и установке в этот ряд теплообменников LCP, подающих воздух непосредственно внутрь стоек в замкнутом контуре (см. рис. 1). Такая компоновка минимизирует потери холода при доставке воздуха от теплообменников к серверам.

Воздухо-водяные рядные теплообменники (Liquid Cooling Package, LCP) — это компактное решение с большим диапазоном мощности. Теплообменник с габаритами всего 300×2000×1200 мм может обеспечивать мощность охлаждения до 55 кВт, что позволяет использовать решение как для компактных ЦОДов, так и для стоек суперкомпьютеров. Теплообменники комплектуются вентиляторами с поддержкой «горячей» замены, все вентиляторы используют технологию электронной коммутации, которая гарантирует максимальную энергоэффективность независимо от загрузки по мощности. Резервирование обеспечивается как на уровне вентиляторов, так и на уровне теплообменников.

Холодная водно-гликолевая смесь подается в теплообменники из чиллера по замкнутому контуру. Чиллер резервируется по схеме N+1, к тому же чиллеры из линейки, предназначенной для применения в ИТ, обычно предусматривают внутреннее резервирование критических компонентов. Конструкция чиллеров и теплообменников Rittal оптимизирована для работы с водно-гликолевой смесью или чистой водой «высокой» температуры, +15°С на выходе из чиллера. Это позволяет применять естественное охлаждение уже при температурах окружающего воздуха ниже +15°С, что в большинстве климатических зон России дает возможность экономить электроэнергию большую часть года.

Для бесперебойного электропитания ИТ-оборудования, с учетом требования компактности и надежности, эксперты Rittal предложили модульный ИБП серии PMC120 (см. рис. 3). Их применение позволяет наращивать мощность до 120 кВт модулями по 10 или 20 кВт и создать резерв N+1 на уровне модулей до мощности 100 кВт (6 модулей по 20кВт). Как отмечают в Rittal, децентрализация компонентов в модулях данной серии ИБП очень высока: каждый из модулей содержит индивидуальный статический переключатель, отдельные блок и панель управления, собственную силовую часть, при этом модуль может быть изъят из стойки и установлен в стойку без перевода всего ИБП на байпас.

Рис. 3. Все без исключения проектировщики предложили для проекта модульные ИБП. На фото — модульные ИБП серии PMC120 компании Rittal
Рис. 3. Все без исключения проектировщики предложили для проекта модульные ИБП. На фото — модульные ИБП серии PMC120 компании Rittal 

 

На первом этапе для поддержки нагрузки 40 кВт с временем автономной работы 30 мин устанавливаются одна силовая стойка с тремя модулями по 20 кВт (резерв N+1) и одна батарейная стойка со 150 батареями по 12 В емкостью 28 А·ч. Для дальнейшего расширения (до 80 кВт) в уже имеющуюся силовую стойку добавляются два дополнительных модуля по 20 кВт и устанавливается дополнительная батарейная стойка, укомплектованная таким же блоком батарей. ИБП серии PMC120 построены на базе рамы TS8, идентичной раме ИТ-стоек TS-IT, поэтому они могут быть объединены в линейку стандартными способами. Для бесперебойного питания системы охлаждения специалисты Rittal предусмотрели отдельный ИБП небольшой мощности (с учетом установки бака-аккумулятора в его задачи входит поддержание работы только насосной группы).

Предложенные Rittal интеллектуальные блоки распределения питания версии PDU Managed обеспечивают измерение электрических параметров на каждой розетке и позволяют удаленно управлять включением и выключением каждой из розеток. Кроме того, к PDU может быть подключено до четырех датчиков следующих типов: температуры, влажности, открытия двери, вандализма (регистрирует сотрясения шкафа). Такое решение позволит создать простую систему мониторинга. Для более функциональных систем, включающих управление электромагнитными замками на дверях стоек, подключение систем пожаротушения и т. п., Rittal рекомендует решение в виде процессорного модуля и подключенных к нему шин CAN-bus с периферийными устройствами.

Все перечисленные решения (кроме, конечно, чиллера) могут быть установлены внутри модульного сейфа физической безопасности — так реализуется второй, защищенный, вариант (см. рис. 4). В одной секции помещаются стойка и теплообменник LCP, секции можно соединить в линейку. Такой ЦОД обеспечит защиту ИТ-оборудования от множества внешних опасных факторов: пожара, задымления, повышения влажности и конденсации, выделения коррозионных газов. Такие физические воздействия возможны, когда, например, происходит пожар в самой серверной или в соседних с ней помещениях, даже если они отделены капитальными бетонными стенами, когда в помещении сверху происходит разгерметизация трубопроводов или магистралей парового отопления и др.

Рис. 4. Модульный сейф физической безопасности для ИТ-оборудования компании Rittal
Рис. 4. Модульный сейф физической безопасности для ИТ-оборудования компании Rittal

 

Проект Schneider Electric

Поскольку мощность стоек довольно значительна, эксперты Schneider Electric отдают предпочтение системе кондиционирования на базе внутрирядных кондиционеров на чиллерной воде и системе контейнеризации «горячего» воздушного коридора (см. рис. 2). «Благодаря такому подходу к охлаждению кондиционер максимально приближен к источнику тепла, а за счет контейнеризации горячий воздух ни при каких условиях не может попасть на вход стойки и вызвать ее перегрев», — отмечает Андрей Соколик, системный инженер в подразделении IT Business компании Schneider Electric.

На первом этапе проекта для охлаждения используются два внутрирядных кондиционера ACRC301H шириной 300 мм. Каждый кондиционер имеет явную полезную холодопроизводительность 45 кВт при расчетных условиях, что обеспечивает резервирование по охлаждению N+1. Источником холода для системы кондиционирования служит внешний моноблочный чиллер Uniflair серии ERAF (компании Schneider Electric) с возможностью интеллектуального фрикулинга (см. рис. 5). Холодопроизводительность чиллера составляет 100 кВт, на первом этапе предполагается установить два таких агрегата для резервирования по схеме N+1.

Рис. 5. Источником холода для системы кондиционирования в проекте Schneider Electric является внешний моноблочный чиллер Uniflair серии ERAF с возможностью интеллектуального фрикулинга
Рис. 5. Источником холода для системы кондиционирования в проекте Schneider Electric является внешний моноблочный чиллер Uniflair серии ERAF с возможностью интеллектуального фрикулинга

 

Для того чтобы система была максимально энергоэффективной, для хладоносителя были выбраны следующие температурные параметры: +14°С (холодная вода) и +22°С (отепленная). «Высокотемпературный» хладоноситель позволяет перейти на режим полного фрикулинга уже при температуре наружного воздуха +5,5°С, а на режим частичного фрикулинга — при +18°С при полной нагрузке. Учитывая, что на первом этапе чиллер будет работать с половинной загрузкой, выход на режим полного фрикулинга будет осуществляться при температуре наружного воздуха +9,5°С.

Для мониторинга параметров окружающей среды предложена система NetBotz. В каждый шкаф устанавливаются три датчика температуры равномерно по высоте со стороны «холодного» коридора. Таким образом, заказчик сможет избежать неконтролируемого появления локальных зон перегрева. Относительная влажность не является столь важным параметром для мониторинга, поэтому на каждый ряд стоек будет достаточно одного датчика влажности. Вся информация с датчиков передается на головное устройство NetBotz. Для контроля доступа к стойкам предлагается использовать систему доступа по карточкам и датчик открытия дверей, которые подключаются к головному устройству NetBotz.

С учетом специфики объекта, все оборудование (стойки, кондиционеры, насосы в чиллере) подключается к ИБП со временем автономии 30 мин. В качестве источника бесперебойного питания выбран модульный ИБП Symmetra PX160. В источнике зарезервированы все критически важные элементы (силовые и управляющие модули, батареи). Силовые модули, батареи и автоматы можно добавлять «на горячую», что облегчает масштабирование по мере роста нагрузки. Для бесперебойной работы системы охлаждения требуется установить накопительный бак необходимой емкости, для обеспечения кондиционеров охлажденной водой. Это позволит не запитывать чиллеры от ИБП, а значит, сэкономить на мощности ИБП и количестве батарей.

На втором этапе добавляются две стойки и два кондиционера (см. рис. 6), увеличивается количество силовых модулей и батарей в ИБП, устанавливаются необходимые автоматы для подключения стоек и кондиционеров. «Предложенная адаптивная система охлаждения на основе чиллерных кондиционеров и систем контейнеризации HACS позволяет легко добавлять новые стойки, кондиционеры и элементы HACS, так как все они выпускаются под брендом APC InfraStruxure и, по сути, представляют собой элементы конструктора, в котором все детали совместимы между собой», — отмечает Андрей Соколик.

Рис. 6. Первый и второй этапы проекта, предложенного Schneider Electric
Рис. 6. Первый и второй этапы проекта, предложенного Schneider Electric

 

Проект компании «Техносерв»

Как уже говорилось, компания предложила два варианта: первый — ЦОД внутри здания (как и просил заказчик), второй — модульный ЦОД, устанавливаемый снаружи здания (см. рис. 7).

Рис. 7. Хотя заказчик поставил условие, что ЦОД должен располагаться в здании, ряд экспертов рекомендовали рассмотреть вариант с организацией ЦОДа вне здания, поскольку он дает целый ряд преимуществ. В частности, подобное решение в качестве альтернативного варианта предложили специалисты компании «Техносерв»
Рис. 7. Хотя заказчик поставил условие, что ЦОД должен располагаться в здании, ряд экспертов рекомендовали рассмотреть вариант с организацией ЦОДа вне здания, поскольку он дает целый ряд преимуществ. В частности, подобное решение в качестве альтернативного варианта предложили специалисты компании «Техносерв»

 

Для реализации первого варианта необходимо выделить помещение площадью около 30 м2, с высотой потолков не менее 3 м, при этом минимальная нагрузочная способность перекрытий должна составлять 800 кг на 1 м2. Серверные стойки будут установлены в ряд с учетом резервирования места под дальнейшее расширение. По мнению экспертов «Техносерва», систему микроклимата оптимально реализовать на базе рядных фреоновых кондиционеров с резервом N+1 и изоляцией горячего коридора.

Для экономии места, ИБП и аккумуляторные батареи (АКБ) устанавливаются в один ряд с серверными стойками. В связи с этим предлагается применить модульный ИБП с воздухообменом фронт-тыл. В помещении ЦОДа также будут установлены щитовое оборудование, локальная система газового пожаротушения, охранная и пожарная сигнализации, видеонаблюдение.

Что касается дальнейшего масштабирования, эксперты «Техносерва» предложили сразу предусмотреть необходимые коммуникации (кабельные линии, фреоновые магистрали и т. п.) в расчете на максимально предполагаемое число и мощность стоек. Это позволит впоследствии с минимальными трудозатратами установить дополнительное инженерное оборудование без проведения «грязных» работ на введенном в эксплуатацию объекте.

Как отмечено в предложении «Техносерва», при реализации инженерной инфраструктуры ЦОДа специалисты компании уделяют особое внимание системе мониторинга и управления инженерными системами, качество и «глубина» исполнения которой будут влиять на отказоустойчивость и «живучесть». При этом детали этой системы в проекте не изложены. Кроме того, не указано и конкретное оборудование для проекта. Но говорится о том, что описанное решение можно реализовать либо применив оборудование различных производителей, выбирая лучшее, либо использовав комплексное решение, которое предлагают такие производители, как Rittal, Schneider Electric, Delta Electronics.

Второй вариант — модульный ЦОД — по инженерной составляющей фактически аналогичен описанному выше решению.

Проект компании «Утилекс»

Предложенный заказчику микроЦОД DataStone+ специалисты «Утилекс» характеризуют как модульное решение, в состав которого может входить от 1 до 20 ИТ-шкафов. В одном конструктиве со шкафами находится встроенная система кондиционирования (рядные кондиционеры), чем достигается создание общего холодного пространства в передней части шкафов и горячего — в задней. Система кондиционирования обеспечивает отвод тепла от 5 до 30 кВт со стойки.

На первом этапе предполагается установка двух стоек под ИТ-оборудование и еще двух — под системы бесперебойного питания. Между шкафами размещаются прецизионные кондиционеры (см. рис. 8). Максимальная полезная нагрузка оборудования внутри микроЦОДа на первом этапе — 35 кВт (поскольку в техническом задании было указано потребление на стойку 15–20 кВт, для расчетов специалисты «Утилекс» взяли среднюю величину). Класс защиты шкафов соответствует IP65, что позволяет эксплуатировать микроЦОД как в офисных, так и в промышленных условиях. Решение поставляется отдельными модулями (шкафы, кондиционеры) — их габариты позволяют провозить модули на колесиках в стандартные дверные проемы. На месте все модули стыкуются в единый герметичный конструктив.

Рис. 8. Внешний вид решения, предложенного компанией «Утилекс»
Рис. 8. Внешний вид решения, предложенного компанией «Утилекс»

 

Кондиционирование осуществляется посредством трех межрядных прецизионных кондиционеров Clever Breeze производства «Утилекс» (см. рис. 9) с охлаждающей мощностью 20 кВт каждый (уровень резервирования N+1). В штатном режиме все три кондиционера работают с частичной нагрузкой. Специалисты «Утилекс» особо подчеркнули, что в предложенном решении применяется запатентованная схема охлаждения (Патент РФ на полезную модель № 154746), позволяющая использовать систему в широком температурном диапазоне окружающей среды.

Рис. 9. Рядный кондиционер Clever Breeze (производства «Утилекс») со снятыми боковыми стенками
Рис. 9. Рядный кондиционер Clever Breeze (производства «Утилекс») со снятыми боковыми стенками

 

Система бесперебойного питания для ИТ-оборудования реализуется на базе трех ИБП СИПБ20КД.9-33 компании «Связь Инжиниринг» мощностью 20 кВА (18 кВт) каждый, работающих в параллельном режиме. Для обеспечения требуемого времени автономной работы 30 мин в состав решения добавлены девять батарейных модулей БМСИПБ15-20КД. С целью повышения надежности микроЦОДа система бесперебойного питания для охлаждения выполнена отдельно. Она реализуется на базе двух ИБП такой же модели, работающих в параллельном режиме. Уровень резервирования обеих систем — N+1.

В составе микроЦОДа предусмотрены все запрошенные заказчиком компоненты, включая системы распределения питания (с использованием управляемых PDU TrippLite), автоматического газового пожаротушения (на базе четырех модулей шкафного тушения АУШТ-NVC R-Line, ГОТВ Novec 1230), а также систему контроля доступа, мониторинга и управления. Последняя реализована на базе контроллеров CleverBreeze и обеспечивает, в частности, мониторинг температуры и влажности в «холодном» и «горячем» коридорах; анализ состояния кондиционеров и ИБП, оповещение (по SMS и электронной почте) об инцидентах и предоставление изображений с видеокамер (через Web-интерфейс).

На втором этапе в состав системы размещения оборудования добавляются три стойки высотой 42U: две — для нового ИТ-оборудования, одна — под систему бесперебойного питания для защиты нового ИТ-оборудования. Система охлаждения масштабируется путем добавления двух рядных кондиционеров Clever Breeze мощностью 20 кВт каждый. Система бесперебойного питания для ИТ-оборудования аналогична реализованной на первом этапе. А в существующую систему бесперебойного питания для системы кондиционирования добавляются один дополнительный ИБП СИПБ20КД.9-33 и два батарейных модуля.

Стоимость микроЦОДа DataStone+ на первом этапе составляет 9 581 243 руб. На оплату услуг по монтажу и запуску на месте установки заказчику придется потратить 615 520 руб. Стоимость модернизации микроЦОДа на втором этапе — 7 115 175 руб. плюс 473 013 руб. за монтаж и запуск. В стоимость сервисов входят затраты на материалы (фреонопровод) из расчета максимального расстояния от кондиционера до внешнего блока 15 м. Точная сумма может быть скорректирована после предоставления планировки здания, в котором будет проводиться установка ЦОДа. Сроки реализации каждого этапа — 10–12 недель (в зависимости от места установки ЦОДа). Оборудование доставляется в собранном виде в упаковке, специальных механизмов для разгрузки и монтажа не требуется.

ЧТО ДАЛЬШЕ

Итак, прежде чем сделать окончательный выбор, нашему заказчику необходимо удостовериться в возможности размещения в имеющемся здании (или на его крыше) таких ключевых элементов инженерной инфраструктуры, как теплообменники (для фреоновой системы охлаждения) или чиллеры и бак-аккумулятор (для чиллерной), а также проведения соответствующих трубопроводов. Если такой возможности нет, то придется искать место для ЦОДа на прилегающей территории. Или в качестве альтернативы рассмотреть компактный вариант с охлаждением непосредственно серверов теплой водой. Кроме того, имеет смысл подумать об установке ДГУ.

Следующий этап — получение информации о стоимости от всех участников тендера, а также условий поставки и пр. Собрав всю необходимую информацию, можно сделать окончательный выбор.

Александр Барсков — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: ab@lanmag.ru.