Системы и подсистемы центра обработки данных высокой заводской готовности часто описываются как предсобранные, контейнерные, модульные, блочные, мобильные, перемещаемые, автономные, самодостаточные и так далее. Тем не менее между разными видами представленных на рынке строительных блоков, произведенных в заводских условиях, имеются существенные отличия. В данной статье предложена стандартная терминология для классификации готовых модульных центров обработки данных, определяются и сравниваются их основные свойства, предлагается схема выбора наилучшего подхода (передовых подходов) на основании бизнес-требований.

 

Пример «силового» функционального блока
Пример «силового» функционального блока

 

Для описания систем и подсистем ЦОДа высокой заводской готовности используется множество терминов, в числе которых:

  • контейнерного типа;
  • автономные;
  • модульные;
  • предсобранные;
  • перемещаемые;
  • мобильные;
  • блочные;
  • установленные на платформе.
Пример «охлаждающего» функционального блока
Пример «охлаждающего» функционального блока 

 

Данные термины вносят путаницу при обсуждении технических вопросов, поскольку во многом совпадают и трактуются неоднозначно. Предсобранный модульный центр обработки данных определяется нами следующим образом:

  • состоящий минимум из одного функционально законченного блока, разработанного, произведенного и протестированного на заводе, подсистемы которого прежде обычно устанавливались на месте по отдельности;
  • монтируемый на платформе или внутри закрытой конструкции.
Пример функционального ИТ-блока
Пример функционального ИТ-блока

 

Несмотря на то что преимущества данного подхода к созданию ЦОДа хорошо документированы, отсутствие общей терминологии и системы классификации вводит в заблуждение относительно его отличительных свойств и областей применения.

В статье представлена система классификации различных типов модульных ЦОДов заводского изготовления на основе трех атрибутов, что позволяет устранить неоднозначность в трактовке. Помимо определений и категорий, представлены рекомендации по выбору правильного подхода (правильных подходов) с учетом заявленных бизнес-требований. На рис. 1 изображены три атрибута, которые вместе определяют большую часть предсобранных модульных ЦОДов.

Рис. 1. Система классификации готовых ЦОДов
Рис. 1. Система классификации готовых ЦОДов

 

Одна из причин, по которой модульные ЦОДы подразделяются на функциональные блоки, заключается в том, что из-за нехватки мощности на существующем объекте для ЦОДа может требоваться лишь конкретный ресурс (например, только электроснабжение или охлаждение). Другая причина состоит в необходимости привлекать сотрудников разной квалификации для эксплуатации и обслуживания каждого блока (ИТ-специалисты, электрики и т. д.). И наконец, третья причина связана с тем, что площадь, занимаемая модулем, физически ограничена. Конструктивное исполнение — второй ключевой атрибут, отличающий готовые решения. Предпочтительный форм-фактор может меняться в зависимости от задачи (например, для удовлетворения потребностей бизнеса может потребоваться полностью мобильный ЦОД на колесах) или предельной поддерживаемой мощности (система электропитания в корпусе ISO-40 ограничена 500 кВт, но конфигурация на платформе способна поддерживать значительно большую мощность).

Готовые функциональные блоки реализуются в разнообразных конфигурациях. Некоторые ЦОДы содержат как готовые модули, так и традиционные системы, собранные из комплектующих на месте (например, модульная энергетическая или охлаждающая установка с традиционным ИТ-залом). Для других ЦОДов все три функциональных блока — энергетический, охлаждающий и ИТ — изготавливаются на заводе. Наконец, особой конфигурацией полностью готового объекта является ЦОД «все в одном», когда энергетическая система, система охлаждения и ИТ объединены в единой конструкции.

Определение и описание этих понятий — функционального блока, конструктивного решения и конфигурации — даны ниже.

ФУНКЦИОНАЛЬНЫЙ БЛОК

Функциональность ЦОДа можно разделить на три основные категории: энергоблок, хладоцентр и ИТ-пространство. Иногда в модулях ЦОДа заводского изготовления все это совмещается (такие ЦОДы называются «все в одном»), но чаще каждый из них отвечает за отдельную функцию, что происходит по следующим причинам:

  • из-за недостатка ресурсов на существующем объекте предсобранный модуль устанавливается для решения конкретной задачи (только для энергоснабжения, только для охлаждения или только для организации ИТ-зала);
  • ИТ-ресурсов требуется больше, чем в состоянии предоставить модуль «все в одном», либо ИТ-пространство должно быть выделенным (физическое ограничение площади модулей);
  • с целью снижения вероятности ошибки вследствие человеческого фактора необходимо разделить доступ персонала (ИТ-, вспомогательного, электротехнического) к компонентам ЦОДа при его обслуживании и эксплуатации;
  • модули, реализующие одну определенную функцию, могут задействовать более мощные компоненты и совместно использовать доступное пространство для производства большего количества киловаттов на квадратный метр, что позволяет оптимизировать занимаемую площадь.

Электропитание. Предсобранный энергетический модуль создан для обеспечения центра обработки данных энергией. Он может снабжать электроэнергией модульное ИТ-пространство или традиционный ИТ-зал внутри здания. Типичные подсистемы внутри энергоблока — это распределительное оборудование / распределительные щиты, автоматические системы переключения (ATS), ИБП с батареями, трансформаторы и панели управления. Кроме того, в модуле, имеющем закрытое исполнение, могут располагаться сопутствующие системы, обеспечивающие, например, освещение, безопасность, охлаждение. Резервные генераторы, как правило, представляют собой отдельный модуль, который может быть интегрирован с модулем энергоснабжения.

 

Предварительно разработанные и готовые ЦОДы

Термины «предварительно разработанный» и «предварительно собранный» иногда используются как взаимозаменяемые, однако между ними есть существенные отличия.

Предварительно разработанный ЦОД проектируется в расчете на определенные технические характеристики и представлен по меньшей мере оформленным перечнем материалов, спецификаций системного уровня и чертежами интегрированной системы.

Предсобранный ЦОД — это предварительно разработанный центр обработки данных, системы которого (аппаратное и программное обеспечение) заранее собраны, интегрированы и протестированы в заводских условиях с целью сокращения срока внедрения и более точного прогнозирования производительности.

Референсный дизайн — это пример предварительно разработанной, но необязательно предсобранной системы. Модуль энергетической или охлаждающей установки является примером готовой системы.

 

Охлаждение. Для поддержки ИТ-пространства в современных центрах обработки данных используются разнообразные охлаждающие системы — в зависимости от требований к стоимости, эффективности, надежности и т. д. Природные условия (климат) в месте расположения центра обработки данных тоже существенно влияют на выбор его оптимальной архитектуры. Найти наилучшие энергетические решения помогают такие инструменты компании Schneider Electric, как калькулятор показателя PUE для охлаждения в режиме экономайзера. Общее описание типичных подсистем, входящих в состав готовых модулей охлаждения, дается в табл. 1.

Таблица 1. Типичные подсистемы предсобранных охлаждающих модулей
Таблица 1. Типичные подсистемы предсобранных охлаждающих модулей

 

ИТ-пространство. В этом блоке размещается ИТ-оборудование. Кроме того, там находится вспомогательная инфраструктура ЦОДа, обеспечивающая распределение электроэнергии, поддержание климата и циркуляцию воздуха. ИТ-пространство предоставляет рабочую среду для обслуживающего ИТ-персонала. Как правило, в состав такого модуля входят следующие подсистемы:

  • стойки для размещения ИТ-оборудования;
  • решения по распределению питания (PDU);
  • стоечные PDU;
  • система распределения воздуха (CRAH, CRAC, воздуховоды — в зависимости от архитектуры);
  • системы увлажнения/осушения;
  • кабельная инфраструктура / кабельные органайзеры;
  • система обнаружения возгораний / противопожарная защита;
  • система освещения;
  • системы защиты.

Помимо тех преимуществ, которые предоставляют предварительно разработанные и интегрированные системы, размещение ИТ-оборудования в модуле обеспечивает изоляцию горячих и холодных потоков воздуха, что особенно важно для эффективного охлаждения.

Общепринятый приблизительный метод оценки экономической эффективности ИТ-модулей заключается в следующем: чем выше плотность ИТ-устройств в каждой стойке, тем более рационально используется пространство ИТ-модуля вследствие роста мощности каждого модуля.

 

Мобильные модули

Мобильность является преимуществом всех предсобранных модульных решений, а ISO-контейнеры обеспечивают наилучшую транспортабельность; тем не менее в некоторых случаях модуль должен сохранять мобильность на протяжении всего срока службы, то есть быть оснащен колесами и осями.

Эти модули часто состоят из самодостаточных модулей, которые используются для создания временного ЦОДа, например для военного применения или спортивных соревнований. На рисунке ниже приводятся два примера таких центров.

Виды готовых модульных центров обработки данных

Виды готовых модульных центров обработки данных

 

КОНСТРУКТИВНОЕ РЕШЕНИЕ

Предсобранные ЦОДы могут отличаться структурой, размером и формой. Последний фактор влияет на мобильность решения и место его размещения (в помещении или на улице, на полу или на крыше здания). Три общие формы готовых модулей ЦОДов:

  • ISO-контейнер;
  • закрытая конструкция;
  • платформа.

Выбор конструктивного решения или комбинации конструктивных решений для определенного проекта ЦОДа осуществляется с учетом таких требований, как мобильность, мощность, масштабируемость и т. д. В табл. 2 сопоставляются конструктивные решения с точки зрения места монтажа и транспортировки. Кроме того, форма модуля влияет на его производительность, поскольку габариты модуля ограничивают выбор оборудования, которое может в нем поместиться.

Таблица 2. Типовые конструктивные решения
Таблица 2. Типовые конструктивные решения

 

Описание этих и прочих свойств, наряду с примерами, иллюстрирующими конструктивные решения, дается ниже.

Контейнер ISO. Контейнеры ISO — это стандартные стальные конструкции многоразового использования, предназначенные для эффективного и безопасного хранения и перевозки материалов различными транспортными средствами (например, морским, железнодорожным и грузовым транспортом). Существует целый ряд стандартов ISO, регулирующих многие параметры грузовых контейнеров: от типа и размеров до формы углового фитинга, используемого такелажного оборудования, маркировки и т. д. Эти стандарты упрощают и унифицируют транспортировку и обработку грузов.

Стандартная площадь этих контейнеров для использования в качестве модулей ЦОДа: 20 x 8 футов (6,10 x 2,44 м) и 40 x 8 футов (12,2 x 2,44 м). Стандартная высота контейнеров составляет 8 футов 6 дюймов (2,591 м), имеются контейнеры высотой 9 футов 6 дюймов (2,896 м). Как правило, для ЦОДов выбирают контейнеры высотой 9 футов 6 дюймов (2,896 м), поскольку они обеспечивают больший простор для размещения оборудования внутри модуля.

Часто при использовании контейнеров в качестве оболочки для модулей ЦОДа они модифицируются следующим образом:

  • делаются вырезы для дверей и устанавливаемого оборудования;
  • оборудование может монтироваться на боковых стенках или верхней панели контейнера.

После внесения этих изменений контейнер утрачивает статус ISO-сертифицированного, и, к примеру, его складирование вместе с другими контейнерами будет затруднено. Тем не менее по сравнению с нестандартными грузами типоразмер ISO-контейнера упрощает перевозку, подъем и размещение, что способствует сокращению затрат на установку. Кроме того, модификация стандартного контейнера обходится дешевле, чем изготовление нового.

Модули, размещаемые в ISO-контейнере, имеют ограничения по мощности: около 500 кВт для энергетических и охлаждающих блоков, а также около 200–250 кВт для ИТ-залов. Емкость ИТ-модуля зависит от количества ИТ-стоек, которые можно разместить внутри контейнера, а также от пространственного расположения стоек. Например, если стойки размещаются вдоль задней стены для создания широкого холодного коридора, доступ к горячей области возможен только извне — через люк или дверцу. При размещении ряда стоек в центре, области горячего и холодного воздуха должны быть сужены. Наконец, если ряды располагаются перпендикулярно длинной стороне контейнера, то, весьма вероятно, узкий коридор будет переходить из ряда в ряд. В целом ограничение мощности ИТ-модулей делает их более подходящими для не слишком крупных ЦОДов. Большая емкость требует применения традиционных ИТ-пространств.

Поскольку данное конструктивное решение необходимо обслуживать, следует обеспечить для него освещение и организовать охрану.

Для установки ISO-контейнеров требуется подготовить бетонный фундамент за пределами здания. Подъем контейнера с грузового автомобиля и перемещение его на фундамент осуществляются с помощью подъемного крана. Если нужно увеличить производительность ЦОДа, размещенного в обычном здании, контейнер (контейнеры) размещается в непосредственной близости к периметру этого здания. Иногда энергетический или ИТ-контейнер располагают внутри складского помещения, чтобы не только обеспечить дополнительную защиту жизненно важных систем, но и создать нормальные условия труда для сотрудников, которым в таком случае не придется работать под открытым небом в ненастную погоду.

Закрытая конструкция. Это конструктивное решение в меньшей степени отвечает стандартным требованиям в отношении габаритов изделия, поэтому, в отличие от ISO-контейнеров, не всегда соответствует принятым стандартам перевозки. Другие названия закрытой конструкции: внешняя оболочка, металлический дом, блок.

Расходы на транспортировку и обработку груза могут быть выше по сравнению с ISO-контейнером, а объем работы значительным, если конструкция собрана на заводе не полностью. Например, широкая закрытая конструкция нередко состоит из двух секций (см. рис. 2). Некоторые конструкции, часто называемые модульными помещениями, изготавливаются в заводских условиях, интегрируются с оборудованием ЦОДа, тестируются, сдаются в эксплуатацию, а потом разбираются и доставляются на площадку клиента подобно блокам из набора Lego.

 

Рис. 2. Пример закрытой конструкции для ИТ-пространства,  которая поставляется в виде спаренного контейнера
Рис. 2. Пример закрытой конструкции для ИТ-пространства,
которая поставляется в виде спаренного контейнера

 

Преимуществом данного конструктивного решения является то, что оно обеспечивает большую степень свободы и вмещает нужное количество ИТ-оборудования, которое оптимально располагается внутри закрытой конструкции.

Большинство закрытых контструкций подходят для использования вне здания и способны выдержать разнообразные погодные условия, однако некоторые должны размещаться только в помещении (например, внутри склада).

Даже те закрытые конструкции, которые предназначены для открытого пространства, иногда устанавливаются внутри здания по соображениям безопасности, для доступа сотрудников ЦОДа или с целью их защиты от ненастной погоды.

Некоторые закрытые конструкции представляют собой комнаты, куда может заходить обслуживающий персонал, а другие являются закрытыми системами: доступ к оборудованию осуществляется через панели, расположенные с внешней стороны конструкции (без доступа внутрь). В табл. 3 дается краткая классификация закрытых конструкций.

Таблица 3. Классификация закрытых конструкций
Таблица 3. Классификация закрытых конструкций

 

Основная причина выбора закрытого форм-фактора заключается в необходимости вывода наружу подсистем ЦОДа или защиты от вредных факторов, например от неблагоприятной внутренней среды помещения. Для закрытых конструкций, которые размещаются снаружи, должен обеспечиваться высокий уровень безопасности в целях предотвращения несанкционированного доступа.

Устанавливаемые на платформу. При использовании этого метода оборудование устанавливается на раме, шасси или металлических поддонах, что позволяет легко и безопасно перевозить его и использовать в виде единой конструкции. Примеры таких модулей ЦОДа представлены на рис. 3.

Рис. 3. Примеры устанавливаемых на платформу конструктивных решений  для модульных ЦОДов
Рис. 3. Примеры устанавливаемых на платформу конструктивных решений для модульных ЦОДов

 

Эти модули не предназначены для использования вне помещений, так как их компоненты не защищены от воздействия окружающей среды. В данном варианте конструктивного исполнения часто выпускаются энергетические модули, поскольку коммутационное оборудование, ИБП, трансформаторы и распределительные щиты не обязательно должны располагаться снаружи, в отличие от охлаждающих модулей. Модули на платформе не имеют значительных ограничений по емкости, связанных с размером доступной площади (по сравнению с закрытыми конструкциями или ISO-контейнерами), так что могут применяться для организации более крупных ЦОДов.

С возрастанием требований к энергоснабжению метод расположения модулей на платформе становится все более востребованным в силу своей рациональности. В целом стоимость модуля на платформе, изготовленного в заводских условиях, меньше, чем у аналогичного в виде закрытой конструкции, — зачастую экономия составляет 40%.

Обратите внимание на то, что модули на платформе нелогично применять для размещения ИТ-устройств, поскольку оборудование в них не изолировано и разделения горячего и холодного воздуха не происходит.

КОНФИГУРАЦИЯ

Функциональные блоки могут быть реализованы несколькими способами, которые делятся на три основные категории:

  • частично готовые — ЦОД состоит из комбинации предсобранных функциональных блоков и традиционных систем, собираемых на месте;
  • полностью готовые — ЦОД состоит только из предсобранных модулей (ИТ-, энергетических и охлаждающих);
  • «все в одном» — моноблочный ЦОД в одном корпусе, содержащем ИТ-, энергетические и охлаждающие системы.

В данном разделе рассматриваются все конфигурации, представлены примеры, описаны типичные сценарии использования каждого типа архитектуры. Ко всем конфигурациям предъявляются общие требования: развертывание ЦОДа не за месяцы или годы, а за несколько недель; возможность масштабировать ЦОД при необходимости; стремление точно спрогнозировать эксплуатационные характеристики. Кроме того, особенности окружающей среды, ограничение бюджета или сроков нередко становятся причиной выдвижения особых требований, которые тоже влияют на принятие решения.

Частично готовые центры обработки данных. Типовое развертывание ЦОДа предполагает комбинацию модулей высокой заводской готовности и традиционных, собираемых на месте систем. Данный подход относится к «частично готовым». На рис. 4 изображен пример ЦОДа, где энергетический и охлаждающий блоки обеспечивают необходимыми ресурсами ИТ-залы, расположенные в обычном здании ЦОДа. Прочие сочетания тоже возможны — например, традиционные энергетическая и охлаждающая подсистемы с ИТ-модулями, расположенными снаружи. Конкретная комбинация предсобранных и традиционных систем определяется в зависимости от назначения и потребностей ЦОДа. Такой подход наиболее часто используется в случаях модернизации/расширения ЦОДа при ограниченных ресурсах здания.

 

Рис. 4. Пример частично готового ЦОДа с предсобранными энергетическими и охлаждающими модулями и традиционным ИТ-пространством
Рис. 4. Пример частично готового ЦОДа с предсобранными энергетическими и охлаждающими модулями и традиционным ИТ-пространством

 

Частично готовые центры обработки данных применяются, когда:

  • существующий ЦОД исчерпал резервы мощности, в помещении с электрооборудованием не хватает места, но ИТ-зал можно расширить;
  • существующий ЦОД исчерпал ресурсы системы охлаждения, однако ИТ-зал имеет потенциал для расширения;
  • существующий ЦОД исчерпал ИТ-пространство из-за того, что плотность ИТ-нагрузки оказалась ниже проектной, в результате остались значительные незагруженные мощности систем охлаждения и электропитания;
  • новый ЦОД корпоративного класса имеет смешанную ИТ-среду, ограничивающую применение ИТ-модулей, но могут быть использованы модули электропитания и охлаждения;
  • для временного решения проблемы недостаточной мощности и/или надежности до реализации долгосрочного проекта принимается краткосрочный план (позже модули будут задействованы для других задач).

Полностью готовые центры обработки данных. В таких ЦОДах все инженерные системы поставляются в виде функциональных блоков, обеспечивающих законченный функционал (энергообеспечение, отвод тепла и размещение ИТ-оборудования). На рис. 5 показаны два примера полностью готовых ЦОДов и варианты планировки. В зависимости от требований бизнеса внедрения могут различаться по типу конструктивного решения, энергоемкости, технологии и месту расположения (внутри или снаружи).

 

Рис. 5. Примерные планы полностью готовых центров обработки данных на основании эскизных чертежей Schneider Electric
Рис. 5. Примерные планы полностью готовых центров обработки данных на основании эскизных чертежей Schneider Electric

 

Полностью готовые центры обработки данных применяются, когда:

  • масштабируемость ЦОДа является основным требованием бизнеса;
  • ИТ-пространство в многопользовательском ЦОДе планируется разделить между клиентами или имеется потребность в масштабируемых источниках энергоснабжения и охлаждения;
  • крупный гомогенный центр обработки данных планируется расширять поэтапно одинаковыми блоками;
  • в ЦОДе с высокой плотностью вычислительной нагрузки регулярно вводятся в эксплуатацию тысячи серверов и по мере роста их количества требуются дополнительные ресурсы;
  • для аварийного восстановления нужен крупный резервный ЦОД.

Центр обработки данных «все в одном». Такой ЦОД представляет собой весьма специфический тип полностью готового ЦОДа, однако выделяется как отдельная конфигурация, где все компоненты объединены в одной уникальной структуре. На рис. 6 показан пример проекта такого центра обработки данных.

Рис. 6. Пример самодостаточного предсобранного центра обработки данных
Рис. 6. Пример самодостаточного предсобранного центра обработки данных

 

Объединение множества функций в одном модуле, как правило, сильно сказывается на его емкости. Типичная максимальная мощность для решения «все в одном» (с совмещением энергетических, охлаждающих и ИТ-систем) составляет примерно 150 кВт для одного модуля на базе ISO-контейнера. Еще более жесткие ограничения свойственны для конфигурации, поставляемой в виде нескольких секций, собираемых на месте установки. Устанавливать на площадке более двух или трех модулей (приблизительно 500 кВт) неоправданно дорого.

Хотя указанные конфигурации считаются самодостаточными, для ЦОДов «все в одном» часто требуется дополнительная инфраструктура за пределами модуля, например генератор или чиллер. Кроме того, возможен еще один вариант, когда в одном блоке совмещены ИТ- и охладительная установка, а ИБП располагается в отдельном модуле. Это характерно для проектов, где охлаждение осуществляется за счет приточного воздуха — напрямую или посредством воздухо-воздушного теплообменника.

Предсобранные центры обработки данных «все в одном» используются, когда:

  • в них возникает временная потребность — например, при проведении военных учений, спортивных соревнований или в случае иных краткосрочных событий;
  • важно обеспечить мобильность центра обработки данных;
  • удаленному филиалу нужен ЦОД мощностью не более 150 кВт;
  • небольшой ЦОД находится на объекте смешанного назначения, где желательно иметь контроль над всеми функциями;
  • ЦОД располагается в суровых условиях — например, в промышленной среде, на буровой вышке и так далее;
  • для аварийного восстановления требуется небольшой резервный ЦОД.

ЗАКЛЮЧЕНИЕ

Предсобранный модульный ЦОД может быть реализован множеством способов, однако из-за отсутствия стандартной терминологии для описания этих методов выбор модульного решения нужного вида очень осложнен. Оптимальная конфигурация, включая нужные функциональные блоки и конструктивные решения, зависит от поставленных задач и требований бизнеса. В ряде случаев полностью готовый ЦОД оказывается наилучшим вариантом, а для других ситуаций подойдет частично готовый модуль в сочетании с готовыми и традиционными системами. Понимание ограничений и преимуществ каждого конструктивного решения помогает обеспечивать выбор оптимального метода. В конечном итоге для принятия решения следует оценить, какие из факторов являются для бизнеса наиболее важными: сроки внедрения, масштабируемость, ограничение пространства, емкость или размер бюджета.

Венди Торелл — старший аналитик-исследователь в научном центре департамента центров обработки данных Schneider Electric. Денис Шарапов — менеджер по развитию бизнеса Schneider Electric.