ЦОД для «Электронной Москвы»

Расскажите об основных этапах создания ЦОД: выбор площадки, проектирование, строительство. Сколько времени занял каждый этап?

В нашем случае эти этапы были крайне сжатыми, ввиду того что сроки реализации проекта были критичными.

Поиск площадки занял примерно 3–4 месяца. Основными критериями выбора стали: наличие необходимой электрической мощности и подходящего здания, возможность его реконструкции под наши нужды, возможность прокладки кабелей связи и другие условия.

Проектирование велось порядка 4 месяцев (в режиме нон-стоп). Проектная команда состояла из пяти главных инженеров по направлениям и большой команды проектировщиков. Параллельное проектирование инженерных систем подобной сложности является крайне нетривиальной задачей, что, в свою очередь, приводит к увеличению сроков проектирования и сложности согласования смежных разделов проекта.

Само строительство заняло порядка одного года с момента выхода на площадку. Работы велись в круглосуточном режиме. Основная сложность была связана со сроками поставки оборудования, небольшой площадью объекта и необходимостью проведения смежных работ одновременно.

 

На объекте установлены динамические ИБП. Чем был обусловлен выбор именно этого варианта? Какие преимущества этих ИБП над статическими оказались решающими?
 

Выбор данных источников был обусловлен несколькими факторами.

Во-первых, учитывался положительный опыт эксплуатации данных ИБП в зарубежных и российских ЦОД.

Во-вторых, принимались во внимание массогабаритные характеристики, так как нам пришлось вписывать ЦОД в имеющееся здание. При использовании классических ИБП мы бы потеряли большую часть полезной площади, что сказалось бы негативно на экономической составляющей проекта. Система электропитания, построенная с использованием динамических ИБП, компактнее, ей не нужны помещения для аккумуляторных батарей.

В-третьих, применение роторно-динамических ИБП экономически значительно более выгодно, чем статических ИБП.

В-четвертых, дизель-роторные ИБП более экологичны. В классических ИБП используются аккумуляторные батареи, содержащие тяжелые металлы. При мощности нашего ЦОД 6,8 МВт каждые 4–5 лет нужно было бы осуществлять их замену, а это тонны токсичных соединений. Вполне возможно, что через 5–7 лет придется существенно доплачивать за утилизацию батарей. Следовательно, вносить коррективы в финансовый план.

Какие средства повышения энергоэффективности были использованы? Каков расчетный PUE? Есть ли данные по реальному PUE, полученные в ходе эксплуатации?

У нас реализован целый комплекс мер по повышению энергоэффективности ЦОД.

Системы хладоцентра построены таким образом, что технология естественного охлаждения (freecooling) позволяет экономить значительное количество электроэнергии, за счет использования холодного наружного воздуха.

Кондиционирование машинных залов организовано по принципу «холодных» и «горячих» коридоров, которые оборудованы межстоечными кондиционерами, забирающими воздух из «горячих» коридоров и направляющими уже охлажденный воздух в «холодные», тем самым система кондиционирования позволяет гарантированно отводить до 15 кВт тепловой энергии от одной стойки серверного оборудования, без особых ухищрений и специальной расстановки техники по стойкам.

Использование дизель-роторных ИБП вместо классических существенно снижает потери энергии за счет исключения потерь на преобразование переменного тока в постоянный и обратно, а также из-за отсутствия дополнительного коммутационного оборудования (оно становится ненужным при организации электропитания с использованием дизель-роторных ИБП).

Наш ЦОД еще не вышел на полную мощность, поэтому реальный PUE пока отличается от расчетного, равного 1,5, и составляет 1,7 , что вполне неплохо.

 

Известен ли был на этапе проектирования основной тип ИТ-нагрузки? Насколько характеристики ИТ-оборудования и специфика разворачиваемых ИТ-сервисов определяла требования к инженерной инфраструктуре?

При проектировании ЦОД мы уже знали, что подавляющее число размещенных в нем сервисов будут облачными, с высоким КПД использования вычислительных мощностей, то есть большим тепловыделением. В связи с этим стойки проектировались с учетом рассеиваемой мощности 15 кВт. Поэтому, хотя ЦОД и получился компактным, количество оборудования, которое в нем можно разместить, эквивалентно почти тысяче стандартных пятикиловаттных стоек.

Ваше отношение к сертификации Uptime Institute? Плюсы и минусы?

Я очень положительно отношусь к международным рекомендациям и стандартам. Но сертификация Uptime Institute не может гарантировать безопасности. Это вещь более маркетинговая, чем практическая. Если же говорить о российской действительности, то следует помнить, что Uptime Institute — американская организация, которой (в случае проведения сертификации) вы предоставляете всю документацию на архитектуру ЦОД и бизнес-процессы. В современной международной обстановке ничего нельзя исключать. Поэтому сами делайте вывод, стоит ли размещать вычислительные ресурсы государственных структур в «сертифицированных ЦОД».

Каковы особенности систем управления инженерной инфраструктурой, внедренных в ЦОД?

В нашем ЦОД внедрена и работает единая система мониторинга, диспетчеризации и управления инженерной инфраструктурой здания. Наша система АСДУ является одной из крупнейших в РФ, в нее входят порядка 180 тыс. «адресов»: весь ЦОД напичкан разного рода датчиками, контроллерами и прочими устройствами. Наша диспетчерская служба видит и контролирует практически все инженерные системы ЦОД, начиная от СКУД и заканчивая глубоким управлением «холодом» и энергией.