В конце 2009 года Сибирским филиалом ОАО «МегаФон» был запущен в эксплуатацию самый большой центр обработки данных на территории сразу трех федеральных округов — Уральского, Сибирского и Дальневосточного. Мощность построенного менее чем за полтора года объекта — 1,6 МВт при общей площади около 2000 кв. м, полный объем вложенных в строительство средств — 800 млн руб. В ЦОД применены множество инновационных решений, например высокоэффективная экономичная система климатического контроля; модульные системы обеспечения бесперебойного питания, использование которых не только гарантирует высокую надежность энергосистем, но и позволяет снизить капитальные затраты и повышать их мощность по мере необходимости; система распределения питания на базе шинопроводов; и т. д. О его технической «начинке» рассказывает Игорь Романов, заместитель директора по ИТ Сибирского филиала «МегаФона».
Какова специфика ЦОД сотового оператора и каковы были начальные условия, предшествующие строительству нового объекта?
Специфика вычислительных систем оператора заключается в том, что они должны работать в режиме 24 x 7 x 365 — перерывы в предоставлении сервисов по причине аварий оборудования исключаются. Центры обработки данных в нашем филиале «эволюционировали» вместе с основным бизнесом компании. В 2003 году это была небольшая серверная на 14 шкафов. Но уже через два года возникла потребность расширить вычислительные мощности и обеспечить резервирование основных сервисов на разных площадках. Начиная с 2005 года компания придерживается принципов построения геораспределенных отказоустойчивых систем, разнесенных по двум площадкам. Решение о строительстве нового ЦОД стало логичным следствием роста компании, увеличения числа абонентов и предоставляемых сервисов.
Как известно, максимальную отказоустойчивость обеспечивает уровень Tier 4. Соответствует ли ваш ЦОД этому уровню?
Когда проектировалось здание и системы, учитывались требования и рекомендации стандарта TIA 942 по типу Tier 4 (кстати, ЦОД, запущенный в эксплуатацию в 2005 году, строился по Tier 3). Если говорить строго, то в новом ЦОД есть отклонения от Tier 4: например, мы не стали делать резерв топлива для дизель-генератора из расчета 96 часов непрерывной работы. Иначе потребовались бы дополнительные площади под резервуары плюс у топлива есть срок годности. Мы поступили так: заключили договор с топливной компанией на доставку топлива в случае необходимости в устраивающие нас сроки. Есть и еще ряд отступлений. Но основные электропитающие системы, климатические системы, кабельная разводка выполнены в соответствии с требованиями к данному уровню.
В сообщении компании говорилось о том, что в новом ЦОД максимальная мощность может достигать 70 кВт на шкаф. Как охлаждаются такие стойки?
Это теоретическая мощность. Проверить ее на практике пока нет возможности, поскольку отсутствует такое теплоемкое оборудование. В ЦОД создано два выделенных ряда для оборудования со сверхвысокой (по сегодняшним меркам) плотностью тепловыделения. Самое энергоемкое оборудование в нашем ЦОД — это blade-системы, одна корзина применяемых нами серверов может потреблять до 8 кВт; в данный момент в шкаф мы устанавливаем по четыре корзины. Тепло утилизируется с применением технологии изоляции горячего и холодного потоков; используется решение RACS компании APC by Schneider Electric. Это небольшая навесная конструкция, она устанавливается на стандартный монтажный шкаф и создает свободное пространство порядка 300 мм перед оборудованием и столько же сзади него. Между шкафами с оборудованием встраиваются межрядные водяные кондиционеры. Их количество определяет максимально возможное энергопотребление на шкаф, а также обеспечивает необходимый уровень резервирования. За счет замкнутости цикла теплообмена достигается высокий градиент температур на выходе и входе кондиционера, что повышает его КПД. В такой схеме отсутствует непродуктивное перемешивание холодных и горячих воздушных потоков. Мощность 70 кВт рассчитана исходя из возможностей встроенных кондиционеров, с учетом резервирования. Практические испытания показали, что установленные в один шкаф четыре корзины работают в штатном режиме и не перегреваются. При этом кондиционеры задействуются в среднем на треть мощности.
Какие «зеленые» решения применены в ЦОД? Осуществляете ли вы мониторинг энергопотребления разных систем, оцениваете ли энергоэффективность, например PUE?
Применяется высокоэффективная система охлаждения. Мощность каждого кондиционера (скорость вращения его вентиляторов, а также объем пропускаемой через кондиционер холодной воды) определяется датчиками температуры, установленными непосредственно в зоне влияния данного кондиционера. Если тепловыделение отсутствует — кондиционер останавливается, если тепловыделение повышается — кондиционер ускоряет вращение вентиляторов и сильнее открывает клапан подачи холодной воды. Такая система позволяет свободно наращивать мощности ЦОД, например устанавливать новое оборудование (в заданном диапазоне энергопотребления). Ночью, когда снижается вычислительная активность и падает энергопотребление, кондиционеры подстраиваются и снижают обороты вентиляторов, что позволяет экономить электроэнергию.
Что касается мониторинга, то отслеживается буквально все, начиная от параметров вводного напряжения, качества работы дизель-генераторов, нагрузки на разных уровнях (от общей на объект до нагрузки на каждый шкаф) и заканчивая всеми параметрами систем климатики (температура/влажность в автозалах, температура хладоносителей, давление в трубах и т. д.). Отдельных исследований по PUE не проводилось, но эффективность использования электроэнергии стоит во главе всего проекта.
Что еще поучительного показал ваш опыт создания ЦОД?
При проектировании и строительстве данного объекта нашло применение большое число красивых инженерных решений, которые, надеюсь, обеспечат надежную и долговечную эксплуатацию ЦОД. Например, при капитальном ремонте здания по всей территории ЦОД был сделан туннель глубиной около 1 м от уровня основного пола. В этот туннель уложены все трубопроводы системы охлаждения — трубы удобно обслуживать, они не мешают. Кроме того, туннель является трассой для аварийного сброса воды в случае протечки. Все автозалы имеют уклон основного пола на 0,5% в сторону туннеля. Сам туннель тоже имеет непрерывный уклон в сторону сливного отверстия.
В разных автозалах высота стоек фальшпола неодинаковая; там, где применяется охлаждение из-под фальшпола, пространство под фальшполом имеет высоту 1 м, а там, где межрядная схема охлаждения, — 0,5 м. При этом фальшпол во всех помещениях ЦОД находится на одном уровне, без перепадов и порогов, что позволяет свободно осуществлять такелажные работы. Во всех технологических зонах между кровлей и фальшпотолком смонтирована водоотводящая мембрана. Она установлена с уклоном в одну сторону, в случае протечки кровли вода будет стекать в специальный желоб, оборудованный датчиками воды. Эти датчики, так же как и сотни других, включены в единую систему управления и мониторинга ЦОД. Таким образом, течь не навредит оборудованию и будет сразу же замечена дежурной сменой.
Система распределения питания построена на базе шинопровода — жесткой конструкции, которую легко монтировать и обслуживать. При высоких передаваемых мощностях этот вариант предпочтительнее. Альтернатива — протяжка большого числа толстых проводов, влекущая за собой множество болтовых соединений, которые необходимо регулярно обслуживать.