Современные центры обработки данных постепенно трансформируются в центры непрерывности бизнеса, которые позволяют довольно быстро восстановить деятельность компании в случае внезапного возникновения внештатной ситуации.
Центры обработки данных в контексте непрерывности бизнеса. Современные центры обработки данных постепенно трансформируются в центры непрерывности бизнеса, которые позволяют довольно быстро восстановить деятельность компании в случае внезапного возникновения внештатной ситуации. Их значение для бизнеса повышается, и требования к ним — тоже.
Любой, пусть даже небольшой простой, как правило, оборачивается потерей доходов, клиентов, наносит ущерб деловой репутации. Руководство компании должно осознавать возможность угроз, способных нарушить стабильную деятельность предприятия.
Вслед за осознанием необходимо предпринять конкретные действия по созданию плана обеспечения непрерывности бизнеса (Business Continuity Plan, BCP). Этот документ, разработанный с учетом анализа возможных угроз бизнесу, определяет комплекс мер по минимизации потенциальных рисков и их последствий. BCP охватывает различные аспекты всей организации, а не только департамента ИТ, что, впрочем, естественно: непрерывность бизнеса можно обеспечить, рассматривая эту проблему комплексно. BCP активируется при возникновении не только экстремальных, но и вполне бытовых ситуаций, приводящих к тому, что дальнейшая работа в центральном офисе становится невозможной (например, в случае серьезного сбоя в электросети или разрыва труб отопления).
Современные центры обработки данных (ЦОД) играют очень важную роль в поддержке ключевых бизнес-процессов предприятий самого разного профиля, поэтому неудивительно, что они постепенно трансформируются в центры непрерывности бизнеса, которые располагают резервными площадками и мощностями, позволяющими с минимальными временными задержками развернуть резервный офис компании в случае внезапного возникновения ситуации, нарушающей привычную деятельность компании. Оборудование, работающее в центре непрерывности, может в режиме реального времени производить резервное копирование критически важной для бизнеса информации, которая обрабатывается на основных вычислительных ресурсах.
Крупные компании создают собственные центры обеспечения непрерывности бизнеса. В качестве примера можно привести опыт «Альфа-банка» [1]. Безусловно, строительство такого объекта — инвестиционный проект, бюджет которого исчисляется сотнями тысяч долларов. Большой объем капиталовложений объясняется высокими требованиями к инфраструктуре, коммуникациям и т. п. Обычно в компаниях принимается решение о строительстве собственного центра при наличии очень веских причин, выявленных при разработке BCP. Менее крупные организации нередко покупают услуги центров обработки и хранения данных коллективного пользования, выполняющих одновременно роль центров обеспечения непрерывности бизнеса. Такие ЦОД позволяют сократить издержки компаний на самостоятельную реализацию технологических систем обеспечения непрерывности бизнеса.
Можно также организовать резервный центр обработки данных и резервный офис (в этом случае необходимо предусмотреть возможность развертывания полноценных рабочих мест).
Разумеется, на удаленной или арендованной ИТ-площадке можно создать и основной ЦОД предприятия. Практика показывает, что логично там же разместить и корпоративный узел голосовой связи. Решение может быть организовано как на традиционных голосовых схемах, так и на основе технологий VoIP.
Для качественного предоставления услуг ЦОД (как собственный, так и независимый) должен соответствовать комплексу требований. Важнейшие из них — высокая степень доступности данных, наличие эффективных внешних и внутренних коммуникаций, а также требования к инфраструктуре ЦОД.
Доступность данных
Обращаясь к услугам ЦОД, предприятие, прежде всего, должно решить задачу обеспечения доступности данных, которые размещены в ЦОД. Недостаточно просто установить в ЦОД оборудование, поддерживающее критичные приложения, и подключить его к надежным коммуникациям. Нужно провести комплекс организационно-технических мероприятий по созданию систем, устойчивых к программно-аппаратным сбоям.
Такой комплекс должен включать в себя установку минимально необходимого количества продублированных блоков — прежде всего блоков питания (желательно поддерживающих горячую замену) и сетевых адаптеров. Кроме того, должны быть задействованы отказоустойчивые дисковые подсистемы и развитые системы резервного копирования. Это позволит быстро восстановить работоспособность оборудования в случае сбоя. При грамотной технической поддержке и расширенном сервисном контракте с поставщиком оборудования даже при полном выходе из строя аппаратуры можно восстановить работоспособность системы за пять-шесть часов с минимальной потерей данных. (Например, в договоре может быть сделана запись о том, что поставщик хранит у себя полный аппаратный образ поддерживаемой системы и заменяет вышедшую деталь на площадке заказчика в течение двух часов в любое время суток.)
Но что делать, если простой даже в десять минут грозит компании серьезными убытками? В этом случае используются системы высокой доступности данных. Появление относительно дешевых кластерных решений сделало этот метод защиты гораздо более доступным. Сейчас большинство популярных операционных систем включает встроенную поддержку двухузловых кластеров и позволяет создавать кластерные решения с общей дисковой подсистемой, используя минимальный набор специализированных аппаратных средств (RAID-контроллеры). Это обеспечивает достаточный уровень доступности данных для большинства критичных приложений.
Значительно более высокий уровень доступности данных удается получить при использовании территориально распределенных центров обработки данных — основного и резервного, который может взять на себя обслуживание критически важных информационных ресурсов компании в случае выхода из строя основного ЦОД. При таком подходе особое внимание следует обратить на обеспечение синхронизации данных между центрами.
Если временной интервал восстановления работоспособности информационной системы компании в случае полного выхода из строя основного центра обработки данных составляет от двух до четырех часов, то достаточно создать в резервном центре полный программно-аппаратный образ системы и производить регулярные обновления данных. В этом случае на восстановление информационного ресурса потребуется время, необходимое для наложения последней «добавочной резервной копии» и некоторых других организационных мероприятий. Тем не менее минимальная потеря данных неизбежна.
Для критичных приложений необходима синхронизация «на лету». Наиболее интересным решением тут является использование так называемых слабо связанных кластеров. Эти системы не обладают общими аппаратными ресурсами. Перенос информации осуществляется по каналам передачи данных. Кластер строится по принципу «ведущий — ведомый», при этом особенностью многих программных решений является наличие специальных средств по отслеживанию состояния «ведущего» узла. При выходе из строя основного узла ведомый узел через 30-120 секунд полностью «подхватывает» поддержку приложения и автоматически перенастраивает сетевую подсистему (вплоть до «перехвата» сетевых адресов «ведущего» узла). Для пользователей это выглядит как короткий перерыв в предоставлении ИТ-услуг и не требует перенастройки рабочих мест.
При создании сложных резервированных систем следует учитывать объем информации, которую необходимо синхронизировать (первоначальную синхронизацию больших объемов данных рекомендуется производить локально, используя максимально быстрые сетевые соединения), и чувствительность синхронизуемой информации к завершенности транзакций между узлами. Эти два параметра определяют качество и пропускную способность канала связи «ведущего» и «ведомого» узлов.
Коммуникации
Эффективность работы ЦОД во многом определяет качество внешних и внутренних телекоммуникаций. Для того чтобы ЦОД мог удовлетворять требованиям пользователей, необходимо обеспечить целый ряд возможностей.
Первая из них — наличие высокоскоростного доступа в Internet. Решение, обеспечивающее этот доступ, должно быть гибким, резервированным и отказоустойчивым, оно должно включать в себя два или более соединений с опорными сетями международных провайдеров. Это условие, несмотря на высокую стоимость, нельзя расценивать как избыточное. Растущая глобализация, мировая экспансия крупных корпораций приводит к росту популярности услуг VPN over Public IP и MPLS VPN для организации корпоративных сетей, которые накладывают жесткие требования на качество международного IP-трафика.
Вторая — наличие высокоскоростных соединений с ведущими российскими Internet-провайдерами. Это условие обусловлено региональной экспансией столичных компаний и ростом бизнеса в регионах.
Также важно иметь современное опорное сетевое оборудование, поддерживающее протоколы маршрутизации высокого уровня и приоритизацию трафика по качеству и направлению.
Разумеется, необходимо выстроить грамотную политику управления трафиком и сформировать высококлассную команду сетевых инженеров, способную поддерживать эту политику и оперативно решать возникающие проблемы.
Кроме того, необходима собственная инфраструктура «последней мили» или договор с местным провайдером «последней мили». Несмотря на увеличение доли IP и MPLS решений в распределенных корпоративных сетях, возможность предоставления прозрачных цифровых каналов для организации связи удаленных офисов и центров обработки данных (основных или резервных) с головными офисами имеет решающее значение. Часто использование прозрачных каналов, а иногда и прокладка «темного волокна» или «меди» между офисом и удаленным (резервным) центром обработки данных базируется на требованиях корпоративной политикои безопасности заказчика.
Присутствие в точках обмена трафиком желательно (в Москве эти точки расположены на станциях M9-IX и M10-IX). Это позволит снизить стоимость и ускорить организацию последних миль, а также упростит установку соединений с крупными операторами связи. Для решения задач глобального масштаба желательно присутствие в международных точках обмена трафиком (AMS-IX, LINX, SOLIX, BNIX и других).
Инфраструктура
Практика эксплуатации ЦОД, а также теоретические исследования, связанные с моделированием чрезвычайных ситуаций, позволили сформировать ряд требований к инженерным решениям таких центров. В международной практике такие факторы, как расположение ЦОД, помещения, подъездные пути, общественный транспорт, парковка, охрана территории относятся к разряду критичных.
Предпочтительно размещать ЦОД в индустриальном либо офисном здании недавней постройки с расчетной нагрузкой на пол от 500 кГ/кв. м. Во многих современных офисных центрах проектная нагрузка на пол не превышает 250-300 кГ/кв. м. Подвалы жилых домов, офисные здания, перестроенные из бывших НИИ, обладают высоким риском заливов, пожаров и прочих бедствий. Идеальным является вновь возведенный офисный либо производственно-складской комплекс в городской черте (в Москве — в пределах МКАД, но желательно за пределами Садового кольца). Возможность подъезда к ЦОД общественным транспортом зачастую трактуется как обязательная при реализации корпоративных планов BCP предприятий.
Этаж помещения для ЦОД желательно понижать (но не ниже первого). Это важно, так как лифты зданий не всегда вмещают крупногабаритные предметы. Прохождение таких коммуникаций как водоснабжение, отопление или канализация через помещение ЦОД либо над помещением ЦОД создает риск залива. Если избежать этого невозможно, то следует осуществить комплекс мероприятий по минимизации рисков путем дополнительных проверок труб, установки датчиков залива и водосборных лотков под трубами.
Прилегающая к ЦОД территория должна охраняться по периметру и иметь достаточное количество круглосуточных парковок для посетителей ЦОД.
Электроснабжение
Потребление электроэнергии ЦОД площадью 100 квадратных метров, либо отдельного модуля абонентского оборудования, может достичь 300 кВА. Для энергоснабжения нового офисного здания устанавливается трансформаторная подстанция, но ее мощности, как правило, достаточно лишь для нужд самого здания, то есть дополнительных 300 кВА может просто не быть. Этот комментарий сделан к бытующему мнению о том, что можно создать «надежную» серверную комнату в бизнес-центре, куда переезжает компания.
Нужно быть внимательными при планировании под ЦОД помещений на территории заводов или НИИ. Там может располагаться огромная трансформаторная подстанция мощностью несколько мегаватт, но в связи с тем, что завод или НИИ не оплачивал счета за электроэнергию, энергетики перенаправили эти мощности другим потребителям. Получить назад их будет невозможно.
Профессиональный ЦОД требует электроснабжения первой категории. Это связано с тем, что в ЦОД расположены инженерные системы, обеспечивающие оптимальный режим работы серверного и телекоммуникационного оборудования. Для реализации этой задачи организуется два независимых городских подключения к электросетям (энерговводы), каждое из которых поддерживает работоспособность ЦОД (несет полную нагрузку). Между вводами обычно устанавливается автомат выбора резервной линии, обеспечивающий автоматический переход на резервный канал при перерыве электроснабжения на одном из вводов.
Повысить надежность энергоснабжения можно за счет использования дизель-генераторной установки. Она должна автоматически запускаться при исчезновении напряжения во внешней электросети. Рекомендуется использовать генератор в мобильном исполнении (во всепогодном контейнере и на колесах). Это позволит избежать дополнительных согласований для его установки на территории ЦОД. Мощность генератора рассчитывается с коэффициентом не более 0,7, другими словами, полная нагрузка потребителей на генератор не должна превышать 70% его мощности (перегрузка повлечет за собой нестабильность частоты генерируемого напряжения).
Для гарантированно бесперебойного электроснабжения компьютерных систем в ЦОД необходим источник бесперебойного электропитания. Он включается в цепь электроснабжения непосредственно перед потребителями — компьютерными системами, а также после всего блока автоматики выбора резерва между городскими вводами и генератором. На выходе ИБП дает стабильное напряжение 380-220 вольт с частотой 50 Гц вне зависимости от скачков напряжения и возможных помех на входе. Все «некомпьютерные» потребители электроэнергии в пределах ЦОД (системы кондиционирования, вентиляции, освещения и прочие) должны быть включены в схему электроснабжения после генератора, но до ИБП.
Создание такого серьезного инженерного комплекса, как система электроснабжения ЦОД, требует основательного подхода. Проектирование и строительство системы электроснабжения ЦОД должно осуществляться специализированными проектными и монтажными организациями, а эксплуатация требует неукоснительного соблюдения правил технической эксплуатации и правил безопасности. Эксплуатация ЦОД должна производиться службой, состоящей из аттестованных инженеров и электротехников.
Кабели и стойки
Любой современный центр обработки данных должен обладать развитой внутренней кабельной инфраструктурой. В помещении поставщика услуги «центр обработки данных» наличие разнообразного сетевого оборудования, инвариантность типов устанавливаемых физических соединений требует отойти от принципа «все на одном кроссе», то есть уйти от концентрации внешних и внутренних коммуникаций центра в одной точке пространства. Это существенно снизит риск полной потери коммутационного поля, и как следствие, изоляции оборудования в случае повреждения кросса, а также облегчит учет и контроль соединений. Рекомендуется разнести физически кроссы по типам соединений: оптический кросс; Ethernet-кросс; цифровой кросс для организации каналов E1/T; кросс с разведенными абонентскими линиями от УАТС. При кажущейся непрактичности, данное решение оправдано своей технологичностью и экономичностью.
Размещать серверное и сетевое оборудование оптимально в модулях выделенных 19-дюймовых стоек, причем в резервный офис можно вывести только необходимый минимум оборудования и кабельной инфраструктуры. Монтаж осуществляется в настенном (или напольном) коммутационном шкафу офиса. Туда же выводится СКС резервного офиса. Такое распределение ресурсов позволяет создать максимально технологичное решение для ЦОД и стандартную СКС в резервном офисе.
Кондиционирование
Для компьютерного оборудования, работающего в ЦОД, должен быть обеспечен оптимальный режим отвода выделяемого тепла. Этой цели служит система кондиционирования воздуха или система холодоснабжения (оба термина верны в случае ЦОД).
В задачи системы холодоснабжения входит поддержание рабочей температуры внутри ЦОД в рамках от 19 до 24 градусов по Цельсию и влажности в пределах от 40 до 80%.
В модуле среднего размера (рассчитан на площадь 100-200 кв. м) используются шкафные прецезионные фреоновые кондиционеры, забирающие теплый воздух сверху помещения и нагнетающие охлажденный воздух под фальшпол. Расчет хладопроизводящей мощности системы холодоснабжения следует производить с коэффициентом 1 (на 1 кВт энергопотребления компьютерного оборудования необходимо установить 1 кВт хладопроизводства).
Резервирование системы холодоснабжения наиболее эффективно по схеме N+1. Например, если нужно создать систему холодоснабжения суммарным хладопроизводством 100 кВт и в распоряжении имеются шкафные фреоновые кондиционеры по 25 кВт холода, то следует установить пять шкафов — четыре основных, дающих суммарно 100 кВт, и один резервный, на случай выхода одного из шкафов из строя. Опыт подтверждает эффективность схемы, в частности, когда все пять шкафов связаны в единую систему управления. Программное обеспечение осуществляет ротацию роли запасного шкафа, это позволяет более эффективно расходовать ресурс системы холодоснабжения в целом.
Необходимо организовать приток в ЦОД свежего воздуха с улицы, поскольку воздух, постоянно циркулирующий через компьютерные кабинеты и кондиционеры, «выгорает» и требует обновления. Приток осуществляется с помощью специальной установки, нагревающей и осушающей уличный воздух. Установка также создает дополнительное давление внутри ЦОД, что препятствует проникновению внутрь пыли.
При проектировании ЦОД необходимо учесть места установки внешних блоков теплообмена системы холодоснабжения. Расстояние между внешними и внутренними блоками кондиционеров не должно превышать 100 метров.
Для увлажнения воздуха используются парогенераторы. Сухой воздух малоэффективен для охлаждения системой холодоснабжения в силу физических принципов кондиционирования воздуха. При понижении влажности повышается электростатический потенциал, что может быть причиной выхода из строя оборудования.
Система холодоснабжения — сложный и тонкий механизм. Как показывает практика, это самая критичная и ненадежная составляющая комплекса ЦОД. Выход системы холодоснабжения из строя всего на 30 минут может повлечь за собой нагрев помещения ЦОД до 60-70 градусов по Цельсию, что приведет к выходу из строя оборудования, в первую очередь магнитных носителей. Настоятельно рекомендуется проектировать, строить и эксплуатировать систему холодоснабжения максимально профессионально и ответственно.
Защита от пожара
К числу критичных относится система пожарной безопасности, размещаемая в каждом модуле ЦОД и в ЦОД в целом. Работы, связанные с их проектированием, монтажом и обслуживанием рекомендуется доверять специализированным организациям, имеющим соответствующие лицензии и богатый опыт в проектировании, монтаже и последующем обслуживании.
Все системы пожарной безопасности должны соответствовать текущим нормам. В модулях, где размещено оборудование, обязательно нужно предусмотреть систему автоматического газового пожаротушения. Наиболее безопасной для людей и оборудования является газовая смесь «Инерген». Все помещения, оборудованные системой автоматического газового пожаротушения, должны быть оснащены световой и звуковой сигнализацией, предупреждающей о скором пуске газа и требующей от персонала покинуть помещение.
Пожарная сигнализация в обязательном порядке должна быть состыкована со схемой управления системой охлаждения, чтобы производить аварийное отключение кондиционирующего оборудования.
Система разграничения физического доступа, включающаяся по сигналу пожарной тревоги, должна автоматически разблокировать все помещения для обеспечения беспрепятственной эвакуации персонала. Все модули размещения оборудования должны быть оборудованы системами дымоудаления. С персоналом должны проводиться регулярные тренировки для отработки процедур поведения в случае пожарной тревоги.
Разграничение доступа
Наиболее удобным и гибким решением для разграничения физического доступа являются системы на основе бесконтактных карт (proximity-карт), используемый стандарт и конкретный их производитель особой роли при этом не играют. Типовая система включает в себя сервер управления, систему контроллеров и считывателей, а также сами карты («ключи»).
На каждое помещение (будь то модуль размещения оборудования, резервные офисы клиентов или офисные помещения компании) устанавливаются пары «считыватель-контроллер». Следует учесть, что различные контроллеры могут хранить в локальной памяти разное количество ключей, поэтому при планировании необходимо рассчитать количество ключей для людей, которые будут иметь доступ в конкретное помещение. Пары «считыватель-контроллер» необходимо подключать к сети «чистого» питания (защищенной ИБП или фильтром).
Выдаваемые ключи логично было бы разделить на два основных типа — персональный и временный. Персональный ключ выдается по официальному запросу и является также пропуском на территорию ЦОД (этот вопрос координируется со службой охраны территории центра). Типовые атрибуты ключа — фотография владельца, его персональные данные и название компании, сотрудником которой он является. Такой ключ выдается по процедуре, постоянно находится у сотрудника и обеспечивает беспрепятственный доступ в разрешенные помещения в оговоренное время. Время доступа и список санкционированных для доступа помещений прописываются на сервере управления при заведении учетной записи и привязке к ней конкретного ключа. Персональные ключи обычно выдаются инженерно-техническим сотрудникам клиентов ЦОД, имеющим доступ к соответствующему оборудованию.
Временные ключи, как правило, необходимы организациям, которые пользуются услугами независимых ЦОД по размещению резервных офисов. При заключении контракта определяется количество сотрудников, которым понадобятся пропуска, затем выпускается оговоренное количество ключей, которые запрограммированы на обеспечение доступа в резервный офис и снабжены минимальной информацией, необходимой для идентификации конкретного владельца ключа. Эти ключи передаются на хранение службе охраны в опечатанном боксе. По смене передается список сотрудников клиента, авторизованных получить бокс с набором временных ключей. По завершении использования «резервного офиса» ключи сдаются и бокс вновь опечатывается.
Видеонаблюдение
Система видеонаблюдения — обязательная часть организационно-технических мероприятий для современного ЦОД. Это обусловлено не только требованиями внутренней системы безопасности, но и требованиями заказчиков услуг ЦОД.
Существует два базовых решения для видеонаблюдения. Традиционное решение основано на использовании аналоговых видеокамер: видеосигнал (чаще всего по коаксиальному кабелю) идет до концентратора видео-сигнала, после чего оцифровывается на сервере, который служит для предоставления суммарного выхода на мониторы охраны и хранения архивов видеонаблюдения. Данное решение имеет два негативных момента — необходимость прокладки коаксиального кабеля и трудность расширения концентраторов аналогового видеосигнала при увеличении количества точек наблюдения. Этому решению может быть отдано предпочтение при ограниченном бюджете и небольшом количестве точек наблюдения.
Второй вариант подразумевает использование более современных видеоустройств — различных вариантов видеокамер с сигнальными процессорами и встроенными серверами, передающих оцифрованный видеопоток по протоколу TCP/IP. Такое устройство достаточно включить в локальную сеть (специализированную, выделенную только для системы видеонаблюдения или общую служебную сеть ЦОД) и выделить IP-адрес. Наблюдение можно производить, используя любой современный Web-браузер. Существует еще более «красивое» решение с использованием специализированных видеосерверов, которые суммируют и хранят архивы видеонаблюдения. Сегодня на рынке имеются как готовые программно-аппаратные комплексы для использования пулов интеллектуальных видеокамер (предоставляющих широкий набор дополнительных функций), так и программные решения, выполняющие схожий набор функций (включая решения с открытыми программными кодами).
Второй вариант заведомо дороже, но имеет свои плюсы: возможность использования СКС ЦОД, организации электропитания видеокамер по витой паре и гораздо большую гибкость по сравнению с первым вариантом.
Литература
- Туманов О.Е. Обеспечение непрерывности бизнеса // Финансовый директор. 2003. № 9
Сергей Шуршалин — технический директор компании WideXs, sergei.shurshalin@ionip.ru
Илья Басин — инженер датацентра компании WideXs, ilya.basin@ionip.ru
Выбор ИБП
При выборе ИБП следует учитывать несколько факторов.
- Время работы ИБП на батареях при полной нагрузке. Достаточно семи минут. Продолжительность времени работы ИБП существенно влияет на стоимость ИБП.
- Возможность резервирования и параллельной работы ИБП. В идеале для ЦОД, потребляющего 300 кВА, рекомендуется установить два ИБП по 300 кВА каждый, работающих в паре через согласующее устройство. Это позволит осуществлять профилактическую остановку ИБП по одному без отключения электроснабжения потребителей. Кроме того, в случае выхода из строя одного из ИБП система продолжит работать без перегрузки.
- Наличие фильтра 12-й гармоники и устройств, согласующих работу ИБП с дизель-генераторной установкой. Электроэнергия, вырабатываемая мобильным генератором, не столь «чиста», как продукт РАО ЕЭС, и требует дополнительной обработки.
- Возможность вывода сигналов тревоги и мониторинг состояния ИБП по протоколу SNMP.
Лучшая защита — упреждение
Самая эффективная противопожарная система — это комплекс превентивных мер. Соблюдение простых и логичных правил позволит избежать трудностей и несчастий впоследствии. Правила таковы:
- не перегружать электросеть и правильно балансировать нагрузку;
- не использовать несертифицированное и сомнительное оборудование;
- обучить персонал мониторингу оборудования.
Также весьма эффективна система оптического мониторинга состояния воздуха — так называемая система сверхраннего обнаружения дыма (VESDA). Она позволяет обнаружить потенциальный источник пожара задолго до его возникновения.