ЦОД — это место концентрации самых современных сетевых и информационных технологий. Необходимость предоставить большому числу пользователей быстрый доступ к тысячам терабайт информации предполагает использование не только суперскоростных серверов и систем хранения, но и широких каналов связи. А для них требуются высокопроизводительные кабельные системы.
Первая волна массового строительства центров обработки данных (ЦОД) пришлась на времена Internet-бума конца 90-х годов прошлого века. Последовавший затем кризис телекоммуникационной отрасли несколько приостановил «победоносное шествие» ЦОД по планете, однако в последние годы интерес к ним снова возрос. Информации становится все больше, ценность ее увеличивается, быстро развиваются различные формы электронных коммуникаций (электронная и голосовая почта, IP-телефония, чаты, мгновенный обмен сообщениями и пр.), предлагаются разнообразные видеосервисы — эти и многие другие факторы способствуют росту числа и размеров ЦОД.
Их строят и крупные предприятия, и сервис-провайдеры. В корпоративных ЦОД размещаются системы хранения и обработки собственных данных компаний, а также сетевое и телекоммуникационное оборудование, необходимое для функционирования корпоративных локальных и территориально распределенных сетей. В ЦОД сервис-провайдеров и операторов связи располагаются средства связи и другое оборудование, необходимое для предоставления услуг абонентам. Кроме того, часть ресурсов ЦОД может выделяться для размещения оборудования и программных систем заказчиков на принципах аутсорсинга.
ЧТО СОБОЙ ПРЕДСТАВЛЯЕТ ЦОД
ЦОД представляет собой технологическое помещение, в котором установлены системы хранения данных, серверы, сетевое и телекоммуникационное оборудование. Он может занимать одну или несколько комнат, а также целиком все здание.
Для надлежащего функционирования современного вычислительного и телекоммуникационного оборудования требуется поддерживать довольно жесткий режим температуры и влажности, поэтому в современных ЦОД система кондиционирования и вентиляции является обязательной. Кроме того, аппаратура требовательна к качеству электропитания, поэтому приходится устанавливать источники бесперебойного питания (ИБП) необходимой мощности и альтернативные источники электричества (аккумуляторные батареи, дизель-генераторные установки и пр.). Серверы, системы хранения и сетевые устройства размещаются в специальных монтажных стойках и шкафах, которые должны быть достаточно надежными и удобными для обслуживания находящихся в них устройств. Не менее важными для нормальной жизнедеятельности ЦОД являются система обеспечения безопасности (контроль доступа, видеонаблюдение и т. д.), а также система контроля и управления инженерными средствами. Комплекс этих средств должен быть предусмотрен еще на этапе проектирования таких объектов.
Конечно, нельзя забывать и о кабельной проводке, своего рода кровеносной системе центра обработки данных. Она связывает воедино все компоненты — начиная от основного оборудования и заканчивая датчиками и контроллерами инженерных средств. Именно благодаря ей ЦОД превращается в единый «организм». А как известно, любые проблемы в работе кровеносной системы чреваты летальным исходом. Поэтому к вопросам проектирования, инсталляции и обслуживания кабельной системы надо подходить максимально внимательно. К тому же к такого рода инфраструктуре предъявляется ряд специфических требований, вследствие чего кабельные системы для центров обработки данных несколько отличаются от офисных СКС.
ЦОД И СТАНДАРТЫ
Как известно, для ЦОД имеются европейский стандарт EN 50173-5 и базирующийся на нем международный стандарт ISO/IEC 24764. Однако в последнее время наиболее часто цитируется стандарт TIA-942, принятый в США. Он охватывает широкий круг вопросов, связанных с организацией ЦОД, включая следующие параметры:
-
характеристики помещения (размеры, высота потолка, двери, освещение, нагрузка на пол);
-
принципы построения системы кондиционирования и электропитания;
-
требования по резервированию различных элементов;
-
принципы построения кабельной системы;
и другие.
Стандарт EN 50173-5 рассматривает только особенности построения кабельной системы. Хотя положения стандартов TIA-942 и EN 50173-5 в части кабельной системы ЦОД схожи, между ними имеются некоторые отличия. Поскольку российские инженеры традиционно придерживаются европейских стандартов, более подробно остановимся на стандарте EN 50173-5.
СТРУКТУРА КАБЕЛЬНОЙ СИСТЕМЫ ЦОД
Стандарт EN 50173-5 предусматривает иерархическую структуру кабельной системы ЦОД (см. Рисунок 1). Подключение внешних сетей и служб осуществляется через сетевые интерфейсы оборудования (Equipment Network Interface, ENI). Физически эти элементы располагаются, как правило, в отдельной комнате, где установлено активное оборудование для доступа к службам сервис-провайдера или территориально распределенной корпоративной сети. Поступивший извне трафик обрабатывается и далее направляется уже по кабельной системе ЦОД. Первый ее участок называется подсистемой сетевого доступа и ведет к основному кроссу (Main Distributor, MD). Далее — до зонных кроссов (Zone Distributor, ZD) — располагается основная (магистральная) подсистема распределения. Подключение розеток оборудования (Equipment Outlet, EO) осуществляется по зонной подсистеме распределения. Отметим, что в стандарте TIA-942 аналогичный участок называется горизонтальной подсистемой.
С целью резервирования стандарт EN 50173-5 допускает организацию дополнительных кабельных линий между зонными кроссами ZD и локальными пунктами распределения LDP (см. Рисунок 2).
ВЫСОКАЯ ПРОИЗВОДИТЕЛЬНОСТЬ
Не будет преувеличением сказать, что ЦОД — это место концентрации самых современных сетевых и информационных технологий. Необходимость предоставить большому числу пользователей быстрый доступ к тысячам терабайт данных предполагает использование не только суперскоростных серверов и систем хранения, но и широких каналов связи. А для них требуются высокопроизводительные кабельные системы.
Медные решения. Медные кабельные системы Класса E (Категории 6, по американским стандартам) способны обеспечить функционирование технологии 10GBaseT только на расстоянии до 55 м, да и то требуют дополнительного тестирования. Для тракта протяженностью 100 м был разработан специальный расширенный Класс EA (Категория 6A), характеристики которого определены для частот до 500 МГц и сейчас находятся в финальной стадии стандартизации. Кабельные системы, отвечающие требованиям Класс EA, уже предлагаются на рынке.
Главным препятствием для «медной» технологии 10 Gigabit Ethernet являются межэлементные (межкабельные) наводки (Alien Crosstalk), возникающие между соседними кабелями и соединительными элементами. На работу менее скоростных сетевых технологий, например, Gigabit Ethernet, такие наводки почти не влияют, но для 10-гигабитных систем именно их уровень стал камнем преткновения. Чтобы снизить уровень межкабельных наводок в неэкранированных кабельных системах (UTP), большинство производителей отдают предпочтение принципу пространственного разноса витых пар соседних кабелей. Это достигается путем увеличения диаметра медных жил, толщины оболочек, изменения формы кабелей (выпускаются некруглые кабели) и другими способами, обеспечивающими дополнительное пространственное разнесение влияющих пар. Однако «свобода маневра» по изменению геометрических параметров кабелей очень ограничена. Кроме того, более толстые кабели иногда невозможно проложить по имеющимся кабельным каналам (короба, лотки и пр.), а увеличение расстояние между отдельными разъемами в коммутационных панелях плохо согласуется с наблюдающейся в отрасли тенденцией максимально компактного размещения оборудования в целях экономии площади технических помещений ЦОД. Но существуют и другие подходы. Например, очень перспективным является встраивание в кабель изолированных друг от друга отрезков фольги, которые снижают как емкостную, так и индуктивную связь между парами соседних кабелей и значительно уменьшают уровень межкабельных наводок (см. Рисунок 3).
Оптические решения. Безусловно, одной «медью» в ЦОД не обойтись. Оптика «приходит» на интерфейсы ENI от операторов связи, на магистральных участках она даже более предпочтительна, наконец, оптические решения необходимы для организации сетей хранения данных (Storage Area Networks, SAN). Причем по сравнению с «медными» технологиями аналогичные задачи удается решать с помощью значительно меньшего числа кабелей. Это обстоятельство может оказаться важным при их прокладке под фальшполом, где необходимо достаточное пространство для подачи холодного воздуха от системы кондиционирования.
Согласно стандарту EN 50173-5 характеристики волоконно-оптических трактов ЦОД должны соответствовать как минимум требованиям класса OF-300. Это означает, что будут применяться кабели с многомодовыми волокнами OM-2 и OM-3. Волокна OM-2 (диаметр сердцевины 62,5 или 50 мкм) при насыщающем возбуждении (когда в качестве источников сигнала выбраны светодиоды LED) имеют коэффициент широкополосности 500 МГц x км на обеих рабочих длинах волн — 850 и 1300 нм. При том же способе возбуждения коэффициент широкополосности волокон OM-3 на длине волны 850 нм значительно выше — 1500 МГц x км (на длине волны 1300 нм он такой же). Однако волокна ОМ-3 разрабатывались специально для скоростных приложений и оптимизированы для использования с лазерами VCSEL: при лазерном возбуждении на длине волны 850 нм их коэффициент широкополосности составляет 2000 МГц x км. Очевидно, что в ЦОД предпочтительнее использовать кабели с волокнами OM-3.
ГИБКОСТЬ И МАСШТАБИРУЕМОСТЬ
ЦОД представляет собой объект, на котором происходят постоянные изменения. Причем, если львиная доля изменений в инфраструктуре ИТ обычного офиса связана с перемещениями сотрудников и целых отделов, то в ЦОД подобные операции приходится проводить гораздо реже, зато чаще добавляются новые устройства. Кабельную систему ЦОД следует строить таким образом, чтобы обеспечивалось переконфигурирование имеющегося оборудования и ввод в эксплуатацию нового. Стоимость базового оборудования ЦОД, как правило, очень высока, поэтому его простои надо минимизировать, а следовательно все работы на кабельной инфраструктуре должны выполняться в кратчайшие сроки. Возможности масштабирования должны обеспечивать не только подключение новой техники, но и расширение каналов связи, например, переход с технологии Gigabit Ethernet на 10 Gigabit Ethernet.
Залогом хорошей масштабируемости и гибкости кабельной системы является ее модульное построение. Желательно, чтобы такая система, как хороший конструктор, позволяла быстро активировать новые кабельные тракты, добавлять дополнительные разъемы для подключения оборудования, заменять один тип разъема на другой (например, медный на оптический). Проектировщикам ЦОД следует выбирать такие коммутационные панели и розетки, в которые (в одно и то же изделие) можно устанавливать модули разъемов как для медных, так и для волоконно-оптических трактов. Этим обеспечивается модульность на уровне подключения отдельных разъемов. Желательно использовать коммуникационные панели, обеспечивающие модульность на уровне групп разъемов. Подобные решения позволяют, исходя из специфики решаемой задачи, получить необходимое число различных разъемов и выбрать подходящий способ терминирования (см. Рисунок 4).
Большинство современных ЦОД имеют фальшпол, под которым располагаются элементы многих инженерных подсистем. Именно под фальшполом организуется распределение охлаждающего воздуха и подвод его к оборудованию. Во многих проектах там же прокладываются каналы для подведения кабелей к стойкам с оборудованием. Такое решение способно обеспечить удобное обслуживание, изменение и модернизацию кабельной системы. Для этого в портфеле решений поставщика должны быть необходимые продукты, например, для реализации под фальшполом локального пункта распределения LDP.
Возможность максимально оперативно вносить изменения в кабельную инфраструктуру ЦОД не должно сказываться на ее рабочих характеристиках. Однако, как известно, качественная установка разъемов на волоконно-оптические кабели занимает продолжительное время, а необходимое для этого оборудование не всегда удобно применять в «полевых» условиях. На помощь придут претерминированные кабельные сборки, в состав которых входят соединительные кабели различной длины, оконцованные разъемами (см. Рисунок 5). Все операции по обработке волокон и установке разъемов проводятся в заводских условиях, что гарантирует высокое качество и проверенные характеристики.
НАДЕЖНОСТЬ
Стандарт EN 50173-5 на кабельную систему ЦОД предусматривает ряд мер для повышения надежности на уровне ее структуры. В частности, уже упоминавшуюся возможность организации дополнительных линий связи между локальными пунктами распределения LDP, а также между зонными кроссами ZD. Но резервирование структуры не исключает высоких требований к надежности отдельных элементов кабельной системы.
Как уже отмечалось, ЦОД характеризуется высокой плотностью кабельных подключений, а также частыми добавлениями и переключениями. Поэтому особое внимание надо уделить качеству изготовления разъемов, которое должно быть подтверждено соответствующими тестами. Желательно, чтобы поставщик провел тестирование, гарантирующее, что механические характеристики контактов разъемов сохраняются, скажем, после 1500 циклов подключений/отключений. И хотя на практике, скорее всего, столько раз переключать один и тот же коммутационный шнур не потребуется, запас надежности должен гарантировать предсказуемое «поведение» разъемов.
Все большую популярность набирает технология подачи электропитания по кабельной системе сети Ethernet (Power over Ethernet, PoE). Такой способ значительно повышает удобство подключения конечных активных устройств и позволяет задействовать эффективные схемы централизованного резервирования источников электропитания. В ЦОД эта технология может использоваться для дистанционного электропитания установленных в нем камер видеонаблюдения и работающих в составе IP-УАТС IP-телефонов. Однако не следует забывать, что электропитание подается по «чужой» кабельной проводке, а значит важно исключить его негативное влияние на характеристики элементов кабельной системы. В этой связи возникает масса вопросов, например, как поведут себя контакты разъемов при подаче «силовой составляющей» (возникающая электрическая дуга способна привести даже к обугливанию контактов). Во избежание подобных эксцессов желательно ознакомиться с выводами тестовых лабораторий, чтобы убедиться в наличии у разъемов необходимой электрической устойчивости при большом числе циклов подключений/отключений под нагрузкой.
Высокая плотность подключений может приводить к дополнительной нагрузке на хвостовики вилок. Например, в случае большого числа коммутационных шнуров в ограниченном пространстве при отключении одного из них могут возникнуть нежелательные изгибы вилок других шнуров. В такой ситуации гарантировать надежность опять-таки способны лишь тщательно протестированные продукты.
БЕЗОПАСНОСТЬ И УПРАВЛЯЕМОСТЬ
Как показывают многочисленные исследования, человеческий фактор остается одной из основных причин, приводящих к отказам в сети. А представьте, какие финансовые потери могут ожидать компанию, если кто-то из техников по ошибке выдернет шнур подключения из гнезда магистрального активного оборудования? Вероятность такого события увеличивается ввиду того обстоятельства, что в ЦОД могут работать не только инженеры-кабельщики, но и специалисты по обслуживанию каких-либо других инженерных систем или основного оборудования. Очевидно, что защита точек физического подключения от несанкционированных действий — важнейший элемент обеспечения безопасности ЦОД, поэтому ориентироваться следует на те продукты, в которых реализована комплексная система безопасности.
Сложность, высокая плотность подключений и частые изменения в кабельной проводке ЦОД предъявляют жесткие требования к системе ее администрирования. Такая система должна строиться в соответствии со стандартами: ISO/IEC 14763-1 (международный), EN 50174-1 (европейский), TIA/EIA 606-A (американский). Помимо учета подключенных коммутационных шнуров, необходимо обеспечивать правильную маркировку элементов СКС, ведение базы данных элементов СКС и кабельных соединений, документирование расположения отсеков связи, горизонтальных и магистральных кабелей, заземляющих проводников, шин и т. д. Качество нанесения и учета меток и записей идентифицируемых элементов во многом определяет качество монтажа кабельной системы, ее надежность и удобство эксплуатации.
Здесь важно наличие эффективной системы визуального кодирования элементов СКС. Работу администраторов сетей упростят возможности механической блокировки разъемных соединений: администраторы получают уверенность в том, что схему подключений сможет поменять только обученный и авторизованный персонал. Безусловно, управляемость кабельных инфраструктур повышается и благодаря высокой модульности элементов, обеспечивающей максимальную гибкость при развертывании, обслуживании и модернизации таких сложных технических объектов, как современные ЦОД.
Сергей Логинов — директор представительства Reichle & De-Massari в России.
СКС и безопасность
Защита СКС, прежде всего точек физического подключения, от несанкционированных действий — важнейший элемент обеспечения безопасности ЦОД. Трехуровневая система безопасности R&M реализована в соответствии с концепцией «умных отверстий» — все коммутационные панели и розетки выпускаются подготовленными для установки средств безопасности:
-
уровень 1 — визуальное кодирование. Цветовое кодирование разъемов, розеток и коммутационных панелей осуществляется с помощью специальных клипс, крышечек и рамочек. Они «подсказывают» обслуживающему персоналу, как правильно подключать медные и оптические шнуры: синюю вилку в синюю розетку, красную — в красную и т. д;
-
уровень 2 — механическое кодирование, дополняющее цветовое. Оно реализуется с помощью элементов Data Safe Lock, которые механически препятствуют неправильному подключению разъемов;
-
уровень 3 — блокировка разъемных соединений. Специальные защитные рамки, вставки и клипсы позволяют заблокировать соединения. Разблокирование осуществляется с помощью специального ключа. Блокировка возможна в розетках, на коммутационных панелях и даже на портах активного оборудования. Для защиты розеток от подключения используется специальная защитная вставка Jack Guard, которая извлекается тоже посредством специального ключа.
При выборе среды передачи информации некоторые компании выбирают оптику не только по причине более высокой скорости и дальности, но и из соображений безопасности: несанкционированный «съем» информации с оптического тракта осуществить значительно труднее, чем с медного. R&M предлагает полное решение для построения волоконно-оптических кабельных систем, которое включает кабели для различных условий прокладки с одномодовыми (OS1) и многомодовыми (OM1, OM2, OM3) волокнами. Внутри зданий, в том числе в ЦОД, применяются кабели с многомодовыми волокнами и оболочкой LSZH, не выделяющей дыма и галогенов при горении. Для терминирования кабелей предусмотрены адаптеры, а также полушнуры (пигтейлы), со всеми основными типами разъемов (ST, LC, SC, SC-RJ, FC/PC, E2000) .
Широкий набор выпускаемых розеток и коммутационных панелей включает обычные двухпортовые и многопортовые розетки для прямого монтажа разъемов. Розетки настенного монтажа, для коробов или лючков в полу могут использоваться для претерминированных кабелей и прямого монтажа. Коммутационные панели различной высоты комплектуются кассетами для сплайсов. Кроме того, предлагаются оптические полки настенного монтажа (с раздельными отсеками для кабелей и коммутационных шнуров), малогабаритные оптические кроссы и другие продукты.