Цикл обновления центра обработки данных (ЦОД) составляет от трех до пяти лет. Такая динамика предполагает высокую степень гибкости и адаптируемости всех его компонентов. Даже в процессе эксплуатации постоянное изменение инфраструктуры считается нормой. Не менее важными являются вопросы энергоснабжения, энергопотребления и охлаждения. К таким практически идентичным выводам пришли аналитические компании DataCenterDynamics, IDC, Gartner и Data Center Solutions, которые провели независимые опросы специалистов, отвечающих за работу корпоративных ИТ, на предмет наиболее волнующих их проблем. И именно эти моменты в настоящее время оказывают решающее воздействие на формирование сетевой архитектуры в ЦОД.
При планировании ЦОД необходимо учитывать особенности работы множества разных служб, и лишь предварительное целостное планирование способно обеспечить их бесперебойное функционирование. Примером этому может служить климатизация ЦОД: многие владельцы центров обработки данных стремятся к консолидации устройств, выделяющих тепло, и максимально эффективному охлаждению оборудования. Важная роль отводится воздуховоду в двойном полу, причем неуклонно возрастающая тепловая нагрузка требует беспрепятственного использования пространства под полом для охлаждения все больших объемов воздуха. Если этого оказывается недостаточно, то применяется водное охлаждение. Однако современные безгалогенные кабели передачи данных крайне чувствительны к проникновению влаги. При намокании неизбежен отказ канала передачи, а пострадавшую линию приходится заменять. В результате многие владельцы ЦОД стали прокладывать кабели данных не под фальшполом, а над шкафами.
НОРМЫ ДЛЯ СЕТЕЙ В ЦОД
В процессе стандартизации проявляется общемировая тенденция формирования управляемых структур ЦОД, чтобы центры ИТ были более эффективными, понятными и масштабируемыми. В качестве первой помощи для структурированной кабельной проводки ЦОД приняты нормы EN 50173-X, а кроме того, ожидается принятие международного стандарта ISO/IEC 24764 (см. Рисунок 1). Последний представляет собой согласованное объединение американского стандарта TIA/EIA 942 и нормы EN 50173-5 («Информационные технологии. Общие кабельные системы. Часть 5: Центры обработки данных»). Если европейский стандарт ориентирован главным образом на кабельную проводку, то американская версия затрагивает ряд дополнительных аспектов:
-
местоположение;
-
освоение и снабжение;
-
контроль доступа;
-
заземление и выравнивание потенциалов;
-
прокладка кабеля;
-
конструкция двойного пола.
Этот подход более обстоятелен и логичен, однако в Европе он вызывает некоторые проблемы, поскольку в разных странах энергоснабжение, заземление или выравнивание потенциала регулируются по-разному.
Кроме того, инфраструктура ЦОД обычно слишком сложна и включает такие элементы, как Ethernet, Infiniband, Fibre Channel, SCSI и даже соединения IBM 5250.
КАБЕЛЬНАЯ ПРОВОДКА
В начале 90-х гг. в области кабельной проводки в зданиях существовала разнородная протокольная среда, но благодаря нормированию она превратилась в признанную на международном уровне и широко распространенную структурированную кабельную систему. Таким образом, стандартизация должна способствовать переходу от соединений «точка-точка» к наглядной и четко структурированной инфраструктуре. Принятие стандарта EN 50173-5, а также появление новых технических решений для инфраструктуры, сулит практические преимущества в эксплуатации. Ведь в отличие от офисной среды, в ЦОД на узком пространстве размещается огромное количество различных устройств. К примеру, активно применяются претерминированные кабельные системы, которые обеспечивают быструю инсталляцию и воспроизводимое качество передачи данных.
ПРЕДСТАВЛЕНИЕ СЕРВИСОВ
Важная тема для ЦОД — консолидация коммутаторов, позволяющая снизить потребление энергии на один порт. Структуризация и упрощение кабельной проводки оказывает поддерживающую функцию. К примеру, если предприятие применяет концепцию «представление сервисов» (Service Presentation), то все серверные порты (данные и KVM), а также порты коммутатора отображаются в отдельном коммутационном шкафу. Благодаря этому активные компоненты можно размещать в любой точке ЦОД и адаптировать их под свои требования к безопасности, охлаждению или контролю доступа: например, сконцентрировать в одном месте все коммутаторы, что позволит консолидировать порты, группировать серверы по виду операционной системы или их потребности в безопасности, а также осуществлять более интенсивное охлаждение определенных областей или ввести градацию контроля доступа. ISO/IEC уже учитывает такую организацию ЦОД в своем проекте стандарта.
Физические интерфейсы развиваются с учетом консолидации коммутаторов. В ЦОД получили распространение многоволоконные штекерные оптические соединители, такие как MPO на 6 или даже 36 соединений GbE (см. Рисунок 2). На протяжении нескольких лет такими интерфейсами оснащаются высокопроизводительные компьютеры, а теперь этот подход может быть реализован и для медных соединений с производительностью в 1 Гбит/с. Многие разработчики готовят к выпуску решения, когда на одной коммутационной панели размещается все большее количество портов 1 Гбит/с. К примеру, MRJ21 от Tyco Electronic AMP позволяет объединять в одном соединителе шесть портов GbE. Это приводит к существенному сокращению потребления энергии одним портом: коммутационная панель MRJ21 на 90 портов потребляет 320 Вт, т.е. 3,56 Вт на один порт, в то время как коммутационной панели RJ45 на 24 порта требуется 126 Вт, т. е. 5,25 Вт на один порт. Такая, на первый взгляд незначительная, экономия энергии становится ощутимой, когда счет идет на тысячи портов.
IEEE занимается разработкой других проектов, позволяющих снизить потребность в электроэнергии. Актуальной проблемой является передача 10GbE по медным кабельным системам. Поскольку производители коммутаторов и сетевых карт все еще пытаются реализовать ее по неэкранированным кабелям, то потребляемая сетевыми картами мощность превышает 16 Вт, тогда как для карты GbE она соответствует менее 1 Вт. Производители пытаются сократить потребление энергии с помощью технологии «снижения мощности» (Power Back-off) — сокращения спектральной удельной мощности. Она применяется в ADSL и сокращает пропускную способность соединения при одновременной аналоговой передаче голоса, что позволяет увеличить отношение сигнала к шуму (Signal-Noise-Ratio, SNR). Если бы производители активных компонентов согласились на экранированные кабельные системы, то им автоматически удалось бы улучшить показатели SNR, а тогда было бы и меньшей мощности вполне достаточно.
Волоконно-оптическая проводка позволяет сэкономить значительно большее количество энергии, чем медная. Кроме того, в этой области имеется значительный потенциал экономии, поскольку параллельная передача через многоволоконные оптические интерфейсы требует небольших затрат энергии на один порт. Решающим фактором является количество интегрированных трансиверов. К примеру, если модульный коммутатор отправляет данные по десяти каналам через три трансивера с общей скоростью 300 Гбит/с, то панели требуется 12 Вт. А панель, поддерживающая в случае шести каналов и 24 трансиверов скорость 2400 Гбит/с, нуждается лишь в 60 Вт. В первом варианте для достижения такой же скорости потребовалось бы 96 Вт, что на 60% больше.
Подобные решения особенно интересны для грядущих технологий передачи 40/100 Гбит/с, поскольку они разрабатываются в расчете именно на многоволоконную технологию.
Рынок ожидает и новое поколение пассивных оптических кабельных компонентов с улучшенными оптическими характеристиками, к примеру, для соединений 100GBaseSR. Этот вариант 10GbE разработан для соединений по локальной сети с многомодовыми волокнами диаметром 850 нм. Он допускает лишь незначительный уровень затухания, чего можно добиться только при использовании волокон с высокоточным профилем индекса преломления. Столь же малым допускам должны соответствовать передаточные характеристики многомодовых кабелей, если они используются в ЦОД со структурой представления сервисов.
АДМИНИСТРИРОВАНИЕ КАБЕЛЬНОЙ ПРОВОДКИ
С введением структуры представления сервисов особое значение приобретает прокладка кабелей и их администрирование. Если серверы, коммутаторы и коммутационные поля располагаются в разных местах, то возникает множество параллельных соединений, при которых лишь миниатюризация способна сдерживать разрастание кабельной проводки. Компоненты и соединения должны оставаться доступными и легко заменяемыми, а поток воздуха ничем не ограничиваться. Поэтому все чаще используются угловые коммутационные панели и интегрированные в боковую часть шкафа системы администрирования кабелей (см. Рисунок 3). Кроме того, многие владельцы придают особое значение обслуживанию без применения инструментов.
При расстановке шкафов по принципу холодных и горячих коридоров, щели в двойном полу, расположенные перед шкафами, предназначены для того, чтобы холодный воздух подавался в шкаф спереди назад. Многие модульные коммутаторы и серверы поддерживают этот принцип охлаждения, втягивая холодный воздух спереди и выводя его сзади, причем все входы и выходы воздуха должны быть уплотнены, чтобы препятствовать его неконтролируемой утечке. Неиспользуемое пространство в шкафу следует закрыть заслонкой, поскольку воздух всегда ищет пути наименьшего сопротивления.
Если кабельная проводка препятствует воздушному потоку, то потребление энергии повышается и возникают «горячие точки» (Hot-Spot). Размещение кабеля сбоку в шкафу помогает избежать такой ситуации. Чтобы воздушный поток под фальшполом проходил беспрепятственно, иногда имеет смысл располагать кабели в специализированных коробах в двойном полу или наверху над шкафами.
СЕТИ ХРАНЕНИЯ В ЦОД
Сети хранения обычно реализуются в соответствии с модульным принципом и вполне сравнимы с локальными сетями. Наиболее популярные протоколы передачи между отдельными элемента-ми — Fibre Channel (FC) и Infiniband. C FC, как правило, применяются оптические соединения, а с Infiniband — медные. Медные кабели Infiniband, имеющие длину всего 15 м, уже достигли диаметра 9 мм. Канал Infiniband обеспечивает пропускную способность до 2,5 Гбит/с, возможно объединение более 12 каналов со скоростью до 30 Гбит/с. Для достижения больших скоростей и расстояний передачи необходимо осуществить переход на оптические кабели (см. Рисунок 4).
Имеющиеся решения позволяют продолжать использовать активные компоненты без изменений. Так, на рынке представлены соединители CX4, оснащенные конвертером среды передачи и интерфейсом для волоконно-оптического ленточного кабеля. Если конвертер интегрирован в корпус, то он получает питание от коммутатора согласно спецификации Infiniband. Тогда дальность передачи увеличивается до 200 м при скорости до 120 Гбит/с. Тонкие ленточные кабели упрощают администрирование кабельной проводки, а кроме того, не подвержены EMV.
Кстати, решения подобного рода будут полезны везде, где используется кабельная проводка.
ЗАКЛЮЧЕНИЕ
Технология мультиплексирования позволяет осуществлять параллельную передачу 12-72 каналов со скоростью до 100 Гбит/с при сравнительно низком потреблении энергии. Таким образом, она наиболее подходит для применения в ЦОД.
Глобальное распространение экранированных технологий ведет к тому, что даже производители активных сетевых компонентов постепенно осознают, что проектирование оборудования в расчете на недостатки кабельных технологий, например UTP, ведет в тупик.
Томас Зентко — специалист по технической поддержке в AMP Netconnect Solutions Division компании Tyco Electronics.
© AWi Verlag
Рисунок 1. ISO/IEC разрабатывает для ЦОД проект международного стандарта 24764 на базе американских и европейских стандартов.
Рисунок 4. Повышение скорости передачи данных в области хранения данных, в особенности в случае Infiniband.