Как уменьшить влияние человеческого фактора в ЦОДе

ВВЕДЕНИЕ: ЧТО ТАКОЕ ЦОД?

В мире кабельной инфраструктуры для сетей передачи данных широко используется понятие «ЦОД». Его интерпретации нередко весьма различаются, но все они могут быть по-своему верными.

Необходимо принимать во внимание и большое количество существующих ЦОДов. По данным 451 Research Group, в мире насчитывается более 4 млн ИТ-площадок, из которых примерно 220 тыс. можно рассматривать как здания, выделенные для ЦОДов.

В данной статье я буду придерживаться определения, сформулированного согласно ISO: «Структура или группа структур, предназначенных для централизованного размещения, обеспечения взаимодействия и функционирования ИТ, телекоммуникационного и сетевого оборудования, предоставляющего сервисы хранения, обработки и передачи данных, наряду со всеми необходимыми системами и инфраструктурой кондиционирования/охлаждения, распределения электропитания, а также средствами для поддержания требуемых уровней надежности и безопасности для достижения заданного уровня доступности».

В конечном счете приведенное выше определение ЦОДа подходит к центрам обработки данных всех типов, независимо от их масштаба, уровня сложности и надежности, поскольку оно не зависит от бизнес-модели, то есть в равной степени применимо как к глобальному коммерческому ЦОДу с арендуемыми площадями, так и к небольшому корпоративному центру обработки данных. А если площадка ему не соответствует, то, вероятно, ЦОДом такой объект не является.

Площадки не обязаны отвечать каким-то структурным требованиям или правилам. Вместе с тем в этом определении четко указывается на «обеспечение взаимодействия и функционирования ИТ, телекоммуникационного и сетевого оборудования». И это критически важный аспект, поскольку подчеркивается значимость и в конечном счете центральная роль сетевой инфраструктуры в ЦОДе. Системы хранения, вычислительное оборудование и средства передачи данных могут различаться, но их работа зависит от наличия надежных и высокопроизводительных сетевых соединений.

ЧТО КРИТИЧНЕЕ — ЭЛЕКТРОПИТАНИЕ ИЛИ ОХЛАЖДЕНИЕ?

Какая инфраструктура имеет наибольшее значение для ЦОДа — электропитание или охлаждение? Ни та ни другая! Практически во всех исследованиях по рынку ЦОДов на основании проведенных опросов утверждается, что первостепенная проблема — электропитание и охлаждение центров обработки данных. Между тем при отсутствии надежной кабельной проводки эти элементы становятся чем-то вторичным. Вы можете возразить, что у меня, как у специалиста по кабельной инфраструктуре, предвзятое мнение. На чем оно в действительности основано?

Один из главных аргументов заключается в том, что устойчиво функционирующая, надежная кабельная инфраструктура «просто работает». Кабельные системы никогда не были значимым фактором в увеличении энергопотребления или повышении энергоэффективности, если не принимать во внимание электроэнергию, потребляемую трансиверами. Поэтому большинство операторов ЦОДов рассматривают их в последнюю очередь. К тому же на структурированные кабельные системы приходится наименьшая доля капитальных затрат (3–5% от CAPEX) при самом продолжительном сроке эксплуатации, достигающем 25 лет.

Однако такому положению дел скоро придет конец.

ЭВОЛЮЦИЯ ЦОДОВ: ОТКУДА БЕРУТСЯ ВСЕ ЭТИ ДАННЫЕ?

Мы говорим о важности сетевой инфраструктуры, но стоит взглянуть на ландшафт ЦОДов и посмотреть, как они эволюционировали за последние годы.

Первое, что можно отметить, — увеличение скоростей передачи информации, стимулируемое экспоненциальным спросом на «данные» в широком понимании. По прогнозу EMC, к 2020 году совокупный объем данных в мире достигнет 44 Збайт. Это 44 трлн Гбайт, или 44 x 1012 Гбайт, или 44 000 000 000 000 Гбайт.

Для нас это означает уменьшение числа инсталляций со скоростями передачи данных 1 и 10 Гбит/с и увеличение количества высокоскоростных каналов со скоростями 40 и 100 Гбит/с. Владельцы ЦОДов стараются увеличить коммутационные мощности своих площадок. Подавляющее большинство высокоскоростных каналов сегодня развертываются для соединения коммутаторов, но в недалеком будущем они станут обычным решением на уровне «коммутатор-сервер». Весьма вероятно, что для этих целей будут применяться соединения на 25 Гбит/с.

Еще один важный момент — изменение интерфейса трансиверов в результате роста скорости передачи данных: на смену традиционным двухволоконным соединителям LC, в основном многомодовым, приходят соединители MPO, где для достижения требуемой скорости используется несколько «линий» 10G. В настоящее время чаще всего задействуют 8 волокон в каналах 40 Гбит/с (4 x 10 Гбит/с на передачу и 4 x 10 Гбит/с на прием) и 20 волокон для 100G (10 x 10 Гбит/с на передачу и 10 x 10 Гбит/с на прием). В разработке находится гораздо больше конфигураций, включая 8-волоконные интерфейсы MPO для передачи 100G по 8 волокнам вместо нынешних 20, для чего понадобятся 4 линии по 25 Гбит/с каждая.

Большинство поставщиков СКС данная эволюция соединений не особенно волнует. Мы принимаем это как факт. К тому же чем больше типов соединителей, тем лучше для рынка. Более серьезная проблема — уменьшение допустимых потерь в линии. Кроме того, с внедрением высокоскоростных приложений значительно сокращается максимальная дальность передачи данных. Например, переход от 10GBase-SR к 40GBase-SR4 влечет за собой уменьшение бюджета вносимых потерь на 50%, а расстояния — на 75%!

ЧТО ВСЕ ЭТО ОЗНАЧАЕТ ДЛЯ ПОЛЬЗОВАТЕЛЕЙ И ОПЕРАТОРОВ ЦОДОВ?

Прежде всего прямые соединения «трансивер — трансивер» обычно можно развертывать с использованием готовых решений множества вендоров. Даже при относительно высоких потерях в соединителях можно организовать канал с двумя соединителями (1 x фиксированный кабель, 2 x шнуры к оборудованию).

Из-за прямых соединений «трансивер — трансивер» уже через несколько лет ЦОД окажется неработоспособным. Экономя 3–5% на начальных инвестициях, можно потерять в итоге 3000%

Первая проблема возникает, когда нужно добавить в канал дополнительные соединения. Обычно чем больше соединений, тем более гибким получается решение. Такой подход уже много лет описывается в различных документах организаций, занимающихся стандартами ЦОДов, и используется в сетевой инфраструктуре операторов.

Из-за прямых соединений «трансивер — трансивер» уже через несколько лет ЦОД окажется неработоспособным. Такое решение не позволяет получить требуемый уровень надежности, масштабируемости и удобства обслуживания. Экономя 3–5% на начальных инвестициях (CAPEX), можно потерять в итоге 3000% — и это с учетом того, что кабельная инфраструктура, рассчитанная на 25 лет, редко служит более 10.

ЦОД перестанет функционировать не из-за PUE, ограничений по электропитанию или охлаждению. Он просто станет неуправляемым и ненадежным. В результате придется строить новый ЦОД и переносить в него все сервисы — как ни печально, но это будет более простой и дешевый путь, чем исправление существующих ошибок. И намного быстрее по срокам.

В среде ЦОДа, где необходима адаптация к изменениям в оборудовании, выгодно использовать больше соединений в канале, что дает дополнительную гибкость, но одновременно ведет к возрастанию риска ухудшения его характеристик.

На рисунке показана схема типичного современного ЦОДа. Красным цветом обозначены фиксированные кабельные сегменты, а зеленым — линии с регулярными добавлениями и изменениями. Можно видеть, что кабельная и коммутационная инфраструктуры содержат несколько распределительных зон, где для подключения коммутатора к серверу в случае применения топологии кросс-коннект необходимо использовать до восьми пар разъемов.

Топология кабельной инфраструктуры согласно ISO/IEC 24764

ТАК ЧТО ЖЕ ДЕЛАТЬ ПОЛЬЗОВАТЕЛЯМ?

Пользователи нуждаются в большом количестве соединений для повышения гибкости, но нельзя допустить дополнительные потери, ухудшающие характеристики канала. Каким образом производитель может решить эту проблему?

На самом деле не все так плохо. Поставщики могут предложить высокопроизводительные кабельные решения с гораздо более низкими потерями в соединениях, чем разрешенные в стандартах. На приведенной на следующей странице диаграмме можно видеть, что вносимые потери для пары разъемов MPO значительно снизились — с 1,0 до 0,25 дБ. Эта оптимизация произошла достаточно быстро, но данная тенденция не будет продолжаться вечно. Конструкция оптического соединителя имеет свои ограничения, и каждое следующее усовершенствование дает все меньший результат. Соединители MPO содержат до 24 волокон, и все их нужно точно позиционировать. Этот комплексный процесс довольно сложен, тем более что в нем не используются традиционные керамические наконечники, как в предшествующих соединителях LC и SC.

Соединения с высокими характеристиками представляют собой «строительные блоки» сетевой инфраструктуры. Их применение позволяет использовать больше соединений в канале: выше характеристики = больше соединений, ниже характеристики = меньше соединений.

Максимальные вносимые потери в оптических соединителях удалось значительно снизить за последние несколько лет: для пары разъемов MPO — с 1,0 до 0,25 дБ

ГИБКОСТЬ, ЗАЛОЖЕННАЯ В ПРОЕКТ

Итак, каждое соединение вносит в канал дополнительные потери. Чем больше оптических соединителей и соединений, тем выше потери. Поскольку пользователям требуется высокая гибкость, они заинтересованы в увеличении числа соединений — пусть не восемь, но, конечно, больше двух.

Некоторые производители предоставляют заказчикам «гарантию на канал», что дает им определенную уверенность и позволяет применять инновационные методы развертывания кабельной инфраструктуры. Под инновациями мы понимаем проектирование канала для достижения гибкости там, где это больше всего необходимо, и оптимизации производительности там, где такой гибкости не требуется.

Рассмотрим, например, прямое кабельное соединение двух коммутаторов. Обычно к коммутаторам (это справедливо в отношении маршрутизаторов/коммутаторов ядра и большинства шассийных коммутаторов) подводят все кабели еще при их установке на площадке. В большинстве случаев эти коммутаторы подсоединяются к оптическому кроссу, где и осуществляется подключение коммутаторов к портам серверов. При таком дизайне не требуется размещать коммутационное поле (коммутационные панели и шнуры) рядом с коммутатором, поскольку фактическая коммутация выполняется на оптическом кроссе в одной из распределительных зон. Этот метод позволяет уменьшить количество соединений в канале при сохранении определенной гибкости в центральном кроссе.

Тем самым обеспечивается некоторый резерв по характеристикам для кабельного канала и компенсируются определенная сложность работ и затраты на оборудование, связанные с применением многоволоконных интерфейсов.

Ничего революционного в такой архитектуре нет, но с появлением новых приложений и интерфейсов она становится интересной и вместе с тем — проблемной. Вся загвоздка в том, что производители могут тратить миллионы долларов на разработку соединителей, оптимизировать компоненты, производственные процессы и инструменты, но не способны компенсировать влияние человеческого фактора. Это подконтрольно только самим пользователям/операторам ЦОДов.

Например, если производитель поставляет кабельную систему с «ультравысокими характеристиками», то в плане надежности соединений есть два основных риска:

• использование неподходящих коммутационных шнуров;
• пренебрежение к требованию отсутствия загрязнений и нехватка практического опыта у персонала, отвечающего за соединения.

Первой ситуации можно избежать путем жесткого контроля закупочных спецификаций при поставке таких продуктов. Нужно определить критические параметры, соответствующие заводские номера и группу проверенных поставщиков.

Что касается второй, то следует строго документировать и тщательно контролировать принятые процедуры по обслуживанию кабельных систем — например, осматривать каждую пару разъемов перед подключением.

Проще говоря, ответьте на вопрос: насколько хорошо поставлено управление операциями в ЦОДе? Ответьте на него честно и точно, так как решение, принимаемое на основе заблуждений, редко идет на пользу тем, кого оно касается, а последствия могут быть очень серьезными…

Если площадка хорошо контролируется и управляется, можно спокойно внедрять такое решение, зная, что отдел закупок будет следовать строгим правилам по соблюдению параметров соединений, а не просто выбирать среди продукции большого числа вендоров самые дешевые шнуры, пытаясь сэкономить. Не менее важно и наличие хорошо обученных технических специалистов, на которых можно положиться, следующих документированным процедурам, чтобы гарантировать должную проверку работоспособности и, если необходимо, чистоту каждого соединителя перед подключением.

Наконец, если вы не знаете, в какой степени можете положиться на свою организацию, придется рассмотреть возможные варианты архитектуры, позволяющие уменьшить риски с помощью серии простых шагов: создавайте как можно больше постоянных соединений — каждый порт коммутатора подключайте напрямую в центральный или промежуточный кросс; применяйте для этого претерминированные сборки и устраните максимально возможное число точек отказа. Вы потеряете в гибкости и масштабируемости кабельной инфраструктуры, но, по крайней мере, исчезнет риск того, что будут применены стандартные компоненты СКС для подключения оборудования, которому требуются компоненты с высокими характеристиками.

При использовании 10G запас по характеристикам весьма велик. Ошибки на качестве функционирования канала почти не сказываются. В случае 40G (и до 100G) последствия от воздействия того же самого человеческого фактора уже весьма ощутимы

За последние несколько лет достигнут большой прогресс в разработке новых технологий, но развитие человека идет не так быстро. Как показано на рисунке, при использовании 10G запас по характеристикам весьма велик. Это означает, что влияние человеческого фактора не очень значительно: люди совершают ошибки, но на качестве функционирования канала они почти не сказываются.

В случае 40G (и до 100G) последствия от воздействия того же самого человеческого фактора уже весьма ощутимы. Запас по характеристикам значительно меньше, и даже небольшая ошибка или неверная практика (например, загрязненный соединитель) создает риск для работы канала и может вести к простоям.

КАК УМЕНЬШИТЬ ВЛИЯНИЕ ЧЕЛОВЕЧЕСКОГО ФАКТОРА?

Подводя итог, можно сказать, что сегодня при создании и эксплуатации ЦОДа самым непредсказуемым и потенциально опасным его компонентом все чаще оказывается человек. Фактически вследствие эволюции центров обработки данных мы становимся свидетелями радикального повышения их производительности и эффективности. Но люди всегда будут ошибаться, хотя мы пытаемся компенсировать это регулярными тренировками и обучением, внедрением строго соблюдаемых процессов и упрощением заданий. Ошибки останутся непредсказуемыми и разнообразными. Это так же неизменно, как то, что солнце встает на востоке. Давайте же сделаем все, чтобы свести ущерб к минимуму.

Фил Ворд — менеджер по продуктам для рынка центров обработки данных в компании HUBER+SUHNER.