ИСТОКИ ПРОБЛЕМЫ ВЫБОРА СПОСОБА ПРОКЛАДКИ КАБЕЛЯ

Минимальное время реакции на поступающие пользовательские запросы о предоставлении различной информации и/или результатов обработки хранимых данных — один из основных пользовательских критериев эффективности внедрения и эксплуатации ЦОДа. Он ценен среди прочего тем, что имеет конкретную меру и позволяет непосредственно сравнивать различные объекты.

Для сокращения времени реакции обычно задействуется множество разнообразных приемов, в частности наращивание быстродействия электроники путем увеличения количества транзисторов на кристалле. Различные способы обычно комбинируются с так называемым разгоном, то есть увеличением скорости работы интегральных микросхем за счет подачи на них более высокого напряжения. Оборотной стороной становится увеличение мощности потребления, что сопровождается генерацией больших объемов тепла и обострением проблемы его утилизации.

Информационная кабельная система ЦОДа даже среднего масштаба включает в себя довольно много отдельных линий. Это обусловлено наличием достаточно большого количества портов, в том числе из-за необходимости резервирования с целью достижения требуемого уровня эксплуатационной надежности. Для оценки общего числа портов вполне можно оперировать типовой структурой: два кабеля для локальной сети, еще два — на систему хранения данных и один порт управления на посадочное место (юнит) монтажного конструктива, куда помещается типовой сервер в корпусе pizza-box. Нельзя забывать также о многочисленных линиях внутрирядной связи, а также о развитой системе инженерного обеспечения.

Для сокращения количества линейных кабелей предлагается ряд решений. Тем не менее даже наиболее удачное среди них, получившее наибольшее распространение (на основе концепции Top of Rack), не достигло того уровня популярности, на который изначально рассчитывали его разработчики. Причина в неэкономичности: часть портов активного сетевого оборудования всегда остаются незадействованными, а их весьма немалая стоимость забирает весомую часть бюджета проекта.

За съем и отвод тепла, которое выделяется в процессе функционирования активного оборудования, отвечает система воздушного охлаждения. Другие технические средства теплоотвода (холодильники Пельтье, жидкостное охлаждение) пока встречаются в единичных случаях. Фундаментальное свойство системы воздушного охлаждения заключается в том, что с уменьшением обслуживаемого объема ее эффективность увеличивается. Таким образом, правильно спроектированный и реализованный ЦОД отличается пространственной компактностью.

Из-за высокой плотности компоновки весьма разнопланового оборудования различных инженерных систем автор проекта крайне стеснен в возможностях выбора одного из доступных вариантов реализации кабельных трасс. Фактически кабельные каналы могут быть проложены в подпольном пространстве и над рядами шкафов и выполнены с применением различных лотков. Данные варианты в схематической форме представлены на заставке к статье. Выбор любого из них может быть формализован в виде многокритериальной задачи. В качестве начальных и граничных условий служат местные особенности конкретного проекта. Многокритериальный характер задачи и противоречивость имеющихся ограничений обусловлены в числе прочего тесной взаимосвязью основных систем ЦОДа.

Далее рассмотрены некоторые наиболее существенные параметры, которые необходимо принимать во внимание в процессе выбора предпочтительного способа реализации кабельных трасс (см. также таблицу).

Сравнение двух способов организации кабельных трасс в аппаратном зале ЦОДа по различным критериям
Сравнение двух способов организации кабельных трасс в аппаратном зале ЦОДа по различным критериям

 

ТЕЛЕКОММУНИКАЦИОННЫЕ ХАРАКТЕРИСТИКИ ТРАКТОВ

Кабельные каналы служат для правильного размещения прокладываемых кабелей и их поддержки с учетом обеспечения нормальных условий эксплуатации. Некоторые изделия предоставляют защиту от различных факторов окружающей среды и способствуют достижению электромагнитной совместимости. Тем не менее выбор основного места расположения каналов оказывает определенное влияние на телекоммуникационные параметры по крайней мере части линий связи.

На качественные показатели канала связи воздействуют следующие обстоятельства. Кабельная система ЦОДа может быть реализована на волоконно-оптических и симметричных электропроводных кабелях. Ряд преимуществ симметричных кабелей предопределяет массовое применение этих изделий на нижних уровнях ЦОДа. Вместе с широким внедрением сетевых интерфейсов 40GBase-T значение медножильных линий, проложенных в аппаратном зале ЦОДа, еще более возрастет. Характеристики же электропроводных кабелей, как известно, по мере увеличения температуры окружающей среды довольно быстро деградируют.

В контексте рассматриваемых вопросов важное значение приобретает тенденция увеличения температуры охлаждающего воздуха, которая сформировалась вследствие стремления к минимизации параметра энергоэффективности РUE. Из-за меньшего удельного веса теплый воздух скапливается в верхней части помещения. Поэтому при выборе верхней схемы прокладки кабель неизбежно оказывается в зоне более высокой температуры. Коэффициент затухания растет по меньшей мере на 0,4 %/°С, и, соответственно, пропорционально ухудшается качество передачи сигналов.

Нижние лотки, находящиеся под фальшполом, не подвержены влиянию повышенной температуры из-за конвекционных эффектов. Тем не менее преимущество нижней прокладки оказывается не столь значимым, как может показаться на первый взгляд. Более существенный вес имеют два фактора, из-за чего проектировщик вынужден располагать информационные кабели в области повышенной температуры.

 

Схема нижней прокладки кабелей различного назначения
Схема нижней прокладки кабелей различного назначения

 

Во-первых, при выборе структуры кабельных каналов разработчик должен обеспечить пространственное разделение информационных и силовых кабелей. Последние из-за своей малочисленности имеют заметно меньшую общую площадь поперечного сечения, то есть при прочих равных условиях их целесообразно прокладывать в области холодного коридора. Решающее значение приобретают соображения улучшения условий для функционирования системы воздушного охлаждения. Размещение же пакета информационных кабелей под горячим коридором неизбежно приводит к их нагреву.

Во-вторых, вынос информационных кабелей в зону локального роста температуры под горячим коридором из-за наличия там больших свободных пространств позволяет сохранить высоту фальшпола неизменной или увеличивает ее незначительно. Все это повышает эффективность ЦОДа в целом.

АРХИТЕКТУРНЫЕ АСПЕКТЫ

Основным архитектурным фактором, оказывающим значимое влияние на выбор схемы прокладки кабеля, а иногда и напрямую предписывающим конкретный вариант, является высота аппаратного зала, которая реально доступна для монтажа различных инженерных систем. Верхняя прокладка кабеля предъявляет более жесткие требования к величине этого параметра, поскольку высота свободного пространства над серверными шкафами определяется минимальным расстоянием от фальшпола до любой нижней подвесной конструкции, то есть нормируется достаточно жестко.

Кроме того, подпотолочная область аппаратного зала изначально довольно серьезно загружена различными конструкциями и коммуникациями. Поэтому добавление туда лотков для укладки линейных кабелей СКС и, возможно, коммутационных шнуров, которые используются в процессе формирования трактов, требует пропорционального увеличения минимально допустимого просвета между крышей шкафа и потолком ЦОДа.

Далее, верхняя прокладка может оказаться затруднена или невозможна в силу следующих двух факторов. Во-первых, прямо над шкафами может не быть свободного места для кабельных лотков из-за того, что архитектор проекта решил разместить там линейную часть других систем. Вынужденное смещение лотков в боковую свободную область вполне допустимо, однако сопровождается увеличением средней длины кабелей и усложнением системы поддержки лотков. Во-вторых, в случае прокладки силовых кабелей сверху свободного места обычно не хватает и обеспечить нормативное расстояние между сильноточными и слаботочными кабельными изделиями довольно трудно.

При нижней прокладке ситуация заметно улучшается, поскольку под фальшполом всегда имеется свободное место. Тем не менее подобное компоновочное решение все-таки требует обязательного увеличения высоты фальшпола для компенсации возросшего аэродинамического сопротивления и доведения его до приемлемого уровня с целью сохранения эффективности функционирования системы охлаждения. Однако это увеличение сопровождается ростом отношения сепарируемого им объема к площади закрываемой поверхности, что крайне нежелательно, так как приводит к снижению эффективности функционирования подпольного пространства в качестве камеры статического давления.

Отдельно отметим, что при нижней прокладке лотков требуется предусмотреть дополнительную арматуру для их фиксации в рабочем положении, поскольку крепление лотков к опорным стойкам не допускается из-за опасности превышения расчетной нагрузки.

ЭФФЕКТИВНОСТЬ ФУНКЦИОНИРОВАНИЯ СИСТЕМЫ ОХЛАЖДЕНИЯ

Как неоднократно отмечалось выше, от особенностей прокладки кабельных каналов зависит эффективность функционирования системы кондиционирования аппаратного зала. Подробнее остановимся на факторах, которые оказывают на нее непосредственное влияние.

Схема верхней прокладки кабелей СКС аппаратного зала
Схема верхней прокладки кабелей СКС аппаратного зала

 

При верхней системе прокладки информационных кабелей фальшпол становится монофункциональным компонентом инженерного оборудования ЦОДа. Его специализированный характер дает следующие преимущества:

  • функционирование камеры статического давления, функции которой выполняет пространство, отделенное фальшполом от остальной части аппаратного зала, не нарушается, как при наличии препятствий в виде кабеля;
  • холодный воздух не просачивается в пространство за активным оборудованием, расположенным в серверном шкафу, как это происходит при нижнем кабельном вводе в монтажный конструктив, — это положительно сказывается на КПД системы кондиционирования и тем самым минимизирует PUE.

Об остроте последней проблемы наглядно свидетельствуют исследования, проведенные BICSI. Согласно полученным данным, до 25% охлажденного воздуха бесполезно теряется из-за недостаточной герметизации нижних кабельных вводов в монтажные шкафы.

Справедливости ради укажем на то, что удаление информационных кабелей из-под фальшпола не решает радикально проблему повышения КПД функционирования системы промышленного кондиционирования, поскольку серийные фальшполы имеют довольно большое количество остаточных неплотностей.

УДОБСТВО ЭКСПЛУАТАЦИОННОГО ОБСЛУЖИВАНИЯ

Вопросы эксплуатационного обслуживания разделяются на две различные, хотя и связанные между собой группы. Речь идет о линейной части и коммутационном поле.

При верхнем расположении кабельных трасс и коммутационного оборудования обеспечивается очень хорошая видимость штатной маркировки отдельных портов коммутационных панелей. В результате переключение коммутационных шнуров оказывается удобнее.

Неизбежной платой за такое удобство становится заметное ограничение функциональной гибкости создаваемой СКС — вынос коммутационных панелей в подпотолочное пространство заметно усложняет процедуру организации консолидационных точек. Отказ же от них означает, что СКС приобретает нежелательные черты статичной структуры.

Рис. 1. Специальное исполнение консолидационной точки для размещения под фальшполом аппаратного зала
Рис. 1. Специальное исполнение консолидационной точки для размещения под фальшполом аппаратного зала

При нижнем формировании кабельных трасс конструктив консолидационной точки выполняется в виде плитки фальшпола и для ее полной замены снабжается, в случае необходимости, соответствующими опорами (рис. 1). При размещении корпуса консолидационной точки происходит дополнительное перекрытие просвета свободного пространства. Это сопровождается определенным ростом аэродинамического сопротивления потоку охлаждающего воздуха даже при размещении консолидационной точки в области горячего коридора.

Действующие нормы не рекомендуют располагать обслуживаемые панели на высоте свыше 1,6 ± 0,1 м. В противном случае приходится применять стремянки, что усложняет текущее администрирование информационной кабельной системы. Более того, стремянка может быть достаточно высокой, так как из соображений максимально полного использования дорогостоящей площади аппаратного зала при наличии технической возможности устанавливаются шкафы высотой более 50U.

Со сложностями переноски и установки стремянок еще можно смириться, поскольку конфигурация кабельной системы в ЦОДе изменяется намного реже, чем в офисе (где, согласно статистике, накопленной в процессе эксплуатации различных объектов, за год выполняется в среднем 0,5–1,5 переключения на порт). Тем не менее даже при тщательном соблюдении норм ТБ остается вполне осязаемая опасность падения системного администратора с большой высоты и получения травмы, а необходимость его подстраховки приводит к увеличению численности персонала, занятого выполнением различных видов работ по обслуживанию кабельной системы.

Само нахождение на высоте в процессе текущей деятельности даже в случае групповой работы не вполне удобно. Достаточно упомянуть хотя бы опасность падения на пол инструментов, за которыми приходится спускаться со стремянки.

УДОБСТВО ВЫПОЛНЕНИЯ ПРОЦЕДУР MAC

Аббревиатурой MAC (от англ. move, add, change) традиционно обозначают совокупность различных, но достаточно тесно связанных операций по изменению конфигурации проводки. При расширенной трактовке данного термина процедуры могут выполняться как на коммутационном поле в виде переключения коммутационных шнуров или их аналогов, так и в линейной части.

Вопросы, связанные с коммутационным полем, обсуждались выше. Поэтому далее рассмотрим лишь линейную часть. При нижней прокладке кабеля его замена или формирование новой линии сопровождаются вскрытием фальшпола. Это приводит к существенному нарушению функционирования подпольного пространства как составной части контура воздушного охлаждения. Об остроте этой проблемы свидетельствует тот факт, что, согласно проведенным исследованиям, удаление четырех стандартных (размеры 600 x 600 мм) плиток фальшпола вызывает утечку холодного воздуха, для компенсации которой необходимо включение приточной вентиляционной установки производительностью 30 тыс. м3.

Некоторых перечисленных недостатков лишены многоуровневые фальшполы, предлагаемые, например, американской компанией Interstitial Systems. Их конструкция предусматривает возможность физической изоляции области установки направляющих каналов для укладки кабелей от остальной части подпольного пространства. Однако такие фальшполы заметно дороже обычных, в том числе из-за неизбежного увеличения требуемой монтажной высоты.

С этой точки зрения верхнее расположение кабельных лотков выглядит намного более предпочтительным. Однако сравнительно небольшое количество самих лотков существенно ограничивает функциональную гибкость СКС и неизбежно вызывает увеличение расхода дорогостоящего кабеля.

ЗАКЛЮЧЕНИЕ

  1. Ни один из основных вариантов организации кабельных трасс не обеспечивает безусловного преимущества.
  2. На выбор схемы прокладки существенное влияние могут оказать местные условия конкретного проекта, например высота помещения аппаратного зала и доступная высота фальшпола.
  3. Резервирование в соответствии с требованиями Tier достигается в числе прочего за счет пространственного разнесения кабельных трасс, то есть обе разновидности прокладки кабельных лотков целесообразно использовать одновременно.

Андрей Семенов — директор по развитию RdM Distribution, Сергей Шарапов —технический директор RdM Distribution.