Вне зависимости от масштаба инсталляции и сети каждое предприятие нуждается в 19-дюймовых шкафах для размещения серверов, систем хранения и панелей структурированной проводки. При этом единого типа шкафа, который удовлетворял бы абсолютно всем требованиям инсталлятора, не существует. При выборе конкретной конструкции важно учесть не только требования настоящего момента, но и позаботиться о простоте наращивания и замены оборудования. Кто, например, может предвидеть размеры серверов, которые будут применяться через два года?
Для этого нужны интерфейсы SNMP или модульная система мониторинга с соответствующим набором чувсвительных элементов, датчиков, входных и выходных устройств. Еще один важный аспект — система электропитания. Современное активное оборудование, размещаемое в шкафу, может иметь мощность потребления до 10 кВт, поэтому шкаф с единственной 13-амперной силовой розеткой явно не удовлетворяет практическим потребностям. Более адекватными являются конструкции с панелью питания и максимальной нагрузочной способностью до 63 А.
Все шкафы, используемые для построения информационных систем, можно разделить на две группы: конструкции, предназначенные для монтажа панелей структурированной проводки, и серверные шкафы для активных компонентов. В последних наряду с активными устройствами (серверами, коммутаторами и маршрутизаторами) устанавливают системы хранения, устройства резервного копирования, блоки бесперебойного питания, а также панели системы распределения силового питания и оборудование охлаждения. Это могут быть как закрытые шкафы, так и открытые стойки. Рамное решение получило широкое распространение в США, европейские же компании традиционно тяготеют к закрытым шкафам, однако довольно агрессивная экспансия крупных американских компаний на европейский рынок привела к заметному увеличению спроса на открытые монтажные стойки.
Немаловажное значение в этом контексте имеет новая тенденция: пространственное разделение конструктивов для установки панелей структурированной проводки и шкафов для серверных ферм, характеризующихся повышенной потребностью в охлаждении и большим энергопотреблением. В отличие от шкафов для активного оборудования в шкафах СКС устройства с большой потребляемой мощностью и существенным выделением тепла отсутствуют в принципе. Поэтому их можно вынести за пределы зоны, где поддерживается особый микроклимат. Такой подход позволяет заметно повысить эффективность системы кондиционирования за счет увеличения разности температуры между холодным воздухом на входе и нагретым, отработанным на выходе.
ШКАФЫ ДЛЯ МОНТАЖА ПАНЕЛЕЙ КОММУТАЦИОННОГО ПОЛЯ СКС
В шкафах СКС информационные кабели структурированной проводки подключаются к соответствующим интерфейсам активного оборудования, для чего устанавливаются коммутационные панели, на передней стороне которых рядами, вплотную друг к другу расположены гнезда разъемных соединителей. Такая конструкция позволяет системному администратору легко изменять конфигурацию информационной системы. Вне зависимости от типа используемого на предприятии монтажного конструктива (открытые стойки или закрытые шкафы) кабели должны подаваться к панелям с обеспечением максимальной защиты от механических повреждений и с соблюдением требований по минимальному радиусу изгиба. Для облегчения процедуры выполнения инсталляционных работ техник должен иметь свободный доступ к задней поверхности коммутационной панели.
С лицевой стороны панели шнуры должны подводиться к розеткам разъемов таким образом, чтобы в результате обеспечивалась простота их идентификации и возможность легкого переключения. Это предполагает наличие довольно большого пространства для укладки коммутационных шнуров, длина которых соответствовала бы расстоянию между крайними гнездами — левым верхним и правым нижним. Кроме того, применяемые в широкополосных системах симметричные кабели Категорий 6а и 7 из-за своих экранирующих покрытий имеют увеличенный диаметр и обладают заметно меньшей гибкостью по сравнению с традиционными неэкранированными кабелями Категории 5е, т. е. нуждаются в большем пространстве для прокладки. Для выполнения последнего требования в отношении медного кабеля в качестве конструктива должны применяться шкафы с минимальными размерами — 800 х 800 мм.
С учетом пространства, необходимого для открывания передней и задней дверей, минимальная площадь, выделяемая для такого шкафа, составляет 2400 х 800 мм. При выборе высоты монтажного конструктива можно руководствоваться соображением, что две коммутационные панели высотой 1U каждая требуют еще 1U для установки организатора кабелей коммутационных шнуров. Как результат, в двухметровом шкафу высотой 42U может быть установлено 28 панелей с 672 розетками модульных разъемов. Это соответствует 3,84 м3 объема технического помещения. Таким образом, норма потребления пространства составляет 0,0057 м3 на одно соединение.
Что касается открытых стоек, то их типовая глубина не превышает 500 мм, а дополнительного пространства для открывания дверей не требуется. При номинальной ширине стойки 550 мм с обеих ее сторон следует предусмотреть установку направляющих кабельных каналов шириной по 250 или 350 мм. Боковые вертикальные кабельные организаторы обслуживаются снаружи независимо от коммутационных панелей. Это позволяет использовать всю высоту монтажного конструктива. Таким образом, в конструктиве высотой 42U можно установить панели, вмещающие 1008 розеток модульных разъемов. Расчет удельной нормы потребляемого объема для открытой стойки осуществляется исходя из цифры 1,25 м3, что соответствует численному значению искомого параметра удельной плотности в 0,0012 м3 на одну розетку, т. е. по сравнению со шкафом плотность компоновки увеличивается примерно в пять раз.
В перечень преимуществ целесообразно добавить лучшие условия доступа к панелям (см. Рисунок 1). На первый взгляд открытая монтажная стойка представляется более привлекательным решением для организации коммутационного поля, однако по сравнению со шкафом она обладает одним очевидным (и принципиальным) недостатком, который заключается в отсутствии физической защиты оборудования и коммутационных шнуров. Таким образом, когда обеспечение физической безопасности — а к ней относится и защита от несанкционированного доступа — является обязательным, альтернативы шкафу нет.
ЗАЩИТА ОТ НЕСАНКЦИОНИРОВАННОГО ДОСТУПА
Телекоммуникационные шкафы обычно устанавливаются в центрах обработки данных, аппаратных комнатах или непосредственно в офисных помещениях. Во всех этих средах — неважно, предусмотрена в них защита или нет — следует предусмотреть определенные ограничения на доступ к оборудованию. В вычислительных центрах, особенно в залах, где размещены устройства, используемые несколькими клиентами, каждый должен быть уверен в том, что его оборудование надежно отделено от чужого. Поэтому использование защитных перегородок с целью раздельного размещения устройств заказчиков является основополагающим.
Если шкаф находится на территории владельца информационной системы, то зачастую наряду с сетевым оборудованием в нем установлены приборы систем пожарной и охранной сигнализации, а также панели управления системами кондиционирования, которые обслуживаются персоналом других подразделений. В подобном случае целесообразно воспользоваться принципом разграничения доступа.
Наибольшие трудности возникают при обустройстве классического офисного помещения, где к незакрытому коммутационному шкафу потенциально имеют доступ все сотрудники. В последнее время в такой ситуации применяется компромиссное решение, суть которого заключается в установке полуоткрытой стойки, где лицевая сторона коммутационных панелей закрыта дверями. Привлекательной стороной подобного решения является сохранение высокой плотности портов. Риски ошибочного или умышленного вмешательства в область расположения линейных кабелей минимизируются применением индивидуального крепления кабелей на задней стороне коммутационной панели.
Особое внимание защите от несанкционированного доступа приходится уделять и в случае серверных шкафов. Поскольку подавляющее большинство организаций не может функционировать без вычислительной инфраструктуры, необходимо предусмотреть, чтобы доступ к оборудованию предоставлялся только авторизованному персоналу. В простейших случаях решение достигается применением обычных механических замков, однако все чаще используются сетевые, полностью электронные системы контроля доступа с дистанционным управлением. Установка в шкафу различного активного оборудования создает многочисленные проблемы, включая обеспечение безопасности, управление распределением тепловых потоков, выбор оптимальной конфигурации серверов, правильное распределение механической нагрузки и организацию кабелей. В такой ситуации речь может идти только о закрытых шкафах.
Пример модульных серверов демонстрирует, насколько быстро внедрение новой техники ведет к полному исчерпанию ресурсов шкафов традиционной конструкции. Из-за значительного выделения тепла известные средства воздушного охлаждения оказываются абсолютно неэффективными для данного типа серверов, а высокая плотность конструкции этой разновидности активного оборудования ведет к чрезмерной нагрузке на шкаф. Последние исследования IDC, результаты которых были опубликованы в ноябре прошлого года, свидетельствуют о том, что в настоящее время объем продаж модульных серверов не превышает 5% всего рынка серверов, однако годовые темпы роста продаж этого вида оборудования превосходят 50%, хотя общий объем рынка за прошедшие 12 месяцев сократился на 8%.
Если упомянутые выше темпы роста сохранятся, проблемы с тепловой перегрузкой оборудования только усугубятся. Не поможет даже замена существующих серверов на новые модели, так как с высокой долей вероятности это приведет к еще большему повышению плотности конструкции. Таким образом, проблема отвода тепла из серверных шкафов останется весьма актуальной и в будущем. До сих пор поддержание нормальных температурных условий в шкафу — одна из наиболее сложных и насущных задач. Суть ее в следующем. Поскольку большинство используемых серверов имеют высоту 1U (как у коробки с пиццей), система охлаждения сначала должна отвести избыток тепла непосредственно от серверного блока и потом уже удалить его из шкафа. Типичный сервер высотой 1U производит около 200 Вт мощности. Приобретающие все большую популярность шасси модульных серверов содержат, напротив, 24 отдельных сервера, каждый производит 50 Вт мощности, поэтому суммарная мощность составляет уже 1200 Вт. Это в два раза больше мощности, которую создают три сервера высотой в 1U при равной занимаемой площади.
В типовом серверном шкафу, монтажная высота которого составляет 42U, при 50-процентной загрузке может выделяться мощность от 4 до 8 кВт в зависимости от применяемой серверной конфигурации. Многие пользователи придерживаются рекомендованной границы 50-процентного заполнения полной емкости шкафа. Однако производители шкафов должны рассчитывать свою продукцию на худший случай, а это означает, что теоретически максимальная выделяемая тепловая мощность может достичь 16 кВт. Рассчитывать на снижение выделяемого тепла не приходится, поэтому разработчики монтажных шкафов и компании, специализирующиеся на решении проблем отвода тепла, исходят из значения суммарной потребляемой мощности в 30 кВт на шкаф.
Отвод избыточного тепла из шкафа возможен с помощью кондиционера, который устанавливается в дверях шкафа. Данное решение серийно выпускается несколькими производителями монтажных конструктивов, но и в этом случае предельное значение отводимой тепловой мощности увеличивается лишь до 18 кВт (см. Рисунок 2). При установке в шкафу многочисленных источников выделения тепла задача охлаждения требует нетривиального формирования потоков воздуха с проведением предварительного специального анализа конфигурации. Обычно потоки охлаждающего воздуха направляются спереди назад и снизу вверх с учетом областей наиболее интенсивного выделения тепла. Разработчик монтажного конструктива должен очень хорошо понимать термодинамику процесса, последствия перекрытия тепловых потоков, принципы чередования холодных и горячих коридоров, факторы образования мертвых зон и областей рециркуляции. Если же выделяемая тепловая мощность превышает 18 кВт, являющееся граничным для современных конструкций, то пользователю придется отказаться от системы воздушного охлаждения в пользу водовоздушного, чем уменьшается интенсивность выделения тепла за счет того, что охлаждение в последней системе достигает каждого устройства в отдельности. И хотя такой подход пока еще пугает некоторых специалистов по ИТ, иной альтернативы не предвидится (см. Рисунок 3).
Наряду с системой охлаждения важную роль играют и механические свойства серверного шкафа. Однако у различных производителей серверы высотой 1U существенно различаются деталями конструкции. В первую очередь это относится к глубине корпуса и способам монтажа телескопических установочных шин. Для современного рынка характерна тенденция увеличения глубины корпуса сервера, а значит, требуемая монтажная глубина возрастает до 1200 мм. Такая же особенность характерна для источников бесперебойного питания с двойным резервированием, что обусловлено необходимостью выделения с тыльной стороны устройства большого пространства для установки распределителя тока и укладки кабелей питания. В этой ситуации можно рекомендовать пользователям, еще не определившимся с выбором конструктива, приобретать такой шкаф, куда можно было бы устанавливать серверы всех основных производителей данного вида оборудования.
ЗАКЛЮЧЕНИЕ
Конструкция шкафов для размещения сетевого и телекоммуникационного оборудования должна соответствовать условиям эксплуатации. Важнейшим критерием при выборе типа шкафа становится поиск разумного компромисса между требуемой площадью и обеспечиваемым уровнем защиты оборудования. Для серверных шкафов надо принимать во внимание их вероятную модернизацию, необходимость в которой может возникнуть при увеличении ожидаемой термической нагрузки и замене старого оборудования серверами другого производителя.
Высокие темпы научно-технического прогресса в об-ласти информационных технологий приводят к тому, что шкаф, полностью удовлетворяющий требованиям сегодняшнего дня, перестает им соответствовать завтра, поэтому в его спецификацию целесообразно включить некоторый запас на предстоящую перспективу. Крайне важно предусмотреть возможность расширения и дополнительной комплектации конструктива — кто знает,
в каком направлении будет развиваться техника в течение ближайших десяти лет.
Хольгер Янсен — сотрудник компании APW Electronics.
© AWi Verlag
Открытые и беззащитные
Тема монтажных шкафов для размещения серверов, систем хранения и панелей структурированной проводки обсуждается в специализированной прессе достаточно широко, однако стойкам, их простейшей разновидности, уделяется гораздо меньше внимания. В связи с публикацией статьи Хольгера Янсена «Будущее уже ясно» редакция обратилась к специалистам профильных компаний с просьбой высказать свою точку зрения по данному вопросу. Ниже мы постарались обобщить высказанные им мнения в сводном комментарии.
Причина большой популярности открытых стоек в США, как объясняет Юрий Сидоров из компании «Конструктив», состоит в том, что в этой стране для открытого монтажа обычно используют однорамную стойку — раму на конструкции с креплением к полу. Такое кроссовое телефонное решение используется уже многие годы. К тому же, очень часто службы телефонии и локальной сети объединены, а одно коммутационное поле обслуживать удобнее. В Европе же эти службы разделены, а потому телефонисты по традиции предпочитают открытые стойки, а сетевые инженеры — закрытые шкафы.
В России стойки тоже пользуются немалым спросом, но их конструкция несколько отличается — обычно это две рамы на общем основании. По приблизительным оценкам Molex Premise Networks, примерно 30-35% российских заказчиков отдают предпочтение именно им. Как считает Юрий Сидоров, причина прежде всего экономическая — стойка в два-три раза дешевле шкафа при той же функциональности. Кроме того, заказчиков привлекает удобство доступа и обслуживания. Как полагает Екатерина Николайчук, директор по развитию бизнеса компании Veritek Distribution, в подавляющем большинстве случаев выбор в пользу стоек обусловлен либо отсутствием необходимого бюджета для развития сетевой инфраструктуры, либо низкими техническими требованиями. В результате открытые стойки наиболее прочно закрепились в сегменте небольших и несложных инсталляций в проектах с ограниченным бюджетом.
Заказчики рассматривают стойки как один из вариантов — наряду со шкафами — размещения пассивного и активного оборудования. Выбор в пользу стоек, как было отмечено выше, зачастую делается вследствие их низкой стоимости, однако такой подход нельзя считать полностью обоснованным, так как их использование, в отличие от шкафов, требует более тщательной подготовки серверных и кроссовых помещений с точки зрения наличия в них необходимых систем инженерного обеспечения.
По мнению Юрия Сидорова, когда речь заходит о масштабных решениях, обычно побеждает европейская точка зрения, и коммутация осуществляется преимущественно в шкафах. С ним согласен и Андрей Семенов, директор центра развития «Ай-Ти СКС». По его мнению, российские заказчики крайне редко используют открытые стойки для размещения оборудования ЦОД. Объем поставок этих элементов информационной инфраструктуры может быть оценен величиной порядка 10% от объема сбыта закрытых конструктивов. А вот Петр Коленько, глава московского представительства компании TRALE, полагает, что чем больше проект, тем скорее заказчик задумывается об использовании открытых стоек, поскольку в крупных проектах оборудование размещается в специализированных закрытых помещениях. При этом отпадают проблемы, связанные с ограничением доступа к оборудованию, с охлаждением (это решается для серверной комнаты в целом) и многие другие. Причем эта тенденция все более крепнет.
Однако, как указывает Александр Смирнов из компании Molex Premise Networks, даже в специально оборудованных помещениях в случае повышенной запыленности и чувствительности оборудования к загрязненности воздуха (кстати, этот немаловажный фактор вообще оставлен в статье без внимания), шкаф является единственным приемлемым выбором. По его мнению, открытая двухрамная 19-дюймовая стойка по своей сути представляет собой шкаф со снятыми дверями — передней, задней и боковыми. Таким образом, стойка, скажем в СКС, выполняет те же функции, что и шкаф, за исключением защиты оборудования. К тому же дизайн шкафа более привлекателен — оборудование и кабели закрыты.
Согласно наблюдениям Вальдемара Руфа, директора департамента продаж компании Schroff на российском рынке, отечественные заказчики, как и европейские, предпочитают закрытые стойки для монтажа электронного оборудования, исходя прежде всего из соображений предупреждения несанкционированного доступа к оборудованию и его защиты от воздействий окружающей среды. Выбор стоек полностью зависит от потребностей конкретного проекта и технических условий заказчика. Применение стоек открытого типа можно считать целесообразным в случае установки оборудования в полностью закрытых помещениях, где право доступа предоставлено только обслуживающему персоналу. При этом имеется в виду и защита оборудования от случайного прикосновения. Последний фактор играет немаловажную роль в случае жестких требований работоспособности и высокой доступности оборудования.
Сходного мнения придерживается и Екатерина Николайчук, считая, что применение коммутационных стоек целесообразно, когда серверные и кроссовые помещения оборудованы необходимым набором систем инженерного обеспечения, гарантирующим безопасность, защищенность, стабильность климатических условий и проч. К примеру, операторы сотовой связи размещают оборудование радиоподсистемы в открытых стойках, но само помещение представляет собой полностью защищенную зону. В таких случаях установка закрытых шкафов нецелесообразна.
Михаил Гришунин из компании «Тайле» также отмечает, что открытые стойки применяются и в сложных системах. Все чаще российские инсталляторы монтируют в стойки активное оборудование, серверы и системы бесперебойного питания. Кроме того, небольшим, но устойчиво растущим спросом пользуется новый вид продукции — каркасные монтажные стойки. По сути, это монтажные шкафы без дверей и боковых стенок, обладающие высокой несущей способностью и предназначенные для установки тяжелого оборудования, в том числе серверов и ИБП.
Между тем конструкции шкафов также совершенствуются. Как подчеркивает Игорь Михальчук, директор по маркетингу компании AESP East Europe, требования времени вынуждают производителей вносить в них качественные изменения. Прежде всего следует отметить, что возможности воздуха как теплоносителя постепенно исчерпываются. В связи с этим высота шкафов порой достигает 80U, а для размещения «модульных» решений создаются конструкции с водяным охлаждением вычислительных модулей. В заводских условиях они оснащаются развитой системой жидкостных магистралей и дренажных каналов, подключаемых к системе водопровода в здании.
В решениях с меньшей плотностью тепловыделения на один шкаф (в частности, в помещениях с меньшей высотой потолков) системы раздельного воздушно-жидкостного охлаждения остаются наиболее конкурентоспособными. В таких системах внутренний теплообмен осуществляется за счет воздуха, а ограничение его производительности диктуется максимально возможной скоростью воздушных потоков.
Потребность в охлаждении стала одним из главных факторов, определяющих изменение конструкции шкафов и спрос на различные их виды. «Открытость» стоек обеспечивает хороший теплообмен и в кондиционируемом помещении позволяет (до поры до времени) обходиться без дополнительных средств охлаждения. Однако при плотной установке оборудования с высокой выделяемой тепловой мощностью невозможность организации воздушных потоков и установки охлаждающего оборудования ограничивает применение открытых стоек и каркасов.
Другим важным моментом в деле совершенст-вования конструкции шкафа, по мнению Игоря Михальчука, является потребность в обеспечении его высокой нагрузочной способности в условиях применения ресурсосберегающих технологий. Это диктует необходимость отказа от использования стандартных недорогих марок стали и разворота в сторону решений, уже опробованных автопроизводителями. Для обеспечения надлежащей прочности понадобится марочная сталь и прочные сплавы меньшей толщины (веса), а также профилированные поверхности с большим числом сгибов и ребер жесткости. Конструкции открытых стоек также претерпят изменение — станут более прочными и легкими, способными к устойчивому перемещению на роликах с полной нагрузкой.
Важно отметить, что не все производители коммутационных шкафов и стоек представляют на российском рынке исчерпывающий ассортимент. Как указывается в статье, универсальная глубина стойки составляет 500 мм. Нередко в продуктовом портфеле поставщиков присутствуют только стойки стандартной высоты 42U и однорамной структуры монтажа. Однако модульность системы предполагает наличие разнообразных стоек — от 22U и до 48U. Важную роль играет их глубина и распределение нагрузки на раму. Если стойка предназначена для коммутации серверного оборудования, то тогда нужны двухрамная структура и опора глубиной 1000 мм. Не менее серьезным аспектом является ассортимент аксессуаров, предназначенных для коммутации серверного и сетевого оборудования в стойках.
При выборе стоек, подтверждает Вальдемар Руф, важными критериями являются функциональность, качество, стоимость, а также возможность дооснащения различными аксессуарами и долговременность поставок. Еще один существенный момент состоит в том, что российские заказчики ожидают от производителей высокой гибкости в отношении производства продукции и быстрого реагирования на изменение технических требований.
Впрочем, решающим фактором, считает Михаил Гришунин, до сих пор остается цена, которая, как правило, значительно ниже стоимости серверного шкафа того же типоразмера. Реже заказчик руководствуется потребностью в установке оборудования большой глубины (более 1000 мм), экономией полезной площади серверной комнаты (не требуется пространства для открывания дверей), а также необходимостью обеспечения оперативного доступа к оборудованию со всех сторон. Впрочем, крупные инсталляторы, как правило, идут по «европейскому» пути, предпочитая закрытые шкафы, и только в случае ограниченного бюджета обращают свое внимание на открытые стойки. А вот для компаний «средней руки», при наличии подготовленного серверного помещения, открытые стойки — хороший выбор.
Валерий Юфа.