Fibre Channel С выпуском SANbox 5200 компанией Qlogic наконец-то появился масштабируемый коммутатор для Fibre Channel: ее SANbox 5200 при помощи портов для каскадирования на 10 Гбит/с может наращиваться до четырех коммутаторов.
Для предприятий, строящих собственную сеть хранения данных (Storage Area Network, SAN) на базе Fibre Channel или желающих ее расширить, масштабируемость имеет важное значение. SANbox 5200 от Qlogic впервые позволяет объединить несколько коммутаторов в один стек. Для этого система в дополнение к 16 портам Fibre Channel с пропускной способностью 2 Гбит/с оснащена четырьмя оптическими портами для каскадирования с пропускной способностью 10 Гбит/с, через которые может быть организовано соединение с другими коммутаторами. В качестве альтернативы эти порты могут использоваться и для избыточного соединения двух коммутаторов по межкоммутаторным каналам (Inter Switch Link, ISL). Как ожидается, с появлением на рынке первых адаптеров главной шины (Host Bus Adapter, HBA) для 10 Гбит/с — а их выпуск запланирован на середину 2005 г. — откроются новые возможности применения высокоскоростных портов, в том числе для непосредственного подсоединения к ним отдельных устройств: к примеру, серверов резервного копирования, дисковых массивов или ленточных библиотек. Одним словом, это очень привлекательная опция для высокопроизводительных приложений.
СТЕКИ ПОВЫШАЮТ ГИБКОСТЬ
Главное преимущество функции объединения коммутаторов в стек заключается в том, что SANbox 5200 можно гибко наращивать, когда предприятию необходимо большее число портов. Пока в стек разрешается объединять всего четыре коммутатора, но таким образом в принципе возможно соединить и большее количество устройств.
Стек из четырех коммутаторов предоставляет 64 обычных порта Fibre Channel с пропускной способностью 2 Гбит/с, взаимодействие которых между собой осуществляется по быстрым каналам ISL на 10 Гбит/с. При избыточном каскадировании, помимо всего прочего, обеспечивается высокая отказоустойчивость ISL. Так, в одном стеке из четырех коммутаторов можно реализовать полную ячеистую топологию, когда каждое устройство соединено с другим по ISL на 10 Гбит/с.
В случае использования 16-портовых коммутаторов других марок для избыточных соединений ISL пришлось бы дополнительно задействовать по два порта на каждом устройстве. Это означает, что при простом каскадировании для организации избыточных каналов ISL понадобились бы 12 из 64 портов. При отказоустойчивой кольцевой топологии с простыми ISL для подключения систем хранения данных окажутся недоступными восемь портов. Кроме того, два стандартных ISL способны обеспечить скорость передачи данных не более 4 Гбит/с в каждом направлении. SANbox 5200, напротив, лишь с одним высокоскоростным ISL предлагает более чем трехкратную скорость передачи — 12,75 Гбит/с.
Для каскадирования Qlogic использует стандарт 10 Gigabit XPACK. Он состоит из четырех каналов со скоростью 3,1875 Гбит/с каждый, т. е. максимальная скорость передачи достигает 12,75 Гбит/с. Таким образом, по пропускной способности один 10-гигабитный порт Fibre Channel сопоставим с шестью портами 2 Гбит/с.
SANbox 5200 проявляет все свои сильные стороны в том случае, когда в одной структуре объединяются несколько небольших коммутаторов. В Qlogic позаботилась и о максимально необременительном переходе к SAN: предприятия могут приобрести SANbox 5200 с восемью портами 2 Гбит/с и впоследствии поэтапно (по четыре порта) нарастить его до 16 портов. Четыре порта для каскадирования используются во всех версиях.
То, что Qlogic разрабатывала свой продукт в расчете прежде всего на небольшие и средние предприятия, заметно по стоимости системы, которая для всех перечисленных вариантов оснащения не достигает 500 долларов за порт (модули портов в эту цену не входят), при этом без дополнительной платы предоставляется программное обеспечение SANsurfer для управления коммутаторами.
АДМИНИСТРИРОВАНИЕ ПО ОТДЕЛЬНОСТИ НЕСМОТРЯ НА СТЕК
Вряд ли SANbox 5200 безоговорочно можно назвать «стековым» коммутатором, поскольку, в отличие от привычных стековых коммутаторов Ethernet для локальных сетей, каждый из объединенных в стек коммутаторов FC управляется и администрируется по отдельности, а не как одно логическое целое. Тем не менее все операции могут выполняться из общего централизованного интерфейса управления.
Перед проведением тестов на производительность с двумя системами Smartbits SMB6000 два коммутатора SANbox были подключены к серверам Dell 1600SC и дисковой системе Fibre Channel от Nstor для тестирования основных функций. При этом сервер подсоединили к одному коммутатору SANbox через HBA QLA 2340 от Qlogic, а массив хранения — к другому. Оба устройства взаимодействовали по соединению ISL (см. врезку «Как проводились тесты»).
Для управления по внешнему каналу коммутаторы были подключены к тестовой локальной сети. IP-адрес SANbox администратор может изменять либо через интерфейс командной строки (Command Line Interface, CLI) коммутатора, либо при помощи мастера IP. После того как IP-адреса были сконфигурированы, управление коммутаторами стало возможно с рабочей станции: администратор по Ethernet связывается с одним из двух коммутаторов и, запустив приложение SANsurfer Switch Manager, указывает его IP-адрес при регистрации в коммутирующей структуре. После чего SANsurfer автоматически показывает все имеющиеся в стеке коммутаторы, управление которыми может осуществляться централизованно по соединению Fibre Channel. Все имеющиеся коммутаторы показываются в виде древовидной структуры. Администратор выбирает нужную запись и незамедлительно получает доступ к функциям управления. SANbox 5200 снабжен тем же графическим пользовательским интерфейсом (Graphical User Interface, GUI) и точно таким же встроенным программным обеспечением, что и SANbox2 от Qlogic.
Контроль доступа к SAN и ограничение взаимодействия систем осуществляются посредством программного и аппаратного разбиения на зоны при помощи списков контроля доступа (Access Control List, ACL). При этом зональное членство определяется на основе всемирного имени (World Wide Name, WWN), адреса Fibre Channel подключенного устройства (FCID) или идентификатора домена и номера порта.
Для поддержки соединений на большие расстояния соответствующий порт Fibre Channel должен обладать достаточным числом так называемых межбуферных кредитов. Главное правило здесь следующее: одному порту на каждые 10 км необходимо пять таких кредитов. SANbox 5200 на каждом порту предоставляет 16 кредитов, 15 из которых могут быть одолжены другим портам. Таким образом можно перекрывать и очень большие расстояния. При помощи нового мастера распределения межбуферных кредитов и возможностей GUI администратор способен забирать разрешения у любых портов и передавать желаемым.
Дополнительно к SANsurfer Switch Manager предлагается инструмент SANsurfer Performance View, при помощи которого можно следить за нагрузкой на отдельные порты, представлять ее в графическом виде и сохранять. Для повседневного управления сетями хранения данных этот инструмент оказывается хорошим подспорьем, поскольку отображает нагрузку на каждый порт. С его помощью можно, к примеру, быстро распознать ситуации перегрузки.
SANbox 5200 поддерживает обновление встроенного программного обеспечения без прерывания работы. Qlogic, кроме того, предлагает технологию фильтрации I/O Stream Guard для блокирования кадров оповещения о зарегистрированном изменении состояния (Registered State Change Notification, RSCN). В таких приложениях, как потоковое видео или резервное копирование, это весьма полезная функция.
ТЕСТИРОВАНИЕ КОММУТАТОРА
Тесты на производительность SANbox 5200 были разделены на две большие группы. Сначала один коммутатор подвергался тестированию в соответствии с различными сценариями. Крупные сети хранения проектируются таким образом, чтобы как можно больший объем трафика циркулировал локально, а в таких условиях производительность отдельно взятого коммутатора имеет решающее значение.
Затем два коммутатора тестировались совместно. При этом, с одной стороны, исследовалась производительность межсоединения ISL, как стандартного на 2 Гбит/с, так и высокоскоростного ISL, а с другой — оценивались пределы производительности каналов 10 Гбит/с. Теоретически в случае двух таких высокоскоростных ISL между коммутаторами должна была зафиксироваться пропускная способность 25,5 Гбит/с.
Столь высокая пропускная способность едва ли нужна кому-нибудь сегодня. Однако как только в следующем году появятся НВА на 10 Гбит/с для серверов и систем хранения данных, вполне можно представить сценарии, когда именно такая скорость потребуется для межсоединений ISL. К примеру, к SANbox 5200 по каналу 10 Гбит/с можно было бы подключить сервер резервного копирования и дисковый массив. До 16 серверов, подключенных к другому SANbox 5200, могли бы тогда без потерь в производительности обращаться к этой системе хранения по второму соединению ISL на 10 Гбит/с.
Все без исключения тесты проводились с кадрами размером 2148 и 64 байт. Для коммутирующих механизмов маленькие 64-байтные кадры означают ощутимые издержки на обработку, поскольку накладные расходы на протокол возрастают. 2148 байт — максимальная длина кадра Fibre Channel, при которой достигается верхняя граница производительности системы хранения данных. В большинстве тестов нагрузка повышалась с шагом 10%, пока не достигалось значение полной нагрузки в 100%. При этом длительность каждого отрезка теста равнялась 30 с.
ПОЛНОСВЯЗНЫЙ ТЕСТ (ОДИН КОММУТАТОР)
Для проверки максимальной пропускной способности SANbox 5200 проводился полносвязный тест, когда каждый из 16 портов взаимодействовал в обоих направлениях с каждым из оставшихся портов того же коммутатора. Таким образом, по внутренней шине проходило в общей сложности 240 параллельных потоков трафика. Для этого Smartbits SMB 6000 при помощи инструментария от Smart Communications был сконфигурирован так, что его 16 портов Fibre Channel, поддерживающих скорость 2 Гбит/с, формировали бы необходимый трафик.
При полной нагрузке на все 16 портов SANbox в случае кадров длиной 2148 байт достиг производительности 3360 Мбайт/с, что соответствует пропускной способности 26,9 Гбит/с. Теоретически достижимая максимальная скорость передачи равна 64 Гбит/с, если порт одновременно получает и принимает данные с полной нагрузкой 2 Гбит/с. С учетом издержек на протокол кодирования 8В/10В в 20% теоретически возможная максимальная пропускная способность равна приблизительно 6000 Мбайт/с. В случае небольших кадров длиной 64 байт коммутатор все еще мог обеспечить скорость передачи в 2401 Мбайт/с, или, соответственно, 19,2 Гбит/с. Это очень хорошие результаты для полносвязного теста.
Во время обоих тестов все кадры передавались полностью. О том, что SANbox 5200 достиг в процессе тестирования пределов своей производительности, свидетельствует тот факт, что при полной нагрузке на всех 16 портах коммутатор уже не мог передавать кадры на максимальной скорости. Особенно заметным этот эффект был при отправлении маленьких кадров по 64 байт. Они передавались с пропускной способностью 97,1%. Для кадров размером 2148 байт коммутатор практически достиг оптимума с результатом 99,9%.
Весьма хорошие результаты SANbox 5200 показал и в отношении времени задержки. Испытания проводились в описанной выше полносвязной конфигурации, однако не с упомянутым 30-секундным временным интервалом, а при фиксированном числе отправляемых кадров (1000). Как в случае 64-, так и 2148-байтных кадров время задержки оказывалось очень небольшим: в интервале между 0,3 и 0,5 мкс при передаче кадров длиной 64 байт и между 0,3 и 0,7 мкс при передаче кадров длиной 2148 байт.
ТЕСТ «МНОГИЕ К ОДНОМУ» (ОДИН КОММУТАТОР)
Тест имитировал распределение нагрузки, когда десять серверов одновременно обращались к системе хранения данных с целью записи данных.
Smartbits SMB-6000 на своих десяти портах 2 Гбит/с имитировал нагрузку со стороны серверов (инициаторов) и направлял все потоки на один целевой порт. При этом коммутатор Fibre Channel должен был равномерно передавать кадры со всех портов инициаторов на целевой порт. В таком случае все серверы могли бы записывать данные в систему хранения с одинаковой производительностью. SANbox 5200 блеснул абсолютно равномерным распределением доступной пропускной способности между десятью отправляющими портами как в случае 64-, так и 2148-байтных кадров.
ТЕСТ ПРОТИВОДАВЛЕНИЯ (ОДИН КОММУТАТОР)
В этом тесте была предпринята попытка установить, как коммутатор обрабатывает дополнительные перекрестные соединения в случае полной нагрузки. С его восьми портов мы установили однонаправленные прямые соединения с восемью оставшимися портами. Один из портов-источников имел дополнительное перекрестное соединение с одним из целевых портов. Нагрузку порта-источника коммутатор должен был равномерно распределить по двум целевым портам. И здесь SANbox 5200 оказался на высоте и всегда равномерно делил имевшуюся нагрузку.
ТЕСТИРОВАНИЕ ISL С ДВУМЯ КОММУТАТОРАМИ
Тестирование соединения ISL должно было прежде всего ответить на вопрос, способен ли SANbox 5200 при перегрузке равномерно обрабатывать потоки данных между коммутаторами. Для этого сценария была организована пара ISL на 2 Гбит/с и сконфигурированы двунаправленные парные соединения между тремя портами одного коммутатора и тремя портами второго. В идеальном случае коммутатор должен распределять нагрузку по обоим ISL равномерно. SANbox 5200 использует для этого статичную балансировку нагрузки по протоколу предпочтительного выбора кратчайшего пути через коммутирующую структуру (Fabric Shortest Path First, FSPF). При этом первый сеанс направляется на первый ISL, второй — на второй и т. д. В итоге при небольшом числе соединений по нескольким ISL чаще всего результатом является неравномерная нагрузка на отдельные ISL. Так оказалось и при выбранной тестовой конфигурации: в случае трех потоков трафика через два ISL возникает ситуация, когда в каждом направлении один поток даже при полной нагрузке получает в свое распоряжение всю пропускную способность, а остальные два потока должны делить между собой одно соединение ISL. Такое поведение наблюдалось в случае кадров всех размеров при нагрузке, начиная с 60%.
ОЦЕНКА ГРАНИЦ ПРОИЗВОДИТЕЛЬНОСТИ
Для исследования производительности канала для каскадирования на 10 Гбит/с оба коммутатора тестировались сначала с одним, а потом с двумя соединениями по 10 Гбит/с. Мы использовали два сценария: вначале SMB-6000 формировал однонаправленные потоки трафика от восьми портов одного SANbox 5200 к восьми портам второго. Затем оба шасси SMB-6000 конфигурировались таким образом, что 16 портов одного коммутатора передавали данные на 16 портов другого. Как и в предыдущих тестах, нагрузка повышалась ступенчато до 100%.
По каналу 12,75 Гбит/с после вычета издержек на протокол скорость передачи данных не превышает 1300 Мбайт/с, поэтому, как ожидалось, межсоединение окажется полностью загруженным, когда восемь одновременно передающих портов будет работать с нагрузкой в 80% от максимальной. В случае кадров длиной 2148 байт произошло именно это: начиная с нагрузки 80% скорость передачи упала до 93,1%, а при нагрузке в 100% — до 74,6%. При этом все восемь портов обслуживались равномерно, и даже при полной нагрузке кадры не терялись. Общая пропускная способность при 100-процентной нагрузке составила 1254 Мбайт/с, т. е. оказалась очень близка к максимуму в 1300 Мбайт/с. В случае 64-байтных кадров по причине большого объема служебной информации граница насыщения была достигнута уже при 70-процентной нагрузке, а общая пропускная способность при полной нагрузке составила 850 Мбайт/с.
МАКСИМАЛЬНАЯ ПРОИЗВОДИТЕЛЬНОСТЬ С ДВУМЯ КАНАЛАМИ
Для тестирования производительности по двум межсоединениям на 10 Гбит/с были задействованы оба шасси SMB-6000. Максимально достижимая пропускная способность определялась путем организации однонаправленных потоков трафика от 16 портов одного коммутатора к 16 портам второго. Предельная пропускная способность двух каналов ISL на 10 Гбит/с составляет 2600 Мбайт/с, поэтому в случае больших кадров насыщение должно было наступить при нагрузке свыше 90%. В случае 16 портов 90-процентная нагрузка соответствует пропускной способности 2880 Мбайт/с.
Во время тестирования выяснилось, что уже при 80% коммутатор не мог передавать все потоки в полном объеме, поскольку он уже работал с максимальной скоростью передачи 2508 Мбайт/с. В случае кадров длиной 64 байт достигнута наибольшая пропускная способность 1700,2 Мбайт/с при нагрузке 90%.
ЗАКЛЮЧЕНИЕ
С точки зрения производительности в целом SANbox 5200 едва ли оставляет желать чего-либо другого. Причина статичного распределения соединений по нескольким ISL и поэтому несколько не сбалансированной обработки отдельных потоков трафика заключается в использовании протокола FSPF. При проектировании сети хранения данных этот момент следует учесть с самого начала.
Предприятиям, обладающим небольшими сетями хранения, SANbox 5200 будет интересен прежде всего с финансовой точки зрения. Во-первых, стоимость в расчете на порт невелика и возможно включение восьми, 12 или 16 портов. Во-вторых, для построения соединений ISL между несколькими коммутаторами SANbox 5200 больше не требует задействовать порты 2 Гбит/с. Четыре дополнительных порта для каскадирования на 10 Гбит/с предоставляют достаточную пропускную способность. С их помощью можно реализовать большее число портов по выгодной цене.
Кристофер Ланге — постоянный внештатный сотрудник LANline. С ним можно связаться по адресу: mw@lanline.awi.de.
Как проводились тесты
Для тестирования коммутаторов SANbox 5200 компании Qlogic использовались две системы Smartbits SMB-6000 от Spirent Communications; каждое шасси было оснащено восемью двухпортовыми картами FBC-3602A для Fibre Channel на 1/2 Гбит/с. Устройства этого производителя, специализирующегося в области оборудования для тестирования и измерений, оснащаются различными модулями и позволяют проводить анализ наиболее распространенных сетевых протоколов (дополнительную информацию см. на http://www.spirentcom.com). Во время испытаний задействовалось 32 порта Smartbits для генерирования полной нагрузки на все порты 2 Гбит/с обоих коммутаторов Fibre Channel. Оценка результатов выполнялась при помощи рабочей станции с установленными на ней Windows 2003 Professional и инструментами для анализа и тестирования от Spirent Communications.
? AWi Verlag