Звездный огонь фирмы Sun

Новые суперсерверы Ultra HPC 10000

Фирма Sun после выпуска микропроцессоров UltraSPARC и серверов Ultra Enterprise методично отвоевывает позиции на рынке наиболее высокопроизводительных систем повышенной надежности. Приобретение компанией Sun Microsystems отделения Cray Research Superserver (выпускавшего ранее суперкомпьютерный сервер Cray CS6400) подняло авторитет Sun в данной области рынка.

Это выразилось в появлении новой, самой мощной модели в серии серверов Ultra Enterprise X0000 - Enterprise 10000, носившей ранее кодовое название Starfire ("звездный огонь"). Хотя уже и предыдущие модели Enterprise 6000 могли конкурировать с большими мэйнфреймами производства IBM, новые системы еще решительнее вторгаются в область, в которой ведущими игроками до сих пор считаются мэйнфреймы.

Анонсированный 11 марта сего года выпуск компьютерных систем Sun HPC, в которые предлагается включить кластерные расширения серверов Ultra Enterprise, показал, что Sun твердо выходит на рынок суперкомпьютерных систем. Очевидно, этому способствовало и появление в Sun разработчиков CS6400 из Cray Research. Компания SGI, при слиянии с Cray "отпустившая" отделение Cray Research BSD в Sun, получила в лице Enterprise 10000 конкурента своим суперкомпьютерам Origin 2000. Но этот шаг SGI был достаточно естественным: CS6400 строился на микропроцессорах Sun SPARC.

Технические решения, предлагаемые Sun в Ultra Enterprise 10000 и системах HPC, представляют большой интерес, и мы рассмотрим их подробнее.

Победная поступь коммутаторов

SMP-системы высшего класса все больше отходят от идеологии обычной системной шины в пользу применения коммутаторов. Начало этому положила Convex в серверах Exemplar SPP (ныне эта линия продолжается в серверах S-класса от HP). Sun стала применять коммутаторы в архитектуре UPA (UltraSPARC Port Architecture) после появления микропроцессоров UltraSPARC. В SGI Origin2000 (правда, это не "чистые" SMP-системы, поскольку в них используется ccNUMA) также задействован коммутаторный подход. DEC AlphaServer 8x00 пока еще базируется на системной шине, но микропроцессоры Alpha 21264 уже ориентируются на коммутатор.

Применение коммутаторов обеспечивает гарантированную пропускную способность (ПС), чего не дает системная шина, на которой могут возникать перегрузки. Аналогом системной шины в Enterprise 10000 является коммутатор - "межсоединение" Gigaplane-XB. В нем используется схема пакетной коммутации, причем "пути" адресов и данных разделены. Gigaplane-XB физически реализован в виде центральной платы, в слоты которой, расположенные по ее обеим сторонам, вставляются системные платы (СП), содержащие процессоры, память и модули ввода-вывода - по 8 плат с каждой стороны.

Данные передаются от одной СП к другой, то есть осуществляется соединение "точка-точка". При передаче адресной информации, напротив, часто используется широковещание (broadcasting), для чего применяются маршрутизаторы. Фактически можно говорить о четырех 48-разрядных адресных шинах, каждая из которых работает с частотой 41,6 МГц. Все шины независимы и могут передавать 4 адреса одновременно. Передача адреса требует двух тактов.

Маршрутизация при передаче данных осуществляется в два этапа. Локально на СП данные от процессоров направляются в общий порт UPA. Глобальная маршрутизация Gigaplane-XB основывается на коммутаторе 16х16 (соответственно числу СП), называемом Global Data Router. Он передает данные от СП к СП по путям шириной 16 байт, работающим на частоте 83,3 МГц. Данные передаются пакетами размером по 64 байта; для передачи каждого пакета требуется четыре такта. ПС Gigaplane-XB составляет до 12,8 Гбайт/с. Для сравнения, поддерживаемая ПС шины Gigaplane в серверах Enterprise 6000 равна 2,4 Гбайт/с, а коммутатора гиперузла серверов S-класса от HP - 7,7 Гбайт/с (в одном направлении).

Мы специально уделили столько внимания Gigaplane-XB, поскольку этот компонент архитектуры представляет собой своеобразную кровеносную систему SMP-серверов, питающую данными основные их блоки (в данном случае - СП) и во многом определяющую ПС всей вычислительной установки.

Архитектурные элементы Enterprise 10000

Рассмотрим теперь другие архитектурные элементы серверов Enterprise 10000. Основными строительными блоками этих серверов являются СП. Эти блоки включают не только процессоры и оперативную память, но и модули ввода-вывода.

В системах Enterprise 10000 используются микропроцессоры UltraSPARC 2 c тактовой частотой 250 МГц, которые имеют 16-килобайтный кэш команд и кэш данных той же емкости плюс внешний кэш емкостью 1 Мбайт. Эти микропроцессоры построены по суперскалярному принципу и способны выполнять 4 команды за такт, в том числе две с плавающей запятой и две целочисленные. Сами процессоры монтируются на дочерней плате СП, на которой помещается также вторичная кэш-память и буфер данных UltraSPARC (UDB). В минимальной конфигурации Enterprise 10000 включает 16 процессоров (4 СП). Применение дочерних процессорных плат повышает модульность системы и облегчает процесс модернизации процессорной подсистемы сервера.

Учитывая, что Enterprise 10000 ориентируется не только на коммерческие применения, но и на рынок суперЭВМ, полезно привести типовые оценки производительности на тестах Linpack при N=1000. Недавно такие данные стали известны для близких к Enterprise 10000 серверов Entreprise 6000 (результаты для Enterprise 10000 могут быть даже немного выше), см. таблицу 1.

Таблица 1.
Производительность на тестах Linpack (N=1000), MFLOPS.

В Enterprise 6000 используются те же микропроцессоры 250 МГц. Данные таблицы 1 показывают, что уже при 16 процессорах производительность Enterprise 10000 начинает превосходить Origin2000, что, вероятно, связано с большей производительностью SMP-шины Gigaplane по сравнению с реализацией ccNUMA в Origin2000 при данном числе процессоров. Производительность UltraSPARC/250 МГц на тестах Linpack при N=100 составляет 110 MFLOPS при пиковой производительности 500 MFLOPS. Это говорит о том, что КПД UltraSPARC для векторов средней длины чуть выше 20%. На тестах Linpack parallel 64-процессорный Ultra Enterprise 6000 достигает производительности 21.4 GFLOPS при размерности, равной 15000 - очень солидный результат уровня "серьезной" суперкомпьютерной системы.

Оперативная память, также располагающаяся на СП, использует более традиционную DRAM-технологию 64 Мбит, а не новую SDRAM-технологию, применяющуюся, например, в SGI Origin2000 или серверах S-класса от HP. С целью повышения надежности памяти она защищена стандартными кодами ЕСС. Модули SIMM, применяемые в этих компьютерах, устроены так, что каждый чип DRAM содержит только один бит из полного байта. Поэтому сбой в отдельном чипе вызывает всего лишь одноразрядную ошибку, автоматически корректируемую кодами ЕСС.

Оперативная память на плате организована в виде 4 банков и может иметь емкость до 4 Гбайт (соответственно, до 64 Гбайт на весь сервер). В минимальном комплекте емкость памяти равна 2 Гбайт. Модулю памяти для записи/чтения строки кэша требуется 4 такта системных часов (по 48 нс), поэтому соответствующая ПС равна 1,3 Гбайт/с. Эта величина совпадает с ПС процессорного порта UPA и порта Gigaplane-XB.

Для оценки ПС-памяти используются известные тесты STREAM. В таблице 2 приведены результаты этих тестов для Enterprise 10000 в сопоставлении с лидером по данному показателю среди систем этого класса - SGI Origin2000. Данные таблицы 2 подтверждают высокую ПС подсистемы памяти данных компьютеров.

Таблица 2.
Пропускная способность памяти на тестах STREAM, Мбайт/с.

Модули ввода-вывода в Enterprise 10000 также являются дочерними платами СП. Их основу составляют две полузаказные микросхемы, каждая из которых имеет по одному порту к шинам SBus, традиционно применяемым в компьютерах Sun. Каждая из этих микросхем обеспечивает соединение со своей независимой шиной SBus. Другим "концом" модуль ввода-вывода подсоединяется к порту UPA.

64-разрядные шины SBus работают на тактовой частоте 25 МГц и характеризуются высокой ПС при низких задержках. Поддерживаемая ПС каждой шины SBus составляет 100 Мбайт/с. В каждой шине Sbus можно использовать 2 слота для контроллеров ввода-вывода одинарной ширины или 1 слот - для контроллеров двойной ширины. Всего в сервере может быть до 32 независимых параллельно работающих шины SBus и соответственно до 64 их слотов, то есть до 64 каналов ввода-вывода (скажем SCSI).

Типовые контроллеры, вставляемые в слоты SBus, - это SCSI (F&W SCSI-2), Fibre Controller (для SPARCstorage Array, c ПС 25 Мбайт/с), а также сетевые контроллеры Ethernet, Fast Ethernet, FDDI, ATM или Token Ring. Ultra Enterprise 10000 могут комплектоваться 3,5"-дисками емкостью 4,2 Гбайт каждый, дисковыми массивами (от 12,6 до 63 Гбайт) и разнообразными ленточными устройствами.

Кроме СП, в стойку Enterprise 10000 вставляется управляющая плата, на которой расположены системные часы/тактовый генератор, датчики измерения температуры и потоков воздуха, а также интерфейс с так называемым сервисным процессором системы. Последний служит для задач системного администрирования, мониторинга состояния компьютера и проведения диагностики. В качестве сервисного процесора используется Sun Station 5.

В архитектуре Enterprise 10000 предусмотрена еще одна редкая для мира Unix-серверов особенность: парционирование всей системы на ряд "подсистем". Эти идеи хорошо известны в мире мэйнфреймов, в том числе компаний IBM и UNISYS. Весь сервер Enterprise 10000 может быть разделен на несколько так называемых доменов, каждый из которых имеет свою порцию СП и свою копию операционной системы Solaris 2.5.1. Эти домены изолированы друг от друга, хотя и разделяют коммутатор Gigaplane-XB. Такая более гибкая организация позволяет, в частности, одновременно на одном компьютере работать в промышленном режиме и, скажем, выполнять тесты, не боясь "подвесить" всю систему. Доменная организация удобна, в частности, для проведения работ по модернизации программного обеспечения без прерывания промышленной эксплуатации.

Целый ряд особенностей архитектуры, включая, разумеется, и доменную организацию, направлен на повышение надежности работы системы. Мы не будем останавливаться подробнее на этом вопросе. Отметим лишь, что большинство блоков Enterprise 10000 допускают возможность их замены в горячем режиме.

Серверы HPC

Уже после появления Ultra Enterprise 10000 Sun объявила о выпуске серии серверов Ultra HPC. Эта серия включает в себя широкий спектр моделей - от 2-процессорной Ultra HPC 2 до Ultra HPC 10000. По сравнению с "оригинальными" серверами Enterprise архитектура HPC предполагает возможности построения кластерных конфигураций путем использования каналов Sun Cluster Channel, построенных на основе известных шин SCI. Они обеспечивают соединение типа "точка-точка" для SMP-узлов (серверов Enterprise) и имеют ПС 200 Мбайт/с. Возможно соединение в кластер до 16 узлов, что позволяет иметь 1024-процессорный кластер серверов Enterprise 10000 с пиковой производительностью около 0,5 TFLOPS.

Что касается областей возможного применения Ultra Enterprise 10000, то кроме суперкомпьютерных приложений, это - классические для подобных систем задачи OLTP для сверхбольших баз данных, системы поддержки принятия решений, хранилища данных и т. д. Возможности поддержания свыше 20 Тбайт интерактивной дисковой памяти и вычислительная мощь, в том числе подсистемы ввода-вывода, данных серверов создают для этого надежную основу.