Архитектура серверов
Подсистема ввода/вывода
Производительность

По моему мнению, Сеймур Крей - самый выдающийся специалист в области разработки компьютеров, по крайней мере за последние 30 лет. Это отразилось не только в знаменитых на весь мир суперкомпьютеров с маркой Cray на борту, но и в наличии сразу трех компаний, в названии которых присутствует его фамилия: Cray Research, Cray Research Superservers и Cray Computer (увы, законы рынка неумолимы: Cray Computer недавно разорилась...). Других подобных прецедентов с названиями в мировой практике автору неизвестно, но, несомненно, Крей заслуживает таких прижизненных почестей.

В течение вот уже 20 лет Сеймур Крей находится на переднем крае разработок новых векторно-конвейерных суперкомпьютеров. Однако покинутая им Cray Research, ожидая определенные проблемы с рынком векторных компьютеров, выпускает не только векторные, но и MPP-системы (Cray T3D, Cray T3E). И все-таки важнейшим ее шагом стало образование дочерней корпорации Cray Research Superservers, представившей на рынок SMP-серверы CS6400.

PictureЭто классический пример системы, в которой соединяются понятия "суперкомпьютер", "мэйнфрейм" и "сервер". Если Cray T3D/Cray T3E, хотя и используют "обычные" RISC-микропроцессоры, но ориентированы все-таки, в первую очередь, на научно-технические применения, то CS6400 - классическая универсальная ЭВМ, которая годится и для традиционных суперкомпьютерных, и для коммерческих применений. В ряду подобных суперкомпьютерных серверов можно выделить, например, SGI CHALLENGE/POWER CHALLENGE или DEC AlphaServer 8200/8400. Их успех на мировом компьютерном рынке общеизвестен, и созданную Cray Research Superservers в условиях наблюдавшихся признаков кризиса традиционных суперкомпьютеров можно рассматривать как своеобразный запасной аэродром в очень перспективной области рынка.

Подход вышедших из Cray Research суперкомпьютерных профессионалов к SMP-системам представляет большой интерес. Итак, что же у них получилось?

Архитектура серверов

Они создали SMP-систему, содержащую от 4 до 64 микропроцессоров. Это число гораздо больше, чем у SGI CHALLENGE (до 36 процессоров) и DEC 8400 (до 12 процессоров). Хотя в Exemplar SPP1000 и 1200 их может быть до 128, это скорее уже MPP-система, а в пределах гиперузла (максимально близкой к "чистой" строительной единице SMP) их все же не больше 8. Такое большое число процессоров в CS6400, возможно, было отчасти вынужденным для систем подобного класса, поскольку первоначально использованные микропроцессоры SuperSPARC/60 МГц не отличались высокой производительностью в ряду других конкурентов RISC-архитектуры. SMP-серверы самой Sun Microsystems также характеризуются достаточно большим числом процессоров (до 20 в серверах 2000E).

Используемые в CS6400 микропроцессоры SuperSPARC имеют большой внутренний кэш команд размером 20 Кбайт и кэш данных размером 16 Кбайт. Внешний кэш с пропускной способностью на тракте с процессором в 480 Мбайт/с имеет объем 2 Мбайт. По этим параметрам CS6400 уступает как POWER CHALLENGE, так и AlphaServer 8200/8400, где размер внешнего кэша в 2 раза больше.

Взаимодействие процессорных модулей (по 4 процессора на модуль) с оперативной памятью и подсистемой ввода/вывода осуществляется посредством четырех работающих на тактовой частоте 55 МГц шин XDBus, имеющих суммарную пиковую производительность 1.76 Гбайт/с. На этих шинах мультиплексируются и адреса, и данные; поддерживаемая пропускная способность составляет 1.28 Гбайт/с. Это - принципиально важная характеристика для оценки производительности SMP-сервера. В CS6400 она выше, чем у сервера 2000E от Sun, и практически совпадает с оценками для CHALLENGE/POWER CHALLENGE, но уступает AlphaServer 8200/8400. Шины XDBus используют метод коммутации пакетов и могут работать с расщепленными транзакциями. Специалисты фирмы указывают на высокую надежность этих шин и их способность эффективно поддерживать когерентность кэша.

Модули оперативной памяти построены на микросхемах DRAM (4 или 16 Мбит), а суммарный ее объем лежит в диапазоне от 256 Мбайт до 16 Гбайт (до 2 Гбайт на адресное пространство). Обеспечена горячая замена как процессорных модулей, так и памяти без останова системы. Оперативная память и процессорные модули размещаются в главной стойке, весящей (при полной комплектации) 544 кг. "Строительным блоком" в главной стойке является системный модуль. Он включает 4 микропроцессора, до 4 банков памяти по 256 Мбайт и имеет 4 слота шины SBus и собственный блок питания. Всего в главной стойке может быть до 16 системных модулей. Дополнительную надежность центральной части системы обеспечивают не только избыточные блоки питания, но и наличие ECC-кодов в системе оперативной памяти.

Подсистема ввода/вывода

Для подсоединения шин внешних устройств используются традиционные для компьютеров Sun шины SBus, являющиеся стандартом IEEE и имеющие пропускную способность 50 Мбайт/с. Таких шин может быть до 16, т.е. суммарная пропускная способность ввода/вывода составляет до 800 Мбайт/с (по этому показателю CS6400 уступает SGI CHALLENGE/POWER CHALLENGE и DEC AlfaServer 8400). Важным элементом архитектуры серверов CS6400 является специализированная кэш-память ввода/вывода, являющаяся своеобразным буфером между шинами SBus и XDBus.

К каждой шине SBus может быть подсоединено до 4 контроллеров F&W SCSI-2, всего до 64 на систему. Подсоединяемые к ним накопители на магнитных дисках работают по дифференциальному варианту SCSI и имеют емкость 2.9 Гбайт/шпиндель. В настоящее время поставляются и 9 Гбайтные устройства. Эти диски бывают одно- и двухвходовые. Последние могут подключаться сразу к двум разным SCSI-контроллерам, которые могут находиться на разных системных модулях, что позволяет продолжить работу с диском даже при выходе из строя одного из этих модулей. Защита данных обеспечивается зеркалированием дисков, которые можно заменять на ходу.

Внешние устройства монтируются в стойках ввода/вывода (всего их может быть до 10), каждая из которых способна содержать до 10 поддонов. В поддон инсталлируется до 6 дисков или до 4 ленточных стримеров Exabyte (8 мм, емкостью 5 Гбайт на кассету). Поддонов, укомплектованных стримерами, может быть до 2 на стойку. Возможны поставки и с другими ленточными устройствами (DAT, DLT, IBM 3480). Для расчета максимально возможного дискового пространства при комплектации одиночными дисками нужно посчитать их максимальное число (10 стоек х 10 поддонов х 6 устройств = 600) и помножить на емкость диска (см. выше); в результате получается величина порядка нескольких терабайт.

В системе предусмотрена возможность изъятия любого поддона с дисками, не нарушая при этом работоспособности остальных поддонов. Одна стойка ввода/вывода весит около полутонны в максимально укомплектованной конфигурации.

В слоты шины SBus могут вставляться не только контроллеры SCSI-2. Так, связи с локальными сетями обеспечиваются контроллерами Ethernet/FDDI/HiPPI. Последний допускает скорости передачи до 8 Мбайт/с.

Кроме главной стойки и стоек ввода/вывода, CS6400 снабжается управляющим компьютером на базе рабочей станции Sun SPARCclassic. Эта станция подключается через шину SBus. Интересно отметить, что в Convex SPP1000/1200 также используется управляющая рабочая станция от HP, в то время как в SMP-серверах AlphaServer 8200/8400 и CHALENGE/POWER CHALLENGE управляющие компьютеры не предусмотрены.

Минимальная конфигурация CS6400 включает 4 процессора, 256 Мбайт оперативной памяти и дисковую стойку с двумя накопителями по 2.9 Гбайт. Компьютеры CS6400 поставляются с усовершенствованной версией ОС Solaris 2.4; планируется переход на Solaris 2.5. Стоимость минимальной конфигурации CS6400 в США составляет порядка 400 тыс. долларов.

Производительность

Использующиеся в CS6400 микропроцессоры не относятся к числу лидеров производительности среди RISC-микропроцессоров. В октябре прошлого года было объявлено о начале поставок CS6400 с более быстродействующими микропроцессорами SuperSPARC II/85 МГц, однако это кардинальным образом ситуацию не изменяет. С другой стороны, CS6400 обладают теперь уникальной (насколько известно автору, отсутствующей в других SMP-серверах) возможностью смешивать в одной системе микропроцессоры с разной тактовой частотой, что позволяет сохранять инвестиции при расширении конфигурации с увеличением числа процессоров. Exemplar SPP1000/1200 позволяют иметь разные процессоры, но только в разных гиперузлах.

Недостаточное быстродействие процессоров компенсируется высокими характеристиками производительности шинной архитектуры CS6400 и ее сбалансированностью, а также традиционно высоким качеством программного обеспечения Sun и Cray Research. В результате, на известных тестах NAS parallel benchamark (IS) для 10 сортировок 8 миллионов целых чисел производительность 32-процессорного CS6400 (на 60 МГц процессорах) оказалась близка к производительности 32-разрядного Cray T3D.

Но основным предметом гордости разработчиков CS6400 являются, вероятно, данные тестов SPECrate, характеризующих, как известно, пропускную способность компьютера в целом при решении сразу нескольких одинаковых задач.

Из других известных автору продуктов самые высокие оценки SPECrate получил 12-процессорный (это максимально допустимое число процессоров) AlphaServer 8400: SPECrate_int92=91580, SPECrate_fp92 = 140571, что значительно ниже результатов CS6400. Ясно, что это связано и со значительно большим числом процессоров в последнем. Отдельно следует отметить еще один прекрасный показатель - очень высокий уровень масштабируемости даже для 64-процессорных CS6400. Так, в тестах SPECrate_fp92 c 60 МГц-процессорами он достиг 59.4 - т.е. из 64 процессоров почти 60 трудились собственно над пользовательскими задачами, и лишь четыре с небольшим процессора были заняты обслуживанием накладных расходов.

Аудиторски проверенные результаты тестов TPC-B на 28-процессорной (60 МГц) системе CS6400 показали скорость обработки транзакций 2025 tpsB при работе с СУБД Oracle 7.

Вообще складывается впечатление, что основного успеха CS6400 добилась на рынке коммерческих систем, но не как компьютер для научно-технических приложений. Это вполне естественно, если учесть отставание по производительности процессора от конкурентов и относительно высокую стартовую стоимость. Зато высокие характеристики надежности аппаратуры и качества программного обеспечения, несомненно, сделали эту систему привлекательной в коммерческой сфере. Пользователями CS6400 являются такие всемирно знаменитые банки, как Bank of America, Citibank (Великобритания), а также не менее известная компания MCI; в России CS6400 была приобретена компанией "МММ-Инвест". На CS6400 могут выполняться такие коммерческие приложения, как SAP R/3. Вообще этот сервер может быть рекомендован для оперативной обработки транзакций (OLTP), поддержки систем принятия решений, при построении хранилищ данных и в других больших информационных системах, требующих сочетания быстродействия и высокой надежности.

Нельзя быть до конца уверенным, что "запасной аэродром со временем не станет основным", тем более, если учесть, что, по предварительным данным, фирма работает над новой системой на базе новых микропроцессоров UltraSPARC. Что мне категорически не нравится в этих серверах - так это цветовая гамма их стоек. Но на вкус и цвет товарищей нет... Если же единственное, что вы не приемлете в этом сервере, как и я, - это цвет, то смело покупайте его и перекрашиваете его. Удачи!

Тест
n (ЦП)
60 МГц
85 МГц
SPECrate_base_int92
48
75275
105849
56
82851
114657
64
92844
123701
SPECrate_int92
48
82522
117705
56
95262
128344
64
101969
140498
SPECrate_base_fp92
48
95943
120564
56
109477
136014
64
122061
152633
SPECrate_fp92
48
102235
127065
56
115802
143307
64
129843
163685
Таблица 1.
Оценки SPECrate для CS6400.

Михаил Кузьминский - зав. отделом Института органической химии. С ним можно связаться по телефону: (095) 135-6388.

Поделитесь материалом с коллегами и друзьями