Надежны как кирпичи

В нынешнем году, в точном соответствии с графиком, компания SGI представила компьютеры архитектуры NUMAflex: серверы Origin 3x00 и графические суперкомпьютеры Onyx 3x00.

Большой вклад разработчиков NUMAflex в развитие компьютерных архитектур вообще и систем ссNUMA в частности несомненен. Им удалось создать чрезвычайно гибкую архитектуру, в которой конкретную конфигурацию можно «сложить» из относительно небольших блоков, как из кубиков. Эти блоки получили в SGI название «кирпичей» (brick). В качестве скрепляющего их воедино «цемента» выступают высокоскоростные кабели. Кирпичи высотой 5,25-7 дюймов размещаются в стандартных стойках. Достоинством NUMAflex является то, что разработчикам удалось полностью избавиться от громоздких и дорогих многопроцессорных системных плат типа backplane или midplane.

Начало семействам серверов Origin положил совместный проект DASH Стэнфордского универсистета (шт. Калифорния) и компании SGI. Позднее, когда уже шла разработка Origin 2000, несколько ведущих участников проекта, в том числе Д. Леноски и Дж. Лаудон, перешли в SGI. Основные идеи архитектуры NUMAflex, первыми представителями которой стали Origin 3x00, были сформулированы в 1998 году. Среди ведущих разработчиков Origin 2000/3000 — мой знакомый по дискуссиям на конференции Usenet comp.arch Дж. Р. Маши, автор описания архитектуры этих систем.

Сага о процессорах

Среди грандов компьютерной индустрии, разрабатывающих собственные микропроцессоры RISC-архитектуры, компания SGI стоит особняком — она оказалась одной из немногих (можно даже сказать, единственной, если не считать Hewlett-Packard), кто в свое время безоговорочно сориентировался на будущие процессоры архитектуры IA-64. Нельзя сказать, чтобы это решение уже принесло SGI какие-то реальные дивиденды. Первые микропроцессоры этой архитектуры — Itanium — в массовых масштабах по-прежнему не производятся, хотя и известны случаи предварительных поставок компьютеров на их базе.

Поэтому естественно, что SGI передумала сворачивать разработку собственных 64-разрядных микропроцессоров R1x000. Вопрос в том, привела ли предшествовавшая этому решению задержка к заметному отставанию от конкурентов — разработчиков RISC-процессоров. Опубликованные к сегодняшнему дню данные и информация, просачивающаяся из стана разработчиков (учтите стандартные соглашения о неразглашении), свидетельствуют о том, что позиции SGI достаточно крепки. Действительно, обратимся к данным тестов SPEC2000, приведенным в таблице.

В таблице собраны лучшие достижения микропроцессоров ведущих производителей. Отметим, что результаты тестов SPEC2000 зависят не только от производительности процессоров, но и от пропускной способности оперативной памяти и качества компиляторов. SGI всегда отличал высокий уровень разрабатываемых компиляторов; применение в Origin 3x00 памяти типа DDR SDRAM, конечно же, увеличивает ее пропускную способность.

При этом известно, что более простые модели, особенно однопроцессорные компьютеры (например, ПК) при прочих равных условиях могут дать даже более высокие результаты, поскольку в их архитектуре нет накладных расходов из-за необходимости обеспечения многопроцессорной обработки (в том числе поддержания когерентности кэша для большого числа процессоров). Это ставит Origin 3x00 на данных тестах в менее выгодное положение по сравнению, скажем, с Pentium III. C другой стороны, в Origin 3x00 каждую системную шину SysAD разделяют два процессора, так что, по моему мнению, потери не так уж и велики. Все эти факторы следует учесть при анализе данных из таблицы.

В настоящее время Origin 3x00 комплектуется процессорами R12000А/400 МГц с внешним кэшем второго уровня емкостью 8 Мбайт. В таблице представлены данные о R12000A/400 МГц, но в составе серверов SGI Origin 2200. По предварительной информации, от Origin 3x00 с этими процессорами ожидают более высоких результатов, чем от HP N4000 с процессорами PA-8600/552 МГц (хотя и более скромных, чем у Compaq AlphaServer GS160/320 с Alpha 21264).

Характеризуя микроархитектуру R12000A, следует отметить следующее. Это 64-разрядный суперскалярный процессор с внеочередным спекулятивным выполнением команд, использующий технику переименования регистров. Он отличается достаточно короткими конвейерами, что повышает производительность на широком классе приложений, но одновременно затрудняет увеличение тактовой частоты процессора. Изменения в микроархитектуре R12000A по сравнению с его предшественником R10000 значительны.

Конечно, по современным меркам частота 400 МГц относительно невелика: лидеры уже перешагнули за гигагерц. Но смотреть-то надо не на частоту, а на производительность (то есть в таблицу). Вслед за R12000, уже в 2001 году, в серверы Origin 3x00 предполагают устанавливать процессоры R14000 с частотой 500 МГц. В R14000 основные изменения таковы: переход на медную 0,13-микронную технологию с базовым напряжением 1,5 В, а также применение DDR-кэша второго уровня на 8 Мбайт, работающего на частоте процессора. Как показывает практика, увеличение частоты кэша до процессорной способно значительно поднять производительность.

В планах SGI на 2002 год стоит выпуск R16000 с частотой 600 МГц. Однако существенные изменения микроархитектуры произойдут лишь в 2003 году, когда появится процессор R18000. В нем за один такт будут выполняться уже не две, а четыре операции с плавающей запятой. Соответственно при частоте 800 МГц его пиковая производительность достигнет 3,2 GFLOPS. Прогнозируемая производительность R20000 при частоте 1 ГГц (его выход ожидается в 2005 году) 4 GFLOPS.

Архитектура Origin 3x00

Разрабатывая архитектуру NUMAflex, первой реализацией которой стали системы Origin 3x00/Onyx 3x00, представители SGI преследовали несколько целей: повышение производительности, надежности, гибкости создаваемых конфигураций, удешевление конструкции и др. Архитектура Origin 3x00, во многом близкая к используемой в Origin 2000, содержит вместе с тем принципиальные усовершенствования.

К числу основных следует отнести, в частности, уже упомянутый отказ от использования больших системных плат типа backplane или midplane, характерный для SMP-узлов с достаточно большим числом процессоров, и уменьшение числа задействованных в конструкции полузаказных микросхем ASIC. Отказ от использования больших системных плат удешевляет конструкцию, а также повышает общую надежность, поскольку устраняет системную шину как общую точку сбоя для относительно большого числа процессоров. По сути, к тем же последствиям ведет и уменьшение числа используемых полузаказных микросхем.

Логическая схема С-кирпича

Системные платы Origin 2000 заменены так называемыми кирпичами, которые служат основными конструктивными элементами NUMAflex, и соединяющими их кабелями, которые используются вместо соответствующих проводников на системных платах. Такая конструкция обеспечивает высокую гибкость и модульность. SGI предложила широкий ассортимент кирпичей, которые, естественно, отличаются своим содержимым. Кирпичи помещаются в стойки (их может быть больше одной) и снабжены собственными источниками питания, что повышает отказоустойчивость системы в целом.

С-кирпичи содержат процессоры и оперативную память. Рисунок поясняет логическую схему кирпича этого типа, напоминающую строение узла Origin 2000. По сравнению с ним вдвое возросло максимальное число процессоров: их может быть четыре (два для младших моделей Origin 3200). Средства ввода/вывода в Origin 3x00 полностью вынесены из С-кирпича.

В качестве концентратора в С-кирпичах используется новая микросхема Bedrock, которая имеет два процессорных порта с пропускной способностью по 1,6 Гбайт/с, 3,2-гигабайтный порт памяти, двунаправленный порт к кирпичу ввода/вывода с пропускной способностью 1,2 Гбайт/с в каждом направлении и аналогичный порт к маршрутизатору с пропускной способностью 1,6 Гбайт/с в каждом направлении. По сравнению с узлом Origin 2000 вдвое возросла пропускная способность каждого процессорного порта, также вдвое — каналов связи между узлами/кирпичами и в полтора раза — ввода/вывода.

В оперативной памяти задействована новейшая технология DDR SDRAM. Емкость памяти — от 0,5 до 8 Гбайт; наращивается она порциями по 0,5 или 2 Гбайт. Память состоит из четырех банков, независимо от числа модулей DIMM, что обеспечивает высокую пропускную способность памяти даже при ее минимальной емкости. Задержки при обращении в локальную (внутри С-кирпича) память в Origin 3x00 уменьшены в два раза — до 180 нс.

R-кирпичи соединяются с С-кирпичами кабелями NUMAlink3. R-кирпичи содержат в себе маршрутизаторы, причем число портов в них увеличено до восьми (против 6 в Origin 2000), а пропускная способность портов возросла до 1,6 Гбайт/с в каждом направлении. Для младших моделей применяются также 6-портовые коммутаторы. По сравнению с Origin 2000 вдвое уменьшилась и задержка, вносимая коммутатором. В результате всех усовершенствований отношение задержки по обращению к удаленной памяти к задержке локальной памяти составляет всего 2:1. Это отражение общего стремления к идеальному отношению 1:1, свойственного SMP-системам; можно предположить, что и в дальнейшем прогресс пойдет в этом направлении.

Применение R-кирпичей позволяет строить системы ссNUMA с различной топологией соединения С-кирпичей и с числом процессоров до 512. В стандартных конфигурациях применяется топология гиперкуба, что позволяет увеличивать пропускную способность системы с ростом числа процессоров.

X-кирпичи служат для организации высокопроизводительных подсистем ввода/вывода. Они связываются с одним или двумя С-кирпичами через кабели XTown2 с пропускной способностью 1,2 Гбайт/с в каждом направлении. Каждый Х-кирпич имеет два порта XTown2 и обеспечивает четыре слота XIO. В них вставляются платы ввода/вывода XIO, известные еще по системам Origin 2000. Главной особенностью архитектуры XIO следует считать высокую скорость ввода/вывода: двунаправленные порты XIO обладают пропускной способностью 800 Мбайт/с в каждом направлении. Пропускная способность подсистемы XIO выше, а число слотов XIO в Х-кирпиче по сравнению с платой midplane в Origin 2000 уменьшилось (там их было 12).

Это обеспечивает необходимую гибкость и экономит деньги покупателей: редко кому нужно целых 12 столь быстрых каналов! В качестве иллюстрации назову несколько XIO-плат, поставляемых SGI: HIPPI, GSN, VME, цифровое видео, 4-портовые ATM OC3 и пр.

За поддержку не столь «элитных», массово используемых средств ввода/вывода отвечают P- и I-кирпичи. Первые содержат в себе шины PCI: шесть 64-разрядных 66-мегагерцевых шин, каждая с 12 слотами; суммарная пропускная способность этих шин — 3,1 Гбайт/с. Вторые поддерживают базовые средства ввода/вывода. Их основу составляют пять PCI-слотов, в том числе четыре незанятых (два из них — на 64-разрядной 66-мегагерцевой шине, а три — на вдвое более медленной). В системе должен быть хотя бы один I-кирпич.

D-кирпичи предназначены для расширения системы хранения на дисках с интерфейсом Fibre Channel. Каждый такой кирпич может содержать обычный набор (до 12) дисков емкостью 18/36/73 Гбайт каждый либо массив RAID. Наконец, G-кирпичи отвечают за высокопроизводительную графику, «превращая» Origin 3x00 в графические суперкомпьютеры Onyx 3x00.

Ограниченность рамок газетной публикации не позволяет рассказать подробнее о ряде интересных особенностей Origin 3x00, в частности о средствах обеспечения высокой надежности этих систем, о возможности их разбиения на разделы и т. д. Дополнительные подробности читатель может найти в журнале «Открытые системы» № 9 за этот год.

Быстрее, еще быстрее…

Лучшие результаты ведущих разработчиков процессоров на тестах SPEC2000