Бешеный огонь

MPP-серверы AlphaServer серии GS

Сервер Compaq AlphaServer GS320

Мне уже приходилось отмечать, что в последние два-три года мы видим бурное развитие архитектуры микропроцессоров, в то время как мощные многопроцессорные серверы уровня предприятия с радикально новой архитектурой появляются относительно редко.

Так, V2600, возглавляющий семейство серверов HP 9000, — имеет архитектуру, основы которой заложены еще в компьютерах Convex SPP1000, то есть шесть лет назад. UltraEnterprise 10000, флагман SMP-серверов Sun Microsystems, появился уже четыре года назад.

Наиболее революционным шагом в архитектуре МРР-cистем было, вероятно, появление также четыре года назад SGI Origin 2000 — пожалуй, первой ярко выраженной системы с архитектурой ссNUMA (то есть NUMA с когерентным кэшем), хотя к этой архитектуре можно отнести и имеющие несколько гиперузлов компьютеры Convex SPP. После этого архитектура ссNUMA для мощных серверов стала казаться наиболее привлекательной. Появились, в частности, ccNUMA-системы на базе процессоров Intel в компаниях Data General и Sequent (ныне IBM). Поговаривали, что Digital Equipment также разрабатывает ccNUMA-систему.

Для Digital, вошедшей, как известно, в состав Compaq, тенденция опережающего прогресса архитектуры микропроцессоров проявилась, пожалуй, наиболее ярко. Старшие модели систем AlphaServer — серии 8400 — были выпущены еще шесть лет назад, и их архитектура все эти годы практически не изменялась, если не считать замены микропроцессоров и, соответственно, процессорных плат. Из-за недостаточного уровня масштабируемости данных SMP-систем эти серверы не были представлены в суперкомпьютерном списке TOP500, в который попадали только отдельные кластеры на базе AlphaServer.

В то время как архитектура систем AlphaServer более низкого класса (с меньшим числом процессоров) активно развивалась, выпуск преемника для AlphaServer 8400 откладывался. Стало известно, что Digital действительно разрабатывает более мощные ccNUMA-компьютеры Wildfire («бешеный огонь»). Но ожидание Wildfire затянулось. А между тем процессоры Alpha, теперь уже 21264, оставались лидерами производительности, и они активно использовались в МРР-cуперкомпьютерах Cray T3E, прочно занимавших места во главе списка TOP500.

Наконец, в мае Compaq объявила о выпуске серверов серии GS, содержащих до 32 процессоров. По данным Тьери Шеннона, издателя Shannon knows Compaq, от них уже полшага и до 64-процессорных систем Wildfire, которые будут обладать практически той же архитектурой. Июньский список TOP500 замыкают 64-процессорные системы Sun HPC10000 с пиковой производительностью около 50 GFLOPS. Cоответственно Сompaq получит шансы для экспансии и на суперкомпьютерный рынок.

Строго говоря, в серии GS уже имелись выпущенные ранее модели (в частности, GS140). Однако в этой статье, говоря о серверах GS, мы будем подразумевать только объявленные в мае модели. Хотя серверы серии GS формально можно отнести к ccNUMA-архитектуре, увеличение задержки при обращении к удаленной оперативной памяти в GS не столь велико, что дало разработчикам повод охарактеризовать эти компьютеры как «почти UMA», то есть почти SMP. Наряду с применением самых высокопроизводительных процессоров Alpha 21264/731 МГц (c ними сегодня могут конкурировать только 550-мегагерцевые PA-8600 от HP) cерверы GS, как самые новые системы, вобрали в себя последние достижения инженерно-компьютерной мысли. Это позволило значительно усовершенствовать важные детали архитектуры ccNUMA.

Архитектура серверов GS

Опыт эксплуатации ccNUMA-компьютеров, в первую очередь SGI Origin 2000, показал, насколько важными для производительности являются технические детали реализации данной архитектуры. Разработчики серверов GS проделали большую работу по устранению возможных узких мест в подобной архитектуре. Поэтому к достижениям Compaq следует отнести и существенный прогресс в архитектуре ccNUMA как таковой.

Базовой строительной единицей серверов класса GS являются блоки QBB (Quad Building Block), см. рис. 1. QBB содержит до 4 процессорных модулей (по одному Alpha 21264 c кэшем второго уровня емкостью 4 Мбайт на модуль), до 32 Гбайт оперативной памяти в конструктиве 4 «несущих», а также подсистему ввода/вывода, содержащую до 8 шин PCI и до 28 PCI-адаптеров. Все эти компоненты соединены через коммутатор. Порты этого коммутатора (процессорные, ввода/вывода и оперативной памяти) имеют пропускную способность по 1,6 Гбайт/с. Соответственно суммарная пиковая пропускная способность памяти в QBB составляет 6,4 Гбайт/с. Коммутатор имеет еще один порт с той же пропускной способностью, которая используется для подсоединения других QBB; cоответственно пиковая пропускная способность коммутатора составляет 16 Гбайт/с.

Аналоги QBB в других известных компьютерах ccNUMA-архитектуры очевидны: это 4-процессорные платы в ccNUMA-системах Data General и IBM/Sequent, или 2-процессорные узлы в SGI Origin 2000. 8-процессорные машины класса GS конструируются из QBB путем прямого соединения коммутаторов двух этих блоков через так называемые глобальные порты. Эти порты получили свое название от глобального коммутатора, который связывает между собой QBB в AlphaServer GS320 — компьютере, содержащем до 32 процессоров Alpha 21264 (рис. 2). Такое построение системы, когда каждый процессор имеет свой порт на коммутаторе (внутри QBB, в данном случае), обладает преимуществами перед SMP-системами, где порт коммутатора разделяется двумя процессорами. В последнем случае между процессорами теоретически могут возникнуть конфликты. В случае использования QBB есть много шансов, что обращения к оперативной памяти будут происходить в пределах памяти, локальной для QBB.

Преимущества ccNUMA-архитектуры вообще, и серверов GS в частности, очевидны: по сравнению с SMP-архитектурой обеспечивается более высокая масштабируемость и памяти, и подсистемы ввода/вывода, и, конечно, процессорных ресурсов. Недостатки ccNUMA по сравнению с SMP также хорошо известны: это в первую очередь увеличение задержек при обращении в удаленную память (в нашем примере — в «чужом» QBB). Инженеры Сompaq реализовали целый ряд усовершенствований в архитектуре, добиваясь повышения пропускной способности и уменьшения видимых задержек.

Cледует отметить, что в Compaq достигли по этим показателям отличных результатов. Внутри QBB задержка при обращении в оперативную память составляет 330 нс. Для сравнения, задержка на тракте микропроцессор — концентратор — оперативная память в Origin 2000 равна 305 нс. В SMP-системах с небольшим числом микропроцессоров достижимы более низкие задержки (130 нс для 8-процессорного сервера HP N4000). Напротив, в больших SMP-системах задержки памяти часто существенно длительнее: 540 нс в HP V2200 и 600 нс в Sun UltraEnterprise 10000.

ссNUMA-системы при обращении в удаленную оперативную память имеют, естественно, гораздо большие задержки. Однако конструкторы GS320 добились величины удаленной задержки, которая больше локальной лишь примерно в три раза. Вместе с другими архитектурными усовершенствованиями это позволяет GS320 достигнуть меньшей видимой задержки, чем в UltraEnterprise 10000, если хотя бы 55% обращений к ОП являются локальными.

Глобальная суммарная пропускная способность оперативной памяти в GS320 составляет 51,2 Гбайт/с. Это гораздо больше, чем в IBM S80 (19,2 Гбайт/с), и лишь немного уступает суммарной пропускной способности памяти в 128-процессорной ccNUMA-конфигурации HP V2600 (61,2 Гбайт/c). На тестах пропускной способности оперативной памяти (STREAM) среди всех SMP/ccNUMA-cистем GS320 уступает только 128-процессорному SGI Origin2000, опережая, в частности, 32-процессорный V2600. Однако следует отметить, что векторно-параллельные суперкомпьютеры по-прежнему опережают многопроцессорные SMP/ccNUMA-системы по этому параметру: даже в относительно устаревших Cray C90 он выше.

В максимальной конфигурации GS320 выглядит весьма впечатляюще: пиковая производительность около 47 GFLOPS, общая емкость памяти до 156 Гбайт, подсистема ввода/вывода содержит до 224 PCI-адаптеров (вдвое больше, чем в HP V2600). Рассмотрим теперь некоторые конструктивные особенности серверов GS.

Трепанация черепа на ходу

Хотя сами по себе процессоры Alpha сыскали себе заслуженную славу в первую очередь как «перемалыватели чисел», старшие модели AlphaServer уже традиционно предлагаются и для работы с большими коммерческими базами данных (вспомните концепцию Very Large Memory, предложенную Digital несколько лет назад).

Соответственно этому в серверах GS огромное внимание уделено средствам повышения надежности, отказоустойчивости и обеспечения непрерывной доступности. В частности, и с этими целями в серверах GS обеспечена поддержка аппаратного разбиения (partitioning) всей системы на разделы. Разделы представляют собой фактически отдельные компьютерные системы, на которых могут работать разные версии ОС или вообще разные ОС. Подобное разбиение хорошо зарекомендовало себя не только в мире мэйнфреймов, но и, в частности, в Unix-системах UltraEnterprise 10000.

Сompaq обеспечила даже более гибкую систему динамических разделов в серверах GS, работающих под управлением Galaxy с несколькими копиями OpenVMS. Формирование разделов происходит под управлением ядер OpenVMS и позволяет перераспределить ресурсы между копиями ОС в зависимости от рабочей нагрузки. Этот метод передачи ресурсов между приложениями имеет низкую задержку.

В числе других особенностей, направленных на повышение надежности работы, укажем на применение кодов ЕСС в оперативной памяти и межсоединениях, избыточные вентиляторы и блоки питания по схеме «N+1». Возможна горячая замена блоков питания, подсистемы ввода/вывода и даже процессоров. Последняя уникальная возможность реализована благодаря горячей замене многопроцессорных модулей, содержащих QBB. Чтобы такая операция могла пройти безболезненно, сервер должен обладать весьма завидным «здоровьем», то есть надежностью.

В состав AlphaServer GS входит также специальная сеть микроконтроллеров с независимым источником питания, служащая для целей диагностики, управления и мониторинга состояния. Некоторые конструктивные особенности GS мы продемонстрируем на примере старшего компьютера этого класса — GS320.

Этот сервер включает не менее трех шкафов, один из которых, так называемый шкаф электропитания системы, может содержать также дополнительные «ящики» (drawers) — дисковые полки StorageWorks или «корзины» PCI. Применение конструктива ящиков обеспечивает целый ряд преимуществ, в том числе повышает надежность и модульность.

Следует отметить широкие возможности подключения больших систем хранения информации — до сотен терабайт за счет применения концентраторов UltraSCSI, а также устройств Fibre Channel, в том числе концентраторов и коммутаторов. Все это само по себе достаточно редко, а если учесть еще знаменитые PCI-карты для образования кластерных конфигураций с каналами Memory Channel, то становится ясно, какие богатые возможности предоставляет подсистема ввода/вывода GS320. При необходимости PCI-корзины, как и полки StоrageWorks с внешними устройствами, размещаются в дополнительных шкафах.

Производительность

Хотя минимальная базовая конфигурация даже GS320 относительно скромна, приобретать серверы этого класса разумно, только если вы рассчитываете на весьма солидную конфигурацию. Это справедливо для любых систем подобного класса, однако в данном случае особенно ярко проявляются некоторые технические особенности. Так, в серверах DS20E микропроцессоры Alpha 21264/667 МГц имеют кэш второго уровня емкостью 8 Мбайт — вдвое выше, чем Alpha у 21264/731 МГц в серверах GS. Кэш второго уровня в DS20E построен по более совершенной технологии DDR SRAM, а задержки памяти в этих серверах значительно ниже, чем в GS. В результате оценки SPECint95/fp95 для DS20E составляют 40,1/83,6 против 39,5/58,8 в серверах GS (для сравнения, в HP N4000 с процессорами PA-8600/550 МГц SPECint95/fp95=41,4/58,8).

Серверы DS20E, как и N4000, относятся к системам среднего класса с меньшим допустимым числом процессоров. SPEC95 дают оценку производительности одного процессора; естественно, что в задачах с большим числом используемых процессоров серверы GS оставят DS20E далеко позади. Результаты тестов SPECint_rate95/ SPECfp_rate95, характеризующих производительность серверов в многозадачной среде, которые приводит сама Compaq, показывают превосходство GS над конкурентами.

Складывается впечатление, что в Compaq стали больше внимания уделять применению больших систем AlphaServer в сложных коммерческих приложениях. Учитывая, что в Poccии предшественники GS — AlphaServer 8x00 — используются также и в этой сфере, подобная направленность должна привлечь к GS еще больший интерес.

Михаил Кузьминский — старший научный сотрудник Центра компьютерного обеспечения химических исследований РАН. С ним можно связаться по телефону (095) 135-6388

Рис. 1. Cтроение модуля QBB

Базовой строительной единицей серверов класса GS являются блоки QBB (Quad Building Block)

Рис. 2. Общая архитектурная схема серверов GS320

Построение системы, при которой каждый процессор имеет свой порт на коммутаторе (внутри QBB, в данном случае), обладает преимуществами перед SMP-системами, где порт коммутатора разделяется двумя процессорами