Рост мощности компьютерных платформ обычно сопровождается изменениями средств их оценки. В октябре прошлого года комитет SPEC выпустил новые версии тестов, именуемые теперь CINT95 и CFP95.

Причины

Среди причин, вызвавших появление нового комплекта тестов, комитет SPEC выделил следующие особенности новых компьютерных архитектур, не позволяющие объективно оценить производительность на основе набора SPEC 92: время выполнения тестов, размер кода, области приложений и возможности компиляторов.

1. Тесты 1992 года на современных процессорах выполняются меньше чем за минуту, на некоторых - за несколько секунд. Кроме того, результаты, полученные при прогонах тестов SPEC образца 1992 года, вследствие несовершенности и отсутствия унификации средств замера времени их выполнения, невозможно использовать для сравнения и анализа.

2. Современные процессоры имеют большой объем встроенной кэш-памяти, где запросто можно поместить весь код тестов 1992 года, что уже не позволяет объективно оценивать эффективность системы организации памяти.

3. С 1992 года произошли определенные изменения в структуре областей приложения компьютерной техники, поэтому после тщательного анализа множества пользовательских программ в наборе SPEC 95 была проведена корректировка состава тестовых задач. Теперь можно считать, по крайней мере пока, что программы нового набора служат большинству реальных сфер применения рабочих станций и серверов и содержат более "реалистичный" код.

4. Разработчики компиляторов достаточно хорошо изучили программы SPEC 92, и не секрет, что ряд компиляторов при установке определенной последовательности ключей прекрасно оптимизирует конкретный код тестовой программы. В этой ситуации единственной возможностью исключить такую "оптимизацию" стала замена программ.

Современный тестовый набор SPEC 95 полностью соответствует стандартам POSIX и ANSI. В ближайшее время ожидается адаптация кодов теста для Windows NT при строгом сохранении используемых принципов замера времени. Кроме собственно тестового набора комитетом SPEC разработан и инструментарий, применение которого обязательно.

... и требования

В списке обязательных требований, регламентирующих порядок тестирования, комитет SPEC указывает порядок замера времени выполнения, форму отсчета, а также порядок запуска и компиляции.

Собственный инструментарий теста SPEC_95 имеет стандартные средства изменения продолжительности выполнения тестов на основе вычисления среднего времени из серии запусков. При этом исключается внесение какого-либо дополнительного пользовательского кода или использование произвольной выборки из серии запусков тестовых программ. В формируемом отчете обязательно присутствует "базовое" время - время выполнения теста на "эталонной" машине (SPARCstation 10/40 в конфигурации с кэш-памятью второго уровня). В отчет включается также относительное время выполнения тестов, по сравнению со временем отработки тестов на эталонной машине.

Формирование отчета происходит полностью автоматически с применением соответствующего инструментария. Особое внимание уделяется стандартизации формы отчета: обязательно наличие полного описания конфигурации тестируемой системы, операционной системы и ключей запуска компилятора.

Вместо системы меню, используемой в версии теста 1992 года, инструментарий SPEC95 включает командный язык и соответствующую систему настройки параметров, а также средства построения и запуска тестовых программ и самого инструментария;

Новые лидеры

В начале 1996 года стали известны результаты тестирования процессора R10000 9 SPECint95 и 19 SPECfp9, а через несколько дней компания SGI анонсировала системы Challenge и POWER Challenge, построенные на базе этого чипа и имеющие производительность 8,9 SPECint95 и 12,3 SPECfp95. Это событие не застало врасплох компанию Digital, которая через неделю объявила о создании версий процессора Alpha с частотами 333 МГц и 350 МГц. Однако Digital первоначально опубликовала результаты в единицах SPEC92, полученных на оптимизированных компиляторах, а затем, быстро исправившись, обнародовала оценки уже по новой методике - 10,1 SPECint95 и 14,2 SPECfp95. После появления первых результатов для процессора HP РА-8000 оказалось, что именно процессоры этих трех компаний заняли сегодня лидирующее положение в рейтинге SPEC 95. Очень близка к этой тройке, особенно по показателю производительности работы с целочисленной арифметикой, восходящая на микропроцессорном небосклоне звезда - Intel Pentium Pro.

Оказалось, что быстродействие процессора Sun UltraSPARC, так же, как и Digital Alpha, в значительной степени зависит от возможностей компиляторов, чего нельзя сказать про чипы РА-8000, R10000 и Pentium Pro, где предусмотрена аппаратная оптимизация кода. Эту зависимость можно проследить по приведенным в таблице 2 данным о имеющихся на рынке и анонсированных микропроцессорах. Поэтому до тех пор пока для этого процессора не появятся новые компиляторы, предпочтительней для него использовать показатели SPEC92, а не более "тяжелых" тестов SPEC95.

Таблица 2. Результаты тестирования микропроцессоров
Процессор Частота МГц Тесты Дата выпуска
SPECint 95 SPECfp 95 SPECint 92 SPECfp 92
Существующие процессоры
Alpha 21164 64-bit 350 10,1 14,2 432,8 602,2 1 кв. 96
Alpha 21164 64-bit 333 9,2 13,2 412,4 545,2 1 кв. 96
MIPS R10000 64-bit 200 8,9 12,3 300 600 1 кв. 96
PentiumPro 32-bit 200 8,1 6,7 318 283 4 кв. 95
Alpha 21164 64-bit 300 7,4 12,4 314 513 2 кв. 95
UltraSPARC 64-bit 167 5,6 9,8 252 351 4 кв. 95
PowerPC 604 32-bit 133 4,6 3,3 176 157 2 кв. 95
HP PA-7200 32-bit 120 4,6 6,2 н/д н/д 1 кв. 96
MIPS R4400 64-bit 250 4,4 4,3 180 178 3 кв. 95
IBM POWER2 32-bit 77 3,7 12,4 144 308 2 кв. 95
MIPS R8000 64-bit 90 н/д н/д 132 396 2 кв. 95
Alpha 21164 64-bit 400 11,7 15,9 500 655 2 кв. 96
Процессоры "на завтра"
HP PA-8000 64-bit 180 9,5 17,5 360 550 2 кв. 96
PowerPC 604e 32-bit 166 6,0 5,3 225 250 2 кв. 96
Alpha 21164 64-bit 433 12,4 17

3 кв. 96
PentiumPro 32-bit 233 9,3 7,4

3 кв. 96
UltraSPARC 64-bit 200 6,5 11 322 462 3 кв. 96
Alpha 21164 64-bit 466 13 18 582 763 4 кв. 96
MIPS R10000 64-bit 275 12 24

4 кв. 96
UltraSPARC-II 64-bit 250 8,5 15 350 550 4 кв. 96
POWER2 Super 32-bit 133 5,5 15

4 кв. 96
Процессоры будущего
UltraSPARC-II 64-bit 300 11 18

1 п. 97
Alpha 21264 64-bit 500 20 30 1000 1500 2 п. 97
HP PA-8200 64-bit 250 12 22

2 п. 97
Intel/HP P7 64-bit




1998

Для еще не существующих процессоров указаны предположительные данные и время выпуска. Некоторые производители не указывают предлагаемых показателей тестов SPEC92 по причине их неактуальности ко времени их выхода, поэтому в ряде граф стоят пробелы. Результаты тестирования по новому тесту процессора MIPS R8000 не были проведены (или обнародованы). В графе "Дата выпуска" "кв" означает квартал, "п" - полугодие.

Показатели быстродействия компьютерной системы с каким-либо процессором могут отличаться от его "чистой" производительности, поэтому для получения более четкого представления о современном рейтинге по показателю SPEC 95 в таблице 1 приведены данные, относящиеся к пяти лучшим системам для всех восьми метрик нового тестового набора.

Таблица 1. Лучшие пятерки
Система 1 2 3 4 5
SPECint 95 AlphaServer 8200 5/350 10,1 AlphaServer 8400 5/350 10,1 AlphaStation 600 5/333 9,23 Intel C Adler 8,09 Digital EB 164 8,08
SPECint_base95 AlphaServer 8200 5/350 8,82 AlphaServer 8400 5/350 8,82 AlphaStation 600 5/333 8,42 Intel C Adler 8,09 Digital EB 164 8,08
SPECint_rate95 AlphaServer 8400 5/350 1004 AlphaServer 8400 5/300 767 Siemens RM600-620 658 AlphaServer 8400 5/300 642 AlphaServer 8400 5/300 525
SPECint_rate_base95 AlphaServer 8400 5/350 890 AlphaServer 8400 5/300 767 Siemens RM600-620 658 AlphaServer 8400 5/300 642 AlphaServer 8400 5/300 525
SPECfp95 AlphaServer 8400 5/350 38,5 AlphaServer 8400 5/300 33,5 AlphaServer 8200 5/350 31,4 AlphaServer 8400 5/300 30,1 AlphaServer 8200 5/350 27,9
SPECfp_base95 AlphaServer 8400 5/350 28,9 AlphaServer 8200 5/350 24,2 AlphaServer 8200 5/350 21,9 AlphaServer 8200 5/350 17 AlphaServer 2100A 5/300 14,9
SPECfp_rate95 IBM RS/6000 SP 4491 IBM RS/6000 SP 3249 IBM RS/6000 SP 1713 AlphaServer 8400 5/350 1039 AlphaServer 8400 5/300 919
SPECfp_rate_base95 Dell XPS 18,8 Intergraph TDZ300 40,8 Intergraph TDZ300 47,2 Intergraph TDZ300 52,4 Intel C Alder 42,9

Несмотря на то что в профессиональной компьютерной прессе достаточно часто высказываются сомнения относительно полезности использования тестовых оценок, тем не менее в пресс-релизах фирм среди причин, объясняющих выбор конкретной платформы, кроме конкурентоспособной цены или наличия у фирмы опыта решения конкретных прикладных задач обязательно приводятся сравнительные данные тестирования.


Состав SPEC_95

Для оценки скорости выполнения теста в оптимизированном и неоптимизированном режимах компиляции в тесте предлагаются метрики SPECint95/ SPECfp 95 и SPECint base 95/SPECfp base 95, соответственно.

При оценке пропускной способности системы, что особенно важно для SMP-архитектур и/или многозадачного режима работы, также вычисляются оценки для оптимизированного (SPECint rate95 и SPECfp rate95) и неоптимизированного (SPECint rate base95 и SPECfp rate basefp95) режимов выполнения.

Тест CINT95 состоит из 8-ми, а CFP95 из 10 программ, охватывающих следующие области применения. искусственный интеллект, моделирование, программирование и компиляция, сжатие данных, интерпретация языков, обработка изображений, гидродинамика, предсказание погоды, квантовая физика, астрофизика, электромагнетизм, гидродинамика, квантовая химия.

В комплект официальной поставки тестового набора образца 1995 года входят:

  • тексты программ, составляющих тестовый набор;
  • инструментальные средства SPEC95 для компиляции, запуска, сравнения результатов и формирования отчета (поставка осуществляется в двоичном кодах и в исходных текстах);
  • описание правил запуска тестовых программ;
  • описание правил формирования отчетов.
  • Нет никакого соответствия между результатами тестов SPEC 92 и SPEC 95, соответственно отсутствуют и правила "пересчета" результатов из одного в другой, что, впрочем, достаточно закономерно - набор 1995 года имеет принципиальные отличия, даже по составу программ. С середины 1996 года результаты на тестовом наборе 1992 года уже не будут официально распространяться комитетом SPEC.