К тестам программного и аппаратного обеспечения, выполняемым производителями, следует относиться с таким же доверием, как к способу похудеть за две недели на диете из булочек.
При недавнем опросе Computerworld, только пятьдесят специалистов из ста признали, что, покупая новую технологию, они потрудились заглянуть в результаты тестирования у производителя, и из них 20 человек все равно настроены весьма скептически.
В итоге некоторые пользователи предпочитают работать со своими собственными тестами. Что же касается систем управления реляционными базами данных, то для них 26% корреспондентов применяют доморощенные тесты.
Исследования Computerworld показали, что у большинства компаний до 2% бюджета информационных систем уходит на тестирование, при этом расходы могут достигать 50 тыс. долл.
81% опрошенных охотно пользуется стандартизованным тестом консорциума разработчиков, в который входят компании Transaction Processing Performance Council (Сан-Хосе, шт. Калифорния) и Standard Performance Evaluation (SPEC). Консорциум подготовил тест SPEC для целого ряда рабочих станций.
Генри Герцман из компании VCI Communications утверждает: "Тесты TPC позволили сберечь наши "запасы", когда два года назад компания разрабатывала обширную систему поддержки решений. Нам самим никогда бы не удалось так хорошо справиться с тестированием и создать для проверки, предшествующей продажам, столь профессионально написанный тест".
Однако в тестах консорциума встречаются недостатки.
Правила выполнения тестов определены недостаточно четко, поэтому нельзя сравнить результаты различных разработчиков.
Разработчики имеют возможность "подстраивать" свои тесты, так что конечным пользователям вряд ли удастся получить те же результаты без участия штатного высококвалифицированного технического персонала.
Не существует таких тестов, которые бы позволяли проверить одну и ту же реляционную базу данных на машинах нескольких разработчиков.
Ложка дегтя
"Пользователям вовсе не следует слепо доверять тому, что делает TPC", - замечает Роланд Томпсон, один из двух представителей пользователей в TPC.
Администраторы ИС относятся к стандартизованным тестам весьма неоднозначно. Отдавая предпочтение точным научным измерениям, они шарахаются от рыночной пропаганды, обладающей особым оттенком скандальности. Для всех разработчиков тестирование - это прежде всего инструмент маркетинга, а не реальная проверка продукции.
Знание из первых рук
С другой стороны, пользователи, покупающие укомплектованные прикладные программы для систем клиент-сервер, предпочитают получить краткую информацию о функциональности пакета и способе его использования из первых рук, а не от других пользователей.
Можно, например, ввести поправку "на искренность" разработчика и получить примерно три четверти от обещанного. Так, у системы, которая при тестировании показывает время реакции в 2 секунды, реально это составит 2,5 секунды.
Поскольку все разработчики обладают сходными побуждениями и одинаковыми средствами для получения наилучших результатов, пользователи до некоторой степени могут предугадать последствия подобной рекламы.
Более крупные покупатели могут уговорить разработчиков провести для них эталонное тестирование.
Например, ведущий инженер по разработке ПО фирмы Fidelity Investments (Бостон) Виктор Соколовский рассказал, что два года назад, создавая систему поддержки принятия решений, они выделяли наиболее типичные вопросы и задавали их различным разработчикам оборудования и ПО. На это ушло полтора года, но через это нужно было пройти, иначе не удалось бы принять разумного решения.