Об истинной ценности статистических исследований

Эволюционная теория должна объяснить всю причудливую сложность мира природы: особенности петушиных хвостов, брачные церемонии богомолов, причудливые, формы глубоководных рыб.

Но вот интересный вопрос: почему животные-жертвы сбиваются в стада? Ведь стадо - легкая добыча для хищников.

Одна остроумная теория объясняет это тем, что, хотя стадо в целом является легкой мишенью, каждое животное в нем меньше рискует быть съеденным, поскольку среди этого стада можно скрыться. Один экземпляр, обычно старый или слабый, будет съеден, тогда как остальные могут благополучно избежать этой участи.

Хищники охотятся вместе совсем по другим причинам. Человеческим существам, как всеядным, присущи, по-видимому, инстинкты как хищников, так и жертв: мы охотимся сообща и сбиваемся в стадо при опасности.

Этим объясняется популярность "исследовательских отчетов", показывающих, сколько наших коллег применяют ту или иную технологию. Такие отчеты сообщают нам, сколь велико наше стадо и куда оно собирается двигаться. Вооруженные этим знанием, мы можем оставаться в середине стада, находясь в полной безопасности.

Именно эти мысли пришли мне в голову, когда на прошлой неделе я читал отчет, содержащий несколько десятков столбчатых диаграмм. Типичная диаграмма подразделяла респондентов на пять категорий и показывала, сколько из 20 или около того ответов "да" попадало в каждую из них.

Данный отчет был разослан большому числу руководителей отделов информационых систем. Хотелось бы узнать, многие ли из них разглядывали эти столбчатые диаграммы, бормоча: "Не нанесены диапазоны ошибок", и выбрасывали отчет без информации в мусорную корзину.

Мы снова и снова читаем об избытке информации. А у меня возникает вопрос, а не является ли то, что мы в действительности имеем, избытком бессмысленности? А может быть, среди той информации, которая теперь ежегодно всплывает на поверхность, подлинно новой не больше, чем сто лет назад?

Диаграммы без указания диапазона ошибок - эти надоедливые черные линии, показывающие, насколько плохо мы понимаем истинное значение каждого столбца, - свидетельствуют только о более масштабной эпидемии: мы затоплены чепухой, поскольку не только терпимо к ней относимся, но и приветствуем ее.

Томас Джефферсон однажды заметил: "Лучше невежество, чем ошибка", и, как всегда, к его словам стоит прислушаться. В следующий раз, когда вам в руки попадут результаты того или иного анализа, не поленитесь прочитать его критически.

Выясните, не заданы ли основные вопросы таким образом: "Предпочтете ли вы вкусный, разогретый на огне гамбургер жирному, неаппетитному куску коровы?" (Если ваш источник преследует корыстные цели и не приводит точной формулировки задаваемого вопроса, вы можете быть совершенно уверены, что вопрос так и звучал.)

Вглядитесь в графики, представляющие "данные" без какого-либо объяснения, как оценивались те или иные пункты. Сколько вы видели графиков, в которых вся совокупность данных разделена на квадранты? Каждая компания обозначена там точкой, точки нанесены по всему полю, верхний правый квадрант "хороший", а вы не имеете никакого представления о том, почему каждая точка нанесена имено туда, где она находится, поскольку обе оси представляют субъективные величины ("стабильность производителя" или "отраслевое присутствие").

Читатели Дэвид Касселл и Тони Олсен, статистики, недавно показали мне две формулы из удивительной книги Эдварта Тафта The Visual Display of Quantitatuve Information ("Визуальное представление количественной информации") - Плотность Данных и Отношение Данные/Чернила.

Чтобы рассчитать Плотность Данных отчета, разделите количество точек данных на общую площадь графика и выразите результат в точках на квадратный сантиметр, или данных на квадратный сантиметр.

Чтоы подсчитать Отношение Данных к Чернилам, разделите количество чернил, затраченных на показ неизбыточных данных, на общее количество чернил, затраченных на печатание всего графика. Будьте осторожны, соскребая чернила со страницы, - не дай бог, чихнете - и Фортуна от вас отвернется.