Статистику составляют обычные люди. Это могут быть ученые, сотрудники компании, репортеры или просто случайные люди. Мало кто задумывается, верно ли то, что написано в статьях, которые вы читаете в журналах, на информационных порталах в интернете, в рекламе. Самая простая проверка, которую мы можем провести, это проверка факта на правдоподобие. Для этого нам нужно немного здравого смысла и накопленного жизненного опыта. Разберем несколько примеров. Многие люди порой путаются в процентах. Журналисты, которые не столь щепетильны в этих вопросах, могут легко ввести в заблуждение своих читателей. Вот простой пример, в котором люди частенько ошибаются. Если понизить зарплату на 50%, а потом поднять ее снова на 50%, будет ли зарплата такой же, какой была? Правильный ответ: нет, потому что меняются базовые показали, от которого отсчитывают процент.
Пытаясь получить случайную выборку(диапазон исследуемых объектов), исследователи иногда допускают ошибки в оценке, имеет ли каждый человек или предмет равные шансы попасть в выборку. Адекватные ли будут результаты, если находить средний рост жителей всей страны, опрашивая людей рядом с баскетбольным полем? Или оценивать заболеваемость раком в стране, делая выборку рядом с плавильным заводом? Думается, что нет.
К примеру, в 1940-е стандартная ошибка при телефонных опросах была в том, что выборка смещалась в сторону состоятельных людей. На сегодняшний день эта выборка сместилась в сторону более пожилых респондентов. Многие сотрудники Кремниевой долины используют для общения интернет-приложения, поэтому телефонная выборка может попросту не учитывать тех, кто пользуется высокими технологиями.
Контрольная группа
Есть известный и неверный факт, названный «эффектом Моцарта», что если прослушивать симфонии Моцарта в течение 20 минут в день, то временно увеличивается IQ. Этот эффект был дискредитирован из-за того, что не было контрольной группы и, соответственно, исследование было проведено неправильно. Во время экспериментов одной группе давали прослушивать музыку, а вторая не получала никаких заданий. Оказалось, что если давать испытуемым второй группы задание — какое угодно, — то эффект исчезает и разницы между группами не возникает. Получается, что эффект возникал не от прослушивания симфоний. Скорее всего, дело в том, что у тех, кто ничего не делал и скучал, временно снижался IQ. Или к примеру, вы прочли одно исследование, результаты которого гласят, что если ложиться спать и просыпаться в одно и то же время, то повышаются продуктивность и креативность. Но ваша успешная подруга-художница отрицает результаты исследования и говорит, что у нее нет четкого режима сна, она ложится спать, во сколько хочет, и она успешна. Но мы же не знаем, какой она была бы продуктивной и креативной, если бы соблюдала четкий режим. Здесь нет контрольной группы.
Эксперты могут ошибаться
Даже самые авторитетные эксперты могут ошибаться. Многим изобретателям и новаторам говорили, что «это не будет работать», и часто это говорили эксперты. В свое время все известные британские звукозаписывающие компании отвергли демозапись Beatles, кроме начинающего продюсера Джорджа Мартина. Джоан Роулинг получала отказ от более чем десяти издательств, прежде чем была напечатана ее книга о маленьком волшебнике. Стив Джобс видел в персональных компьютерах будущее, хотя даже такие гиганты как Xerox PARC считали, что это никому не будет нужно. Оценивая слова эксперта, нужно помнить, что он может выражать предвзятое мнение, сам того не осознавая. К тому же, обычно экспертные знания носят довольно узкий характер. Лучший механик в мире, специализирующийся на Toyota, может и не определить, что случилось в вашем Volkswagen. Как и в случае с графиками и статистическими данными, нельзя слепо верить всему, что мы читаем в достоверном источнике, точно так же, как и нельзя автоматически отвергать все, что мы узнаем из сомнительного источника. Не стоит доверять всему, что вы читаете в New York Times, или отвергать все, что вы читаете на развлекательном портале.
Термин GIGO («Garbage in — garbage out») был придуман первыми компьютерщиками и означает «Мусор на входе — мусор на выходе». Если статистика представляет собой собрание предположений, неверных оценок, неправильно собранных измерений и данных, то и результат будет соответствующим. Один издатель хвастается, что у его журнала 2 миллиона читателей. Но откуда он это знает? А он и не знает. Он предполагает, что некоторую часть купленных номеров потом дают почитать кому-то еще, — он называет эту часть долей вторичных читателей. Он предполагает, что в библиотеках, с которыми он работает, читают его журналы определенное число людей. Но сколько же на самом деле читателей у журнала? Сколько людей действительно слушают подкаст? Нам это неизвестно. Мы только знаем, какое количество экземпляров было продано или загружено. Поэтому, когда вы прочтете, что каждый житель Новой Зеландии использует зубную нить 4,36 раз в неделю, подумайте: «Как были собраны данные? Есть ли об этом информация?». Одно дело, если ставили скрытые камеры над раковиной. Другое, когда люди заполняют анкету. А когда люди сами отвечают на вопросы, они говорят только то, что помнят, — или то, что считают правдой, потому что уж так мы устроены.
