Астрология может играть в психологических исследованиях только одну роль — демонстрировать примеры того, что может случиться, если исследователь не знает статистики. На портале ht.ru появилась статья «О психологических различиях людей, рожденных под разными знаками зодиака» за авторством Татьяны Пресновой.

Вкратце содержание статьи: автор собрала данные по шкалам некоего опросника (в котором знающие люди угадали тест Профориентатор) на выборке из 2418 подростков, затем разделила их на группки по знаку зодиака и для каждой группы провела сравнения с нормой по t-тесту Стьюдента. И, о боже, получила, набор различий. Это сухая суть, теперь позволю себе привести пару цитат из самой статьи:

«Данный материал ждал своей публикации довольно долго: три года. Слишком уж неудобен он для обсуждения в приличном научном обществе, а для широких масс, возможно, и небезопасен. Несмотря на то, что все эти тревожные сомнения остались, решение о публикации было принято, поскольку интерес к этой тематике не угасает и, с нашей точки зрения, становится более профессиональным. Надеюсь, что комментарии и разъяснения, данные в тексте, позволят избежать нам обвинений в мракобесии, а читателям – возможных попыток не к месту использовать полученные данные.

В итоге, пусть не для каждой группы, но различия были обнаружены!

По этическим соображениям в представленные здесь таблицы не включены различия по шкалам тестирования интеллекта.

В заключение статьи прошу читателей обратить внимание на то, что данный анализ выполнен на специфичной выборке, специфичной не только по возрасту, но и годам (эпохе) рождения: это подростки, которые появились на свет в первой половине 90-х. Поэтому не стоит рассматривать выявленные черты как универсальную истину. И даже если бы это было так, подготовленный читатель понимает, что полученные данные носят статистический характер и не переносятся на конкретного человека с целью автоматического определения его черт и особенностей«.

Выделение жирным — мое. Перед нами типичный случай неумения правильно применять статистические методы и проводить исследования, который может, мне кажется, заменить классические примеры Наследова о корреляции уровня воды в Неве и интеллекта, или что у него там было. На всякий случай, поясню основные проблемы автора. Перво-наперво, нужно понимать, что в психологии исследование без гипотез — piece of shit. Мне кажется, эти слова должны быть выбиты над входом на каждый психфак нашей необъятной родины. Далее, если предположить, что у автора были бы гипотезы и они соответствовали бы полученным результатам. В этом случае очевидно некорректна статистика. Как уже неоднократно говорилось, применение попарных сравнений или попарных корреляций более одного раза для проверки, грубо говоря, одного и того же или нескольких схожих теоретических положений требует коррекции нашего любимого уровня значимости. В данном случае автор должна была провести около 230 сравнений, поскольку Профориентатор, если верить гуглу, состоит из 19 методик, сравнивались с нормой 12 знаков зодиака, итого 12*19=238. Простой способ — применение тестов, рассчитанных на сравнение нескольких групп и затем post-hoc тесты. Более сложный, но местами более полезный вариант — введение поправки на множественные сравнения. Они бывают разные, я обычно выступаю за поправку Бенджамини-Хохберга, но в данному случае, учитывая то, что автор пытается доказать, нормальным был бы наиболее жесткий вариант — поправка Бонферрони. Эта поправка предполагает деление уровня значимости на количество сравнений, в данном случае, 0.05/238=0.0002. Сомневаюсь, что какие-то из результатов автора имеют такую вероятность. Ну и наконец, критерий Стьюдента, как справедливо заметил Юрий Тукачев в комментариях к оригинальной записи, требует проверок на нормальность распределения и гомогенность дисперсии (возможны, впрочем, альтернативы с использованием бутстрепа).

Однако, самый цимес в том, что если верить профайлу автора, барышня закончила кафедру социальной психологии психфака МГУ в 2004 году, и с тех пор успела поработать на нескольких проектах и позаниматься разработкой тестов. С 2005 года является «руководителем научно-методического отдела HR-Лаборатории «Human Technologies». Врагу не пожелаю такого руководителя научно-методического отдела, если опубликованная статья, конечно, не фейк направленный на сбор лузлов от комментаторов.

XKCD, как всегда, знает правду (картинка кликабельна).

Ну эээ мы провели исследование еще раз и не обнаружили взаимосвязи... УЧЕНЫЕ ПОЛУЧИЛИ СПОРНЫЕ РЕЗУЛЬТАТЫ О СВЯЗИ ЗЕЛЕНЫХ ЖЕЛЕШЕК И ПРЫЩЕЙ!!!!! НУЖНЫ ДОПОЛНИТЕЛЬНЫЕ ИССЛЕДОВАНИЯ!!!!!! ЖМИ СЮДА, ЧТОБЫ УЗНАТЬ БОЛЬШЕ!!!!!!!!!!!!!!!!!!!

Ну эээ мы провели исследование еще раз и не обнаружили взаимосвязи... ТЫДЫЩ!!!! УЧЕНЫЕ ПОЛУЧИЛИ СПОРНЫЕ РЕЗУЛЬТАТЫ О СВЯЗИ ЗЕЛЕНЫХ ЖЕЛЕШЕК И ПРЫЩЕЙ!!!!! НУЖНЫ ДОПОЛНИТЕЛЬНЫЕ ИССЛЕДОВАНИЯ!!!!!! ЖМИ СЮДА, ЧТОБЫ УЗНАТЬ БОЛЬШЕ!!!!!!!!!!!!!!!!!!!

И еще, комментарий от Шелдона Купера =) (украден здесь)

Шелдон: Да … это говорит нам о том, что ты разделяешь массовое культурное заблуждение, что видимое положение Солнца относительно произвольно расположенных созвездий в момент твоего рождения как-то влияет на твою личность.