Когнитивная психология и эмоции
Субъективные заметки постдока-психолога
Записи в рубрике «статистика»

Инфографика и порнография в сети

13 октября 2011, юмор Метки: , , , ,

увидел тут

Как надо строить графики рассеивания (пример с сайта Лебедева)

13 октября 2011, заметки Метки: , ,

Не видел раньше этой статьи на сайте Лебедева, хотя она уже не нова. В ней рассказывается о процессе построения графиков по статистике посещений выставок и их продолжительности. Обратите внимание — горизонтальная ось заменена графиком распределения плотности точек, крайние значения шкалы соответствуют крайним значениям данных, отсутствует сетка и выделение цветом содержательной части диаграммы.

Шаблонный вариант Excel образца 2004 года:

За ссылку на статью спасибо блогу Infographer

В итоге, пусть не для каждой группы, но различия были обнаружены! Астрология и психология.

28 сентября 2011, родная наука Метки: , , , ,

Астрология может играть в психологических исследованиях только одну роль — демонстрировать примеры того, что может случиться, если исследователь не знает статистики. На портале ht.ru появилась статья «О психологических различиях людей, рожденных под разными знаками зодиака» за авторством Татьяны Пресновой.

Вкратце содержание статьи: автор собрала данные по шкалам некоего опросника (в котором знающие люди угадали тест Профориентатор) на выборке из 2418 подростков, затем разделила их на группки по знаку зодиака и для каждой группы провела сравнения с нормой по t-тесту Стьюдента. И, о боже, получила, набор различий. Это сухая суть, теперь позволю себе привести пару цитат из самой статьи:

«Данный материал ждал своей публикации довольно долго: три года. Слишком уж неудобен он для обсуждения в приличном научном обществе, а для широких масс, возможно, и небезопасен. Несмотря на то, что все эти тревожные сомнения остались, решение о публикации было принято, поскольку интерес к этой тематике не угасает и, с нашей точки зрения, становится более профессиональным. Надеюсь, что комментарии и разъяснения, данные в тексте, позволят избежать нам обвинений в мракобесии, а читателям – возможных попыток не к месту использовать полученные данные.

В итоге, пусть не для каждой группы, но различия были обнаружены!

По этическим соображениям в представленные здесь таблицы не включены различия по шкалам тестирования интеллекта.

В заключение статьи прошу читателей обратить внимание на то, что данный анализ выполнен на специфичной выборке, специфичной не только по возрасту, но и годам (эпохе) рождения: это подростки, которые появились на свет в первой половине 90-х. Поэтому не стоит рассматривать выявленные черты как универсальную истину. И даже если бы это было так, подготовленный читатель понимает, что полученные данные носят статистический характер и не переносятся на конкретного человека с целью автоматического определения его черт и особенностей«.

Выделение жирным — мое. Перед нами типичный случай неумения правильно применять статистические методы и проводить исследования, который может, мне кажется, заменить классические примеры Наследова о корреляции уровня воды в Неве и интеллекта, или что у него там было. обоснование и самый цимес под катом

Анализ данных в бизнесе: открытый код vs. коммерческие продукты

22 сентября 2011, наука Метки: , , ,

Нашел очень интересную дискуссию на тему будущего открытого кода в бизнес-аналитике. Один автор выступает, условно, за открытый код, другой сомневается в его будущем. Я согласен, скорее, со второй точкой зрения, несмотря на всю мою любовь к открытому кода. Вкратце, аргументы сторон.

За открытый код:

  • Деньги, вложенные в покупку ПО, более выгодно вкладывать в развитие аналитиков, «покупку талантов», экспериментирование на основе результатов анализа и прочее.
  • Высококлассная  аналитика всегда будет предполагать нестандартные подходы, соответственно, вне зависимости от ПО, его придется дорабатывать. У OpenSource в этом отношении больше возможностей, хотя бы в плане доступности уже разработанных кусков кода.
  • Коммерческое ПО ограничивает аналитиков в том плане, что если написано, что «даются более точные прогнозы , позволяющие снизить накладные расходы» (что угодно), то это и только это  будет требоваться менеджерами. В то же время, зачастую аналитик может обнаруживать «инсайты» в данных, в отношении которых трудно оценить точно их полезность.
  • Плюс к этому, вложения в коммерческое ПО увеличивают склонность к консервативному поведению за счет того, что аналитики и их непосредственное начальство в большей степени рискует своим политическим капиталом. «Мы вам купили программу за большие деньги, а вы нам не можете однозначный прогноз дать?».

Против: продолжение »

Четыре кита анализа данных

24 августа 2011, заметки Метки: ,

С некоторых пор анализ данных для меня представляет постоянные сомнения и колебания между четыремя китами — валидностью, мощностью, конвенциональностью и презентабельностью. Наиболее мощные конвенциональные методы (читай, ANOVA и сородичи) зачастую невалидны — то дисперсии негомогенны, а чаще всего распределение лишь отдаленно смахивает на нормальное. Мощные валидные методы — смешанные линейные модели (lmer, nlme) — слабо известны в психологических кругах и не всегда понятно, как их подать. Да и сам я не все в них понимаю. Валидные конвенциональные методы часто попросту отсутствуют для сложных моделей. Презентабельность вообще идет отдельно, например, отображение взаимодействий в смешанных моделях до сих пор для меня головоломка. Плюс стиль APA до сих пор мне непривычен. В общем, все сложно и непонятно.

Немного радости. [info]konhis скинул ссылочку на прекрасную аннотацию к передаче на BBC:

What is a statistician really like? A BBC Radio 4 programme has tried to find out. Are they vague, unworldly chaps who have brains the size of a planet but who can’t quite tie their own shoelaces? Are they less socially adept even than mathematicians? Are they thugs from the backstreets who will lightly mug you with a non-parametric hierarchical Bayesian model before telling you that your last three inferences were unjustifiable and insignificant? Is their conversation such that you would rather watch paint dry, or are they charming, handsome, intelligent, witty and beautiful people at the first sight of whom you would actually want to jump straight into bed with them for a passionate and mutual weekend-long investigation of well-distributed curves?