Презентация со вчерашей встречи Statgeeks.

Транскрипт:(...)
Прочитать заметку «Представление результатов психологических исследований: рекомендации APA и визуализация данных» до конца (Вас ждет еще 584 слов).

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: Tufte, анализ данных, визуализация, презентации, статистика

Если вы выберете ответ на этот вопрос случайным образом, какова вероятность того, что ваш ответ будет правильным?

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: статистика, юмор

This is a pie chart describing my favorite bars this is a bar graph describing my favorite pies

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: bar chart, pie chart, визуализация, статистика

А вот хороший пример того как желание нагнать драматизма может сделать график неюзабельным и более того, бессмыслен. Щелкните на картинку, чтобы получить свою толику удовольствия. Автор показывает как изменятся налоговые выплаты, или что-то такое, после принятия плана 9-9-9 Германа Кейна (это один из участников праймериз в республиканской партии США). Драма очевидна, но, во-первых, график до жути неудобен. Во-вторых, он бессмысленен, так как абсолютные значения изменений в размере выплат говорят крайне мало. На мой взгляд, логичней было бы указывать изменения в процентах от дохода. Тогда бы и график нормального размера был, и драма сохранилась, если она есть.

Изменение средних налоговых выплат после принятия плана 9-9-9

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: визуализация, инфографика, статистика

увидел тут

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: видео, визуализация, порнография, статистика, юмор

Не видел раньше этой статьи на сайте Лебедева, хотя она уже не нова. В ней рассказывается о процессе построения графиков по статистике посещений выставок и их продолжительности. Обратите внимание — горизонтальная ось заменена графиком распределения плотности точек, крайние значения шкалы соответствуют крайним значениям данных, отсутствует сетка и выделение цветом содержательной части диаграммы.

Шаблонный вариант Excel образца 2004 года:

За ссылку на статью спасибо блогу Infographer

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: визуализация, инфографика, статистика

Астрология может играть в психологических исследованиях только одну роль — демонстрировать примеры того, что может случиться, если исследователь не знает статистики. На портале ht.ru появилась статья «О психологических различиях людей, рожденных под разными знаками зодиака» за авторством Татьяны Пресновой.

Вкратце содержание статьи: автор собрала данные по шкалам некоего опросника (в котором знающие люди угадали тест Профориентатор) на выборке из 2418 подростков, затем разделила их на группки по знаку зодиака и для каждой группы провела сравнения с нормой по t-тесту Стьюдента. И, о боже, получила, набор различий. Это сухая суть, теперь позволю себе привести пару цитат из самой статьи:

«Данный материал ждал своей публикации довольно долго: три года. Слишком уж неудобен он для обсуждения в приличном научном обществе, а для широких масс, возможно, и небезопасен. Несмотря на то, что все эти тревожные сомнения остались, решение о публикации было принято, поскольку интерес к этой тематике не угасает и, с нашей точки зрения, становится более профессиональным. Надеюсь, что комментарии и разъяснения, данные в тексте, позволят избежать нам обвинений в мракобесии, а читателям – возможных попыток не к месту использовать полученные данные.

В итоге, пусть не для каждой группы, но различия были обнаружены!

По этическим соображениям в представленные здесь таблицы не включены различия по шкалам тестирования интеллекта.

В заключение статьи прошу читателей обратить внимание на то, что данный анализ выполнен на специфичной выборке, специфичной не только по возрасту, но и годам (эпохе) рождения: это подростки, которые появились на свет в первой половине 90-х. Поэтому не стоит рассматривать выявленные черты как универсальную истину. И даже если бы это было так, подготовленный читатель понимает, что полученные данные носят статистический характер и не переносятся на конкретного человека с целью автоматического определения его черт и особенностей«.

Выделение жирным — мое. Перед нами типичный случай неумения правильно применять статистические методы и проводить исследования, который может, мне кажется, заменить классические примеры Наследова о корреляции уровня воды в Неве и интеллекта, или что у него там было. (...)
Прочитать заметку «В итоге, пусть не для каждой группы, но различия были обнаружены! Астрология и психология.» до конца (Вас ждет еще 680 слов).

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: маразм, множественные сравнения, почему у нас все плохо, родная наука, статистика

Нашел очень интересную дискуссию на тему будущего открытого кода в бизнес-аналитике. Один автор выступает, условно, за открытый код, другой сомневается в его будущем. Я согласен, скорее, со второй точкой зрения, несмотря на всю мою любовь к открытому кода. Вкратце, аргументы сторон.

За открытый код:

• Деньги, вложенные в покупку ПО, более выгодно вкладывать в развитие аналитиков, «покупку талантов», экспериментирование на основе результатов анализа и прочее.
• Высококлассная  аналитика всегда будет предполагать нестандартные подходы, соответственно, вне зависимости от ПО, его придется дорабатывать. У OpenSource в этом отношении больше возможностей, хотя бы в плане доступности уже разработанных кусков кода.
• Коммерческое ПО ограничивает аналитиков в том плане, что если написано, что «даются более точные прогнозы , позволяющие снизить накладные расходы» (что угодно), то это и только это  будет требоваться менеджерами. В то же время, зачастую аналитик может обнаруживать «инсайты» в данных, в отношении которых трудно оценить точно их полезность.
• Плюс к этому, вложения в коммерческое ПО увеличивают склонность к консервативному поведению за счет того, что аналитики и их непосредственное начальство в большей степени рискует своим политическим капиталом. «Мы вам купили программу за большие деньги, а вы нам не можете однозначный прогноз дать?».

Против:(...)
Прочитать заметку «Анализ данных в бизнесе: открытый код vs. коммерческие продукты» до конца (Вас ждет еще 234 слов).

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: R, spss, statistica, статистика

С некоторых пор анализ данных для меня представляет постоянные сомнения и колебания между четыремя китами — валидностью, мощностью, конвенциональностью и презентабельностью. Наиболее мощные конвенциональные методы (читай, ANOVA и сородичи) зачастую невалидны — то дисперсии негомогенны, а чаще всего распределение лишь отдаленно смахивает на нормальное. Мощные валидные методы — смешанные линейные модели (lmer, nlme) — слабо известны в психологических кругах и не всегда понятно, как их подать. Да и сам я не все в них понимаю. Валидные конвенциональные методы часто попросту отсутствуют для сложных моделей. Презентабельность вообще идет отдельно, например, отображение взаимодействий в смешанных моделях до сих пор для меня головоломка. Плюс стиль APA до сих пор мне непривычен. В общем, все сложно и непонятно.

Немного радости. konhis скинул ссылочку на прекрасную аннотацию к передаче на BBC:

What is a statistician really like? A BBC Radio 4 programme has tried to find out. Are they vague, unworldly chaps who have brains the size of a planet but who can’t quite tie their own shoelaces? Are they less socially adept even than mathematicians? Are they thugs from the backstreets who will lightly mug you with a non-parametric hierarchical Bayesian model before telling you that your last three inferences were unjustifiable and insignificant? Is their conversation such that you would rather watch paint dry, or are they charming, handsome, intelligent, witty and beautiful people at the first sight of whom you would actually want to jump straight into bed with them for a passionate and mutual weekend-long investigation of well-distributed curves?

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: заметки, статистика

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: статистика, юмор

На русском языке вышел сборник переводов интересных статей по проблемам применения разного рода индексов цитирования для ранжирования авторов, журналов, и т.п. Советую поглядеть.

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: наука, статистика, цитаты

Недавно пришлось искать прошлогоднюю презентацию по проблеме множественных сравнений, и я с удивлением обнаружил, что ее нет на сайте. Текст есть, а презентации нету. Выкладываю.

(...)
Прочитать заметку «Проблема множественных сравнений» до конца (Вас ждет еще 344 слов).

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: множественные сравнения, наука, статистика

Делается очень просто:

> rm(list=ls())

Команда ls() выводит список объектов рабочем пространстве, rm() — удаляет объекты.

> ls()
[1] "imported" "name_all"
> rm(list=ls())
> ls()
character(0)

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: R, матметоды, статистика

Ясно, что коррелограммы, да и вообще анализ корреляций — не лучший способ анализа данных. Но тем не менее, в качестве разведывательного анализа или как способ отбора переменных для последующего анализа, мне кажется, он может быть полезен. Собственно, в этом посте — информация про то, как построить симпатичные коррелограммы в R с использованием ggplot2. Результат не идеальный, но при желании его вполне можно допилить до того вида, который вам хочется.

(...)
Прочитать заметку «Красивенькие коррелограммы в R» до конца (Вас ждет еще 596 слов).

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: ggplot2, R, заметки, матметоды, статистика

Иногда, когда окончательно достает писать тезисы, хочется поизвращаться. В прошлом году плодом таких извращений стали тезисы на психологию 21 века. Частично они были навеяны семинаром у шефа, где разбирали стихи, уж не помню в связи с чем конкретно. В общем, что выросло — то выросло. Решил выложить здесь, пусть живет, на поисковые запросы откликается. Плюс интересно, а вы когда-нибудь такой фигней страдали? Или это только я так извращаюсь?

В психологии часто встречаются планы исследований, где ученому нужно проверить гипотезу через сравнение средних по нескольким группам. Очевидным примером подобного плана послужит анализ того, как влияют несколько факторов, или проверка различий на нескольких группах. Например, если поставлен вопрос о том, вызывают ли игры в сети Интернет агрессивность в реальном общении, можно сравнить группу тех, кто играет, с контрольными группами не интернет-игроков и совсем не играющих. (...)
Прочитать заметку «Извращения в тезисах на конференции» до конца (Вас ждет еще 516 слов).

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: заметки, матметоды, множественные сравнения, мои тексты, непонятный юмор, статистика

Таблицы сопряженности весьма удобный способ отображения материала. В R есть разные способы для его реализации, проще всего следующий. Используем функцию ctab из пакета catspec. У нее есть следующие параметры:

• dec.places — количество знаков после запятой
• type — тип таблицы, «n» — частоты, «row» — проценты по строкам, «column» — проценты по столбцам, «total» — общие проценты
• style — стиль таблицы, «long» или «wide»
• row.vars — переменные — строки таблицы
• col.vars — переменные — столбцы таблицы
• percentages — выводить проценты или частоты, по умолчанию «T», т.е. TRUE, т.е. вывод процентов
• addmargins — выводить ли итоги таблицы.

Посмотрим ее работу на примере статистики о погибших на Титанике.
(...)
Прочитать заметку «Таблицы сопряженности по частотам и процентам в R» до конца (Вас ждет еще 1,185 слов).

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2011. | оригинал заметки
Метки: R, анализ данных, матметоды, статистика, таблицы сопряженности

По долгу службы мне пришлось разбираться с логистической регрессией в R. Не могу сказать, что я с ней особо хорошо разобрался. но, что выросло — то выросло. Я написал небольшой тьюториал по этой штуке, может вам он тоже будет полезен. Буду рад комментариям, замечаниям, предложениям, ибо статистика наверное все-таки не мой конек.

(...)
Прочитать заметку «Логистическая регрессия в R» до конца (Вас ждет еще 889 слов).

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2010. | оригинал заметки
Метки: R, логистическая регрессия, регрессия, статистика

Ну что я могу сказать — она однозначно стала лучше. Тормозов меньше, логотипчик симпатичней, шрифты вроде получше стали, пару глюков убрали. Принципиальных изменений не замечено. SPSS 19 можно бесплатно скачать на сайте самой компании SPSS. Правда, работать она будет всего 30 дней.  Если кому надо установить ее под Линукс: смотрите пост propulsive.

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2010. | оригинал заметки
Метки: spss, статистика

Ну в общем да, нормальность нормальностью, а работать как-то надо =)

картинка взята у simmons-fan

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2009. | оригинал заметки
Метки: статистика, юмор

В обсуждениях у alexwin1961 (тут) подглядел несколько хороших ссылок:

• Using R for psychological research
• Simple R (+перевод ее начала: http://donbas-socproject.blogspot.com/2009/02/01-r-r.html и http://donbas-socproject.blogspot.com/2009/02/02-r-r.html) — хотя вот эта книга мне лично не очень понравилась

Ну и от себя добавлю R for SAS and SPSS Users

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2009. | оригинал заметки
Метки: R, ссылки, статистика