Когнитивная психология и эмоции
Субъективные заметки студента-психолога
Комментарии
- Валерий:
парк ещё “узнался” ; Героев Войны, на... - Валерий: Узнал только Университетскую рощу с белочками и самим универом, и...
- Ксения: Андрей, скажите, пожалуйста, а как сделать так, чтобы в варианте с...
- Андрей Четвериков: На программе, куда я поступал, свободного времени...
- Максим: Магистратура-то понятно, но сроки обучения разные и стоимость...
Текущие исследования
4 эксперта, 70 оцениваемых текстов, 10 шкал оценки и одна электронная система…
1 Дек2008
… чтобы всех их единою волей сковать =) Мои обожаемые эксперты завершили оценку текстов, которая окончательно покажет, был ли смысл в разработанной мной системе автоматического анализа эмоционального содержания текстов. В связи с этим вопрос к уважаемой публике: какие методы стат.обработки лучше применить?
Необходимо вычислить, насколько оценки системы соответствуют оценкам экспертов, желательно по каждой шкале отдельно. Я знаю, что умные люди аналогичную задачу решали с помощью вычисления сначала среднего коэффициента корреляции (Пирсона) между экспертами по каждой шкале, затем сравнивали этот коэффициент со средним коэффициентом корреляции автоматической системы и экспертов. Но мне такой путь не очень нравится, поскольку усреднение коэффициента корреляции штука транная, да и вообще это все как-то неправильно.
Заметки на близкие темы
- В рубрике: эксперимент
- Тэги: оценка текстов, слова, эксперимент, эмоции
3 комментария к заметке 4 эксперта, 70 оцениваемых текстов, 10 шкал оценки и одна электронная система…
Комментарии на сайте
Не вполне понятно, в чем сложность. Просто посчитать корреляцию оценок системы с оценками каждого эксперта. Учитывая, что шкал 10, а экспертов – 4, получается всего 40 коэффициентов корреляции: вполне обозримо и интерпретируемо. Можно конечно экспертные оценки усреднить, но там надо предварительно оценивать степень согласованности экспертов, если я правильно понимаю.
Загвоздка на мой взгляд в том, что нужны как раз единые показатели согласованности работы системы со и экспертов в сравнении с согласованностью работы самих экспертов.
Правда тут до меня дошло, что все это в принципе не важно, посколько мне придется делать так же как в статье по ссылке выше, если я хочу сравнивать их результаты со своими.
Если сравнивать с конкретным исследованием то, да, есть смысл применять те же методы расчета. Хотя мне кажется, что так или иначе, как ни сравнивать (согласованность системы с согласованностью самих экспертов, или же коррелировать экспертные оценки с оценкой системы), логика все равно одна и та же. Просто конкретные числовые показатели разные считаются.