В наших исследованиях мы хотим показать, что субъективная уверенность в ответе содержит в себе компонент эмоциональной оценки. Для этого, кроме всего прочего я пытаюсь использовать аппарат теории обнаружения сигнала (SDT). В первом эксперимент испытуемые определяют по неполному (или замаскированному) изображению его категорию — человек, предмет, животное. После этого одни испытуемые отвечают на вопрос, насколько им понравилось предъявленное изображение, другие — насколько они уверены в ответе. Обе шкалы 100-бальные. Я пытаюсь сравнить между собой шкалу оценки объекта и шкалу уверенности, и делаю это следующим образом — перевожу значения по шкалам в z-значения для каждого испытуемого, затем строю кривые ROC, используя в качестве зависимой переменной правильность ответа. Затем сравниваю area under curve для обеих шкал друг с другом и с показателем 0.5 как уровнем угадывания. Получаю, что для уверенности AUC больше чем для оценки, и для обеих шкал AUC > 0.5. Вопрос: насколько разумны эти операции?
Кроме того, есть второй эксперимент. В нем испытуемые должны определять, одинаковые или разные пары карт им предъявляются и оценивать свою уверенность в ответе. Перед каждой парой карт им также показывается привлекательная либо непривлекательная лицо (фотография). Кроме того, испытуемые делятся на две группы, которые различаются по инструкции. Одним дается условно обычная инструкция, другим в качестве дополнения говориться, что мы хотим, чтобы они контролировали влияние своих эмоций при оценках уверенности. Нас интересует влияние двух факторов, привлекательности лица и инструкции на 1) оценки уверенности как таковые — предполагается, что после привлекательного лица оценки уверенности будут выше, и 2) изменение способности к различению правильных и неправильных ответов по степени уверенности в зависимости от инструкции и привлекательности лица. С первым все просто и понятно, вроде как. Проблема со вторым. Я опять же строю кривые ROC для z-значений уверенности. Получаю вот такую картинку (кликабельна):
Сравнение AUC показывает, что в случае привлекательного лица и инструкции на контроль эмоций «разрешающая способность» z-значений оценок уверенности ниже, в сравнении с непривлекательными лицами в этой группе. Вопрос, опять же, так можно делать? В смысле можно ли использовать ROC для подобного сравнения? Кроме того, вопрос еще такой: на графике видно, что для привлекательного лица и контроля эмоций есть bias. Это так? Чем его померить?
Вопросы для специалистов, наверное, примитивные, и не исключено, что я где-то сильно туплю, но как рз поэтому я и хочу понять, все ли я правильно делаю.
пс. кривые строились в R с помощью пакета pROC.
