Недавно пришлось искать прошлогоднюю презентацию по проблеме множественных сравнений, и я с удивлением обнаружил, что ее нет на сайте. Текст есть, а презентации нету. Выкладываю.


Транскрипт:

О множественных сравнениях замолвите слово — Presentation Transcript

О множественных сравнениях (Четвериков А. А., СПбГУ)

Множественные корреляции

  • Анализируем корреляции между 10 психосоциальными характеристиками
  • Метод — коэффициент корреляции Пирсона
  • Получено 8 корреляций, значимых на уровне p<0,05
  • Насколько осмыслен данный результат?

Множественные корреляции

Таблица случайных чисел – 8 чисел из 90 меньше 0,05

a1 a2 a3 a4 a5 a6 a7 a8 a9 a10
a1
a2 0,00
a3 0,54 0,70
a4 0,16 0,67 0,67
a5 0,00 0,98 0,34 0,09
a6 0,59 0,93 0,99 0,98 0,31
a7 0,51 0,02 0,24 0,25 0,87 0,01
a8 0,03 0,62 0,85 0,72 0,78 0,43 0,28
a9 0,34 0,75 0,68 0,41 0,35 0,73 0,71 0,01
a10 0,29 0,99 0,48 0,85 0,17 0,17 0,23 0,02 0,03

Множественные сравнения групп

  • Сравниваем три группы (например, сайентологов, вагоновожатых и альпинистов), опять же по 10 признакам
  • Метод – t-критерий Стьюдента
  • Получены значимые на уровне p<0,05 различия по 2 признакам

Проблема множественных сравнений

b1 b2 b3 b4 b5 b6 b7 b8 b9 b10
сайентологи — вагоновожатые 0,43 0,36 0,20 0,55 0,67 0,86 0,39 0,30 0,35 0,48
альпинисты — вагоновожатые 0,37 0,55 0,93 0,10 0,04 0,88 0,60 0,42 0,28 0,36
альпинисты — сайентологи 0,01 0,16 0,57 0,99 0,91 0,95 0,86 0,75 0,76 0,17

Таблица случайных чисел – 2 числа из 30 меньше 0,05

Проблема множественных сравнений

  • Что такое α=0,05?
  • Семейство гипотез
  • FWER=1-(1-α)n

 

Зависимость вероятности совершения ошибки первого рода от числа гипотез

Зависимость вероятности совершения ошибки первого рода от числа гипотез в семействе (при alpha=0,05)

Решения проблемы

Снижение числа гипотез

  • ФА
  • структурное моделирование
  • изменение дизайна эксперимента

Решения проблемы

  • Введение поправок на множественные сравнения
  • (M)ANOVA + пост-хок тесты (последовательные проверки гипотез)
  • Спланированные сравнения

Поправка Bonferroni

Самый строгий из возможных критериев

Значимыми признаются результаты с p<α/n

Поправка Benjamini & Hochberg (1995)

6 гипотез: p1=0,001, p2=0,003, p3=0,009, p4=0,037, p5=0,043, p6=0,140

Выстраиваем в порядке возрастания p

Проверяем pi≤i*α/n

Поправка Benjamini & Hochberg (1995)

i p i*0,05/6  
6 0,140 0,050  
5 0,043 0,042 Не значимо
4 0,037 0,033 Не значимо
3 0,009 0,025 Значимо
2 0,003 0,017 Значимо
1 0,001 0,008 Значимо

 

Проблемы

  • Определение «семейства гипотез»
  • Возрастание вероятности ошибки второго рода
  • Вывод: хороший дизайн исследования ничто не заменит