Наша с @konhis (Филиппом Управителевым) статья про точность оценки времени реакции в онлайн исследованиях наконец увидела свет: http://link.springer.com/article/10.3758/s13428-015-0632-x. Там же можно скачать данные и скрипты к статье. Если у кого-то нет доступа, препринт есть тут: https://www.researchgate.net/publication/280057912_Online_versus_offline_The_Web_as_a_medium_for_response_time_data_collection.

Вкратце о результатах:
1) онлайн исследованиях не хуже оффлайн по точности оценки времен реакции, но
2) слишком большая вариативность браузеров и операционных систем, большая чем наблюдается в реальности, может ухудшить результат

По сути же результаты даже лучше, чем я ожидал — я думал, что в наиболее простых задачах типа красный слева — нажми влево, красный справа — нажми вправо, разница все-таки будет. Но на выборке в 20 человек и большом количестве проб она не видна. На всякий случай уточню, что речь идет о разнице в разбросе данных. Средние отличаются, но это как раз не очень интересно, так как средние всегда отличаются. Важно то, что если у вас есть условие А и условие Б, то онлайн и оффлайн время реакции в этих условиях будет отличаться примерно на одно и то же значение. И разброс данных в условии А и условии Б будем примено одинаковым, а значит вероятность пропустить эффект онлайн и оффлайн также примерно одинакова.

В общем, исследования онлайн делать можно и нужно.