Есть ли кризис репликации в экспериментальной психологии?

Источник: wikicommons

Кризис репликации?

Публикация в прошлом году в Science исследования о возможности тиражирования результатов экспериментальной психологии вызвала ужас в соответствующих областях. Двести семьдесят исследователей, связанных с «Открытым научным сотрудничеством», пытались воспроизвести результаты из ста статей из ведущих журналов из экспериментальной психологии, но смогли получить бесконтактные повторения в 39% случаев. Разумеется, это число намного ниже числа, которое можно было бы ожидать на основе обычных статистических стандартов для опубликованных исследований.

Эта статья лишь усиливает обеспокоенность по поводу методологической обоснованности многих научных исследований, поскольку темпы сокращения опубликованных статей среди журналов увеличились в большинстве наук за последнее десятилетие. Главная проблема заключается в том, что давление на ученых не только для публикации, но и для публикации новых неожиданных результатов, заставляет некоторых изредка срезать углы сейчас и в своих исследованиях. Комментаторы выдвинули множество предложений о проблемных практиках, которые могут привести к невозможности воспроизвести некоторый результат, в том числе недостаточное количество участников эксперимента или представить гипотезу, сформулированную на основе шаблонов, обнаруженных в результатах после факта, как если бы они были исходная гипотеза.

Имеет ли значение контекст?

• «Преступники» в классах: ответственность перед студентами и сотрудниками
• 5 способов, основанных на науке, преодолеть цикл ярости
• Что заставляет кого-то за дыру?
• Доминирование и представление в корпоративных джунглях
• Подробнее о том, что Айн Рэнд слишком не прав о человеческой природе

В недавней статье в New York Times Джей Ван Бавел описал исследование, которое он и его коллеги провели по этому вопросу. Он был нацелен на выяснение того, были ли различия между контекстами, в которых проводились попытки повторения, с одной стороны, и контексты первоначальных сто исследований, с другой стороны, могли быть критическим соображением в объяснении того, почему частота репликации была так низко. Использовались ли контексты, в которых проводились исследования попытки повторной репликации, критическими способами из первоначальных экспериментов, чтобы уменьшить вероятность получения повторений?

Контекстуальные факторы охватывают такие вещи, как временные, культурные, географические и демографические различия. Было ли проведено одно исследование до Великой рецессии, а другое – после? Были ли участники одного исследования китайцами, но участники попыток повторения канадцев? Исходные исследования произошли в большом городе, тогда как соответствующее исследование проходило в небольшом городке? Были ли участники первого исследования бакалавриата из элитного частного частного университета, но участники второго среднего возраста, неработающих матерей-одиночек, подающих заявки на продовольственные талоны? Дело не в том, что кто-то может заранее знать, что такие переменные повлияют на результаты исследований. Только результаты некоторых исследований, учитывая характер тем, которые они изучают, могут казаться более вероятными, чем другие, на которые влияют такие контекстуальные вопросы.

Изучение роли контекста

• Повысьте доверие к этим ключевым заинтересованным сторонам
• Творческая реабилитация, часть 2: Тяжелая травма головы
• Что говорят ваши пальцы
• Разговорный мужество
• После разрыва: Охватывая уроки

Ван Бавель и его сотрудники зачислили кодеров с обучением в экспериментальной психологии, чтобы оценить относительную контекстную чувствительность сто экспериментов. Каждый из кодеров читал рефераты из пятидесяти статей и оценивал их по шкале от одного до пяти относительно того, насколько они чувствительны к контексту, по мнению которых, вероятно, были исследования. Существенное совпадение оценок оценщиков из двадцати пяти случайно выбранных исследований, которые оценивали все оценщики, показало, что они также оценивали рейтинги. Ван Бавел и его коллеги вычислили средние оценки чувствительности контекста исследований и измерили, насколько хорошо они коррелируют с успешными повторениями.

Существенно, что исследования с более низкими показателями чувствительности к контексту были значительно более вероятными для успешной репликации. Оценки чувствительности контекста исследования оказались влиятельным предиктором даже после учета множества факторов, которые ранее были связаны в литературе экспериментальной психологии с успешной репликацией. Мера чувствительности к контексту также позволила предсказать одиннадцать исследований среди ста, за которые первоначальные исследователи заранее заявили о попытках воспроизвести их. Перед лицом подозрений, что эти авторы заявили о своей озабоченности, поскольку они признали слабости своих исследований, дальнейший анализ показал, что только показатель чувствительности к контексту среди множества характеристик исследования, ранее связанных с предсказанием успеха репликации, оказался значительным предиктором выразил ли автор такие опасения.

Суть в том, что, когда исследователи рассматривают критическую роль, которую могут играть контекстуальные переменные в результатах психологических экспериментов, слухи о кризисе репликации в экспериментальной психологии могут быть несколько преувеличены.