Краткое руководство по кризису репликации в психологии

Исследование:

Брайан Носек и Открытое научное сотрудничество:

Мы провели тиражирование 100 экспериментальных и корреляционных исследований, опубликованных в трех журналах по психологии с использованием мощных конструкций и оригинальных материалов, когда они доступны. [ Научная статья здесь.]

Находки:

• Умирание за факты. Часть 4: Получение доказательств!
• Альтруизм богатых и бедных
• Хорошая и плохая чувствительность
• Счастливый день матери матерям основной порядочности
• Ответ на сочинения Сэма Харриса о нравственной истине Pt 1 из 3

1. Только 36% повторений были «успешными» (т. Е. Производили значения р <0,05).
2. Средний размер эффекта повторений был примерно в два раза выше, чем в оригинальных исследованиях.
3. Более слабые, более неожиданные результаты реже реплицировались.
4. Результаты социальной психологии были менее чем наполовину вероятнее, чем репликации в когнитивной психологии.
5. Главные эффекты чаще повторялись, чем эффекты взаимодействия.

Некоторые из результатов, которые не повторялись …

• Люди с большей вероятностью обманывают после того, как они прочитают отрывок, информирующий их о том, что их действия определены и, следовательно, у них нет свободной воли.
• Люди делают менее суровые моральные суждения, когда они только что вымыли руки.
• Партнерские женщины больше привлекают одиноких мужчин, когда они овулируют (когда женщины овулируют, то есть). [См. Здесь, здесь.]

В чем проблема?

Частота репликации вызывает беспокойство. Эпидемиолог Джон Иоаннидис предположил, что около 50% опубликованных результатов ложны, по крайней мере, в медицине, поэтому этот результат хуже, чем он ожидал.

• Судьи должны стремиться к обеспечению равного правосудия в соответствии с законом
• Семейная селекция Минного поля Часть первая
• Лучшее время или худшее время для брака?
• Baby Come и Light My Fire …
• Что вы боретесь?

И реальная скорость репликации может быть даже ниже 36%. Все исследования были взяты из трех журналов психологии высшего уровня. Кто знает, какой шанс успеха может быть дальше по полю тотема, в более низких журналах?

Принятое по номиналу, исследование Носека предполагает, что любой данный вывод в психологии, скорее всего, будет вымысел, чем факт. Если вы изучаете психологию, то многое из того, чему вас учат, неверно. И если вы преподаете психологию, вы потенциально посвящаете большую часть своей жизни распространению ложности. Это проблема.

Ответы:

«Репликация на уровне 36% на самом деле не так уж плоха».

Санджай Шривастава:

Наука должна привлекать к себе риски и подталкивать границы, поэтому даже оптимальная наука будет генерировать ложные срабатывания. Если 36 процентов репликаций получат статистически значимые результаты, совершенно неясно, каково это число. [Больше]

Вердикт : Не согласен.

Во-первых, высокая ложноположительная ставка связана не только с умственным риском. Это связано также с небольшими размерами выборки, p- хакированием, феноменом файлового ящика, смещением публикации и, в некоторых случаях, прямой печатью данных.

Более того, даже если ни одна из этих проблем не была проблемой, частота репликации будет по-прежнему беспокоить, учитывая, насколько редко попытки повторения или публикации в психологии . 36% -ная скорость репликации может быть хорошей, если мы уделяем больше внимания искоренению ложных срабатываний из литературы, но мы этого не делаем, так что это не так.

«Это не просто психология!»

Вердикт : Согласитесь. Некоторые области работают лучше, чем психология, без сомнения, но некоторые хуже. [См., Например, здесь]

«Это еще не все психология. Некоторые районы хуже других ».

Вердикт : Согласитесь. [См., Например, здесь.]

Верн Куинси:

Мне нравится этот проект, но мне не нравится ограниченный способ передачи результатов. Во-первых, результаты, как правило, представлены так, как будто они представляют собой психологию – это не так. Например, психофизика и память недопредставлены. Что еще более важно, многие психологии не используют лабораторные эксперименты – данные собираются из архивных источников. В некоторых из этих областей важные наблюдения были воспроизведены в сотни раз (например, подумайте о соотношении возрастных преступлений). Во-вторых, метааналитические методы, которые явно были разработаны для решения проблем воспроизводимости и в настоящее время весьма сложны, полностью игнорируются.

Некоторые релевантные твиты:

[Примечание: «beh генетический» = «поведенческая генетика». Исследование, связанное с Брайаном, приведено здесь.]

«Кризис не существует – обнаружение и отказ от ложных данных – это лишь часть науки. Психология прекрасно справляется.

Лиза Фельдман Барретт:

невозможность репликации не является причиной возникновения тревоги; на самом деле, это нормальная часть того, как работает наука … Предположим, у вас есть два хорошо продуманных, тщательно выполняемых исследования, A и B, которые исследуют одно и то же явление. Они выполняют то, что кажется идентичными экспериментами, и все же они достигают противоположных выводов. Исследование A создает предсказанное явление, тогда как в исследовании B нет. У нас есть неспособность реплицироваться.

Означает ли это, что рассматриваемое явление обязательно иллюзорно? Точно нет. Если исследования были хорошо спроектированы и выполнены, более вероятно, что явление из исследования А истинно только при определенных условиях. Теперь работа ученого заключается в том, чтобы выяснить, каковы эти условия, чтобы сформировать новые и лучшие гипотезы для тестирования. [Больше]

Вердикт : Не согласен.

Эд Юн:

Для начала, как отметила Дороти Бишоп из Оксфордского университета в Twitter, она «поднимает вопрос о том, как серьезно принимать выводы, которые так точно зависят от условий». Иными словами, если результаты – это тонкие увядающие цветы, которые только цветут под опекой некоторых экспериментаторов, насколько они важны для беспорядочного, шумного, хаотического мира вне лаборатории? [Больше]

Кроме того, исследователи приложили все усилия, чтобы максимально точно воспроизвести исследования, которые должны были устранить любые значимые контекстные эффекты.

«Хорошо, новости не велики. Но если мы посмотрим на результаты через байесовскую линзу, они немного менее мрачны, чем они появляются впервые … "

Вердикт : Согласитесь. Взяв байесовский подход, Алекс Эц описал результаты исследования следующим образом:

• Успешные успехи в тиражировании: ≈25%
• Умеренные успехи репликации: ≈10%
• Неизбежно: ≈30%
• Умеренные сбои репликации: ≈20%
• Сильные сбои репликации: ≈20% [Подробнее]

Последнее слово

Чтобы быть ясным, ничто из этого не означает, что психология недействительна как наука или что это уникальная ошибочная область исследования. Мы добиваемся прогресса, и это исследование является частью этого. Нам нужно идти дальше, чем думали многие из нас!

—————————-

Спасибо коллеге-блоггеру Роберту Кингу за стимулирование обсуждения этих вопросов.

Для более того же самого другого, следуйте за мной в Твиттере.