Нечистые репликации

Репликация является основой реальной науки. В то время как твердые науки, такие как физика и химия, давно знают о ценности репликации и практикуют ее, психологи только недавно подняли эту проблему. Раньше исследователи знали «слово из уст», результаты которого были воспроизводимыми, а чьи – нет. Поэтому похвально, что этот важный вопрос выходит на первый план.

За несколько лет, прошедших с момента серьезной репликации, прогресс достигнут. Например, первые опубликованные (и в основном неудачные) репликации были отдельными исследованиями, в то время как недавние совместные усилия сообщали о нескольких экспериментальных исследованиях, чтобы сделать их более представительными, потому что один неудачный эксперимент по репликации, возможно, сделал это случайно и поэтому пуст.

Несколько дней назад был опубликован новый отказ от репликации, а также ответ первого автора оригинального исследования, в котором поднимаются вопросы о ценности исследований репликации (см. Отчет и ответ Страка здесь).

Исследование карандаша и его репликация

Однако оставшиеся проблемы, связанные с отсутствием теоретической утонченности, можно проиллюстрировать повторением эксперимента о телесной обратной связи эмоционального выражения по аффективным суждениям.

В этом эксперименте Fritz Strack, Leonard Martin и Sabine Stepper участники должны держать перо в одной из двух позиций, либо между зубами (левая сторона рисунка), либо между губами (справа).

Удерживая перо между зубами, активируйте мышцы, связанные с положительным воздействием, удерживая перо между губами, активирует мышцы, связанные с отрицательными чувствами. Преимущество этой процедуры заключается в том, что участники не замечают, что они улыбаются или надуваются. Участники должны были оценить забавность мультфильмов Гари Ларсон.

Strack и его коллеги обнаружили, что участники, которые держали карандаш между зубами и, следовательно, улыбались, оценивали мультфильмы как смешнее, чем участники, которые держали карандаш между губами, что заставляло их надуваться. Этот вывод обеспечивает поддержку теории эмоций с лицевой обратной связью, поскольку он показал, что симуляция эмоционального выражения на вашем лице заставляет вас чувствовать эмоции. Исследование стало классикой цитаты и было несколько лет назад на главной странице науки .

Группа исследователей приступила к массированной попытке репликации. Семнадцать разных лабораторий повторили этот эксперимент и посмотрели, могут ли они воспроизвести эффект. Приговор был четким: они не могли. Ни один из экспериментов не достиг размера эффекта, который было первоначально исследовано, и в среднем эффект был близок к нулю. Один из исследователей в Twitter сказал: «Еще одна классическая социальная психология находит пыль».

Полемика в Твиттере побудила меня ответить, и последовало обсуждение, которое было так хорошо, как может быть, когда ваш аргумент не может превышать 140 символов. Поскольку мне нужно больше места для аргументации, я решил написать этот пост в блоге, не в последнюю очередь потому, что это и другие исследования под пристальным вниманием относятся к критическому чувству.

Я собираюсь сосредоточиться на теоретическом влиянии сбоев репликации и на том, как бороться с возможными примесями, которые угрожают обоснованности исследования репликации.

Вопрос в том, действительно ли этот классический эффект «кусает пыль»? В своем ответе Фриц Страк перечислил несколько моментов, которые делают репликацию сомнительной.

Например, 14 из 17 исследований были выполнены с участием студентов, хотя исследование широко цитируется в учебниках для именно этой аудитории. В отличие от студентов, которые участвовали в исследовании Страка, для которых было невозможно узнать об этом, ученики, возможно, читали об исследовании, даже если они, возможно, не помнили его, участвуя в эксперименте.

Действительно, 14 исследований, проведенных со студентами, показали нулевой эффект, в то время как три исследования с другими участниками показали общий эффект в направлении первоначального исследования. Кроме того, камера была направлена ​​на участников, чтобы следить за их выражением лица. Результаты исследований показали, что указание камеры на людей или наблюдение за ними другими средствами изменяет их мышление и поведение; почему не их суждения о веселости мультфильмов? Поскольку эффект карандаша тонкий, небольшие «примеси» в эксперименте могут скрыть эффект.

Когда дело доходит до нечистоты, я думаю, что психологи могут извлечь выгоду из научного мышления в области химии. У крупных проблемных химиков есть чистота их веществ. Даже небольшие примеси могут предотвратить реакцию или изменить результаты. Главное, что химики часто должны делать, это очистить свои вещества, чтобы обеспечить успех их экспериментов.

Работа психологических исследователей еще сложнее, потому что они не проводят своих исследований в закрытых системах с четко определенными стандартными условиями. Системы в психологии являются открытыми и экспериментальными результатами, восприимчивыми к тонким контекстным эффектам.

Это означает, что незначительные изменения могут изменить эффект, факт, признанный исследователями репликации. Например, участники из другой культуры могут интерпретировать инструкции по-разному, и поэтому эксперимент может давать разные результаты.

Неудивительно, что неудачи репликации в большом проекте Open Science Framework были связаны с тем, насколько тема зависит от культуры. Чем больший культурный эффект был, тем хуже его шансы быть воспроизведены в открытом научном исследовании (см. Van Bavela et al, 2016).

Является ли исследование карандаша частью программы дегенеративных исследований?

Вернемся к карандашом. Strack представил некоторые аргументы, которые поднимают некоторые разумные сомнения относительно «чистоты» исследований тиражирования. Некоторые психологи утверждали, что это «SNARKing – видящий придирчивость после того, как результаты известны». Другой комментатор означал: «Мы называем это критикой после того, как результаты известны». Лакатос называет это дегенеративной исследовательской линией.

Эти комментаторы подчеркивают, что если вы попытаетесь воспроизвести эффект, и вы его не получите, то придумать какие-то постсоветские объяснения не поможет. Во-первых, вы всегда можете найти некоторые оправдания, почему эксперимент не работал. Во-вторых, и что более важно, эффект не выглядит надежным, когда тонкие изменения устраняют эффект. Обозреватели в Twitter цитировали Лакатоса, что такая линия исследований находится на отступлении, она дегенеративна.

Использование дегенеративной линии исследования Лакатоса вводится в заблуждение в случае сбоев репликации. Лакатос не думал о неудачах репликации, а о новых экспериментах, которые противоречат теории. Придумать объяснения для защиты вашей теории – часто в форме вспомогательных предположений, которые усложняют вашу теорию, – непродуктивно и указывает на то, что ваша исследовательская программа находится на спаде.

Однако это не то, что произошло с теорией обратной связи с лицом, которая была поддержана экспериментом Страка. Никто не представил данные, которые противоречили теории обратной связи лица. Авторы исследования репликации просто не смогли воспроизвести результаты одного из витринных исследований, которые поддерживали теорию. Тем не менее, существуют и другие эксперименты, которые поддерживают теорию обратной связи лица. Невозможность повторить одно исследование – даже если оно является самым известным – не сильно меняется, когда дело доходит до теории. Никаких признаков дегенеративной исследовательской программы.

Почему отказ репликации не угрожает теорией обратной связи с лицом

Есть еще одно различие, которое психологи должны учитывать, когда они говорят о неудачах репликации. Предположим, вы изучаете вмешательство, чтобы сделать людей счастливыми с помощью обратной связи с лицом, например, удерживая перо между зубами. Вы публикуете исследование и рекомендуете это вмешательство для использования в школах, на работе и дома. Вы делаете универсальный аргумент о том, что это вмешательство будет эффективным в большинстве случаев.

Приходите вместе с 17 репликаторами, которые не могут воспроизвести результаты. Поскольку вы сделали универсальный аргумент, неспособность репликации является смертельным ударом, потому что такого глобального и надежного эффекта нет. Даже повторение эффекта с меньшим размером эффекта может нанести вред актуальности оригинального исследования, если оно сделает заявку универсальным.

Однако это не то, о чем думал Страк и его коллеги. Они никогда не утверждали универсальности эффекта, но делали экзистенциальный аргумент, что есть примеры опыта аффективных состояний посредством обратной связи с лицом.

Приходите вместе с 17 репликаторами, которые не могут воспроизвести результаты. Поскольку Strack и его коллеги сделали экзистенциальный аргумент, невозможность репликации угрожает надежности исследования и обоснованности теории (если бы это было единственное исследование, чтобы поддержать его), только когда не осталось объяснений, почему исследование репликации не удалось.

Это похоже на химиков, которые сначала ищут примеси в своем эксперименте, прежде чем сомневаются, что они могут воспроизвести результат. Такая дискуссия не имеет ничего общего с нитрикими и дегенеративными исследовательскими программами, но с научным дискурсом, чтобы найти метод, который работает, если таковой имеется.

Как мы видели, есть два объяснения, которые вызывают сомнения относительно достоверности исследования репликации, студенческого тела и камеры перед лицом участников.

Ошибка репликации является информативной, поскольку она показывает, что это тонкий эффект – явное указание на то, что инсайдеры знали все это время, и это хорошо.

Однако неспособность повторить этот эксперимент не угрожает теории по причинам, изложенным выше. Следует учитывать, что, вероятно, намного легче получить отказ репликации, чем стабильный оригинальный эффект, который часто получается после большого тестирования пилота и тонкой настройки.

Наконец, поиск эффекта – хорошая новость для экзистенциального аргумента, даже если размер эффекта намного слабее первоначального исследования. С точки зрения теории размеры эффекта являются лишь информативными, когда ученые делают универсальный аргумент или когда они хотят получить практические последствия из исследования.

Пока аргумент относится к простому существованию механизма или эффекта, размеры эффекта не имеют значения.

Вывод

Ошибка репликации только угрожает теории (1), когда это единственное исследование, которое поддерживает теорию; (2), если он делает универсальное требование. Текущие репликации часто выбирают одно исследование многих, поддерживающих теорию, и выбирают исследования, которые поддерживают экзистенциальный аргумент.

Многие неудачи репликации – это просто ошибки репликации отдельных исследований. Они не оказывают большого влияния на теорию, и обсуждение проблем, которые угрожают действительности исследования репликации, не должно восприниматься как слабые оправдания, а как отправная точка для новых и лучших попыток репликации.

Сообщение о том, что психологи должны различать репликацию исследований, которые утверждают, что они демонстрируют универсальный эффект с практическими последствиями и исследованиями, которые приводят экзистенциальный аргумент в отношении определенного механизма.

Большинство экспериментальных исследований по влиянию, праймированию или варианту осуществления, которые не были воспроизведены, относятся к этому последнему виду. Поскольку теория в основном поддерживается другими доказательствами, неспособность воспроизвести их результаты не имеет большого значения для теории, которую должны были поддержать эти исследования.

Сообщение в блоге вызвало большие споры о социальных сетях. См. Обсуждение на Facebook здесь (группа обсуждения психологических методов) и здесь (PsychMAP).

Для обнаружения, что воспроизводимость контекстно-зависимая:

Van Bavela, JJ, Mende-Siedleckia, P, J. Bradya, W. и Reinero, DA (2016). Контекстная чувствительность в научной воспроизводимости. PNAS, 113, 6454-6459.

Гипотеза обратной связи с лицом описана в главе 5:

Reber, R. (2016). Критическое чувство. Как использовать чувства стратегически. Кембридж: Пресса Кембриджского университета.

Больше ссылок можно найти в ссылках или ссылках выше.

Image credit: Рисунок доступен по адресу http://tinyurl.com/zm7p9l7 под лицензией CC
https://creativecommons.org/licenses/by/2.0/.