Около двух третей результатов Psych держатся в лучших журналах

Исследования в первоклассных торговых точках не освобождают от опасений по поводу воспроизводимости.

Источник: ВикиВектор / Shutterstock

Команда ученых, которые пытались повторить 21 экспериментальную психологическую находку, опубликованную в известных журналах « Наука и природа», смогли повторить 13 из них.

Психология страдает от движения за признание и реформирование проблемных практик, которые приводят к ненадежным результатам. Выводы даже самых уважаемых журналов не защищены от этих препятствий, демонстрируя важность продолжения реализации политики, которая делает новые научные результаты более достоверными.

• Какое событие заставляет людей становиться политически консервативными?
• Последовательные исследования пробиотиков вызвали тревожные звонки
• Хватит отдавать свою силу
• Когда правда не правда
• Как предсказать нарциссическое насилие

«Мы все будем стремиться к этому нелогичному, удивительному результату. В науке это неплохо, потому что именно так наука преодолевает границы », – сказал Брайан Носек, ведущий автор исследования и профессор психологии в Университете Вирджинии. «Ключ в том, чтобы признать и принять неопределенность этого, и это нормально, если некоторые из них окажутся неправильными». То, что показывает последний тест, он объяснил на веб-конференции на прошлой неделе, «это то, что мы можем добиться гораздо большей эффективности в выявление ложных следов, а не их настойчивость, потому что мы никогда не удосужились повторить их ».

Международная группа ученых проверила все статьи по общественным наукам, опубликованные в журнале « Наука и природа» в период между 2010 и 2015 годами. Они планировали воспроизвести подгруппу исследований, которые включали экспериментальное вмешательство, дали значительный результат и были выполнены для группы участников.

Команда воссоздала экспериментальный дизайн как можно ближе и работала с оригинальными авторами, чтобы сделать это. Они также зарегистрировали протокол исследования, проектирование и анализ в Open Science Framework, системе, предназначенной для повышения надежности и прозрачности в науке. Каждое исследование проводилось с пятью и более людьми, чем в оригинале, поэтому исследование было особенно чувствительным к обнаружению любого экспериментального эффекта.

• 12 распространенных предубеждений, влияющих на то, как мы принимаем повседневные решения
• Секс и мастурбация одинаковы?
• Как излечить наше одиночество
• Тренинг по сопротивлению тревожным расстройствам
• Рассвет Раффель: Альтруизм и личный интерес

Команда успешно воспроизвела 13 результатов исследования, или 62 процента. Остальные восемь исследований не удалось воспроизвести. Прошлые инициативы репликации дали ряд результатов, и, по оценкам команды, уровень воспроизводимости психологии в настоящее время находится в диапазоне от 35 до 75 процентов. Ученые также обнаружили, что сила экспериментальных эффектов составляла примерно половину того, что было в первоначальных исследованиях. Результаты были опубликованы сегодня в журнале Nature Human Behavior.

Многие части способствовали проблемам с репликацией. Ученые обычно обладают гибкостью в том, как они анализируют экспериментальные данные, и, пробуя разные подходы, они могут сознательно или неосознанно подталкивать результаты к порогу статистической значимости. Исследователи могут также изменить гипотезу после просмотра результатов, что приводит к тому, что любые существенные результаты, которые они нашли, превращаются в убедительный рассказ. Они не обязаны предоставлять свои данные, что может привести к тому, что сомнительное поведение останется незамеченным. Возможно, самое главное, ученые и редакторы журналов заинтересованы публиковать как можно больше новых ярких открытий, а не копировать предыдущие выводы для обеспечения надежности.

Эти элементы приводят к новым результатам и сильным эффектам, о которых сообщают в заблуждении с высокой скоростью. Это иллюстрируется тем фактом, что в повторяющихся исследованиях средний размер эффектов был вдвое меньше, чем первоначально. «Это очень последовательная тема в репликации», – сказал Санджай Шривастава, профессор психологии в Университете штата Орегон, который не принимал участия в исследовании. «Если исследования иногда выходят за рамки, а иногда и выходят из строя, то это должно быть 50/50. Но это совсем не так.

Команда также разработала эксперимент, чтобы выяснить, могут ли психологи обнаружить надежные и точные результаты. Группа из 200 исследователей сделала ставку на то, какие исследования будут или не будут выдерживать проверку. Вероятность того, что исследование будет воспроизводиться правильно, предсказывает результат для 18 из 21 исследований.

«Как сообщество, мы не совсем спотыкаемся в темноте, когда речь заходит о том, что будет копироваться», – заявил на веб-конференции Уилл Жерве, доцент кафедры психологии в Университете Кентукки. «Вы могли бы потенциально обучить рецензентов, чтобы они могли следить за моделями, которые люди используют. Таким образом, мы надеемся, что мы сможем отсеять некоторые из этих ложных срабатываний, прежде чем они загрязнят литературу ».

Жерве является автором одного из исследований, которое не удалось воспроизвести. Статья была опубликована в журнале Science в 2012 году и показала, что аналитическое мышление подавляет веру в религию. В то время опасения по поводу повышения доверия еще не проникли в сферу. Теперь он признает, что эксперимент был довольно слабым и не выдержал, как и другие идеи на протяжении всей его карьеры.

«В ретроспективе наше исследование было совершенно глупым. Это было действительно крошечное [количество участников] и едва ли существенное – что-то вроде курса, прежде чем мы начали серьезно относиться к тиражированию », – сказал Жерве. «Одна из лучших вещей в этом движении – это подталкивание рецензентов и редакторов быть более сообразительными в отношении того, что мы должны опубликовать и одобрить в первую очередь».

Эта область прошла долгий путь к укреплению доверия к новым исследованиям. Решения включают в себя тестирование экспериментов с большим количеством людей, создание более строгого порога для статистической значимости, обнародование данных, продолжение усилий по репликации и публичную предварительную регистрацию плана исследования перед его проведением, что ограничивает гибкость исследователя, которая приводит к ложному позитивы. Open Science Framework была создана в 2012 году и в настоящее время включает в себя регистрацию более 20 000 исследований, по словам Носека, который является исполнительным директором Центра открытой науки. Ставка удваивается каждый год с момента его создания.

«Это исследование является действительно хорошей мотивацией для продолжения давления на журналы, чтобы обновить свою политику и изменить стимулы, чтобы ученые были вознаграждены за большее количество таких практик», – сказал Шривастава. «Это как толкать машину, когда она остановилась. Машина движется, но вы должны продолжать давить, иначе она остановится ».