Репликация.
Это один из тех загадочных слов, которые психологически и психиатрические исследователи используют регулярно, но о многих немногих людях, которые слышали, не понимают. Тем не менее, если бы мне пришлось составить список из 10 терминов, которые должны знать каждый образованный непрофессионал, интересующийся психологией, «репликация» будет высокой в этом списке. Это относится к способности исследователей, в идеале независимых исследователей, дублировать ранее полученные результаты. Независимая репликация особенно важна, потому что одна следственная группа может продолжать повторять свои ошибки, что приводит к ошибочному появлению заслуживающего доверия вывода.
Репликация в психологии чрезвычайно важна, особенно потому, что множество интересных находок – это мухи. Помните знаменитое исследование 1968 года Розенталя и Якобсона «bloomer», показывающее, что искусственное введение положительных ожиданий в школьных учителей может привести к повышению в IQ у своих учеников? Многие люди, в том числе многие образованные миряне, слышали об этом находке, но мало кто знает, что множество более поздних исследователей обнаружили, что эти результаты трудно воспроизвести. Изначальный образ Розенталя и Якобсона не является надежным или, скорее, он мал по величине, особенно в реальном мире, где учителя имеют возможность активно взаимодействовать со своими учениками, что подрывает последствия ожиданий учителя. Одна и та же проблема репликации применима к медицине; в статье 2005 года Джон Иоаннидес обнаружил, что около трети результатов клинических испытаний не задерживаются в последующих исследованиях.
Но есть проблема с репликациями: они не сексуальны. Для многих повторения похожи на «старые новости». Поэтому средства массовой информации, которые, в конце концов, сообщают о том, что является «новым», часто игнорируют их. Возьмите литературу о экстрасенсорном восприятии (ESP), в которой средства массовой информации регулярно сообщают с большой помпой любой намек на позитивное исследование или даже вспомогательный анекдот, но едва ли упоминают о более чем 150-летних сотнях неудачных повторений предполагаемых психических явлений.
Репликация не является секретом для редакторов журналов. В начале моей карьеры, когда я еще учился в аспирантуре, я представил (вместе с соавтором) статью в крупный психологический журнал, который был, по существу, репликацией и незначительным распространением ранних данных о симптоматических различиях между двумя совпадающими детскими условиями , расстройством дефицита внимания / гиперактивности и оппозиционным вызывающим расстройством. Полученные нами отзывы были весьма позитивными, но редактор изначально отказался опубликовать документ на том основании, что наше исследование было «единственным» тиражом предыдущего вывода (чтобы дать редактору должное, он был готов уговорить и закончил опубликовав нашу статью после существенного пересмотра). Но в большинстве случаев репликации, вероятно, даже более важны, чем исходная находка, потому что так много первоначальных результатов не задерживаются в последующих исследованиях.
Вот почему статья, появившаяся на первой странице «Нью-Йорк таймс» 17 июня, улыбнулась мне в лицо. Это было сделано не потому, что у меня есть какие-то особые интеллектуальные или личные инвестиции в открытие – я этого не делаю, – но потому, что это ознаменовало одно из первых случаев, о котором я помню, когда не удалось воспроизвести вывод, получивший почти столько же освещения в СМИ, как и оригинальный обнаружение. Эта статья, написанная умелым корреспондентом по психологии Нью-Йорк Таймс Беном Кэри, сообщила, что широко распространенное находка, впервые сообщенная Авшалом Каспи и его коллегами в статье 2003 года в престижном журнале Science, не задерживалась, когда было объединено 14 других исследований в которых психологи называют метаанализ, который представляет собой причудливый статистический метод, который позволяет исследователям объединить несколько исследований и рассматривать их так, как если бы они были одним большим исследованием. В частности, в 2003 году Каспи и его сотрудники обнаружили, что специфический генный вариант, относящийся к серотонину нейротрансмиттера, «взаимодействует» с жизненным стрессом в повышении риска депрессии. То есть люди, имеющие как генный вариант, так и жизненный стресс, были особенно склонны к депрессии, так что «эффекты» генетических и экологических влияний были мультипликативными, а не аддитивными.
Для многих наблюдателей обнаружение Каспи было особенно привлекательным, потому что оно соответствовало популярным – и, возможно, политически корректным – понятиям «взаимодействие генов и окружающей среды». Оно стало одним из наиболее широко обсуждаемых и цитируемых результатов в современной психологии; на момент написания этой статьи (28 июня 2009 г.) в научной литературе приводилось ошеломляющее 1996 г. (для сравнения, модальное число цитат для журнальных статей в психологии 0 – да, ноль), и получило широкое распространение как среди значительных научных результатов десятилетия. Однако новый метаанализ, проведенный генетиком Нейлом Ришем и опубликованный в Журнале Американской медицинской ассоциации (JAMA), показал, что, когда данные других исследований были объединены вместе с оригинальными результатами Caspi, эффект взаимодействия исчез. http://jama.ama-assn.org/cgi/content/full/301/23/2462
Конечно, возможно, что этот негативный вердикт может со временем меняться с появлением новых результатов, и что Каспи и его коллеги в конечном итоге будут оправданы. Красота науки заключается в том, что она самокорректируется в долгосрочной перспективе, даже если она часто беспорядочна в краткосрочной перспективе. В конце концов, правда о генах серотонина, стрессовых жизненных событиях и депрессии исчезнет. Но с появлением статьи JAMA мяч теперь находится в суде Каспи и его коллег, а не в суде их критиков, чтобы показать, что их эффект взаимодействия не был миражом.
Какие уроки мы можем извлечь из этого эпизода? Мы не должны слишком доверять любой психологии, если и до тех пор, пока другая исследовательская группа не воспроизведет ее. Мы также должны помнить, что новостные СМИ редко оценивают важность тиражирования, поэтому они могут удивлять неожиданными выводами, прежде чем другие дублируют их. И сами исследователи должны стремиться сдержать свое волнение по поводу большинства результатов, пока другие не найдут их надежными. В интересах полного раскрытия я должен отметить, что я могу быть виновным в нарушении этого предписания. В двух случаях я публиковал выводы о взаимодействиях в областях личности и психопатологии, и, насколько мне известно, никто не пытался их воспроизвести. Оглядываясь назад, я бы хотел, чтобы я был более осмотрительным в том, чтобы сообщить о них, отчасти потому, что (по целому ряду статистических соображений я не буду читать читателей) взаимодействия вряд ли будут реплицироваться, а отчасти потому, что с тех пор я пришел узнайте, как легко влюбиться в свои результаты – особенно когда они согласуются с вашими гипотезами.
Наконец, как потребители психологической литературы, мы должны помнить самородок мудрости, что мой мудрый доктор философии. наставник, покойный Дэвид Лаккен, любил раздавать: В общем, чем более интригующим психологическим нахождением, тем меньше вероятность повторения. За некоторыми исключениями Дэвид, вероятно, был прав, потому что чем больше находка противоречит накопленным знаниям из тщательно проведенных исследований, тем более вероятно, что это будет неправильно. Конечно, неожиданные находки иногда окажутся верными, поэтому при интерпретации таких результатов нам нужно пройти тонкую грань между чрезмерным скептицизмом и чрезмерной открытостью. Но если Lykken верен, то количество средств массовой информации, которое получает обнаружение, которое обычно отражает его контринтуитивность, может фактически быть обратно связано с его достоверностью. Пусть покупатель будет бдителен.