Почему мы верим в исследования, даже после того, как данные приближаются к концу

Ответ неожиданен. Буквально.

Фрэнк Суллоуэй, победитель MacArthur и автор книги Born to Rebel: Birth Order, Family Dynamics и Creative Lives , пользовались широкой известностью своей теорией влияния порядка рождения на личность. Короче говоря, его здоровенный, 672-страничный труд исследовал, как первенец-дети были наиболее склонны соответствовать социальным соглашениям, в то время как последние рожденные были гораздо более склонны восставать против них. Первенцы, по словам Суллоуэй, высоко оценили добросовестность и были более склонны к желаниям, ценностям и стандартам своей семьи. Напротив, рожденные недавно высоко оценили открытость к переживанию, одну из черт личности, связанных с авантюризмом, а также нетрадиционное и совершенно непослушное поведение.

Работа Эми Кадди по вопросам власти не только привлекла одну из самых больших аудиторий к разговору TED, но и привлекла внимание каждого средства массовой информации от New York Times до CBS News. Принимая во внимание позицию с высоким уровнем доминирования, команда Кадди утверждала, что любой может пользоваться повышенным тестостероном – гормоном, связанным с доминированием, – и уменьшает кортизол, снижая стресс. Первоначальный эксперимент Кадди попросил 42 участников провести позы высокой или низкой мощности в течение одной минуты, а затем проверить слюну участников 17 минут спустя – нейроэндокринные маркеры, которые сделали более убедительные данные, чем просто самооцененные чувства повышенной уверенности в себе и снижение стресса.

Что делает работа Суллоуэй вместе с Кадди? Оба они создают модели для понимания поведения, которые сильно резонируют с читателями всех полос. Однако их исследования не складывались.

Исследования репликации разобрали понятие личности, определяющее порядок рождения. Суллоуэй оценил абсолютные корреляции для открытости при 0,40 и 0,35 для добросовестности. Тем не менее, Дамиан и Робертс, изучая 377 000 американских школьников, нашли абсолютные корреляции на 0,04 за добросовестность. Для корреляции между порядком рождения и личностными чертами Дамиан и Робертс нашли абсолютную абсолютную корреляцию .02. Другими словами, Суллоуэй и все, кто верил в то, что его желание следовать или отмахиваться от условностей, вытекает из порядка рождения, ошибочно … более 20 лет.

Аналогичным образом, коттеджная индустрия Кадди, построенная вокруг власти, рушилась под исследованиями тиражирования, такими как работа Ранехилла и др., Которая старательно воспроизводила каждую процедуру из более ранней методологии исследования Кадди. В отличие от статистически значимых повышений уровня тестостерона Кадди и снижения кортизола, команда Ранехилла не обнаружила каких-либо эффектов между позицией высокой и низкой мощности и уровнями тестостерона или кортизола.

Тем не менее, ни работа Суллоуэй, ни Кадди не получили публичного оглашения, скажем, холодного синтеза.

Почему мы верим маловероятным теориям, даже перед лицом данных? Ответ удивителен – буквально. В 1971 году Мюррей Дэвис определил, что интересные теории удивляют нас, отклоняясь от наших ожиданий, таким же образом, что неожиданность или несоответствие существующим предположениям порождают запоминаемость. В исследовании, проведенном в 2017 году, я также обнаружил, что статьи, нарушающие ожидания, были правильно отозваны участниками до тех пор, как через пять дней после одного краткого ознакомления с коротким абзацем. Напротив, участники, которые получили обыденную визуализацию того же исследования – при удалении всех несоответствий – были в значительной степени неспособны определить смысл исследования после немедленного чтения, не говоря уже о днях позже.

Результат? Мы предпочли бы на удивление, чем в менее привлекательных данных, которые складываются.

Для писателей с данными, которые опрокидывают общие предположения, идет вразрез с здравым смыслом или дает сюрприз – например, стоя на руках с бедрами на минуту может повысить уровень тестостерона и сделать вас более доминирующими – никогда не хоронить удивительные открытия , (Просто будьте готовы к самым неожиданным выводам, чтобы стать предметом исследований по тиражированию.) Вместо этого имейте на первом плане. Вы сделаете свою работу более доступной, чтобы опубликовать ее и охватить более широкую аудиторию.

Рекомендации

Carney, DR, Cuddy, AJ, & Yap, AJ (2010). Силовая постановка: короткие невербальные проявления влияют на уровни нейроэндокрина и устойчивость к толерантности. Психологическая наука , 21 (10): 1363-1368.

Damian, RI, & Roberts, BW (2015). Объединения порядка рождения с личностью и интеллектом в репрезентативной выборке учащихся средних школ США. Journal of Research in Personality , 58: 96-105.

Davis, MS (1971). Это интересно! К феноменологии социологии и социологии феноменологии. Философия социальных наук, 1 (2): 309-344.

Дуглас У. (2017). Удовлетворяют ли парадоксами больше внимания и отзыва? Последствия публикации и распространения научных исследований. Международный журнал делового администрирования , 8: 45-54.

Loewenstein G. (1994) Психология любопытства: обзор и переинтерпретация. Психологический бюллетень , 116: 75-98.

Пеццо М.В. (2003) Сюрприз, защита или смысл: что устраняет предвзятость? Память 11: 421-441.

Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S., & Weber, RA (2015). Оценка устойчивости силовой установки: не влияет на гормоны и толерантность к риску в большом образце мужчин и женщин. Психологическая наука , 26 (5): 653-656.

Sulloway, FJ, 1995. Порядок рождения и эволюционная психология: метааналитический обзор. Психологический запрос , 6 (1): 75-80.

Суллоуэй, FJ, 1996. Рожденный повстанцем: порядок рождения, семейная динамика и творческая жизнь . Книги Пантеона.