Что не так с социальной психологической наукой?

Эта запись в блоге суммирует некоторые из многих и глубоких дисфункций, которые характеризуют психологическую науку, и особенно социальную психологическую науку. Некоторые из них связаны с «поиском под капотом» – техническими, статистическими и методологическими аспектами социально-психологических исследований.

Разве это не невероятно скучно, по сравнению с, например, чтением статей «Шесть способов улучшить секс» или «Пять знаков, которые вы живете с социопатом» – тип статей, которые часто встречаются в других блогах Psych Today. Почему кто-то, кроме ученых, должен заботиться об этом?

Вот почему вы должны заботиться и почему я думаю, что многие из вас найдут это интересным. «Информация» в этих столбцах может исходить из двух мест: профессионального и личного опыта авторов или науки. В отсутствие хорошей науки профессиональный и личный опыт – это все, что нам нужно, и это определенно лучше, чем ничего.

Но золотой стандарт – это наука. Когда наука ведется качественно и дает четкие ответы на какой-то вопрос – вот какой ответ я буду делать каждый раз. И если для вас важен правильный ответ, вы должны попытаться отследить науку.

• Иллюзия Трампа-Голдфингера
• Взгляд в глаза твоей старшей

Вы предпочли бы вести свою жизнь на основе своего 95-летнего прадеда, который курил 3 пачки каждый день, пока он, наконец, не ударил, или на горе доказательств того, что курение ставит вас на гораздо более высокий риск для всех видов ужасных болезней и более ранней смерти? Конечно, это имеет смысл только в том случае, если наука звучит …

Итак, вот взгляд из-под капота …

Спорный фиске-эссе

Это мой второй пост, вдохновленный спорным, даже воспалительным эссе, выдающимся социальным психологом. (Перейдите сюда для первой записи).

В этом эссе, который был сформулирован как призыв к большей вежливости в научной критике, бывший президент Ассоциации психологических наук Сьюзен Фиске набросился на онлайн-критиков психологической науки, назвав их всякими неприятными именами, такими как «хулиган» »И« методологический террорист ».

В этой статье я рассматриваю глубоко дисфункциональный научный контекст, из которого возникло эссе Фиске. Существует военный термин, начинающийся с «кластера» и сопровождаемый четырехбуквенным словом, для операции, в которой несколько вещей одновременно ошибочно ошибочно, когда-то популяризировал Джон Стюарт на Daily Show. Это, возможно, хорошо относится к современному состоянию социальной психологии.

ЧТО ПРОИСХОДИТ С ПСИХОЛОГИЧЕСКОЙ НАУКОЙ?

Кризис репликации

Иногда проблемы социальной психологии называются «кризисом репликации», потому что:

1. Многие из нас считают, что недавно мы обнаружили, что большая часть нашей опубликованной эмпирической литературы не реплицируется. Всевозможные известные, симпатичные и противоречивые результаты были подвергнуты ошибкам репликации. См. «Самые публичные социальные психологические выводы» для более подробной информации. К концу этого поста я предоставляю список – очень длинный список – явлений или находок, многие из которых были довольно знамениты и сделали брызги в основных новостных точках, потому что они были потрясающими !!! которые были подвергнуты неудачным повторениям или другим источникам сомнений.

2. Однако в социальной психологии нет даже консенсуса относительно того, что «считается» успешной или неудачной репликацией. Например, когда Open Science Framework (OSF) проводила многосайтовые попытки репликации многих социальных психологических исследований, они оценивали репликацию различными способами и в зависимости от критериев составляли от 25% до 50%.

Гилберт и др. (Gilbert et al., 2015) утверждали разные стандарты и пришли к выводу, что почти 85% реплицируются.

Симонсон (2016) утверждал, что оба были неправы.

Я не собираюсь «решать» эту проблему; мой главный смысл здесь в том, что социальные психологи не могут даже согласиться с тем, что считается репликацией. Пока мы, как область, не достигнем какого-то консенсуса по этому вопросу, мы * будем сводиться к бесконечным внутренним ссорам о том, что тиражирует, а что нет, и что все это значит.

* И под «мы» я имею в виду социологов-исследователей. Тангенциально, если у нас нет консенсуса по этим вопросам, мы могли бы подумать о том, чтобы быть более терпимым к мирянам, которые не всегда всегда верят нашим иногда высоким требованиям.

Независимо от того, что думает об исследовании репликации OSF, многие социальные психологи действительно считают, что проблема репликации, и не зря. Многие вещи не реплицируются. Я неоднократно публиковал на Psych Today об этой самой проблеме:

Смотрите мои два блога Единорога (Social Psych Unicorns and Unicorns Social Psych) и мою недавнюю запись под названием «Самые публичные выводы социальной психологии?»). Спойлер: Я сомневаюсь, что ответ «да», но это очень сложно узнать наверняка. И еще труднее узнать, какие выводы в нашей обширной истории публикации исследований, скорее всего, будут надежными и действительными и которые являются полностью ложными, а не полностью ложными, но дико завышенными и которые мы действительно можем повесить наши шляпы.

Однако «Кризис репликации» является неправильным, поскольку он слишком узко связан с неудачными повторениями как угрозой социально-психологической науке. Неудачные репликации представляют собой угрозу и большую. Но…

Кризис достоверности: дисфункции в социальной психологической науке идут по пути за пределами неудачных реплик

Вот краткий выбор дополнительных проблем, которые угрожают целостности социально-психологической науки и как они создают потенциальные, а зачастую и очень реальные проблемы, которые подрывают действительность социальной психологии.

Крошечные образцы . Статистика, подсчитанная с крошечными образцами, граничит с бессмысленными, сопоставимыми со словами: «мы уверены, что температура завтра будет где-то между 10 и 100 градусами по Фаренгейту». Тюремное исследование Зимбардо является, пожалуй, одним из самых известных примеров исследования, учитывая дико интенсивную рекламу, основанную на крошечной выборке из 24 участников.

И вот вот лакомый кусочек, который действительно действительно дурацкий. Недавнее исследование, проведенное научными реформаторами Крисом Фралеем и Симином Вазиром (основоположником Общества по совершенствованию психологической науки), показало, что более престижные и влиятельные журналы социальной психологии – те, которые читают «все» (в поле), и которые огромные факторы воздействия и индексы цитирования – средние размеры меньших размеров, чем менее престижные и влиятельные журналы. Какая разница? Исследования с небольшими образцами дают менее достоверные результаты, чем результаты с более крупными образцами. Вы могли бы подумать, что «лучшие» научные журналы станут гарантами науки высокого качества. Но если бы вы подумали, что вы ошибаетесь (это не значит, что все опубликованное там плохое, только то, что они часто не поддерживали один из наиболее важных и очевидных источников науки, являющихся хорошими).

10 лет назад я бы написал «вы можете меня убить сейчас», однако именно из-за доказательств и пропаганды таких реформаторов, как Фралей и Вазир, на самом деле вещи начинают улучшаться (точно как блог в течение другого дня, но одно простое изменение заключается в том, что многим журналам может потребоваться больший размер выборки).

Непредставительные образцы. Мы часто необоснованно делаем выводы о «людях» на основе участников, которые явно не представляют «все человечество». Обычно они не являются представителями какой- либо известной группы, даже не студентов (они могут быть студентами колледжа, не являясь представителями студентов колледжа так же, как вы можете быть из Айовы, не являясь представителем Айовы).

P-взлом и отсутствие прозрачности . Мы иногда запускаем много статистики, вишни выбираем те, которые говорят то, что мы хотим, а затем придумываем убедительную историю. Это было названо «p-hacking», чтобы уловить идеи, которые намеренно или нет, иногда исследователи «взламывают» свой путь к Святому Граалю «статистической значимости», что обычно необходимо для публикации опубликованной статьи. То есть мы иногда проводим нашу статистику, как лучник, стреляющий стрелой, затем рисует цель вокруг везде, куда стреляет, со стрелой в яблочко. В Garden of Forking Paths отражена идея о том, что существует множество способов анализа данных, и мы сообщаем только о подмножестве, которое дает нам то, куда мы хотим пойти (желательно, публикация в престижном журнале).

Кронизм . Ученые иногда предвзяты в пользу работы своих друзей, нынешних и бывших учеников.

Субоптимальная статистика. Статистика рабочей лошади в большинстве психологии не отвечает на вопрос, о котором обычно хотят получить ученые. Обычно исследователи хотят знать: «Является ли моя теория или гипотеза правильной или, по крайней мере, более прав, чем известные альтернативы?» Статистика, которую большинство из нас использует, ответила на следующий вопрос: «Насколько вероятны отношения или различия, которые я получил, чтобы иметь или еще один (более экстремальный), если нулевая гипотеза истинна? »(нулевая гипотеза обычно утверждает, что в большей популяции нет никакого эффекта или отношения вообще). Если это звучит запутанно для вас, и вы не можете следовать ему, не расстраивайтесь. Это свернуто. Собственно, чтобы прийти к выводу: «Эврика, моя гипотеза подтверждена!» Логика становится еще более запутанной. Это потому, что логику нужно пытать, чтобы заставить статистику выглядеть так, как будто они говорят: «Моя гипотеза подтверждена!», Когда они этого не делают.

Публикации. Журналам и исследователям обычно требуется, чтобы эмпирические исследования дошли до статистического Святого Грааля до публикации («статистическая значимость», ака как «p <.05 » ). Для статистически непосвященных вам может быть интересно, что такое адом p <.05? Это означает, что вероятность того, что эти данные или данные будут более экстремальными, произойдет, если гипотеза нулевого значения будет равна 5% вероятности. «Какова« нулевая гипотеза? ». Гипотеза о том, что никакого эффекта от какого-либо условий эксперимента или вмешательства, или что между двумя переменными нет никакой связи. Так, например, одна «нулевая гипотеза» будет: «Уверенность не связана с производительностью».

P <.05 уже давно интерпретируется как «Эврика, моя удивительная! изменить мир !! гипотеза подтверждена! », и журналы редко интересовались публикацией неподтвержденной гипотезы. Одним из следствий этого является то, что опубликованная литература часто преувеличивает силу социально-психологических процессов и гипотез. Думаю об этом. Если публикуются только «сильные» (p <.05) эффекты, то многие эффекты вблизи нуля не публикуются. Но нам нужно знать о тех близких к нулю эффектах, чтобы выяснить силу изучаемого явления. Но мы не знаем о них, потому что они не опубликованы.

Больше предвзятости публикации . Карл Саган однажды сказал: «Чрезвычайные требования требуют экстраординарных доказательств». Это потому, что что-то необычное вряд ли будет правдой. Чтобы преодолеть оправданный скептицизм по поводу такого требования, доказательства должны быть очень сильными. Социальная психология функционировала почти полностью противоположно: «Чрезвычайные требования требуют минимальных размеров выборки». Это связано с тем, что социальная психология имеет странную культуру оценки «удивительных» и «противоречивых» результатов. Постепенными детьми для этих дисфункций являются печально известные праймисты пожилых стереотипов / ходьба по ходу исследования, которые помогли вызвать кризис репликации, в котором было два эксперимента, «демонстрирующих» этот эффект, каждый из которых состоял всего из 30 участников; и стереотипная угроза, в которой крупнейшее исследование (114 участников) не имело значительного эффекта угрозы стереотипа, но сообщалось в исследованиях с 40 и 47 участниками). Такие выводы рассматриваются как новаторские и креативные, поэтому, вместо того, чтобы проводить исследования с более высокими уровнями доказательств, многие проводят такие исследования для снижения стандартов.

В результате социальная психологическая научная литература может быть поражена удивительным! противоречит здравому смыслу! изменить мир! драматично! результаты , которые в лучшем случае трудно воспроизвести, а в худшем – не совсем. Это научная версия старой поговорки: «Если это звучит слишком хорошо, чтобы быть правдой, возможно, это так». Сколько результатов это описывает? Какие? Никто еще не знает.

Рассказывание и перепродажа . Исследователи часто делают экстраординарные претензии, основанные на очень слабых доказательствах. Моя книга идет на случай после случая, когда самореализующиеся пророчества и другие предвзятости обычно рекламируются как мощные и распространенные, когда на самом деле доказательства показывают, что они слабы, хрупки и мимолетны. Еще один пример – угроза стереотипа, в которой исправление незначительной ситуационной привязанности полностью устраняет различия в разрывах в расовых достижениях.

Подтверждения исследователя подтверждают и сомнительные методы интерпретации. Многие из более ранних поколений психологических ученых (Phds, полученные в 1970-2010 годах) были обучены рассказывать «убедительные рассказы». Исследователи так хорошо рассказывали эти истории, что иногда делают это независимо от того, что говорят данные. В моей недавней статье «Интерпретации и методы» приведен пример после примера (после примера после примера) социальных психологических документов, рассказывающих такие убедительные рассказы, хотя данные не поддерживали эти повествования.

Результаты и исследования черрипика , исследователи часто могут достичь почти любого вывода, который они предпочитают. Альтернативные объяснения часто игнорируются или игнорируются; и часто более жизнеспособны, чем опубликованные объяснения. Иногда социальные психологи заходят так далеко, что утверждают, что некоторые вещи верны без каких-либо доказательств вообще (например, утверждает, что стереотипы неточны, люди – пустой лист, стандартизированные тесты недействительны и т. Д.). Известные исследования часто цитируются по гораздо более высоким показателям, чем неудачные повторения тех же исследований, даже после того, как опубликованы неудавшиеся репликации.

Теории нежити. Некоторые из нас считают, что фальсификация играет центральную роль в науке. Некоторые из нас считают, что научный прогресс отражается в отбросе старых, плохих или субоптимальных теорий с лучшими и более эффективными. Однако практически невозможно объявить какую-либо теорию в социальной психологии «неправильной» или фальсифицированной. Некоторые возможные причины этого причудливого состояния научных дел можно найти здесь: «Оскорбительно ли объявлять какое-то психологическое требование неправильным?»

Ошибки состояния. Психологи иногда действуют так же, как те из нас, у которых есть назначенные стулья, а назначение Лиги Лиги требует большего голоса, внимания и доверия – и доступа к публикациям и источникам финансирования – чем те из нас, кто не имеет такого статуса. Но наука должна быть о качестве данных, а не о статусе авторов.

Политические предубеждения. В течение долгого времени социальная психология была чем-то вроде клуба для людей с левыми политическими взглядами. Это заставило некоторых ученых уйти с поля, и оно исказило выводы в политизированных темах.

СОЦИАЛЬНАЯ ПСИХОЛОГИЧЕСКАЯ НАУКА UNSOUND?

Короткий ответ … никто не знает. Вероятно, некоторые из них; некоторые из них, безусловно, прекрасны, и в настоящее время у нас мало или вообще нет консенсуса относительно того, как выяснить, что именно. На самом деле это, вероятно, неправильный вопрос. Правильный вопрос или, по крайней мере, лучший вопрос: какие социально-психологические находки звучат и действительны, а какие нет?

Каждый из следующих результатов или выводов был когда-то широко принят. Все они теперь находятся под облаком, потому что они либо:

• Известный быть ложным, преувеличенным или непреднамеренным
• Тема с неудачными репликациями
• Или их выводы сомнительны, или, в противном случае, в сомнении.

Если вы не знакомы ни с одной из этих областей исследований, вы можете узнать больше:

1. Темы со ссылками на мои блоги или документы, которые их обсуждают.

2. Для не связанных между собой тем вы можете выполнить поиск Google по этой теме + «репликация» или «отказ репликации» или «воспроизводимость», и вы обычно сможете найти исходный результат и источник сомнений.

• Стереотипная угроза
• все виды исследований грунтовки
• сверху вниз влияет на восприятие
• массовое смещение в восприятии футбольной игры
• сила ситуации
• климатические скептики верят в причудливые теории заговора
• консерваторы отрицают экологические реалии
• консерваторы более предвзяты, чем либералы вообще
• самореализующиеся пророчества являются мощными и повсеместными
• стереотипы являются основой по умолчанию и мощными искажениями восприятия человека
• стереотипы являются неточными
• (экспансивные невербальные позы оказывают чрезвычайное влияние на уверенность и то, как другие воспринимают вас)
• так называемые «мудрые» вмешательства увеличивают достижение или явку избирателей
• демографические пробелы являются результатом дискриминации
• оценки выше 0 в предвзятой версии теста неявной ассоциации являются неэластичными
• неявные предвзятые меры предсказывают дискриминацию лучше, чем конкретные меры
• Стереотипы приводят к их собственному подтверждению
• истощение эго
• гипотеза обратной связи с лицом
• himmicanes
• большие доли социальной нейронауки
• и, вероятно, намного больше, чего я не перечислял.

Противоречия в том, что рулоны социальной психологии рушится вокруг наших ушей, вызвали страсти ученых. Это иногда праведные страсти, иногда даже самодовольные и оскорбительные страсти, о том, что такое наука, что значит, кто делает хорошую науку, а кто нет. Это научный контекст, из которого возникло эссе Фиске с его гражданскими обвинениями в незаживаемости.