Психология все еще в кризисе

Еще не время перестать говорить о нашей проблеме с репликацией.

Может быть, мир постоянно улучшается, или, может быть, мы просто так думаем. Конечно, ученые, похоже, поддерживают «историю вигов», идею о том, что исторические перемены связаны с неизбежным и неумолимым прогрессом. Взять, к примеру, то, как они говорят о своей работе.

В 1974 году один из 50 рефератов журнала использовал дополнительные дескрипторы для описания исследований. К 2014 году такая похвала была отмечена один раз в каждых шести тезисах, увеличившись почти на 900 процентов. Сам по себе термин «инновационный» стал более распространенным на 2500% – без каких-либо явных признаков того, что описанное исследование было в 25 раз более инновационным. Похоже, что ученые чувствовали, что их результаты постоянно улучшаются с каждым годом.

Однако десятилетия между 1974 и 2014 годами были почти такими же, в течение которых беспокойство по поводу качества публикуемой науки достигло лихорадочного предела. Опасения по поводу неуместного предвзятости публикации, недостаточной выборки и многих других проблем заставили наблюдателей поставить под сомнение положение опубликованных исследований. Появилось несколько знаковых работ, таких как классика Джона П.А. Иоаннидиса «Почему большинство опубликованных результатов исследований являются ложными».

Кажется, что чем больше мы узнаем о слабости нашего исследования, тем сильнее мы о нем думаем. Эта когнитивная привычка, безусловно, беспокоит. Мы должны помнить об этом всякий раз, когда нам говорят, что проблемы психологии репликации решаются. К сожалению, мы не можем просто избавиться от этих проблем.

• Какой лучший сайт знакомств или приложение для использования?
• Флирт Успешно, показывая творческий путь со словами
• Фильм «Три одинаковых незнакомца»
• Единственный, самый мощный способ разрешить пару конфликтов
• 5 способов низкой уверенности в себе могут вызвать эгоизм

* * *

На самом деле наука, в том числе психологическая, может становиться все хуже и хуже, а не все лучше и лучше. Когда ценность сотрудника университета учитывается в долларах гранта и цитатах, то, что хорошо для отдельного исследователя, не обязательно хорошо для их исследования. Одержимость количеством продукции делает суровость дезадаптивной и вместо этого способствует естественному отбору плохой науки.

Учитывая недавний всплеск интереса СМИ к сомнительной репутации психологии, легко создать впечатление, что наше кризисное состояние является чем-то новым. Фактически, наша область уже несколько десятилетий сталкивается с несколькими переплетенными кризисами:

• Левша, Эволюция мозга, Сон и Мечты
• 13 способов сказать, что ты действительно влюблен
• Обозначаем ли мы нормальное развитие как патологию?
• Марк Хантер противостоит своему нерожденному призраку
• Определение «пола» администрации Трампа – не наука

• теоретическая фрагментация ( парадигматический кризис )
• редукционизм ( кризис измерения )
• небрежный подход к значимости и величине эффекта ( статистический кризис )
• тенденция сосредоточиться на крошечной полоске человеческой популяции ( кризис выборки )
• преждевременный оптимизм относительно прогресса, достигнутого психологией, как в фундаментальной науке, так и в решении ее проблем воспроизводимости ( кризис преувеличения , если хотите).

В моей новой книге на эту тему « Психология в кризисе» я систематически анализирую каждый из перечисленных кризисов и несколько других.

Я многому научился, написав « Психологию в кризисе». Например, я узнал, что всякий раз, когда кто-то упоминает слово «кризис», будут люди, которые спрашивают: «Кризис? Какой кризис? »Всегда найдутся люди, отчаянно желающие избавиться от кризиса.

В психологии публичные столкновения между жгутиками и их коллегами с розовыми оттенками неизбежно привели к тому, что один из авторов заголовков заметил, что психология сейчас «в кризисе из-за того, находится ли она в кризисе», литературный расцвет, несущий в себе нечто большее, чем кольцо правды.

* * *

В последнее время психологи добились значительных успехов в ужесточении работы, и это важно признать. Тем не менее, на мой взгляд, мы должны серьезно избегать оптимизма. Мы пока не можем подвести нашу охрану.

Это потому, что, несмотря на наши усилия по улучшению ситуации, мы мало или ничего не сделали для решения фундаментальной силы, которая питает наши проблемы с репликацией, – порочных стимулов, которые в первую очередь культивировали естественный отбор плохой науки.

В конце концов:

• Журналы по-прежнему отдают предпочтение статистически значимым результатам по сравнению с сообщениями о нулевых эффектах, тем самым поощряя небрежные методы, такие как p- взлом и ‘HARKing’ (выдвигая гипотезы после того, как результаты станут известны), и увековечивая эффект ящика файлов. Они делают это, потому что это делает их более успешными. Рынок жаждет статистической значимости; журналы питают этот голод для того, чтобы они сами могли выжить.
• Цитаты (и h- индексы) по-прежнему регулярно используются для оценки результатов отдельных исследователей, даже если все знают, что такие меры ничего не говорят о (и поэтому не способствуют) качеству исследований . Фактически, метрики часто указывают на противоположность качества – действительно плохие исследования регулярно становятся вирусными. Эта настойчивость с использованием цитат в качестве меры мастерства исследователей – среди прочего, среди комитетов по вопросам владения недвижимостью и грантовых агентств – поощряет нарезку салями, беспристрастную самоцитацию и другие разрушительные привычки, которые служат искажению исследований.
• Несмотря на множество осуждений, Факторы воздействия журнала остаются основной единицей валюты, по которой журналы оцениваются. Неблагоприятные последствия JIF очень хорошо документированы. Они оказывали давление на редакторов журналов, чтобы они закрывали глаза на нарезку салями и цитирование. Они также поощряют издателей держать газеты «в печати» или «в режиме онлайн до печати» в течение нескольких месяцев (если не лет) подряд, еще больше затуманивая конечную запись результатов исследований в данной области. Конкурентная форма погони за критериями, а не искреннее стремление максимизировать качество науки – вот то, что движет поведением в этой отрасли. Его кризисы не уйдут в ближайшее время.
• Несколько проблемных авторских соглашений остаются беспрепятственными. Многие из них относятся к бесплатной загрузке (предоставление авторских прав, если это не гарантируется). Опять же, это возможно благодаря произвольным соглашениям и отраслевой целесообразности. Например, в стандартных резюме и личных профилях (например, в Google Scholar) показатели отдельных авторов не контролируются тем фактом, что большинство статей по психологии являются командной работой. Таким образом, для данной статьи каждому соавтору приписывается то, что он выпустил одну полную публикацию (а не одну долю) и считается, что привлек все ее цитаты (а не только часть). В любом другом контексте производительности труда выходные данные команды будут логически считаться одним выходом. Он никогда не будет учитываться как выходные данные, умноженные на число членов команды . В психологии, как и в других областях науки, своего рода бесконечная масштабируемость стимулирует обширную свободную загрузку авторства («почетное» или «призрачное» авторство все еще остается вопросом), создавая скользкий наклон к общему презрению к этике исследований. (Подумайте: если можно игнорировать этические нормы авторства, то какие еще этические нормы можно игнорировать?) Такая небрежность является полной противоположностью строгости и губительно питает плохую науку во всех ее формах.

* * *

Источник: Джесси Оррико / Stocksnap

Предварительная регистрация исследовательских протоколов, несомненно, поможет справиться с проблемой файла-ящика. Тем не менее, в целом, регистрация исследований остается необязательной, а не обязательной. Психологи могут легко проводить исследовательские программы без предварительной регистрации.

Когда дело доходит до срока пребывания или продвижения по службе, лишь немногие университеты (если таковые имеются) предоставляют бонусные баллы за публикацию предварительно зарегистрированных исследований, в отличие от традиционного незарегистрированного вида. Таким образом, хотя зарегистрированные отчеты важны для хорошей науки, стимулы, необходимые для поощрения ученых к их созданию, остаются крайне слабыми.

Мне не известны полные статистические данные по этому вопросу, но я был бы удивлен, если бы предварительно зарегистрированное исследование составило хотя бы 1 процент от того, что будет опубликовано в журналах по психологии в этом году. С нуля не так давно, что представляет собой прогресс. Но давайте пока не будем увлекаться празднованием нашего смелого нового мира.

* * *

Неспособность разрушить искаженную архитектуру вознаграждений, которая формирует исследования в области психологии (и других наук), гарантирует, что мы продолжим видеть ту же динамику, которая в течение прошлого столетия привела нас к нашему нынешнему беспорядку.

Утверждения о том, что мы исправили наши проблемы (или, что более тонко, что мы их переоценили), контрпродуктивны, потому что они уводят нас в необоснованный оптимизм. Они заставляют нас отвести взгляд от приза.

Вместо этого мы должны приложить усилия, чтобы сфокусироваться на бритве. Давайте не будем праздновать конец кризиса преждевременно. Давайте не поддаваться отрицанию кризиса или увязнуть в оспаривании предпосылки. Давайте попробуем избежать штопора когнитивного диссонанса, оптимистического самообмана и неожиданного подкрепления, которое вызвало кризис в первую очередь.

В противном случае мы можем оказаться в еще более глубоком типе беспорядков, полностью связанных с нашим собственным творчеством, – в кризисе по поводу того, находимся ли мы даже в кризисе по поводу того, находимся ли мы в кризисе.