О репликации и психологической устойчивости

Насколько устойчивы люди к потере любимого человека, стихийное бедствие, террористическая атака или какой-то другой страшный опыт? Вопрос, очевидно, важен, и в течение долгого времени предполагалось, что ответ был: не очень. Отчасти потому, что клинические популяции преобладали в ранних исследованиях, оказалось, что большинству людей потребовалось много времени, чтобы преодолеть значительные трудности.

Теперь мы знаем, что это не так. Мы знаем это на основе существенной литературы, в которой рассматриваются последствия многих аверсивных событий (от террористических нападений, военного развертывания и массовых расстрелов до тяжелой утраты, хирургии рака молочной железы, травматической травмы и сердечного приступа).

Большинство людей переживает этот опыт. Они могут испытывать некоторые первоначальные относительно короткоживущие дистрессы, но они вскоре возвращаются к своему предыдущему функционированию, остаются в состоянии испытать положительные эмоции и сохранить способность к генеративным переживаниям. Больше, чем кто-либо другой, Джордж Бонанно, профессор Колледжского колледжа учителей, изложил эти возможности в обширном и сильно цитированном теле работы. Он отменил ряд ошибочных предположений относительно уязвимости людей к потенциально травмирующим переживаниям и способам, с которыми мы справляемся с ними.

Тем не менее, недавняя статья берет на себя квадратную цель работы Бонанно, стремясь «тиражировать» две недавние работы, демонстрирующие распространенность устойчивых результатов. (Полное раскрытие: я давний друг и соавтор Бонанно, первого автора на одном документе, а третий автор – с другой. Он не принимал участия в написании этого сообщения в блоге.)

Насколько распространена устойчивость?

Эта недавняя статья, прочитанная в престижном журнале « Перспективы психологической науки» , Фрэнк Инфурна, доцент штата Аризона, и Сунья Лутар, также профессор штата Аризона и известный ученый по вопросам детской эластичности, озаглавлены: Устойчивость к основным стрессорам жизни не так распространена, как считалось »(Infurna & Luthar, 2016). Как он предполагает, они утверждают, что предыдущие оценки устойчивости (и всей литературы по сопротивлению) ошибочны.

Правильно ли они?

Anthony Mancini
Источник: Энтони Манчини

Репликация предыдущих работ по устойчивости

Во-первых, некоторая предыстория: огненная буря бушевала над обычными исследовательскими практиками психологов, что приводило к опасениям, что многие опубликованные результаты исследований на самом деле ложны. Матч, который осветил эту огненную бурю, был теперь знаменитой (или позорной) бумагой на ESP Дарилом Бем, а бензин, превративший его в огонь с пожарной охраной в пяти оповещениях, был широкомасштабным попыткой систематически тиражировать 100 результатов в известных журналах. Отрезвляющие результаты – всего 38%, которые были четко воспроизведены – сделали первую страницу «Нью-Йорк таймс» (без особого подвига) и продолжили создавать противоречия. Смотрите здесь и здесь, чтобы обсудить выводы этого исследования.

Поскольку эти проблемы были выдвинуты на первый план, репликация или способность воспроизвести предыдущий результат, стало причиной célèbre, сделав исследовательских суперзвезд из своих сторонников и более активно продвигая движения к открытости и прозрачности в науке. Мало кто теперь будет сомневаться в том, что эти события были просрочены и благотворны для психологической науки. Тем не менее, в этом контексте бумага Infurna и Luthar имела особый поп и шипение.

В самом деле, их первое предложение захватывает реплик-зенитчика воротниками рубашки: «Признавая важность повторения основных результатов в психологии, мы сосредоточились на повторяющихся утверждениях об устойчивости». Они утверждают, что предыдущие оценки устойчивости были сильно завышены и используют повторный анализ данных, которые мы ранее опубликовали, чтобы поддержать их заявку (см. здесь и здесь). Их результаты показывают, что менее половины из них устойчивы к супружеской травме (47%); около трети – развод (36 процентов); и менее половины к безработице (48 процентов).

Я буду утверждать, что их выводы основаны на:

  • а) сомнительные статистические решения в их анализе траектории;
  • б) особенно сильные выводы из выводов, которые были, по сути, необычайно запутаны;
  • c) неясное оперативное понимание устойчивости.

Я бы также добавил, что их исследование не является повторением, а повторным анализом , как объясняют мои соавторы.

Методы определения устойчивости

Существует множество способов определения уровня устойчивости. Все чаще используемая техника называется латентным анализом траектории (латентное моделирование роста – технический термин). Этот метод объединяет людей, которые с течением времени испытывают трудности в разных моделях реакции, и дает приблизительную оценку устойчивости и других реакций. Эти оценки не идеальны. Но когда анализы выполняются тщательно, они обеспечивают надежный показатель того, сколько людей показывают, например, устойчивость к реакциям ПТСР (см. Здесь).

Infurna и Luthar проводят анализ траектории с использованием больших образцов людей, которые испытали либо потерю супруга, либо расторжение брака, либо безработицу. Они анализируют совпадающую выборку с той, что находится в нашей оригинальной статье, используя ту же технику, но с очень разными спецификациями модели.

Как человек, который сам опубликовал много исследований траектории, я знаю их с технической и концептуальной точки зрения. Для них требуется необычная степень суждения, и ключевой вопрос касается того, как вы разрабатываете свою статистическую модель. Две проблемы должны быть сбалансированы. Не вдаваясь в технические подробности, вам необходимо предоставить общую структуру вашей модели, которая, по вашему мнению, отражает основные данные. Но вы также пытаетесь обеспечить достаточную свободу, чтобы данные не были произвольно принудительно вложены в вашу структуру.

Баланс между наложением структуры и обеспечением свободы является неотъемлемой напряженностью в анализе траектории. Абсолютных правил для устранения этого баланса нет. Но есть два четких критерия, которые помогут вам принять решение. Один из критериев заключается в том, что лучшей моделью является модель, которая лучше подходит для базовых данных (на основе различных мер относительной пригодности). Другим является то, что лучшей моделью является то, что вы можете понять (интерпретировать или согласовать с существующей теорией).

Как Infurna и Luthar провели свой траекторический анализ? В исключительной степени они выбрали свободу в своих моделях. То есть, они отказались от навязывания структуры. Одна из потенциальных проблем такого подхода заключается в том, что базовые данные плохо представлены, и, как результат, модель не очень хорошо подходит. Фактически, они создали модель, которая явно плохо подходит, что намного хуже, чем модель, которую мы разработали. Один из способов оценить это – увидеть, как точно вы классифицируете людей в одну траекторию против других. При анализе утраты энтропия, мера точности классификации, была .58, что считалось бы бедной. Напротив, в наших анализах энтропия была .70.

Они также решили не связывать траектории с значимыми результатами (как это было в нашей оригинальной статье). Это помогло бы пролить свет на их смысл или достоверность. Вместо этого их анализ основывался исключительно на единичной оценке результатов, без каких-либо других данных. В результате траектории были для всех целей и целей бессмысленными (т. Е. Неинтерпретируемыми).

Не верьте мне на слово. Давайте посмотрим на модель, которую они произвели для тяжелой утраты. Ниже вы увидите две разные траектории удовлетворения жизни в течение 11-летнего периода исследования (средняя точка – потеря). По мнению авторов, одна из этих траекторий – это устойчивость, а одна – восстановление. (Данные и синтаксис авторов приведены здесь в Open Science Framework.)

Anthony Mancini
Источник: Энтони Манчини

Простой вопрос: Какая траектория является устойчивостью? Если вы не знаете ответа, вы не одиноки. Я уверен, что нет. Траектории идентичны. Каждый из них показывает аналогичное падение удовлетворенности жизнью во время потери. Каждый из них возвращается к базовым уровням примерно в одно и то же время. Но одна траектория (верхняя) обозначается как упругость, а другая (нижняя) обозначается как восстановление. Фактически, обе траектории следует назвать устойчивостью (отскакивая назад туда, где она начиналась), в результате чего вывод Алисы-в-Чудес, что каждый является устойчивым (100 процентов).

Сравнение результатов траектории

Сравните их результат с решением траектории, которое мои коллеги и я определили в нашей оригинальной статье. Заметим, что наши траектории не только отличительны, но и соответствуют теоретически значимым закономерностям. Мы обнаружили группу, на которую в значительной степени влияет потеря (синяя траектория, 21,3%), что представляет собой продолжительную реакцию горения. Мы обнаружили тот, который испытывает незначительное влияние (черная траектория, 58,7%), которую мы назвали устойчивостью. Мы также обнаружили группу, которая улучшает (зеленая траектория, 5,4 процента), феномен, ранее документированный и, вероятно, верифицированный. Мы также обнаружили группу, которая была низкой работоспособностью до и низкой работоспособности после потери, проявляя небольшую реакцию (красная траектория: 14,6 процента). Я оставляю это читателю, чтобы решить, какое из решений траектории имеет больше смысла.

Anthony Mancini
Источник: Энтони Манчини

Как они превратили наш оригинальный анализ в кашу? Предоставляя слишком много свободы в своих моделях. Я провел и прочел много траекторных анализов, и это стоит отдельно от всех других, с которыми я когда-либо сталкивался. Они делают весомый аргумент от имени этого решения. Но в конечном итоге, когда результат не соответствует любой теории о том, как люди реагируют на потерю и не имеет никакого смысла, в литературе мало поддержки для принятия решения о продвижении вперед в любом случае.

Расширенные и необоснованные выводы

Тем не менее авторы делают необоснованные экспансивные выводы. «В совокупности эти факторы подчеркивают нецелесообразность любых заявлений о скоростях отказоустойчивости». Но название статьи «Устойчивость не так распространена, как мысли»; вы не можете иметь это в обоих направлениях.

Они также утверждают, что устойчивость не отличается от восстановления. «С научной точки зрения наши выводы подчеркивают необходимость пересмотреть не только выводы о том, что устойчивость является модальным ответом на невзгоды, но также и тем, что она отличается от восстановления». Собственные аналитические решения авторов сыграли сильную роль в создании этого результата. Однако эта возможность не признается как потенциальное ограничение их подхода.

Дальнейшие запутывающие вопросы, если последний вывод верен, – что устойчивость и восстановление не различны – тогда первичный вывод о том, что устойчивость не является обычным явлением, является недействительным.

Короче говоря, авторы делают широкие заявления – и радикальные увольнения – на основе результатов, которые трудно понять. Они используют анализы одиночной переменной тяжелой утраты, развода и безработицы, чтобы отклонить выводы, поддерживаемые десятками исследований с использованием разных методов, разных образцов и различных травматических событий.

Научные знания всегда находятся в движении, и остается возможным, что устойчивость не является общей. Насколько я могу судить, этот документ не демонстрирует этого.

Рекомендации

Bonanno, GA (2004). Потеря, травма и стойкость человека: недооценили ли мы способность человека процветать после крайне аверсивных событий? Американский психолог, 59 (1), 20-28. DOI: 10,1037 / 0003-066X.59.1.20

Galatzer-Levy, IR, & Bonanno, GA (2016). Нелегко заставить сопротивляться: комментарий к Infurna и Luthar (2016). Перспективы психологической науки, 11 (2), 195-198. DOI: 10,1177 / 1745691615621277

Галацер-Леви, ИК, Бонанно, Джорджия и Манчини, США (2010). От моделирования Мариантхала до скрытого роста: возвращение к изучению индивидуальных различий в ответ на безработицу. Журнал неврологии, психологии и экономики, 3 (2), 116-125. DOI: 10,1037 / a0020077

Infurna, FJ, & Luthar, SS (2016). Устойчивость к основным стрессовым факторам жизни не так распространена, как мысль. Перспективы психологической науки, 11 (2), 175-194. DOI: 10,1177 / 1745691615621271

Mancini, AD, Bonanno, GA, & Clark, A. (2011). Устранение гедонистической беговой дорожки: индивидуальные различия в ответах на основные события жизни Журнал индивидуальных различий, 32 (3), 144-152. DOI: 10,1027 / 1614-0001 / a00004