Я нахожу ваш недостаток в теории (и репликации) Нарушение

Предположим, вы находите себя ответственным за группу детей. Поскольку вы относительно средний психолог, у вас есть относительно странная гипотеза, которую вы хотите протестировать: вы хотите увидеть, будет ли носить красную рубашку лучше, чем дети. Вы думаете, что так оно и будет. Я говорю, что эта гипотеза странная, потому что вы ее вывели, в основном, ничто; это просто догадка. Не более, чем идея «не было бы здорово, если бы это было правда?». В любом случае, вы хотите запустить тест своей гипотезы. Вы начинаете с подкладки учеников, затем проходите мимо них и считаете вслух: «1, 2, 1, 2, 1 …». Все дети с «1» идут на красную рубашку и находятся вместе в команде; все дети с «2» идут и выбирают новую рубашку, чтобы надевать из кучи не красных рубашек. Они служат вашей контрольной группой. Затем две команды играют друг с другом в раунде Dodge Ball. Команда, одетая в красные рубашки, выходит победителем. Фактически, они выигрывают с существенным отрывом. Это должно означать, что ношение красных рубашек заставило студентов лучше уклониться от мяча, верно? Ну, так как вы относительно средний психолог, вы, вероятно, пришли бы к выводу, что да, красные рубашки явно имеют какой-то эффект. Конечно, ваш вывод, по крайней мере, поспешный и, скорее всего, неправильный, но вы всего лишь средний психолог: мы не можем установить слишком высокий бар.

«Переход был успешным (p <0,05)»

Критическая оценка исследования могла бы отметить, что только потому, что дети были рандомизированы для групп, это не означает, что обе группы были одинаково согласованы для начала. Если бы дети в группе красной рубашки были просто лучше заранее, это могло бы повлиять на результат. Также вполне вероятно, что красные рубашки могли иметь очень мало общего с тем, какая команда выиграла. Насущный вопрос здесь, по-видимому, объясняется тем, почему мы ожидаем, что красные рубашки будут иметь какой-то эффект? Это не так, как если бы красная рубашка делала ребенка быстрее, сильнее или лучше ловить или бросать, чем раньше; по крайней мере, не по какой-либо теоретической причине, которая приходит на ум. Опять же, эта гипотеза является странной, когда вы считаете ее основой. Предположим, однако, что носить красные рубашки на самом деле заставляли детей работать лучше, потому что они помогали детям подключаться к некоторым существующим навыкам. Это вызывает несколько очевидный вопрос: почему дети должны красной рубашке использовать этот ранее неиспользованный ресурс? Если быть хорошими в игре, важно социально – ведь вы не хотите, чтобы дразнить других детей за вашу плохую работу – и дети могли бы сделать лучше, кажется, что странно, что они когда-либо делали хуже. Нужно было бы установить какой-то компромисс, выполненный по цвету рубашки, который звучит как нечетная переменная для некоторого когнитивного механизма, который должен учитывать.

Тем не менее, как и любой психолог, надеющийся продолжить свою академическую карьеру, вы публикуете свои результаты в Журнале необъяснимых результатов. «Эффект красной рубашки» становится чем-то классическим, описанным в учебниках «Введение в психологию». Опубликованные отчеты начинают появляться у разных людей, у которых есть другие дети, носят красные рубашки и выполняют различные задачи спортивной задачи относительно лучше. Хотя ни одна из этих статей не является прямым повторением вашего первоначального исследования, у них также есть дети, носящие красные рубашки, превосходящие своих сверстников, поэтому их называют «концептуальными повторениями». В конце концов, поскольку концепции, кажется, в порядке, они, вероятно, используют один и тот же основной механизм. Конечно, эти репликации по-прежнему не касаются теоретических проблем, обсуждавшихся ранее, поэтому некоторые другие исследователи начинают несколько подозрительно относиться к тому, что «эффект красной рубашки» – это все, что он сделал. Часть этих проблем основана на нечетном аспекте того, как работают публикации: положительные результаты – те, которые находят эффекты – как правило, предпочитаются для публикации за исследованиями, которые не находят эффектов. Это означает, что могут быть другие исследователи, которые пытались использовать эффект «Красной рубашки», не смогли найти ничего и, из-за их нулевых или противоречивых результатов, также не смогли опубликовать ничего.

• Помощь травмированным животным с «Объятиями, наркотиками и выборами»
• Свадебная церемония Мэтта и Лизы
• Прирученные и несанкционированные: Близкие встречи вида животных
• 100-летний план
• Почему люди Держите их верованиям Так Упорно?

В конце концов, слово дойдет до вас исследовательской группы, которая пыталась повторить эффект красной рубашки дюжину раз в одной и той же бумаге и ничего не обнаружила. Тем не менее, еще более тревожные, для вас академическая карьера, во всяком случае, их результаты были опубликованы. Естественно, вы чувствуете себя довольно расстроенным этим. Очевидно, что исследовательская команда делала что-то не так: возможно, они не использовали правильный оттенок красной рубашки; возможно, они использовали в своем кабинете другой бренд Dodge Ball; возможно, экспериментаторы вели себя каким-то тонким образом, что было достаточно, чтобы полностью противодействовать эффекту красной рубашки. И снова, может быть, журнал, опубликованный в результатах, не имеет достаточно хороших стандартов для их рецензентов. Здесь должно быть что-то неправильно; вы знаете столько, потому что ваш эффект красной рубашки был концептуально воспроизведен много раз другими лабораториями. Эффект «Красной рубашки» должен быть там; вы точно считаете хиты в литературе. Конечно, вы также не считали пропуски, которые никогда не публиковались. Кроме того, вы считали слегка измененные хиты как «концептуальные репликации, но не слегка измененные промахи, как« концептуальные несогласия ». Теоретически вы до сих пор не смогли объяснить, почему мы должны ожидать эффекта Красной рубашки в любом случае. Опять же, зачем вам что-то важно? На карту поставлена ​​часть вашей репутации.

И эти цвета не срабатывают! (p <0,05)

В несколько связанных новостях были некоторые соленые комментарии от социального психолога Ап Дейкстерхуиса, направленные на недавнее исследование (и охват исследования и журнал, в котором он был опубликован), касающийся девяти неудач по тиражированию некоторых работ, которые Ap сделал для разведки интеллекта, а также работу, проделанную другими специалистами по разведке (Shanks et al, 2013). По-видимому, первоначальная идея прайминга интеллекта заключалась в том, что первопроходцы с комментариями, связанными с профессором, делали их лучше, отвечая на вопросы с множественным выбором, общие знания, в то время как начальные предметы с футбольными хулиганами вызывали у них худшее (и нет, я «Не шучу, это действительно было странно». Разум сам по себе является довольно нечеткой концепцией, и кажется, что первопроходцы думают о профессорах – людей, которые обычно считаются выше в некоторых областях этой нечеткой концепции, – это плохой способ сделать их лучше при многократном выборе вопросов. Насколько я могу судить, не было никакой теории, почему простые люди должны работать таким образом или, точнее, почему люди не должны иметь доступ к таким знаниям в отсутствие какого-то неопределенного, несвязанного простого. По крайней мере, никто не обсуждался.

• Благословения застенчивости
• Красный и День святого Валентина
• Прощание с реальностью? Иллюзия в выборах в 2016 году
• От шимпанзе до шампанских
• Может ли зомби быть избран президентом?

Дело не только в том, что неудачи репликации, о которых сообщал Шенкс и др. (2013), были незначительными, но в правильном направлении, заметьте; они часто, казалось, шли в неправильном направлении. Shanks et al (2013) даже явно искали характеристики спроса, но не смогли найти их. Девять последовательных неудач удивительны в свете того факта, что эффекты начального интеллекта ранее сообщались как довольно большие. Кажется довольно странным, что большие эффекты могут исчезнуть так быстро; они должны были иметь очень хорошие шансы на тиражирование, были ли они настоящими. Шанкс и др. (Shanks et al., 2013) справедливо указывают на то, что многие из подтверждающих исследований праймирования интеллекта могут представлять собой смещение публикации, степень свободы исследователей при анализе данных или и то, и другое. К счастью, соленые комментарии Ар напомнили читателям, что: «обнаружение того, что можно развить интеллект, было получено в 25 исследованиях в 10 разных лабораториях». Конечно; и когда тесто в MLB учитывает только то, что он ударил по мячу во время летучей мыши, его средний уровень был бы ошеломляющим 1.000. Подсчет только хитов, а не промахов, наверняка заставит его казаться, что хиты являются общими, независимо от того, насколько они редки. Возможно, Ап должен был подумать о профессорах больше, прежде чем писать свои комментарии (хотя мне говорят, что думают о том, что простые штрихи разрушают их, так что, возможно, ему не повезло).

Я хотел бы добавить, что были аналогичные соленые комментарии, выровненные другим социальным психологом Джоном Баргом, когда его работа по загрузке старых стереотипов на скорости ходьбы не смогла повторить (хотя Джон с тех пор удалил свои посты). Эти два случая имеют некоторые поразительные сходства: утверждения о других «концептуальных повторениях», но никаких претензий «концептуальных неудач по тиражированию»; личные нападки на авторитет журнала, публикующего результаты; личные атаки на исследователей, которые не смогли повторить вывод; даже персональные атаки на людей, сообщающих о неудачах тиражирования. Более интересно, Джон также предположил, что эффект прайминга был, по-видимому, настолько хрупким, что даже незначительные отклонения от первоначального эксперимента могли свести все дело в замешательство. Теперь мне кажется, что если ваш «эффект» настолько мимолетен, что даже незначительные изменения в протоколе исследования могут полностью его аннулировать, тогда вы действительно не имеете большого значения в отношении важности эффекта, даже если бы он был реальным , Именно такого рода стрельба – «ты-в-футе», «умный» человек, возможно, подумал о том, чтобы уйти от своей иной убедительной истерики.

«Я обработал неспособность реплицировать хорошо (p <0,05)»

Я бы также добавил, для полноты, что исходные эффекты угрозы стереотипов тоже не были воспроизведены. О, и эффекты депрессивного реализма не показывают многообещающего. Это подводит меня к моему окончательному моменту по этому вопросу: учитывая риски, связанные с научными степенями свободы и предвзятостью публикации, было бы разумно принять более надежные меры защиты от такого рода проблем. Репликации, однако, только заходят так далеко. Репликация требует от исследователей, желающих их выполнять (и они могут быть низкой наградой, обескураженными действиями) и журналов, желающих опубликовать их с достаточной частотой (которых многие в настоящее время нет). Соответственно, я чувствую, что репликации может занять только до сих пор решение этой проблемы. Я считаю, что простое, хотя и частичное – решение этой проблемы требует включения реальной теории в психологические исследования; эволюционной теории в частности. Хотя он не прекращает публикацию ложных срабатываний, он, по крайней мере, позволяет другим исследователям и рецензентам более тщательно оценивать претензии, предъявляемые в бумагах. Это позволяет использовать более плохие предположения и улучшать исследовательские проекты, созданные для непосредственного обращения к ним. Кроме того, обновление старой теории и предоставление нового материала является лично ценным предприятием. Без теории все, что у вас есть, – это захват сундуков, некоторые положительные, некоторые отрицательные, и не знаю, что с ними делать или как их следует понимать. Без теории, такие вещи, как просвечивание интеллекта – или эффекты красной рубашки – звучат правильно.

Ссылки : Шанкс, Д., Ньюэлл, Б., Ли, Э., Балакришнан, Д., Экелунд, Л., Сенак, З., Каввадия, Ф. и Мур, C. (2013). Priming Intelligent Behavior: Elusive Fhenomenon PLoS ONE, 8 (4) DOI: 10.1371 / journal.pone.0056515

Авторское право Джесси Марчик