Я указываю в «Глупости дураков», что наука естественно самокорректируется – для того, чтобы эксперименты, сбор данных и способы анализа были полностью ясными, лучше быть реплицированными и, таким образом, проверенными или фальсифицированными, но где люди или социальное поведение , соблазн для быстрого и незаконного прогресса ускоряется очевидной важностью результатов и трудностью проверки их достоверности. Недавно были выявлены случаи преднамеренного мошенничества в изучении познания приматов (Гарвард), польза для здоровья ресвератрола (U Conn) и многочисленные результаты социальной психологии (Tilburg U, Netherlands). Я посвящу некоторые более поздние блоги другим аспектам мошенничества в науке, но начну здесь с очень умного анализа статистического мошенничества и отсутствия обмена данными в документах по психологии, опубликованных в Соединенных Штатах. Эта и связанная с этим работа предполагает, что проблема мошенничества в науке гораздо шире, чем предполагают несколько случаев преднамеренного крупномасштабного мошенничества.
Wicherts и соавторы использовали небольшую заметную особенность всех статей, опубликованных в более чем 50 журналах Американской психологической ассоциации (APA) – авторы этих статей обязуются заключить договор об обмене своими необработанными данными с любым, кто его запрашивает , чтобы попытаться выполнить репликацию. Однако более ранняя работа этой же группы показала, что для 141 доклада в четырех лучших журналах APA 73 процента ученых не делились данными, когда их просили. Поскольку, как они отмечают, статистические ошибки, как известно, удивительно распространены, а статистические результаты иногда неточны, а ученые часто мотивированы принимать решения во время статистического анализа, которые предвзяты в своем собственном предпочтительном направлении, им было любопытно узнать, есть ли любая связь между неспособностью сообщать данные и доказательствами статистического смещения.
Здесь они получили драматический результат. Они ограничили свои исследования двумя из четырех журналов, чьи ученые с большей вероятностью разделили данные, и большинство исследований были сходны с экспериментальным дизайном. Это дало им 49 статей. Опять же, большинство не смогли поделиться какими-либо данными, вместо этого они ведут себя как пародия на ученых. Из опрошенных 27% не смогли ответить на запрос (или два последующих напоминания) – первая и лучшая линия самообороны – полная тишина – 25% обещали поделиться данными, но не сделали этого через шесть лет и 6% заявили, что данные были потеряны или не было времени для написания кодовой книги. Короче говоря, 67 процентов (предполагаемых) ученых избегали первого требования науки – все явное и доступное для проверки другими.
Был ли уклон во всем этом несоблюдении? Конечно, было. Люди, результаты которых были ближе к фатальной точке отсечки p = 0,05, с меньшей вероятностью делились своими данными. В руке они с большей вероятностью совершали элементарные статистические ошибки в свою пользу. Например, для всех семи работ, где правильно вычисленная статистика сделала выводы неосознанными (всего 10 ошибок), ни один из авторов не разделил данные. Это согласуется с более ранними данными, показывающими, что авторам потребовалось значительно больше времени для ответа на запросы, когда несогласованность в их сообщенных результатах повлияла на значимость результатов (где ответы без обмена данными!). Из 1148 статистических тестов в 49 документах 4% были неверны, основываясь только на сводной статистике ученых, и 96% этих ошибок были в пользу ученых. Авторы скажут, что их результаты заслуживают «одностороннего теста» (проще достичь), но они уже настроили односторонний тест, так как они вдвое сократили его, они создали «одностороннее испытание». Или они провели односторонний тест, не упоминая об этом, хотя двухсторонний тест был подходящим. И так далее. Отдельная работа показывает, что только одна треть психологов утверждает, что заархивировали свои данные, остальные делают повторный анализ невозможным почти в самом начале! (У меня есть 44 года «архивированных» данных ящерицы – будь моим гостем). Вероятно, подобная практика связана с распространенным нежеланием делиться данными в других «науках» от социологии к медицине. Конечно, это статистическое злословие, по-видимому, является лишь верхушкой айсберга, поскольку в нераскрытых данных и анализе ожидаются еще больше ошибок.
Глубина проблемы была прекрасно раскрыта в недавней работе Симмонса и соавторов. В главном сообщении принимается домашнее сообщение: «Нераскрытая гибкость в сборе и анализе данных позволяет представить что-либо значимое». И они что-то значат. В одном искусственном исследовании они работали на реальных предметах, им удалось доказать, что прослушивание одного вида музыки изменило дату рождения по сравнению с прослушиванием другого. Как они достигли этого удивительного и очень важного? Вводя возраст отца каждого субъекта в качестве фиктивной переменной, предназначенной для «контроля за вариацией базового возраста среди участников». Вероятно, наиболее распространенной и эффективной уловкой является продолжение сбора данных до тех пор, пока результат не станет значительным, а затем остановится. Авторы имеют большое количество «степеней свободы» в отношении анализа и представления данных, которые дают им широкие возможности – не «массировать» свои данные, как говорят ученые, а создавать случайность из-за случайности.
Так что есть хорошие новости и плохие новости. Плохо то, что существует широкая широта для статистически значимого обмана и много мотивации к производству, а затем скрыть это. Это может действовать в разной степени сознания. В то же время наука самокорректируема, исследования, процитированные выше, являются хорошими примерами. Чтобы наука об истине, особенно в отношении человеческой социальной жизни, нужна наука о неправде, в том числе новые методологии для их разоблачения.
Wicherts, JM, Bakker, M и Mlenar, D. 2011. Готовность поделиться исследовательскими данными вышла за рамки доказательств и качества отчетности по статистическим результатам. PLoS One: 6: 1-7.
Simmons, JP, Nelson, LD и Simonsohn, U. 2011. Ложноположительная психология. Нераскрытая гибкость в сборе и анализе данных позволяет представить что-либо столь же важное. Психологическая наука 22: 1359-1366.
