Девять лет назад меня попросили начать писать блог для Psychology Today. Я делала это около шести месяцев, пока была с отцом, сидящим дома. Затем я вернулся на работу на полный рабочий день, и блог просто не показался мне важным. Я иногда что-то писал, но к годовщине я бросил это. Несколько недель назад меня попросили перезапустить блог, и я неохотно согласился.
Нежелание связано с тем, что: 1) Я закрыл все социальные сети, поэтому сомневаюсь, что кто-нибудь прочтет это – я, конечно, не буду это рекламировать И 2) Когда я изначально начал вести блог, «Психология сегодня» сказала, что они будут компенсировать мне количество читателей. У меня было несколько читателей, я проверил цифры и понял, что мне задолжали около 70 центов. Я все еще жду проверки.
Я преодолел # 1, потому что некоторые вещи, которые я хочу сказать в этом (новом) блоге, – это вещи, о которых я просто хочу подумать и записать, поэтому не имеет значения, кто-нибудь их читает, и я написал # 2 просто чтобы я мог сослаться на парня из Better off Dead, который хочет получить его два доллара.
Итак, я вернулся.
Одна из вещей, которая произошла между тем и сейчас, это то, что я стал редактором. Я был назначен помощником редактора по психологии развития , и это должность, которую я занимал последние 8 лет (я официально закончил в конце этого календарного года, но останусь при рассмотрении любых выдающихся работ, которые получили R & R в 2019 году ). Я был младшим редактором журнала Frontiers в психологии развития в течение 3 лет, а также несколько лет был членом редколлегии американского психолога . Я также редактировал книгу о когнитивном развитии в детских музеях (с моим замечательным соредактором Дженнифер Джипсон) и сейчас пишу новую книгу.
Вот что я узнал, редактировать сложно. Ты привратник. Вы тратите много времени на редактирование обязанностей, часто за небольшую награду. Однажды я рассчитал стипендию, которую я получил от APA за мои обязанности по редактированию, основываясь на оценке количества отработанных часов; это было около минимальной заработной платы. Вы сводите с ума многих людей и редко довольны ими – даже когда статьи принимаются, авторы обычно не любят вас, потому что вы заставляете их пересматривать их исходные материалы, иногда более одного раза. И это никогда не заканчивается – рукописи продолжают поступать. Независимо от того, сколько писем о действиях я пишу, кажется, что новые рукописи приходят с одинаковой скоростью. Вы всегда чувствуете, что есть вес, требующий от вас справиться со следующей рукописью – вы частично ответственны за карьеру других.
Но я здесь не для того, чтобы жаловаться (ну, да, но не об этом). Я действительно хочу поговорить о кризисе репликации. Мы все знаем, что это такое – многие опубликованные психологические исследования не повторяются. Есть множество проектов, которые пытаются повторить исследования. Некоторые из них более принципиальны, чем другие, а некоторые имеют больше смысла, чем другие. Некоторые заботятся только о том, что копирует (и, следовательно, их следует считать «наукой»), тогда как другие заботятся о том, почему конкретное исследование делает или не копирует (что, откровенно говоря, является гораздо более научным по своей природе). У меня много мыслей по этому поводу, о которых я расскажу в других статьях, но сегодня я хочу поговорить о том, что, как мне кажется, способствует процессу, но не упоминается так часто.
Психология – любая наука на самом деле – это небольшая область. Мы все знаем друг друга. И мы в основном друзья. В психологии развития есть люди, которые мне нравятся, и есть люди, которых я не очень хорошо знаю, но не так уж много людей, которых я активно не люблю (кроме вас, Рецензент 2 из первой статьи, которую я когда-либо представлял в журнал в 1997 году). , который сказал, что газета была настолько плоха, что я не должен быть ученым – я знаю, кто вы, и вы мне не нравитесь). Но рецензирование должно быть нейтральным. Когда я отправляю рукопись на рецензию, я очень стараюсь убедиться, что рецензии беспристрастны – что между авторами и рецензентами нет личных отношений и что нет конфликта интересов, который мог бы помешать объективности.
Финансирующие агентства (по крайней мере, в США и некоторых других странах) требуют, чтобы вы думали о том, есть ли у вас конфликт интересов с заявителем. Вам не следует рассматривать предложение о предоставлении гранта того, с кем у вас возник конфликт интересов. Это предвзято. Вы не должны пересматривать грант вашего бывшего аспиранта или вашего бывшего наставника, или людей, которые были соавторами в недавнем прошлом – вам нравятся эти люди, и вы можете положительно смотреть на их работу. Вы не должны пересматривать грант ваших близких друзей, или любовников (или бывших любовников), или партнеров (или бывших партнеров), или соавторов. Сотрудник программы в NSF однажды назвал это «тестом на пижаму» – в основном, если вы видели человека в его пижаме, вы не должны рассматривать его предложение. Помимо очевидного, способ размышления об этом выглядит следующим образом: предположим, что вы попали в чужой город – если вы можете позвонить этому человеку и договориться остаться в его доме, вам не следует пересматривать его грант.
Итак, почему это важно. Стипендиат АПА подробно об этом говорит: «В общем, не следует просматривать рукописи коллеги или сотрудника, близкого личного друга или недавнего ученика. Как правило, редактор действий не выбирает лиц, которые будут рецензентами, в которых может существовать очевидный конфликт интересов »(стр. 17-18). Но я не знаю ни одного журнала, в котором авторы должны раскрывать свои конфликты интересов. И что еще хуже, многие журналы поощряют вас предлагать потенциальных рецензентов. Что мешает кому-то играть в систему здесь?
Как редактор действий, я часто видел, как авторы просят соавторов пересмотреть свои рукописи. Я видел, как авторы (как правило, недавние доценты) просят своих консультантов пересмотреть свою рукопись. Я видел, как авторы (обычно штатные преподаватели) просят своих студентов ознакомиться с их рукописями. Обычно это легко поймать, и вы просто отклоняете запрос. Но иногда это не так. Иногда редактор действий не знает, и это ускользает.
Вот наихудший случай, с которым я столкнулся: меня попросили отредактировать статью, написанную аспирантом и наставником. Наставник был штатным преподавателем с большим опытом публикации. Рукопись была достаточно близка в моем районе, чтобы я могла ее оценить, но достаточно далеко от моего района, так что я не знал многих исследователей в этой области. Я спросил 5-6 человек. Некоторые были из списка запросов авторов (который был довольно длинным), некоторые были сгенерированы мной. После недели отправки запросов я никого не получил.
Итак, я вернулся, снова прочитал рукопись, спросил еще несколько человек. Опять же, некоторые были из списка запросов авторов, а некоторые были сгенерированы мной. Человек, которого я спросил из списка запросов авторов, был постдоком. Я не знал постдок, но раньше я спрашивал наставника постдока (который сказал «нет»), поэтому решил, что все будет в порядке. Постдок сказал да (как и несколько других людей, поэтому у меня теперь было много рецензентов).
Я ждал, и отзывы пришли. Два откровенных отклонения, один пессимистичный обзор и повторная подача, и одно принятие. Принятие было от постдока. Мое собственное мнение было довольно негативным, поэтому я начал писать отказное письмо. Но светящийся обзор действительно застрял со мной – я что-то упустил? Знал ли этот человек то, чего не знали другие? Этот человек публиковал больше в этой области? Итак, я посмотрел резюме постдока.
ОК, полное время раскрытия. Я должен был сделать это, прежде чем я спросил постдок. Я должен был внимательно прочитать резюме. Это моя ошибка.
Оказывается, постдок был недавним выпускником той же аспирантуры. И, немного покопавшись, я обнаружил, что постдок и автор аспиранта были близкими друзьями. Старший автор на бумаге был на Ph.D. комитет постдока.
Я написал письмо с отказом. Старший автор затем подал апелляцию. Призывы об отклонении происходят в публикации – это случалось со мной раз в 18 месяцев или около того – кто-то, кто был отклонен, попросил бы возможность повторно подать заявку. Я обычно рад ответить на эти запросы. Это был первый раз, когда я отклонил апелляцию.
Здесь есть два очевидных исправления. Во-первых, не разрешать авторам предлагать рецензентов. Второй – для всех редакторов действий игнорировать эти предложения. Первое может быть слишком большим изменением для людей; второй кажется двуличным. Итак, вот мое исправление: если вы являетесь автором рукописи и отправляете эту рукопись для публикации, вы должны указать, что у вас нет конфликта интересов с любым рецензентом, которого вы рекомендуете. Более того, определение «конфликта интересов» должно быть сформулировано журналом. Мне лично нравятся определения NSF, но я признаю, что это вопрос вкуса. Журналы (на самом деле, издательства) могут решить эту проблему с небольшими затратами.
Кстати, пожалуйста, не думайте, что это проблема, которая может быть решена простым открытым доступом. Журналы открытого доступа имеют точно такую же проблему. Редакторы не часто знают о конфликте интересов рецензентов, и рецензенты могут знать, кто автор, чтобы выявить конфликт. При этом, несмотря на то, что мне не понравился мой опыт публикации с открытым доступом (о котором я напишу в последующих статьях, обещаю), единственное, что мне понравилось в моем опыте редактора Frontiers, было то, что рецензенты и редакторы были требуется подписать свое имя. Это хорошая проверка системы по ряду причин.
Возможно, больше журналов должны требовать этого. Таким образом, даже если редактор действий не может обнаружить конфликт интересов во время проверки, он может быть обнаружен после того, как рукопись принята и сделана заметка. В замечательной книге Скотта Миллера «Методы исследования развития» он проводит различие между «непреднамеренным» и «преднамеренным» смещением экспериментатора – случаями, когда эксперименты могут преднамеренно или непреднамеренно влиять на результаты их экспериментов (см. Стр. 106 издания 2018 г.).
То, что я предлагаю здесь, – это способ выявления непреднамеренных ошибок публикации, которые могут способствовать кризису репликации. Авторы рекомендуют рецензентов, которые им нравятся, а не тех, кто будет объективно оценивать их науку. Хотя у меня нет доказательств того, что в моей истории кто-то действовал неэтично, мне интересно, как часто авторы предлагают людей, которые могут быть не настолько объективными, насколько это возможно.
Я указываю на все это, чтобы не сказать, что от науки следует отказаться или что кризис репликации указывает на большую проблему психологии как науки. Скорее, я указываю на это, чтобы показать, что мы можем добиться большего успеха. Но в этом и заключается научный метод – выяснить, как мы ошибаемся, чтобы приблизиться к тому, что правильно. Если этика является частью науки, то если ученые подумают об этике, это может помочь в их науке.
