« Экспертная оценка » предполагает, что ученые читают работу других ученых и решают, стоит ли ее публиковать. У меня был наставник, который говорил, что наука не была действительно наукой, пока она не была распространена (опубликована или хотя бы представлена на научных конференциях). До тех пор все, что возится в лаборатории, на самом деле не больше, чем хобби, потому что эти усилия не способствовали нашему общему объему научных знаний.
Процесс экспертной оценки является важным компонентом этого, потому что не только что-то считается наукой. К сожалению, среди ученых и критиков науки есть определенное количество «сциентизма», которые одевают свой язык с научными терминами, но на самом деле не занимаются наукой. Это только наука, если есть систематическая попытка значительного вклада в научное знание.
На практике способ определения того, был ли этот бар удовлетворен, заключается в отправке научных отчетов независимым рецензентам для комментариев и критики. Они расскажут о том, как улучшить представление или уточнить детали научного метода. Редко можно увидеть статью в научном журнале, которая не прошла этот обзор и процесс пересмотра.
Хотя это неотъемлемая часть научного процесса, на удивление это тот факт, что ученые часто получают относительно небольшую подготовку. Многие аспиранты, младшие ученые или люди, работающие в малоресурсных учреждениях, не имели возможности получить хорошее представление о как провести научный обзор. Как редактор научного журнала, меня часто спрашивают такие рекомендации для рецензентов и приводят некоторые предложения ниже.
Процесс экспертной оценки основывается на продуманных и строгих обзорах. Поле психологии повезло, потому что большинство исследователей посвящено предоставленным сбалансированным конструктивным рецензентам, которые надлежащим образом определяют основные сильные и слабые стороны рукописи. Предоставление обзоров другим ученым является одним из важных направлений влияния на поле и максимального повышения качества исследований насилия.
В результате есть множество доказательств, которые, вероятно, сильнее во многих отношениях, чем это иногда изображается в средствах массовой информации или политиках. Публиковать научное исследование непросто, особенно в верхнем журнале.
Общие стандарты для процесса обзора
1) Важно поддерживать конструктивный тон и определять сильные стороны, а также недостатки. Независимо от того, публикуется ли рукопись в конкретном журнале, конечной целью процесса экспертной оценки является улучшение общего уровня науки в этой области. Надеюсь, что даже когда рукописи будут отвергнуты, авторы найдут комментарии, полезные для их будущей работы. На протяжении многих лет я получал много благодарных комментариев от авторов, даже за отклонения писем, за полезные советы для продолжения их исследований.
Если вы читаете статью, которая, как представляется, имеет многочисленные проблемы, помните, что многие из них могут быть ранними усилиями студентов или других младших ученых. Мы не хотим пугать их с поля бесполезно враждебными отзывами, мы хотим наставлять людей на достижение высоких научных стандартов.
2) Обычно существует множество приемлемых методологических и статистических решений. Один из первых советов, которые я даю новым рецензентам или новым редакторам, заключается в том, чтобы понять, что другие ученые не должны делать выбор, который вы сделали. Почти всегда существует множество разумных вариантов мер, статистики, ссылок на другую работу. Преимущество поля приносит множество подходов.
Элементы обзора
Повествовательные комментарии. Основная часть обзора – подробные пояснительные комментарии. Если ваш единственный опыт работы с рецензиями выходит из колледжа или класса средней школы, вы, вероятно, удивитесь, насколько подробно описаны комментарии. Обычно есть комментарии от 2 или 3 анонимных обозревателей плюс редактор. В целом, обычно это связано с несколькими типизированными страницами обратной связи. Я получил обзоры для нескольких моих собственных документов, которые добавляют до 9 или 10 страниц с одним интервалом обратной связи!
Типичный индивидуальный обзор варьируется от нескольких абзацев до нескольких страниц повествования, которые включают в себя конкретные отзывы для авторов. Обычно рецензии организуются в порядке рукописи. Некоторые рецензенты предпочитают организовывать свои обзоры с того, что они считают наименее важными комментариями. Любая организация приемлема. Авторы часто считают полезным, если комментарии пронумерованы, поэтому их более легко можно найти в сопроводительном письме, объясняющем, как они пересмотрели рукопись.
Может показаться приятным написать очень короткий, полностью положительный отзыв, но в конечном итоге они не только вредны для науки, но и не помогают ученым. Вы бы не сказали кому-то, что они могут выиграть Уимблдон, который едва может размахивать теннисной ракеткой, и неплохо предположить, что учеба великолепна, если она значительно испорчена.
Повествовательные комментарии передаются авторам.
Общая рекомендация . Имена различных рекомендаций публикации варьируются от журнала к журналу, но обычно в некоторых формах включены следующие категории. Эти рекомендации НЕ МОЖЕТ быть замечены авторами, только редактором:
Принять как есть : Обычно это зарезервировано для рукописей, которые прошли через одну или несколько ревизий. Важно, чтобы рукописи были как можно более сильными, как с точки зрения науки, так и с ясностью представления. Практически каждая рукопись имеет возможности для улучшения. «Принять как есть» – крайне редкое первоначальное решение.
Незначительный пересмотр : Малый, конкретный пересмотр относится к менее обширным изменениям, таким как уточнение или разработка последствий.
Вопросы относительно адекватности обоснования, пригодности мер или обоснованности статистического подхода редко бывают незначительными.
«Малая» также обычно подразумевает, что осталось только несколько оставшихся проблем. Ваш обзор будет скомпилирован с другими людьми, которые могут повысить различные баллы, поэтому, если вы определили много пунктов для решения (конечно, 10 или более), то вряд ли они попадут в категорию «незначительной ревизии».
Основной пересмотр : эта рекомендация подходит для рукописей, которые могут внести весомый вклад, но требуют более существенных пересмотров, чтобы полностью оценить науку. Рекомендации по повторному статистическому анализу обычно относятся к этой категории, поскольку повторный анализ данных может привести к результатам в совершенно другом свете. Это также подходит для документов, которые предоставляют неполные описания одной или нескольких мер, если адекватность операционализации не может быть определена. Однако ни одна из этих проблем не может существенно изменить результаты или интерпретацию данных, и нет никаких признаков серьезной непреодолимой проблемы (такой как проблема с процедурой, которая не может быть «исправлена»).
Отклонить : этот вариант предназначен для рукописей, которые имеют ограниченный потенциал для внесения вклада в литературу. Это может быть связано с непреодолимыми проблемами выборки или измерения (статистические проблемы потенциально более «исправляются»). Это также может быть связано с ограниченным объемом исследования, особенно если это указывает на разрозненный подход к публикации (например, сосредоточение внимания на только 2 или 3 переменных из более крупного набора данных, который потенциально может обеспечить более полный анализ).
Хотя, конечно, ни один автор не надеется получить «отклонение» решения, отказ от него выполняет несколько важных целей. В основном, эти решения помогают поддерживать высокие стандарты научной строгости. Надеемся, что отклонение решений также поможет исследователям разработать будущие исследования или дать им представление о том, как укрепить их представление для другого выхода.
Подготовка обзора
Существует почти бесконечное количество вопросов, которые могут быть подняты в обзоре, но некоторые из наиболее часто упоминаемых проблем включают следующее:
1) Эмпирические документы должны установить, как нынешняя рукопись осмысленно основывается на существующей работе (включая самую последнюю работу) и особенно на том, как нынешняя рукопись сделает новый вклад в поле. Помимо этого, нет необходимости, а также нет места в рукописи, чтобы предоставить подробные обзоры литературы в документе, в котором представлены новые данные.
2) Введение должно дать конкретное обоснование, в идеале основанное на теории, на включение основных переменных, изучаемых.
3) Литературные обзоры и теоретические работы также должны четко указывать, как синтез будет продвигаться в поле.
4) Что касается методологии, одной из наиболее важных проблем является сосредоточение внимания на адекватности операционализации конструкций. Высокое качество измерений важно. Никакие сложные статистические анализы не могут компенсировать проблемные меры или ошибочные процедуры отбора проб.
5) Статистика должна быть четко обоснована и объяснена и пригодна для проверки гипотез.
6) Цель обсуждений заключается не в том, чтобы просто перекрыть результаты, а в том, чтобы сделать выводы в контексте предшествующей литературы, признать ограничения текущего исследования и предложить конкретные последствия для будущих исследований и приложений для профилактики, вмешательства или политики ,
Изучение экспертной оценки и способов проведения хороших отзывов отлично подходит для того, чтобы стать лучшим ученым, а также лучшим потребителем научной информации.
Примечание. Это адаптировано из более раннего рецензента, подготовленного для рецензентов «Психология насилия».