Усилия по научной реформе и ее недовольства

Спорные эссе бывшего президентом Ассоциации психологических наук призывают к цивилизованности в научных дискуссиях вдохновило много комментариев от научных писателей во всем Интернете. Здесь вы можете прочитать мой обзор эссе; вы можете прочитать здесь весь очерк.

Поскольку статус-кво в психологической науке включает в себя проблематичные исследования, практики и выводы, а потому, что эссе Фиске, казалось, защищало этот статус-кво, многие из них на переднем крае научной реформы принимали за это исключение. Зачем вам это нужно? Разве не вопрос качества и достоверности научных исследований, которые слишком технические для разумного непрофессионала, чтобы понять? Во-первых, совсем нет. Большинство проблем в психологической науке легко понятны непрофессионалу, и любой, кто предлагает другое, тянет быстрый (см. Ссылку выше). Во-вторых, доверие ко всему, что вы читаете о психологической науке, зависит от качества этой науки. Если это качество является субоптимальным, вы хотите это знать (по крайней мере, если вы являетесь человеком, который интересуется психологией, и вы также предпочитаете верить в то, что на самом деле истинно, а не какое-то неизвестное сочетание змеиного масла, горячего воздуха, плохой практики , и самообслуживания самообслуживания).

Многие писатели-естествоиспытатели рассматривали эссе Фиске как нечто большее, чем призыв к вежливости. Фиске обвинил тех, кто критикует психологическую науку за пределами установленных рецензируемых точек зрения, участвуя во враждебных и неэтичных действиях. Таким образом, многие интерпретировали его как попытку защитить (что многие считают дисфункциональным) статус-кво в психологической науке и защитить его от оправданных критических замечаний.

Вот некоторые из того, что я считаю лучшими, самыми резкими комментариями к эссе и научной реформе Фиске в целом:

• Brain Changer 3: с небольшой помощью от наших друзей
• В защиту мужчин
• Создание комнаты для всего: Часть 2
• Предотвращение хаоса развода
• Свободная воля – это иллюзия, так что?

TAMLER SOMMERS (VERYBADWIZARDS.COM, EPISODE 99, обратите внимание, что это подкаст, и вы можете найти цитату во втором сегменте, которая начинается примерно через 20 минут):

«Этически она означает то, что сохраняет статус-кво и установление на месте … С точки зрения аутсайдера это немного напоминает:« Вы, люди вне клуба, не можете подвергать сомнению наши методы, даже если они объективно сомнительны. Вы должны пройти через нас, чтобы сделать это, и мы должны одобрить любые критические замечания, которые вы делаете о нашей методологии и наших практиках ».

АНДРЕЙ ГЕЛЬМАН (ЧТО ПРОИСХОДИЛО ЗДЕСЬ, ЧТО ИЗМЕНЯЕТ WINDS). Весь пост Гельмана длинный, но мастерский, и я призываю вас прочитать все это. Вот несколько выдержек:

• Не требуйте извинения!
• Делают Спящие Пилюли Работы, Заставляя нас Забыть Бессонницу?
• Статус разнообразия сотрудников полиции влияет на их восприятие
• Воображаемые друзья и интерактивные технологии
• Унижение и мученичество в Жасминской революции

«Рассказ о том, что Кадди, Нортон и Фиске совершили кучу ошибок данных, – это слишком плохо, но такие вещи случаются, – а затем, когда им указывали ошибки, они отказались пересматривать что-либо. Их материальная теория настолько открыта, что она может объяснить практически любой результат, любое взаимодействие в любом направлении.

«И поэтому авторы утверждают, что исправление ошибок» не меняет

заключение статьи "и смешно, и слишком верно. Это смешно, потому что одна из ключевых претензий целиком основана на статистически значимом p-значении, которого больше нет. Но утверждение верно, потому что реальный «вывод статьи» не зависит от каких-либо его деталей – все, что имеет значение, состоит в том, что где-то есть что-то меньшее, чем 0,05, потому что этого достаточно, чтобы сделать публикацию, утверждает о «распространенности и настойчивости стереотипа пожилых людей» или о том, что они хотят опубликовать в тот день.

Когда авторы возражают, что ни одна из ошибок не имеет большого значения, это заставляет вас понять, что в этих проектах данные практически не имеют значения ».

«… она работает в мертвой парадигме. Парадигма, которая должна была быть мертвой в 1960-х годах, когда Майл писал обо всем этом, но который после Симонсона, Button и др., Носек и др., Наверняка мертв сегодня. Это парадигма открытой теории, публикации в ведущих журналах и продвижение в популярной и деловой прессе, основанная на результатах «p менее .05», полученных с использованием изобилия ученых степеней свободы. Это парадигма теории, которая, по словам социолога Джереми Фриза, «более вампирична, чем эмпирическая, неспособна быть убитой только данными.

«Fiske выражает озабоченность по поводу карьеры своих друзей, карьеры, которые могут быть повреждены публичным прохождением их исследовательских ошибок. Просто помните, что для каждого из этих людей могут быть три других молодых исследователя, которые делали осторожную, серьезную работу, но затем не собирались за работу или продвижение сливы, потому что было слишком сложно конкурировать с другими кандидатами, которые неряшливой, но яркой работы, опубликованной в Psych Science или PPNAS. Это происходит в обоих направлениях.

«Фиске раздражает социальный медиа, и я это понимаю. Она сидит на вершине традиционных СМИ. Она может опубликовать статью в Наблюдателе APS и получить все это обсуждение без необходимости проведения экспертной оценки; она имеет право утверждать статьи для престижных Трудов Национальной Академии Наук; работа сама и коллеги-коллеги представлены в национальных газетах, на телевидении, в радио и даже на разговорах Теда, или так я слышал. Слайд-медиа – друг Сьюзен Фиске. Однако в социальных сетях она не контролирует ситуацию. Это должно быть разочаровывающим, и как успешный практик традиционных средств массовой информации (да, я тоже опубликовал в научных журналах), меня тоже может раздражать, когда новички обходят традиционные каналы публикации. Люди, такие как Фиске и я, тратят свою профессиональную жизнь на создание небольшого состояния монеты в виде публикаций и цитат, и это больно видеть, что это обесценилось, или думать, что в обращении есть другой тип писем, которые могут купить вещи, которые наши деньги в старой школе не могут ».

«Позвольте мне заключить с ключевым несогласием, которое у меня есть с Фиске. Она предпочитает модерируемые форумы, где критика делается наедине. Я предпочитаю открытое обсуждение. Лично я не являюсь поклонником Twitter, где ограничение пространства, похоже, вызывает частые, часто состязательные обмены. Мне нравятся блоги и комментарии в блогах, потому что у нас достаточно места, чтобы полностью объяснить себя и дать исчерпывающие ссылки на то, что мы обсуждаем ».

И тут был этот комментарий убийцы к сообщению Гельмана и эссе Фиске человеком, который только идентифицировал себя как «Плуки» (с которым я связался и получил разрешение на цитирование в полном объеме):

PLULKY'S BULLSEYE (Наука – это метод, а не сообщество):

Ключевая проблема с Fiske заключается в следующем: «В конечном счете, Наука – это сообщество, и мы все вместе вместе».

Это просто неправильно, и неправильно в том, что приводит к тому, что вы критиковали. Наука – это не сообщество, это метод.

Я не очень хорошо знаю ваше поле, но я хорошо знаю политику. Первичная проблема чтения

Письмо Фиске состоит в том, что, если ему не было рассказано о контексте и предпосылке, его можно было бы легко ошибочно принять за слабую политическую защиту групп интересов разновидностей, написанных по-лоббистам. Характер словесности, тональности, ответственности-взрослого или неручно-детского характера, неназванных неудачников беспорядков, беспроигрышного сравнения с терроризмом и ложного утверждения о том, что у него нет личной доли в борьбе, являются стандартными риторическими костылями политического хаки, и это должно быть смущающим для научной области, что тот, кто, по-видимому, весьма выдающийся в этом, будет говорить так. Это действительно не очень хорошо для науки.

«Очевидно, что наука – это то, что практикуют люди в сотрудничестве, вокруг которых естественно сформируется сообщество, но важнейшим элементом авторитета и легитимности предприятия является и должно быть то, что все институциональные механизмы должны быть направлены на противодействие естественному человеческому тенденциях клики, карьеризма и т. д. и постоянно подвергаться анализу за их эффективность при этом. Например, цель предоставления полномочий, как правило, заключается в том, чтобы защитить практику науки от махинаций политики и позволить людям делать такие вещи, как признаться, что они потратили впустую более 10 лет, преследуя призрак, не теряя при этом своей работы. Необходимо сделать некоторые уступки человеческой природе, но Наука и ее практические работники должны всегда придерживаться позиции, что истина важнее любой репутации или карьеры любого ученого.

«Основная проблема с определением науки как« в конечном счете … сообщества »заключается в том, что сообщества обычно не ценят правду о благосостоянии своих членов (в материальном или эмоциональном смысле). Функциональная цель сообщества заключается в том, чтобы обеспечить поддержку, защиту и проверку своих членов. Сообщества, чья заявленная цель является альтруистической, требуют очень сильных обязательств как индивидуально, так и институционально, чтобы избежать коррупции, и даже с этими обязательствами борьба с коррупцией вечна и никогда не полностью успешна. Учитывая описание исследовательских интересов доктора Фискэ, она должна знать это лучше, чем кто-либо другой ».

ТАЛ ЯРКОНИ (В ПСИХОЛОГИИ ПРОБЛЕМА НЕТ "ТОН")

«Нет ничего плохого в общем тоне нашего дискурса в психологии на данный момент.

«Даже если что-то не так с тоном нашего дискурса, было бы крайне контрпродуктивно тратить свое время на разговоры об этом в неопределенных общих чертах.
Страх, связанный с тем, что его научные открытия разорваны другими, не является необычным или патологическим; это на самом деле совершенно нормальное и здоровое чувство для ученого.
Призывы к справедливости не заслуживают серьезного внимания, если только аргумент не ставится на уровне всего научного сообщества, а не просто суб-сообщество, к которому это относится ».

«Ни один исследователь не имеет права руководить успешной карьерой без проблем и без каких-либо серьезных сомнений в их выводах. Также исследователи ранней карьеры, такие как Алек Билл, чья статья о том, что плодородные женщины с большей вероятностью будут носить красные майки, подверглись серьезной критике Эндрю Гельмана и других. Прискорбно, что резкая публичная критика может нанести ущерб репутации и перспективам работы тех, чья работа была подвергнута критике. И это также верно, что это может быть совершенно несправедливым в том смысле, что, как правило, нет особых причин, по которым эти конкретные люди должны подвергаться критике и страданиям за это, в то время как другие люди с очень похожими телами работы не пострадают и защищают работу с плюмами или Акции."

Но вот что: то, что не кажется справедливым на уровне одного человека, часто совершенно справедливо или, по крайней мере, неизбежно, на уровне совершенно сообщества. Как только один масштабируется от какого-либо одного человека и, вместо этого, исследует область психологии в целом, становится ясно, что рынок труда и репутации в первом приближении – игра с нулевой суммой. Как заметил Гельман и многие другие люди, для каждого человека, который не устроился на работу, потому что их статья была подвергнута критике с помощью «репликатора», могли быть три других кандидата, которые не получали работу, потому что их гораздо более методологически строгая работа слишком долго, чтобы публиковать и / или не могли собраться в приколе к PR-захватывающей работе, которая выиграла лотерею работы.

«… идея о том, что публикация, опубликованная в одном из наших журналов, должна считаться без предубеждения, потому что это произошло первым, в то время как последующая критика или повторение этого вывода должны быть уценены из-за личных мотивов или других предубеждений, откровенно, бредовые , Пристрастия повсюду; у каждого есть их. Хотя это не означает, что мы должны игнорировать, это означает, что мы должны либо (а) вызывать все предубеждения одинаково – что вообще невозможно или, по крайней мере, крайне непрактично, или (б) признать, что это не так продуктивный, и что лучший способ устранить предвзятость в долгосрочной перспективе – это ущемлять предвзятости каждого друг друга и позволить логическому аргументу и эмпирическим данным решать, кто прав ».

NEUROSKEPTIC (ПО "DESTRUCTO-CRITICISM")

«Предположим, что Фиске прав, и что некоторые люди, притворяясь, что обсуждают науку, фактически вовлечены в целенаправленное личное преследование отдельных ученых. Если это так, что нам делать?

«На мой взгляд, мы должны называть имена (или псевдонимы!): Мы должны привлекать к ответственности правонарушителей со ссылкой на конкретные примеры их атак. В конце концов, эти люди (Fiske говорит) являются порочными хулиганами, которые ведут себя серьезно неэтично. Если это так, они заслуживают внимания.

«Но Фиске этого не делает. Она говорит: «Я не называю имена, потому что талисманы с применением адомного убийства уже наносят ущерб нашей области». Но это не манера объявления hominem, указывающая на случай издевательств или притеснений и сказать «это неправильно». Напротив, это будет стоять за порядочность. Если террористы действительно находятся среди нас, нам нужно знать, кто они.

«Еще одна причина, по которой я думаю, что Fiske (и кто-то другой в подобной позиции) должен назвать имена, заключается в том, что он помогает рисовать границы. Фиске признает, что не все блоггеры плохи: «Не все самозваные критики ведут себя неэтично». Итак, кто этичные? Это помогло бы узнать некоторые примеры «хороших» критиков, потому что тогда мы могли бы знать, где Фиске рисует границу, отделяющую хорошую критику от плохих. Как бы то ни было, денонсации Фиске легко читаются как нацеленные на подавляющее большинство тех, кто обсуждает науку в Интернете.

«В общем, я хочу знать, кто Fiske называет« деструктокритиком », поэтому я могу судить о точности метки. Я один?

НЕЙРОХАМБЕРЫ (МЕТОДОЛОГИЧЕСКИЙ ТЕРРОРИЗМ И ДРУГИЕ МИФЫ)

«Дело в том, что мы находимся в разгар борьбы за власть, и это не между« деструкто-критиками »Фиска и их жертвами, а между реформаторами, которые отчаянно пытаются улучшить науку и авангард традиционалистов, которые так часто, смотри вниз с их тронов, чтобы бросить журнал на дороге. По мере того, как количество неудачных копий продолжает расти, новое поколение хочет разного рода науки, и они хотят этого сейчас. Они требуют большей прозрачности в практике исследований. Они хотят быть вознаграждены за проведение высококачественных исследований независимо от результатов. Они хотят, чтобы исследователи были подотчетны за качество работы, которую они производят, и за выбор, который они делают в качестве публичных профессионалов. Все это очень разумно, конструктивно и в интересах общества ».

НЕЙРОНЕУРОТИКА (ДЕНЬ ПАЛЛ ХИТ ЛИЦО)

Я сочувствую идее о том, что критика болит, что мы, возможно, должны помнить о том, насколько насмешливо и легкомысленно мы относимся к нашей критике, и что существует уровень радости, связанный с тем, как репликационные неудачи публикуются. Но есть также много радости, с которой широкомасштабные публикации публикуются и представлены на переговорах TED. Если вы хотите, чтобы первый остановился, возможно, мы также должны были окончательно положить конец муравейнику.

URI SIMONSOHN (ТРИ ИДЕИ ДЛЯ ГРАЖДАНСКОЙ КРИТИКИ)

Я думаю, что журналист-дань является более точной метафорой, чем информация-полиция. Подобно журналистам и, в отличие от полицейских, (академические) блоггеры не имеют физических или юридических полномочий, они просто проводят анализ обмена свободной речью и необязательные мнения, которые ценят люди, которые предпочитают читать их (в отличие от нас не вправе игнорировать полицию). Как и журналисты, власть блоггеров зависит от того, насколько интересны, правильны и убедительны.

Важно отметить, что, в отличие от журналистов, большинство академических блоггеров имеют аналогичную подготовку по предмету как оригинальные авторы, чья работа они обсуждают, и они также посещают свои социальные и профессиональные круги. Таким образом, блоггеры – элитные журналисты: более квалифицированные и более стимулированные, чтобы быть правыми

БЕНЖАМИН КИРКУП (комментатор на блоге Simplystatistics.org, Статистический Витриол)

«В биомедицине люди борются за свою жизнь и свое бессмертие. Те, кто пытается сохранить стабильный доход через гранты, имеют спину к стене. Те, кто опубликовал документы, которые они считают своим наследием в рулонах и анналах науки, возможно, еще больше поставлены на карту.

«В поведенческой и социальной психологии есть еще кое-что. Читая некоторых статистиков, они говорят о том, как все эти бессознательные предубеждения следует воспринимать как небольшие эффекты, поэтому выводы являются заметными и неожиданными и, вероятно, ошибочными (химманы, ураганы, посадки первого класса на самолете, без разницы). Но это не соответствует всему. Люди, которые продвигают эти теории, искренне верят, что эти предубеждения являются ОГРОМНЫМИ и представляют собой новую форму первородного греха, которая диктует индивидуальные человеческие действия и организационные и институциональные структуры; что он должен измеряться, признаваться, принадлежать, учитываться, раскаиваться и оплачиваться в умерщвлении и покаянии. Сказать, что эффекты следует считать маленькими, – это в основном богохульство. Теперь, чтобы напасть на исследование как необоснованное, особенно на основе байесовских приходов, которые отказываются видеть все наши действия, основанные на этом первородном грехе, – это конфликт основного мировоззрения, религии. Идентичность. Это конфликт типа «хайдт». Как все знают, атакуют чьи-то средства к существованию, их наследие – и их религию?

«Таким образом, ядовито в ретроспективе самоочевидно. Вопрос в том, следует ли или как отделять статистику от него. Это потребует изучения альтернатив, вопроса о науке как способа познания и т. Д. Ставки, очевидно, высоки ».

НИЖНИЕ ЛИНИИ

1. Я сомневаюсь, что онлайн-присутствие реформаторов науки будет сдерживаться эссе Фиске.

2. Это, на мой взгляд, полезно для психологической науки, которой они не будут.

3. Fiske, несомненно, прав, что некоторые онлайн-дискурсы среди ученых являются нелогичными. Невосприимчивость – это плохо. Я полностью согласен с тем, что гражданский дискурс должен поощряться, а дискриминационный дискурс не поощряется.

4. Недискриминационный дискурс среди ученых предшествует новым онлайн-средствам массовой информации и обычно происходит в самых выпусках ее эссе, защищенных (например, экспертная оценка).

5. Многие ответы на эссе Фискэ показывают, что проблемы и дисфункции в проведении психологической науки вышли из старой системы и вряд ли будут решены без серьезной реформы этой системы.

6. Но в пантеоне проблем, связанных с психологической наукой, маловероятность является наименьшей из ее забот.

Многие считают, что научная психология настолько пронизана проблематичными практиками, что стало трудно или невозможно узнать, что на самом деле истинно, а что нет. Именно эта старая система породила этот кризис. У усилия по реформированию науки нет всех ответов – но, по крайней мере, они ищут их.

Попытки подавить такую ​​критику являются глубоко дисфункциональными.