Сегодняшний блог в соавторстве с Розой Цао, доктором философии. (сокращенно RC ниже, [email protected]). Доктор Цао получил степень доктора философии. в области нейронауки из Массачусетского технологического института в 2010 году, изучая роль кровотока в обработке информации в головном мозге. Затем она завершила постдокторскую стипендию с доктором Дэниелом Деннеттом в Университете Тафтса, сосредоточившись на фундаментальных проблемах философии философии и философии нейронауки. В настоящее время она является доцентом Университета Индианы, проводя исследования по философии разума, философии неврологии, философии биологии и когнитивной науки.
Шон Ло (SL): Тема, представляющая интерес сегодня, – это роль репликации в науке, в частности наук о мозге, и роли тиражирования научных результатов применительно к медицинской практике. Это тема, которая за последние несколько лет подвергается большему воздействию, как в научном сообществе (здесь, здесь), так и в прессе (здесь, здесь и здесь).
Научные результаты начали развивать общественную репутацию ненадежного. Результаты крупных клинических испытаний часто обращаются вспять в более позднем исследовании, к удивлению многих. Чаще всего базовые лабораторные данные, особенно те, которые считаются впечатляющими с самого начала, не могут быть воспроизведены. В области психологии и когнитивных наук эта проблема стала особенно пагубной и противоречивой.
Для решения этих проблем Национальный институт здравоохранения приступил к разработке формальных механизмов финансирования для тиражирования, что было очень редко в прошлом.
Каковы ваши мысли как философа, работающего на пересечении философии науки и философии разума?
Роза Цао (RC): Я думаю, что репликация переоценивается. Не поймите меня неправильно, это своего рода минимальный стандарт, и, конечно же, мы должны беспокоиться о снижении размеров эффекта в психологии. Но в конце концов, важно то, показывают ли эксперименты то, что они намерены показать. Увеличивая размер выборки, успешные репликации повышают достоверность фактических данных. Но это не поможет нам, если исходная установка была дефектной в дизайне, и она не исправит неверное истолкование данных.
Репликация предназначена для проверки реальности. Было ли это находкой? Более цинично, он может обнаруживать как преднамеренное мошенничество, так и невиновную желаемую манипуляцию результатами. Если две группы с разными стимулами, тем не менее, производят одни и те же данные, тогда мы можем чувствовать уверенность в том, что результаты не были искажены стимуляторами эксперимента, сознательными или бессознательными. Но репликация – это не единственная и, конечно, не обязательно лучшая проверка реальности. Золотым стандартом в биологии является механизм. Четкий биологический механизм, который дает эффект предсказуемым образом, значительно повышает доверие к нашим результатам.
SL: Интересное наблюдение. Проблема репликации имеет два аспекта: существует некорректная наука, а затем есть плохие ученые.
RC: Призыв к тиражированию интерпретируется как обвинение в совершении правонарушений, и мы видим, как люди злятся и закрывают ряды. Биссел, например, утверждает в Nature, что безответственно призывать к репликации и обвиняет неудачи в репликации на некомпетентность в потенциальных репликаторах. Я сочувствую ее разочарованию – кто-то говорит вам, что ваш рецепт не работает, потому что они некомпетентные повара. С другой стороны, это говорит о том, что многие опубликованные выводы настолько хрупки, что мы не можем заключить их очень много (не говоря уже, скажем, обобщить результаты мыши на человеческие).
Но иногда результаты не выходят за невинные причины. Мы знаем, что данные всегда шумные, и чередование, неправильное толкование, плохой дизайн и т. Д. Являются общими. Репликация сама по себе не будет делать хорошую работу при выявлении этих проблем или их решении.
Иногда полезность репликации лучше всего иллюстрируется «развенчанием» реплик: более поздняя группа находит те же данные, что и предыдущая группа, но с другим набором гипотез. Это может быть самым мощным видом развенчания, но, строго говоря, это успешная репликация, где мы находим одни и те же данные, но понимаем, что она заслуживает другой интерпретации, чем первоначально изданная. Таким образом, проблема не является репликацией, это интерпретация .
SL: Каковы некоторые из новых разработок в философии науки, которые имеют отношение к нашей нынешней дискуссии?
RC: Философия науки в старые добрые времена, когда физика была доминирующей, была одержима законами. Теперь, когда биологические науки восходящие, философы начали уделять больше внимания другим путям, которые мы добиваемся научного прогресса. Они утверждают, что то, что мы ищем, не законы без исключений из вида, найденного в физике, а скорее контекстуализированные обобщения, где мы знаем, как что-то работает, и оно работает большую часть времени, но не всегда.
Эти обобщения воплощены в описаниях механизма, с помощью которого возникает какое-то интересное явление (см. Machamer, Darden and Craver paper [1]). Это позволяет нам связать новое интересное явление с более простыми частями и функциями, которые уже поняты или, по крайней мере, частично поняты в более широких контекстах. Если мы знаем, что представляют собой части и как эти части в свою очередь работают, мы можем не только делать обобщения, но также можем оценить, насколько хороши эти обобщения и какова их область действия, насколько далеко они выходят за рамки исходного экспериментального контекста. Таковы ситуации, которые нам действительно волнуют. Если эксперимент отлично воспроизводится, но только в лаборатории, то в чем польза медицина или наше понимание познания «в дикой природе»?
SL: Важное значение имеет много разных уровней анализа. Медицина достаточно широка, что, не зная механизмов подробно, мы все же можем делать важные и полезные выводы и учитывая, что наш бюджет на исследования ограничен, как определить приоритетность финансирования для изучения механизма по сравнению с систематической категоризацией и анализом феноменологии, которые являются дорогостоящими, становится критическим.
RC: Я все еще считаю, что репликация в медицине действительно заменит второй класс. Когда – как это часто бывает в медицине – мы еще не знаем, как что-то работает, мы можем согласиться на повышенную уверенность в том, что он работает. В идеале мы хотим знать, как медицина выполняет свою работу. Но мы соглашаемся на эффективное лечение, которое часто работает для большинства людей, даже если мы точно не знаем, как это сделать.
Возможно, вы могли бы сказать, что в медицине мы не можем игнорировать феноменологию. Если препарат, как представляется, вылечивает рак, мы должны верить, что он это делает, и получить его там, даже если мы не знаем, как это работает. Но не зная, как это может даже работать, то есть полное отсутствие даже потенциального механизма, является доказательством prima facie против результата, особенно если оно статистически слабо.
SL: Возможно, критика в отношении экспериментов по социальной психологии не должна заключаться в том, что они не реплицируются, но что они недостаточно фокусируются на систематизации механизмов и делают более строгие основополагающие теории.
RC: Или, может быть, в чем-то вроде социальной психологии, слишком сложно искать механизм. Мы просто недостаточно знаем о том, как биологические части (клетки, передатчики и т. Д.) Способны создавать сложные социальные формы поведения. Но, возможно, это веские основания сомневаться в полезности экспериментов по социальной психологии за относительно узко очерченными явлениями, которые они исследуют напрямую. Для почти любого поля нам нужно напоминать себе, что экспериментальные утверждения часто не обобщаются так широко, как хотелось бы, и являются наиболее надежными, если они ограничены фактическим явлением.
SL: Реальная проблема, которую я вижу для исследований как в фундаментальной, так и в механической биологической науке, а также в прикладных исследованиях предметных предметов, включая клинические испытания, заключается в том, что число гипотез растет экспоненциально. Мы живем в эпоху -omics, когда сигналы, полученные из сотен тысяч генов и областей мозга, могут быть измерены и проверены на корреляции одновременно. Мы исходим из предположения, что редукционизм работает. Например, знание о мозговой цепи, вовлеченной в зависимость, может помочь нам облегчить алкоголизм. Но какой из миллионов узлов в цепи имеет значение? То, что я вижу, является самой сложной проблемой, стоящей перед нами сегодня. Репликация является, в некотором роде, реликвией эпохи науки о кустарной промышленности, когда идеи могут быть собраны из одной гипотезы и одного эксперимента.
RC: Это правда, что мы сталкиваемся с распространением как гипотез, так и данных. Поэтому, возможно, нам не нужна репликация в областях, где теперь у нас огромные размеры выборки. Но эти огромные размеры образцов согласуются с гипотезами, которые имеют небольшие размеры эффекта – статистически значимые, но не полезные в конце. Геномика еще не научила нас тому, как работают болезни, или как их лечить. Это дало нам чрезвычайно сложную картину того, какие маркеры связаны с другими маркерами. Это еще одна причина идти за механизмом. Выявляя конкретный основной нейронный путь или набор вовлеченных молекул и рецепторов, мы делаем шаг ближе к получению понимания человеческого поведения.
SL: Ответ от машинного обучения. Сложные данные могут не требовать понимания всего основного механизма для создания полезных, прогностических продуктов. Алгоритмы могут обнаруживать механизмы, которые люди нелегко формулируют. И даже если у нас нет всех механизмов, мы все еще можем имитировать полезные функции: автомобиль Google является прекрасным примером – мы очень мало знаем о том, как люди механически управляют автомобилем. Механизм уменьшает размерность и повышает прогностическую производительность.
Чтобы вернуться к исходной точке, если мы думаем о научном методе как байесовском процессе обучения, пока «размер выборки» (т. Е. Доказательство) увеличивается, мы асимптотически приближаемся к «правильному ответу» (правильный механизм) , Правильный ответ может быть просто сложной моделью, обученной большому набору данных, а не отдельным статистическим гипотезам.
Но если есть систематические предубеждения (например, смещение публикации), это уже не так. Таким образом, даже при репликации и сложном моделировании большая часть научных результатов все еще может быть довольно предвзятой. Возможно, наиболее важным является осознание и решение этих проблем.
RC: Наука должна быть самокорректирующейся. Это еще одна причина для выхода за пределы репликации. Когда новые эксперименты основываются на более ранних (вместо того, чтобы просто повторять их), мы получаем вторую проверку, являются ли ранние результаты надежными. Наиболее распространенные методы являются наиболее правдоподобными. Вот эта великая старая статья Яна Хэкингга, где он говорит: «Если вы можете распылить их, тогда они настоящие» [3].
Это интервью было проведено и отредактировано с E-mail.
СПРАВКА
[1] Думая о механизмах, Питер Мачамер; Линдли Дарден; Карл Ф. Кравер, Philosophy of Science, Vol. 67, № 1. (2000) с. 1-25.
[2] Воспроизводимость: риски репликации. Мина Биссел, Природа 503, 333-334 (21 ноября 2013 года) doi: 10.1038 / 503333a
[3] «Мы полностью убеждены в реальности электронов, когда мы собираемся строить – и часто достаточно успешны в строительстве – новые виды устройств, которые используют различные хорошо понятые каузальные свойства электронов, чтобы вмешиваться в другие более гипотетические части природы «Ян Хэкинг (1982). Экспериментация и научный реализм. Философские темы 13 (1): 71-87
