Когда я начал учиться в школе, мой советник продолжал говорить забавные вещи. Она расскажет о том, как новый набор данных соответствует «истории», о которой рассказывал ранее опубликованный документ. Или о создании наших выводов, как будто мы были художниками. Я продолжал думать, подождать, разве мы не ученые? С чем связаны истории и обрамление?
Я думал, что научная статья является объективным резюме результатов исследований. Я решил, что данные должны говорить сами за себя. Данные не заботились о том, кто их собрал, поэтому кто их собрал, не должен влиять на сказанное в опубликованной статье в журнале. Это кажется мне забавным наивным.
Данные не говорят сами за себя. Я был на нескольких болезненных лабораторных встречах, где новый студент-градир попытался позволить людям говорить сами за себя. Это уродливо. Даже интересные данные, без интерпретации, скучны до такой степени, что они бессмысленны.
Поэтому ученые рассказывают истории. Спросите любого ученого. Если вы не расскажете историю, которую вы не публикуете. Конечно, нет ничего плохого в рассказах, если они не являются художественными.
Иногда, однако, повествование становится слишком креативным. Это особенно актуально в корреляционных исследованиях, которые обычно имеют в них зияющую дыру: они не определяют причину. Чтобы рассказать хорошую историю, часто приходится спекулировать (то есть составлять что-то) о причинности. Взгляд исследователя неизбежно влияет на рассказ, который они рассказывают.
Недавно это ударило меня: у этих историй всегда есть счастливые окончания, по крайней мере, в образовании. Вы знаете эти голливудские фильмы о белом учителе, который приходит в бедную школу, и сначала она сталкивается со своими учениками из числа меньшинств, но, в конце концов, они поднимают друг друга в воспитательной и моральной форме? Корреляционные исследования в образовании одинаковы: новости хороши, проблема может быть решена, мораль поднята, а оптимизм протекает как вода. В корреляторе всегда солнечно.
Оптимизм велик. Но наука – это поиск истины. Правда не всегда хороша. Когда это не так, когда пессимисты правы, слишком большой оптимизм может быть вредным.
Я подумал об этом из-за нового исследования в журнале Psychological Science.
Chen, L., Bae, SR, Battista, C., Qin, S., Chen, T., Evans, TM, & Menon, V. (2018). Позитивное отношение к математике подтверждает ранний академический успех: поведенческие доказательства и нейрокогнитивные механизмы. Психологическая наука. doi.org/10.1177/0956797617735528
Вот краткое изложение, которое вы найдете в пресс-релизе: если ребенок плохо учится математике, это может быть из-за его отношения. Заставьте его чувствовать себя более уверенно в математике, и он начнет лучше.
Давайте посмотрим поближе. В исследовании изучалась корреляция между математическим отношением и математической характеристикой. 240 детей в возрасте 7-10 лет получили батарею тестов, включая две ключевые меры. Один из них – «Позитивное отношение к математике» (PAM), в котором, Chen et al. напишите: «Шесть вопросов измеряли два аспекта PAM, а именно, сильные интересы (например,« Сколько вам нравится математика? ») и самопонимаемые способности (например,« Насколько вы хороши в изучении математики? »).
Второй – решение математических задач. Опять же, по словам авторов, «Дети ответили на 18 простых проблем с добавлением, и экспериментатор записал детское время реакции, словесный ответ и стратегический отчет (Siegler, 1987; см. Рис. 1a). Частота поиска была рассчитана как доля испытаний, в которых ребенок правильно ответил на проблему, используя стратегию прямого поиска. Эта мера, которая, как было показано, коррелирует с более поздними математическими достижениями, служила показателем овладения основными математическими фактами (Geary, 2011).
Были дополнительные меры, включая IQ, рабочую память, тревогу / депрессию и тревогу по математике.
Это корреляционное исследование. Как утверждают авторы в своем предпоследнем пункте: «Мы не могли определить направление причинных влияний между позитивным отношением и математическим достижением из-за поперечного характера нашего исследования (см., Однако, таблицу S10 в дополнительном материале)».
Однако в следующем параграфе они также говорят: «В заключение наше исследование впервые показывает, что ПАМ у детей имеет уникальное и значительное влияние на математическое достижение, не зависящее от общих когнитивных способностей, и что эта связь опосредована MTL ». На самом деле, название статьи« Позитивное отношение к математике поддерживает ранний академический успех: поведенческие доказательства и нейрокогнитивные механизмы ».
Слова «эффект» и «поддержка» являются каузальным языком. Они говорят, что позитивное отношение приводит к успеху математики. Вот почему это отличная новость: измените отношение к ребенку, и вы улучшите его в математике. Таким образом, появляется еще один славный восход солнца в корреляторе.
Это исследование не демонстрирует причинности. Это не предполагает вмешательства. Эти оптимистические выводы не должны приниматься по номинальной стоимости, поскольку существуют другие, в равной степени действительные способы просмотра данных. Вот пессимистический подход к этим выводам.
Во-первых, это правда, что люди часто любят то, что им нравится. Поэтому мы должны ожидать, что будем хороши в математике, чтобы заставить детей нравиться математике. Этого достаточно, чтобы объяснить соотношение отношения к результативности. (Если этого было недостаточно, заметили ли вы, что часть измерения отношения PAM спросила детей, хорошо ли они математики? Как оценки PAM не коррелируют с математикой?)
Другими словами, отношение может фактически не влиять на производительность. Если это так, то изменение отношения ребенка к математике не улучшит его. Это более пессимистично, но все хуже.
Дети очень восприимчивы к тому, насколько хорошо они учатся в школе, а к 10 годам они хорошо разбираются в BS. Если вы скажете, что математика – это весело, и они могут это сделать, но затем они получают низкий балл по математическому тесту, они просто уволят вас как неискреннего. Другими словами, возможно, что вы не можете изменить отношение ребенка к математике, а не наоборот, за исключением того, что они лучше подходят для математики. Поэтому не пытайтесь улучшать математические оценки, изменяя отношения, потому что во-первых, вам придется менять математические оценки.
Теперь давайте сделаем еще темнее. Если у ребенка есть математические способности ниже среднего, они будут стремиться бороться с математикой. Эта борьба повлияет на их отношение. То есть дети, которые плохо разбираются в математике, будут ненавидеть. Фактически, именно сила корреляции в этом исследовании, между эффективностью и отношением, приводит к разрушению молотка у детей, которые плохо себя чувствуют в математике. Это сильная корреляция, а это означает, что немногие выиграют от этой тенденции. Другими словами, это исследование показывает, что очень немногие дети с низкой математической способностью будут когда-либо любить математику (что кажется, анекдотически, правда). Они обречены ненавидеть. (Надеюсь, это заходит слишком далеко. Помните, это рассказ, но это согласуется с данными.)
Различные истории о данных порождают разные заголовки:
Оптимист: «Математическая производительность может быть улучшена путем изменения отношения детей к математике!»
Пессимист: «Математическое исполнение детей определяет их отношение, а дети с низкой способностью обречены ненавидеть математику».
Вот почему это имеет значение. Оптимист собирается инвестировать средства в улучшение отношения к созданию позитивного цикла. Пессимист собирается дать дополнительную математическую помощь детям, которые борется в раннем возрасте, чтобы предотвратить отрицательный цикл.
Когда мы читаем науку, мы хотим услышать правду. Но нам также нравится решать проблемы (например, низкие математические оценки). Дело не в том, что мы хотим, чтобы ученые рассказывали счастливые истории о плохом мире. Мы хотим, чтобы они рассказывали счастливые истории, и мы хотим, чтобы мир соответствовал рассказам, которые они рассказывают. Мы хотим жить в корреляторе. Но мы живем на земле.
Песня говорит, что держится на солнечной стороне, всегда на солнечной стороне. Хороший совет для жизни, но не для науки.
Вот моя страница в Twitter.
Рекомендации
Chen, L., Bae, SR, Battista, C., Qin, S., Chen, T., Evans, TM, & Menon, V. (2018). Позитивное отношение к математике подтверждает ранний академический успех: поведенческие доказательства и нейрокогнитивные механизмы. Психологическая наука. doi.org/10.1177/0956797617735528