Проблема с контрольными условиями в исследованиях по изучению

Их стало трудно обнаружить, потому что мы так привыкли к ним. Но они там. И они беспокоятся. Вот две проблемы с тем, как мы проводим исследования в области образования и обучения.

Проблема 1: двойное слепое

Вчера, Boot, Simons, Stothart и Stutts (2013) опубликовали статью под названием «Всепроникающая проблема с Placebos in Psychology» (или см. Замечательное резюме Эд Юн). В психологических исследованиях люди обычно знают, в каком состоянии они находятся. Если одна группа играет в видеоигры, а другая нет, группа видеоигр знает об этом. Проблема в том, что они могут рассчитывать на улучшение когнитивных способностей. Если они на самом деле лучше, вам нужно задаться вопросом: были ли это видеоигры или ожидания?

Ожидания имеют значение. Вот почему есть плацебо, поэтому каждый ожидает улучшения. Фактически, более крупные таблетки плацебо обладают большими эффектами, чем более мелкие, потому что люди ожидают, что они будут более эффективными. И ложная хирургия (да, это означает, что делать кого-то открытым, ничего не делать, а затем шить их обратно) оказывает еще больший эффект, чем таблетки, потому что люди ожидают от него большего.

• Хотите избежать плохих решений? Это все о обрамлении
• Гипотеза непрерывности сновидений: более сбалансированная учетная запись
• Lame Blame
• Имеет ли опиоидный маятник для лечения боли слишком сильно?
• Узнаваемая подлинность

Правильное медицинское обследование гарантирует, что испытуемые слепы к той группе лечения, в которой они находятся. Каждый человек принимает таблетку, и никто не знает, содержит ли их пилюлю лекарства или нет. В двойном слепом исследовании субъекты и исследователи слепы к тому, кто в каком состоянии, потому что ожидания исследователей также могут влиять на субъектов.

Очень сложно проводить двойные слепые исследования в исследованиях по обучению и обучению, потому что, в отличие от таблетки, один вид обучения не похож на другого. Субъекты знают, какое лечение они получают. Это фундаментальная проблема, которую трудно, а иногда и невозможно избежать. Boot et al. (2013) дают полезные предложения; главное – измерить ожидания, если вы не можете их избежать!

Проблема 2: Реалистическое сравнение

• Краткая история исследования мечты
• Проектирование для диетического сезона
• Криминальные максимумы и минимумы: не «беспорядок настроения»,
• Аутизм, раннее вмешательство и желание играть в Бога
• Насколько мягкий «мягкий когнитивный ущерб»?

Вы бы взяли новый препарат, если бы это было лучше, чем плацебо? Если бы вы были врачом, вы бы порекомендовали его своим пациентам? Это зависит от решающего вопроса: лучше ли препарат, чем нынешняя стандартная практика? Если уже что-то лучше, конечно, это не лучший выбор. См. Рис. 1.

Во многих психологических и образовательных исследованиях мы не задаем этот важный вопрос. Часто мы сравниваем новое лечение с состоянием контроля, которое не является ни эффективным, ни стандартным – в основном, это плацебо, а затем, когда лечение лучше, мы рекомендуем его (см. Рис. 2).

Это вторая проблема с условиями контроля в обучении и образовании. Он обобщен в недавней статье Корнелла, Рабелло и Клейна (2012), и на самом деле ее легче решить, чем первая, что делает ее в некотором смысле более смущающей.

Позвольте мне подробно остановиться на своем собственном исследовании: я часто рекомендовал, чтобы люди проводили больше тестов в школе и дома, потому что это лучший способ учиться, чем перечитывать. Но учителя почти никогда не просят студентов просто перечитывать то, что они читали раньше, – это условие контроля в подавляющем большинстве экспериментов по тестированию.

Более того, мы знаем, что повторное чтение не очень эффективно. Было бы более целесообразно рекомендовать больше тестирования, если бы мы могли сначала продемонстрировать, что тестирование лучше, чем те действия, которые учителя фактически внедряют на ежедневной основе. Является ли тестирование лучше, чем проведение групповых дебатов? Или неформально задавать студентам вопросы? Или такие методы, как допрос?

В медицине мы не принимали бы новое лечение, если бы не знали ответы на такие вопросы. Исследование, у которого был большой толстый вопрос, вместо текущего лечения, как на рисунке 2, не разрезало горчицу. Почему обучение и образование должны быть разными?

Найдите меня в Твиттере.