Попытка увидеть предметы для средств

Мой коллега Kalif Vaughn и я придумали исследовательскую идею в этом месяце. Мы провели первое исследование и получили отличные данные. Готов поспорить, если бы мы продолжали идти и подавали бумагу, она бы проплыла без проблем. * Но была проблема. Посмотрите, сможете ли вы это заметить.

Мы представили участникам проблемы удаленного ассоциированного теста (RAT). Например,

  • Сэндвич-гольф-нож
  • Блокировка конечной линии
  • Бросок боковой атаки
  • Вилка Темный Человек

Есть четвертое слово, которое соответствует каждому из этих трио (ответы ниже).

Мы дали нашим участникам 10 секунд подумать о ответе. Затем мы либо сказали им ответ, либо дали им еще 30 секунд, чтобы обдумать, а затем сказали им ответ. Вопрос состоял в том, будет ли 40 секундная группа превосходить 10-секундную группу на тесте, который произошел несколько минут спустя? Мы очень рады этому выводу, потому что ответ был отрицательным.

Меня действительно интересует, влияет ли успех поиска на обучение. В этом году я опубликовал исследование, в котором показано, что попытка поиска очень важна, но насколько успешна она, кажется, не имеет значения (Kornell, Klein, & Rawson, 2015). Таким образом, мы рассмотрели наши новые данные и увидели: участники получили больше правильных ответов (на первом этапе) в 40-секундном состоянии, чем 10-секундное условие. Но (как я уже сказал), они не сделали лучше на последнем тесте. Таким образом, мы сделали очевидный вывод: опять же, попытка найти ответ была выгодной, но успех был неактуальным.

Определить проблему? Это в последнем абзаце. Вот еще одна информация. На этапе исследования 40-секундное состояние делало примерно на 10 процентных пунктов лучше, чем 10-секундная группа. Другими словами, только 10% предметов были преобразованы из поисковых отказов в поисковые успехи.

Теперь давайте представим, что успех поиска имеет значение, и это переводит на 15-процентную разницу в обучении. 15% выгодно для 10% предметов? Если успех поиска имеет значение, это приведет к колоссальной разнице в 1,5 процентных пункта при окончательном тестировании. Слишком мало, чтобы обнаружить.

Поэтому у нас все еще есть интересное открытие (мы все еще активно работаем над этим проектом). Но на основании данных до сих пор было бы неправильно делать выводы о влиянии успеха поиска. По какой-то счастливой случайности мы подумали об этой проблеме. Но меня беспокоит, как легко пропустить. Вот две подводные камни:

  • Чрезмерная зависимость от значимости. Просто потому, что эффект значителен (10% -ное увеличение производительности во время фазы исследования) не означает, что мы можем забыть о размере эффекта и просто предположить, что он трансцендентен и должен иметь большие эффекты по линии.
  • Агрегация вместо индивидуализации. Заманчиво думать о эффектах как монолитах, которые влияют на все предметы. Это в основном то, что мы делаем, когда делаем сюжет. Но иногда эффект распространяется только на подмножество элементов. В этом случае успех поиска применяется только к 10% предметов. (Мы сделали аналогичный вывод о важности дезагрегации предметов при изучении долгосрочного эффекта тестов в Kornell, Bjork и Garcia, 2011.)

Это как бы противоположность «не может видеть лес для деревьев». Проблема здесь в том, что люди не видят: «не вижу предметов для средств».

Ответы: клуб, мертвый, широкий, подача

Увидите меня на Твиттере.

* Ха-ха, да. Правильно.

Рекомендации

Корнелл, Н., Бьорк, Р. А., Гарсия, М. А. (2011). Почему тесты, как представляется, предотвращают забывание: модель бифуркации на основе распределения. Журнал памяти и языка, 65 (2) , 85-97. DOI: 10.1016 / j.jml.2011.04.002

Kornell, N., Klein, PJ, & Rawson, KA (2015). Поисковые попытки усиливают обучение, но успех поиска (по сравнению с неудачей) не имеет значения. Журнал экспериментальной психологии: обучение, память и познание, 41 (1), 283-294. DOI: 10,1037 / a0037850