Скотт К. Марли
В этом году президентская тема раздела «Воздействие образования до К-Грея» – это значит, что наша область хочет положительно повлиять на все группы учащихся. Четкий способ повлиять на образование со всеми группами населения – это решение проблем, которые были идентифицированы в литературе как «кризис тиражирования». Красота кризиса репликации – это широкие возможности для значительного роста в области педагогической психологии. Моя позиция заключается в том, что преподаватели часто не реагируют на внедрение доказательной практики из-за соображений доверия, связанных с возможностью тиражирования и связанной с этим проблемой обобщаемости. Существуют систематические подходы к решению этих двух соображений, которые часто игнорируются производителями и потребителями образовательных исследований. Но, во-первых, я даю конкретный пример из моих дней школьных учителей, который иллюстрирует проблемы доверия, с которыми сталкивается образовательная психология, если в качестве области она будет иметь отношение к лидерам образования «Pre-K to Gray». Затем я объясняю, почему «требуется больше исследований», но, что более важно, я предлагаю, чтобы что нужно, это более достоверное исследование по всем подразделениям, методам лечения, результатам и настройкам.
В начале моей карьеры я был учителем четвертого класса в сельской американо-индийской оговорке. Дети из сообщества были в основном учащимися второго уровня из малообеспеченных домохозяйств. Школы района были определены как невысокие или неудачные, и в ответ школы должны были принять меры, приняв «основанную на доказательствах практику». Хотя я являюсь сторонником преподавателей, использующих научные доказательства для принятия решений, я считаю важным для производителей и потребителей признать ограничения литературы по практике, основанной на фактических данных (см., например, Marley & Levin, 2011). Без сильного понимания этих ограничений человек, вероятно, станет жертвой двух форм «принятия желаемого за действительное», что может привести к необоснованному оптимизму в эффективности образовательных интервенций.
Первая форма принятия желаемого за действительное – это убеждение, что одно вмешательство может решить очень сложные образовательные проблемы со всеми группами населения. Это убеждение совпадает с идеей о том, что вмешательство может быть доказано как эффективное, а не подтвержденное доказательствами, свидетельствующими об эффективности вмешательства. Доказательство предполагает идеальное знание эффективности вмешательства, тогда как акцент на лучших доказательствах признает, что знания всегда являются неполными и могут быть изменены (см. Соответствующую дискуссию, Guba & Lincoln, 1994). Вторая форма принятия желаемого за действительное – это убеждение, что результат является результатом единственной познаваемой причины (например, «плохое достижение чтения связано с инструкцией <вставить наименее любимый вкус»). Согласно желаемым мыслителям, все, что нужно сделать, – это найти волшебную пулю, атаковать одну причину с ней, и проблема решена. Это просто! Мы должны сделать это сейчас! Почему мы не начали ?! Но решения образовательных проблем почти никогда не бывают очевидными или легкими.
Существует много причин, по которым педагоги скептически относятся к ценности образовательных исследований, некоторые из которых могут обратиться к образовательным психологам. Потенциальное объяснение, которое можно решить, заключается в том, что преподаватели могут неофициально признать, что исследования в области образования имеют проблемы с достоверностью (Hsieh et al., 2005). Например, после того, как меня назвали «невысокой», моя школа бронирования была исправлена так называемыми экспертами, которые никогда не учились в сельской оговорке. Их основная рекомендация заключалась в том, чтобы школа приняла вмешательство, основанное на фактических данных. В то время у меня был смысл контекста, в котором собраны доказательства поддержки предлагаемого вмешательства, существенно отличался от контекста, в котором я преподавал. Другими словами, обобщаемость вмешательства, основанного на фактических данных, вызывает сомнения. Обобщаемость результатов исследований – наряду с соответствующей проблемой реплицируемости – вполне может быть, почему «больше исследований необходимо» в целенаправленных контекстах теперь более, чем когда-либо. Однако добавим эту общую фразу, найденную в конце эмпирических документов, чтобы она читала «необходимы более надежные исследования». Репликация и обобщаемость – это два показателя достоверности (более подробно о других важных показателях достоверности см. В Levin, 1994, 2004) которые нуждаются в большем внимании, прежде чем образовательные исследователи, консультанты и другие лица будут слишком грубы с рекомендациями по образованию.
Первым индикатором доверия перед составлением рекомендаций по образованию является то, что результаты необходимо реплицировать, чтобы определить, является ли конкретный результат надежным или аномальным (подробное обсуждение см. В Schmidt, 2009). Одна из проблем заключается в том, что социальные науки могут иметь смещение публикаций, связанное с публикацией положительных результатов, которые являются аномалиями. Вторая проблема заключается в том, что репликации редко публикуются в учебных журналах (Makel & Plucker, 2014). Отсутствие исследований по тиражированию часто приписывается редакторам журналов, рецензентам и агентствам-кандидатам, ожидающим новизны. Если это так, сосредоточение внимания на новизне результатов может способствовать созданию структур вознаграждения, которые минимизируют ценность исследований репликации (Koole & Lakens, 2012). Отсутствие исследований по тиражированию явно ограничивает то, насколько уверенно мы можем делать выводы об эффективности учебного подхода. Это ограничение не часто упоминается в рекомендациях, которые сопровождают различные практики, основанные на фактических данных.
Второе требование – тщательно изучить обобщаемость результатов, чтобы обеспечить высокую степень внешней достоверности, прежде чем давать рекомендации педагогам (Shadish, Cook, & Campbell, 2002). Озабоченность может быть озвучена в отношении исследований, которые изучают эффективность учебных мероприятий с использованием образцов студентов колледжа или других «уникальных» образцов. Под «уникальным» подразумеваются образцы участников, которые помнили о возвращении родительского согласия с подписью, участники, которые согласны с полными опросами, или другие сопоставимые способы, в которых выборка может отличаться от популяций, которые существуют в природе.
Как производители и потребители образовательных исследований решают проблемы, связанные с применением результатов исследований в области образования? В качестве поля мы можем обратиться к стандартам для обучения и психологических испытаний (AERA, APA, NCME, 1999) для руководства. Производители и пользователи прямых испытаний стандартов должны хорошо знать условия, при которых действительные выводы, скорее всего, будут возникать из результатов тестов. Некоторые из стандартов подчеркивают, что население не является взаимозаменяемым, и производители тестов и пользователи должны изучить, как результаты баллов выполняются в новом контексте. Другими словами, ожидается, что репликации гарантируют, что результаты тестов должным образом интерпретируются в контекстах, которые существенно отличаются от исходного контекста. Аналогичный подход оправдан при проведении интервенционных исследований, если литературная база должна считаться заслуживающей доверия до того, что практикующие могут принимать обоснованные решения. Было предложено несколько рамок для повышения обобщаемости результатов исследований. Одной из таких рамок будет включение классических проблем обобщения, предложенных Кронбахом (Cronbach & Shapiro, 1982) для тиражирования и расширения модели программных исследований. Это дало бы столь необходимую достоверность литературной базе.
Согласно классической системе UTOS Кронбаха, экзамены об обобщаемости могут происходить по U nits, T reatments, O utcomes и S ettings. Каждый из компонентов структуры предоставляет достаточно проблемное пространство для исследователей для тиражирования и расширения результатов исследований и для потребителей, чтобы оценить степень уверенности, которую они должны придерживаться при вмешательстве. Возможно, редакторы журналов, рецензенты и финансирующие агентства с большей вероятностью рассмотрят публикации и исследования по финансированию, расположенные явно в рамках расширяемой UTOS структуры и уменьшают вес новизны первоначальных идей и результатов? Если произойдет достоверное исследование, которое повлияет на все группы населения от «Pre-K до Gray», это или сопоставимые систематические подходы к тиражированию и обобщению результатов, вероятно, принесут свои плоды. Тем временем, если читатели заинтересованы в объединении дискуссий и обсуждений, связанных с обобщением на конференции АПА в этом году в Торонто, пожалуйста, подумайте о том, чтобы участвовать в совместных программах, которые Отдел 15 имеет с другими подразделениями по «кризису репликации», указанному ниже.
Название сессии: кризис репликации – что нам пришло и где нам нужно идти
Тип сессии: симпозиум
Дата: Чт 08/06 10:00 – 11:50
Отдел / спонсор: CPG-Central Program Group; Со-лист: 30, 3, 5, 6, 10, 15, 24, 26
Здание / Комната: Конференц-центр / Комната 716A South Building-Level 700
Рекомендации:
Американская ассоциация образовательных исследований, Американская психологическая ассоциация и Национальный совет по измерениям в области образования в образовании. (1999). Стандарты для образовательного и психологического тестирования. Вашингтон, округ Колумбия: Американская психологическая ассоциация.
Cronbach, LJ, & Shapiro, K. (1982). Разработка оценок образовательных и социальных программ . Jossey-Bass Inc Паб.
Guba, EG, & Lincoln, YS (1994). Конкурирующие парадигмы в качественных исследованиях. Справочник по качественным исследованиям , 2, 163-194.
Hsieh, P., Acee, T., Chung, W.-H., Hsieh, Y.-P., Kim, H., Thomas, GD, Levin, JR, Robinson, DH (2005). Является ли исследование вмешательства в области образования сокращением? Журнал педагогической психологии , 97 (4), 523.
Koole, SL, & Lakens, D. (2012). Вознаграждение повторений – верный и простой способ улучшить психологическую науку. Перспективы психологической науки , 7 (6), 608-614.
Левин, JR (1994). Создание исследований в области образовательных интервенций, которые заслуживают доверия и заслуживают доверия. Обзор педагогической психологии, 6 (3), 231-243.
Левин, JR (2004). Случайные мысли о (в) достоверности исследований в области психолого-педагогического вмешательства. Психолог образования , 39 (3), 173-184.
Marley, SC, & Levin, JR (2011). Когда оправдаются предписывающие утверждения в образовательных исследованиях? Образовательная психология, 23 (2), 197-206.
Шмидт, С. (2009). Неужели мы действительно сделаем это снова? Могущественной концепцией репликации пренебрегают в социальных науках. Обзор общей психологии , 13 (2), 90.
Shadish, WR, Cook, TD и Campbell, DT (2002). Экспериментальные и квази-экспериментальные конструкции для обобщенного причинного вывода. ew York, NY: Houghton Mifflin.