Это правда? Интерпретация вмешательства вывода
Сообщение Бен Сейпеля, Университет Висконсин-Ривер-Фоллс / Калифорнийский государственный университет, Чико; с Джиной Бьянкаросой, Университет штата Орегон; Сара Э. Карлсон, Государственный университет Джорджии; и Марк Л. Дэвисон, Университет Миннесоты.
Чтение – это удивительно простая, но сложная конструкция со скромной целью: понимание.
Для большинства студентов способность читать и понимать текст и символы демонстрирует бесшовную интеграцию нескольких подклассов. Эти фундаментальные навыки включают в себя способности распознавать буквы, накладывать звуки на эти буквы, писать написанные слова вместе, понимать смысл отдельных слов и фраз, использовать фоновые знания и создавать выводы. Когда какая-либо из этих читающих подкладок колеблется, значит, и понимание. Следовательно, для студентов, которые борются с чтением, преподаватели и родители должны знать, почему понимание колеблется. Цель этого сообщения в блоге – проанализировать текущие проблемы с традиционными оценками понимания прочитанного, описать разработку исследовательских инструментов, которые решают эти проблемы, и ввести новую диагностическую оценку, которая использует достижения в выявлении борьбы с пониманием чтения: MOCCA (Multiple -Высокая оценка причинно-следственной связи в Интернете).
На протяжении десятилетий были надежные меры и вмешательства, чтобы помочь учащимся, которые борются с компонентами чтения более низкого уровня. Например, студенты, которые борются с картографированием звуков слов на письменные слова, могут быть идентифицированы с оценками, такими как оценка Woodcock-Johnson IV, динамическая индикация уровня бешенства в сегментированных сегментах ранней грамотности (DIBELS) или даже оценки, разработанные учителем. После проведения таких оценок учащиеся могут получить индивидуальную осведомленность о фонеме или знание языка, чтобы улучшить свои способности. Точно так же учащиеся, идентифицированные с помощью теста на словарный запас (например, тест на словарный запас для пибодов или выразительный словарный экзамен), поскольку они не имеют достаточного словарного запаса, могут получить лексиконную инструкцию. Для компонентов более высокого уровня для чтения, в частности, для понимания прочитанного – существует множество таких мер, как Тест чтения Нельсона-Денни, Тест на знание английского языка на основе основных навыков или практически любой выбранный государством тест на понимание чтения. Традиционно эти меры по пониманию чтения были способны определить, борется ли ученик с пониманием, но не может определить первопричину борьбы. Хотя эти стандартизированные оценки полезны для того, чтобы знать, как учащиеся участвуют, они не помогают учителям определять, как помочь борющимся читателям.
К счастью, последние события в области когнитивной психологии и образовательных измерений привели к появлению новых инструментов, которые поступают онлайн, чтобы помочь администраторам, преподавателям, ученикам и их родителям в определении проблем обработки понимания, чтобы затем разработать соответствующие вмешательства или изменить инструкцию по пониманию.
Недавние исследования показали, что учащиеся, которые борются с пониманием, но не борются с компонентами чтения нижнего уровня (например, декодированием, беглостью), не борются одинаково (Oakhill & Cain, 2012). Чтобы понять, как эти ученики борются по-разному, важно признать, что ключевым компонентом понимания при чтении нарративного текста является способность следовать причинно-следственной цепочке событий в истории и генерировать причинные выводы. Например, рассмотрите действия главного героя в следующем мини-повествовательном тексте:
Карина, пожарный, отдыхала и смотрела ее любимое шоу на Netflix. Она также наслаждалась своей большой миской клубничного мороженого, когда внезапно ее вызвали на пожарную станцию для чрезвычайной ситуации. Прежде чем она ушла, она направилась к морозильной камере.
Читая рассказ, хороший постижитель может сделать вывод, что Карина не ела все свое мороженое и вынуждена была помещать мороженое в морозильник, чтобы он не плавился. Плохой постижитель не может сделать эту причинную связь во время чтения. Вместо этого плохое понимание может считывать текст поверхностно и не обнаруживать пробелов, требующих подключения к отсутствующей информации, или может пытаться подключиться, но соединения должны выдать полную информацию (например, личные ассоциации, разработки). В любом случае причинный вывод не будет сгенерирован.
Исследования показывают, что, когда бедняжие спрашивают о причинных связях в истории, они борются, по крайней мере, двумя конкретными способами (Carlson, Seipel, & McMaster, 2014, Rapp, et al, 2007; Seipel, Carlson and Clinton, 2017) , Выводы из размышлений (где студент читает текст вслух, а затем утверждает, что он / она думает) показывают, что одна группа бедных посыльных имеет тенденцию генерировать парафраз или повторять текст дословно, но не генерировать причинные связи. Таким образом, во время мысли вслух с приведенным выше примером текста, «парафразсер» может заявить, что Карина отправилась в морозильник », не указав почему (парафраз обычно не считается умозаключением, но он основан на тексте). Другая группа бедных постижителей, как правило, делает уточнения (ака, боковые связи), идиосинкразические связи с их личными знаниями (т. Е. Extratextual information). В приведенном выше текстовом примере «боковой соединитель» или «разработчик» может указывать на то, что «клубничное мороженое обычно имеет настоящую клубнику и искусственный ароматизатор». Кроме того, есть свидетельства того, что эти две группы учеников по-разному реагируют на обучение всего класса и вмешательства (McMaster et al., 2012). Стратегия обучения, которая лучше всего подходит для парафразеров, должна быть изменена для боковых соединителей. Таким образом, когда дело доходит до вмешательств, один размер не подходит всем, и наличие соответствующих инструментов оценки может позволить учителям выбирать наиболее подходящее вмешательство для каждого ученика.
Важно отметить, что парафразы, повторения текстов, личные ассоциации и разработки – это не плохое понимание процессов или стратегий – даже хорошие постижители используют эти процессы во время чтения. На самом деле, определенные учебные стратегии обучения в классе, такие как закрытое чтение, основаны на некоторых из этих навыков. Однако, когда эти процессы используются в ущерб разработке и поддержанию причинно-следственных связей в тексте, понимание будет дрожать. Кроме того, когда читатель делает это неоднократно, им необходимо вмешательство. Также важно отметить, что использование протоколов «задуматься» для выявления проблем понимания учеников – это время и энергия, непозволительные. У преподавателей в классе обычно нет времени или ресурсов для сбора, кодирования и анализа мысли вслух для всего класса, чтобы понять, как студенты обрабатывают текст.
Еще один ряд улучшений, которые произошли в поле, – это уточнение онлайн-тестирования, когнитивного диагностического тестирования и статистических моделей. Более широкий доступ к компьютерам и онлайн-тестирование упростили тестирование с более быстрыми результатами. Кроме того, когнитивное диагностическое тестирование сделало улучшения, демонстрирующие, что когнитивные процессы могут быть надежно идентифицированы и классифицированы с помощью оценок, основанных на дистракторах и иерархически упорядоченных оценках с множественным выбором. Следовательно, новые и уточненные статистические модели позволяют исследователям классифицировать студентов на основе моделей их неправильных ответов.
С этими изменениями в этой области мы разработали и спроектировали MOCCA как легкую в использовании диагностическую оценку для использования в классе, основанную на структуре элементов и содержании обработки понимания.
Во-первых, в отношении структуры позиций MOCCA использует знакомый формат с множественным выбором, который легко администрировать, оценивать и интерпретировать. Он также основывается на структуре и прогностической достоверности задач чтения лабиринтов. В традиционной задаче лабиринта каждое n- е слово удаляется и заменяется тремя вариантами. Один выбор – правильное слово, а два других слова генерируются наугад. MOCCA применяет этот лабиринтный подход к следующему уровню, удаляя целое предложение из абзаца. Из трех тщательно обработанных ответов (далее описано ниже: причинно-когерентный вывод, парафраз, боковое соединение) ученику предлагается выбрать предложение, которое лучше всего завершает абзац. Чтобы правильно ответить на традиционный лабиринт, студент должен понимать текст только на уровне предложения. Однако, с MOCCA, студент должен понимать текст на уровне дискурса. На рисунке 1 показан пункт практики из направлений тестирования.
Во-вторых, в отношении содержания предметов MOCCA спроектирован в течение десятилетий вдумчивых исследований по когнитивным процессам, используемым при чтении понимания нарративных текстов. В частности, каждый элемент MOCCA представляет собой отдельную историю с семью предложениями, основанную на причинно-следственной цепочке событий. Как указано выше, шестое предложение каждой истории удаляется и заменяется тремя вариантами ответа. Три ответа предназначены для имитации типов ответов, найденных в мыслях вслух, которые либо типичны для хороших понятий (причинно-когерентный вывод), либо процессов вышеупомянутых борющихся посылок (парафраза или боковая связь).
«Правильный» ответ завершает причинную цепочку истории (т. Е. Закрывает пробел, когда предложение отсутствует в тексте). Второй вариант – это парафраз главной или обновленной цели истории. Третий вариант – боковая связь или разработка пятого предложения в истории, но не завершает причинную цепочку истории. Поскольку каждый элемент является независимой историей с последовательными типами ответов, MOCCA предоставляет три отдельных показателя, которые могут помочь диагностировать трудности понимания: правильный балл, парафразный балл и боковое значение соединения. В свою очередь, эти оценки могут использоваться для того, чтобы отличать учащихся, которые преимущественно используют парафраз или преимущественно используют боковые связи, и могут нуждаться в разных учебных стратегиях. Поскольку каждый элемент содержит все три типа ответов, можно рассчитывать общие исходные оценки и подсчеты для определения склонности к пониманию при чтении.
MOCCA была тщательно построена в течение трех лет. Мы начали с создания 160 предметов на каждом уровне. Все предметы были проверены и рассмотрены учителями 3- го , 4- го и 5-го классов, чтобы обеспечить содержание, лексику и удобочитаемость. Мы также подтвердили и распространили эти выводы на Coh-Metrix (McNamara, Louwerse, Cai, & Graesser, 2013). Coh-Metrix – это автоматизированный инструмент для расчета множества языковых особенностей, таких как читаемость, лексическое разнообразие и сплоченность. Затем, основываясь на статистических данных экспериментального исследования весной 2015 года, набор предметов был уменьшен до 120 в каждом классе, и некоторые из этих предметов были переписаны. После полевого испытания, которое включало оценку справедливости по признаку пола и этнической принадлежности, пункты были пересмотрены еще более весной 2016 года. MOCCA имеет три формы для 3 – 5 классов. На основе данных из нормативного образца формы будут приравнены в пределах и между классами весной 2018 года, так что в целях мониторинга прогресса студенты могут отслеживаться продольно, не вводя одну и ту же форму дважды. В пределах класса истории присваиваются формы, чтобы средний уровень чтения истории и количество слов были как можно более близкими. В пределах уровня чтения и количества ограничений слов истории были случайным образом привязаны к формам в классе. Все формы имеют 40 историй (предметов), и все истории имеют ровно семь предложений с одним отсутствующим (т. Е. Шестое предложение). Для каждого класса уровни чтения истории варьируются от одного уровня ниже уровня до одного уровня выше уровня. Например, формы 3-го класса содержат рассказы с уровнями чтения от 2-го по 4-й степени со средним значением 3,0 по шкале Флеша-Кинкейда.
Учитывая онлайн-компьютерное администрирование, мы можем контролировать эффективность понимания. Хотя эффективность измерения эффективности не была оригинальной конструктивной особенностью MOCCA, она быстро стала желательным инструментом для нашей исследовательской группы и для учителей. Следовательно, мы разработали функции, чтобы определить, является ли хороший постижитель быстрым или медленным. Это важно, потому что традиционно медленные читатели считались плохими постигающими, но это не так. Показатели эффективности MOCCA и уровень понимания помогли учителям определить учеников, которые хорошо понимают, но могут нуждаться в помощи в развитии понимания понимания. Наконец, непрерывный процесс – это процедура определения и классификации борющихся посылок посредством разработки моделей теории ответов на вопросы (IRT). Поскольку MOCCA дает три отличные оценки (причинно-когерентный, парафразный и боковое связывание), это привело к разработке новых сложных IRT-моделей, которые используют множественные оценки. В настоящее время мы находимся на завершающей стадии общенациональной демографической и региональной репрезентативной выборки для проверки MOCCA. Испытание усталости и устойчивость к использованию большего количества тестов в школах от учителей и администраторов – одна из проблем, с которыми мы сталкиваемся сейчас. Хотя это понятно, это печально, потому что это ограничивает возможность проверки новых оценок, таких как MOCCA. Только через аттестованную оценку (стандартизованную, диагностическую или иную) ученики могут быть идентифицированы для служб и вмешательств, в которых они нуждаются. Мы будем продолжать общаться и сотрудничать с учителями и администраторами, чтобы помочь смягчить их проблемы.
Помимо этой проблемы, мы по-прежнему надеемся, что MOCCA будет полезна и будет использоваться учителями. Мы ожидаем, что будущие итерации MOCCA будут более эффективными (например, адаптируемыми к компьютеру), более привлекательными для всего жанра (например, нарративными и информационными текстами) и служить более многочисленному населению (например, от 2 до взрослых). Будущие исследования будут направлены на совершенствование самой MOCCA и разработку руководства для учителей, студентов и родителей относительно того, как обучение и обучение можно оптимизировать с помощью данных, предоставленных MOCCA.
Пожалуйста, просмотрите наш канал YouTube для предварительного просмотра видео MOCCA. Желающие могут также следить за MOCCA в Twitter за новостями и обновлениями по мере их появления.
Этот пост является частью специальной серии, подготовленной отделом APA 15 прошлым президентом Бонни Дж. Ф. Мейером. Серия, сосредоточенная вокруг ее президентской темы «Приветствие и продвижение исследований в области педагогической психологии: влияющие ученики, учителя и школы», призвана распространить распространение и влияние значимых исследований в области психологии образования. Те, кто интересуется, могут узнать больше об этой теме в Летнем информационном бюллетене Летнего бюллетеня Подразделения 15.