В своем последнем посте я обсудил характер участия в процессе критического мышления (КТ) и упомянул о людях, которые делают вывод и заканчивают быть верными. Но, только потому, что они правы, это не значит, что они использовали КТ, чтобы добраться туда. Я привел это в качестве примера, сделанного в последние годы в отношении существующих мер КТ, многие из которых оценивают КТ с помощью вопросов с множественным выбором. В случае MC MCQ вы можете угадать «правильный» ответ в 20-25% случаев, без какой-либо необходимости в КТ. Итак, вопрос в том, действительно ли эти КТ-измерения действительно измеряют КТ?
Как объясняют мои предыдущие статьи, КТ – это метакогнитивный процесс, состоящий из нескольких суб-навыков и диспозиций, которые при применении через целенаправленное, саморегулируемое, рефлексивное суждение увеличивают шансы на создание логического решения проблемы или действительного вывод к аргументу (Dwyer, 2017; Dwyer, Hogan & Stewart, 2014). Большинство определений, хотя и сформулировано по-разному, склонны соглашаться с этой перспективой – оно состоит из определенных диспозиций, конкретных навыков и отражающей чувствительности, которая регулирует применение этих навыков. Вот как это определено; однако, это не обязательно, как это было оперативно определено.
Оперативно определяющее что-то относится к определению условий процесса или меры, необходимых для определения природы и свойств явления. Просто это определение концепции относительно того, как это можно сделать, оценить или измерить. Если способ, которым вы измеряете что-то, не соответствует, или оценить параметры, установленные в том, как вы его определяете, тогда вам не удалось успешно определить его.
Хотя большинство теоретических определений КТ схожи, способ их изменения часто препятствует построению комплексного теоретического объяснения того, как лучше всего измерить навыки КТ. В результате исследователи и преподаватели должны рассмотреть широкий спектр доступных КТ мер, чтобы определить наилучшие и наиболее подходящие меры на основе концептуализации КТ, используемой для обучения. Существуют различные существующие меры КТ – наиболее популярными среди них являются оценка критического мышления Ватсона-Глазера (WGCTA, Watson & Glaser, 1980), Критический анализ мышления Корнелла (CCTT, Ennis, Millman & Tomko, 1985), Калифорнийский критический Тест на интеллектуальные навыки (CCTST; Facione, 1990a), Критический анализ эйннис-Weir критического мышления (EWCTET, Ennis & Weir, 1985) и Halpern Critical Thinking Assessment (Halpern, 2010).
Некоторые комментаторы отметили, что эти различные показатели КТ-способности не могут быть непосредственно сопоставимы (Abrami et al., 2008). Например, WGCTA состоит из 80 MCQ, которые измеряют способность делать выводы; признать допущения; оценивать аргументы; и использовать логическую интерпретацию и дедуктивные рассуждения (Watson & Glaser, 1980). CCTT состоит из 52 MCQ, которые измеряют навыки критического мышления, связанные с индукцией; вычет; наблюдение и доверие; определение и определение допущений; и смысл и заблуждения. Наконец, CCTST состоит из 34 вопросов с множественным выбором (MCQ) и измеряет CT в соответствии с основными навыками анализа, оценки и вывода, а также индуктивными и дедуктивными рассуждениями.
Как было указано выше, формат MCQ этих трех оценок менее идеален – проблематичен даже, потому что он позволяет испытуемым просто угадать, когда они не знают правильного ответа, вместо того, чтобы продемонстрировать свою способность критически анализировать и оценивать проблемы и вывести решения этих проблем (Ku, 2009). Более того, как утверждает Halpern (2003), формат MCQ делает оценку тестовым и количественным знанием, а не CT (т. Е. Потому, что вы выбираете из списка возможных ответов, а не определяете собственные критерии для разработки ответа). Измерение CT через MCQ также проблематично с учетом потенциальной несовместимости между концептуализацией CT, которая формирует конструкцию теста и ее оценку с использованием MCQ. То есть тесты MCQ оценивают познавательные способности, связанные с определением единичных правильных или неправильных ответов, и, как результат, такой подход к тестированию не может обеспечить прямую оценку использования метакогнитивными процессами тестировщиков, таких как КТ, рефлексивное суждение, и склонность к КТ.
Вместо использования элементов MCQ лучшая мера КТ может задавать открытые вопросы, которые позволят тестировщикам продемонстрировать, спонтанно ли они используют конкретный навык КТ. Одна часто используемая оценка КТ, упомянутая выше, которая использует открытый формат, – это экзамен Эйнс-Вейра по критическому мышлению (EWCTET, Ennis & Weir, 1985). EWCTET представляет собой основанную на эссе оценку способности испытуемого анализировать, оценивать и реагировать на аргументы и дебаты в реальных ситуациях (Ennis & Weir, 1985; см. Ку, 2009 для обсуждения). Авторы EWCTET предоставляют то, что они называют «грубым, несколько перекрывающимся списком областей компетенции критического мышления», измеренным их тестом (Ennis & Weir, 1985, стр. 1). Тем не менее, этот тест также подвергся критике – за свой доменный характер (Taube, 1997), субъективность его протокола подсчета и его предвзятость в пользу тех, кто умеет писать (Adams, Whitlow, Stover & Johnson, 1996) ,
Другая, более поздняя оценка КТ, использующая открытый формат, – это оценка критического мышления Halpern (HCTA, Halpern, 2010). HCTA состоит из 25 открытых вопросов, основанных на правдоподобных повседневных ситуациях, за которыми следуют 25 конкретных вопросов, которые исследуют обоснование каждого ответа. Многочастный характер вопросов позволяет оценить способность использовать определенные навыки КТ при предоставлении подсказки (Ku, 2009). Протокол подсчета HCTA также предоставляет понятные, недвусмысленные инструкции, как оценивать ответы, разбивая их на четкие, измеримые компоненты. Вопросы по HCTA представляют пять категорий применения КТ: тестирование гипотез (например, понимание границ корреляционных рассуждений и того, как знать, когда причинные претензии не могут быть сделаны), словесные рассуждения (например, признание использования распространенного или вводящего в заблуждение языка), аргументация (например, признавая структуру аргументов, как проверить достоверность источника и как судить собственные аргументы), оценивая вероятность и неопределенность (например, применяя соответствующие принципы вероятности, как избежать чрезмерной уверенности в определенных ситуациях) и решение проблем (например, определение задача задачи, генерация и выбор решений среди альтернатив).
До разработки HCTA я бы рекомендовал CCTST для измерения КТ, несмотря на его ограничения. Что хорошо в CCTST, так это то, что он оценивает три основных навыка КТ: анализ, оценку и вывод, которых нет в других масштабах (явно). Итак, если вы были заинтересованы в оценке способности к югу от учеников, это было бы полезно. Однако, как мы знаем, хотя эффективность умения КТ является последовательностью, это также сопоставление этих навыков – это означает, что для любой заданной проблемы или темы каждый навык необходим. Администрируя проблему анализа, проблему оценки и проблему вывода, в которой учащийся оценивает верхние оценки для всех трех, это не гарантирует, что студент применит эти три к более широкой проблеме, требующей всех трех. То есть, эти вопросы не измеряют умение умения КТ как таковое, а скорее умение анализировать, навыки оценки и умение вывода в изоляции. Просто, оценки могут предсказать эффективность умения CT, но они не измеряют его.
Что может быть лучшим показателем эффективности КТ, является оценка применения КТ. Как было сказано выше, существует пять общих приложений CT: тестирование гипотез, словесные рассуждения, аргументация, решение проблем и оценка вероятности и неопределенности – все они требуют сопоставления анализа, оценки и вывода. Хотя суб-навыки анализа, оценки и вывода непосредственно не измеряются в этом случае, их сопоставление измеряется через пять различных приложений; и, как я вижу, дает «верную» оценку КТ. В дополнение к оценке КТ с помощью открытого и короткого ответов, ХКТО измеряет КТ в соответствии с пятью применениями КТ; таким образом, я рекомендую использовать его для измерения КТ.
Однако это не означает, что HCTA совершенен. Хотя он состоит из 25 открытых вопросов, за которыми следуют 25 конкретных вопросов, которые исследуют аргументы за каждым ответом, когда я впервые использовал его для оценки выборки студентов, я обнаружил, что при настройке моего файла данных на самом деле было 165 возможности для оценки результатов теста. Прошлые исследования рекомендуют, чтобы оценка проходила примерно от 45 до 60 минут. Тем не менее, многие из моих участников сообщили, что это требует более двух часов (иногда дольше). Это долгая оценка – тщательная, но долгая. К счастью, теперь доступны адаптированные, сокращенные версии, и это адаптированная версия, которую я сейчас администрирую для оценки CT. Другое ограничение заключается в том, что, несмотря на обоснование выше, было бы неплохо иметь некоторые указания о том, как участники получают навыки анализа, оценки и вывода, поскольку я считаю, что существует потенциальный прогностический элемент в отношениях между индивидуальные навыки и приложения. С этой точки зрения, я полагаю, что целесообразно администрировать как HCTA, так и CCTST для оценки таких гипотез.
Хотя очевидно, что важно учитывать, как оценки действительно измеряют КТ и природу, в которой каждая из них ограничена, более широкая макро-проблема по-прежнему требует мысли. Точно так же, как концептуализация КТ меняется, так же и надежность и обоснованность различных мер КТ, которые привели Абрами и коллег (2008, стр. 1104), спросить: «Как мы узнаем, будет ли одно вмешательство более выгодным, чем другое, если мы не уверены в достоверности и достоверности результатов? »Абрами и его коллеги добавляют, что даже когда исследователи прямо заявляют, что они оценивают КТ, по-прежнему остается основной задачей обеспечения того, чтобы измеренные результаты были связаны каким-либо значимым образом, к концептуализации и оперативному определению КТ, которые информировали преподавательскую практику в случаях интервенционных исследований. Часто взаимосвязь между концепциями КТ, которые изучаются, и оцененными, неясна, и большинство исследований в этой области не включают теорию, которая помогала бы разъяснять эти отношения.
В заключение, решение проблемы согласованности в рамках концептуализации, обучения и измерения КТ – непростая задача. Я думаю, что недавние достижения в области развития КТ (например, разработка HCTA и адаптированных версий) облегчили проблему, учитывая, что теперь они преодолевают разрыв между современной теорией и практической оценкой. Однако такие достижения должны быть более ясными для заинтересованных групп населения. Как всегда, я очень заинтересован в том, чтобы слышать от всех читателей, у которых может быть какое-то представление или предложения!
Рекомендации
Abrami, PC, Bernard, RM, Borokhovski, E., Wade, A., Surkes, MA, Tamim, R., & Zhang, D. (2008). Учебные вмешательства, влияющие на навыки и умения критического мышления: метаанализ этапа 1. Обзор исследований в области образования, 78 (4), 1102-1134.
Adams, MH, Whitlow, JF, Stover, LM, & Johnson, KW (1996). Критическое мышление как результат обучения: оценка текущих инструментов измерения. Медсестра педагог, 21, 23-32.
Dwyer, CP (2017). Критическое мышление: концептуальные перспективы и практические рекомендации. Кембридж, Великобритания: пресс-релиз Cambridge University Press.
Dwyer, CP, Hogan, MJ & Stewart, I. (2014). Интегрированная критическая концепция мышления в XXI веке. Мышление и творчество, 12, 43-52.
Эннис, Р. Х., Милман, Дж., Томком, Т. Н. (1985). Тесты критического мышления Корнелла. CA: Critical Thinking Co.
Ennis, RH, & Weir, E. (1985). Критический анализ эйннис-Вейра. Pacific Grove, CA: Midwest Publications.
Facione, PA (1990a). Тестирование навыков критического мышления в Калифорнии (CCTST): формы A и B; руководство по испытанию CCTST. Millbrae, CA: Академическая пресса Калифорнии.
Facione, PA (1990b). Отчет Delphi: Комитет по философии до колледжа. Millbrae, CA: Академическая пресса Калифорнии.
Halpern, DF (2003b). «Как» и «почему» оценки критического мышления. В D. Fasko (ред.), Критическое мышление и рассуждение: Текущие исследования, теория и практика. Cresskill, Нью-Джерси: Хэмптон Пресс.
Halpern, DF (2010). Оценка критического мышления Halpern: руководство. Вена: Шухфрид.
Ku, KYL (2009). Оценка эффективности критического мышления учащихся: Призыв к измерениям с использованием формата с несколькими ответами. Навыки мышления и творчество, 4, 1, 70- 76.
Taube, KT (1997). Критическая способность мышления и диспозиция как факторы производительности при письменном критическом анализе мышления. Журнал общего образования, 46, 129-164.
Watson, G., & Glaser, EM (1980). Оценка критического мышления Ватсона-Глейзера. Нью-Йорк: Психологическая корпорация.
