Академическое извращение

Как инструктор, я сделал это своим делом, чтобы принять уникальную политику оценки для моих учеников. В частности, все тесты являются краткими эссе, и изменения допускаются после получения оценки. Это гарантирует, что у студентов всегда есть мотивация, чтобы выяснить, что они сделали неправильно и улучшить его. Другими словами, я разрабатываю свою оценку для стимулирования обучения. С точки зрения какой-то абстрактной точки зрения на ценность образования это кажется разумной перспективой для принятия (по крайней мере, для меня, хотя я не слышал, чтобы кто-либо из моих коллег спорил с методом). Кроме того, из-за отсутствия лучшего слова, это глупое дело для меня, с профессиональной точки зрения. То, что я имею в виду здесь, это то, что на рынке труда моя способность привлекать учеников к успеху не совсем стимулируется, или, по крайней мере, это впечатление, что другие люди с большим пониманием перешли ко мне. Мало того, что люди, участвующие в комитетах по найму, не особенно интересуются тем, сколько времени я готов посвятить своим ученикам (это не первое, на что они смотрят, или даже в первой тройке, я думаю), но время, которое я делаю инвестировать в этот метод оценки – это время, когда я не трачу другие вещи, которые они ценят, например, ищут гранты или пытаются опубликовать столько бумаг, сколько я могу, в самых престижных торговых точках.

«Если ты такой умный, почему ты не богат?»

Источник: Explosm.net

И мой метод оценки требует довольно много времени. Когда каждый тест занимает около 5-10 минут для оценки и комментирует, и вы смотрите на класс около 100 учеников, некоторые быстрые математики говорят вам, что каждый раунд оценки займет около 8-16 часов. В отличие от этого, я мог бы предложить своим ученикам тест на множественный выбор, который можно было бы оценивать почти автоматически, сокращая время на инвестиции до простых минут. В течение семестра я мог бы потратить 24-48 часов, чтобы помочь учащимся учиться (по трем тестам), или я мог бы вместо этого предоставить оценки для них примерно за 15 минут, используя другие методы. Если кто-либо из комитета по найму сможет рассказать, эти два варианта фактически эквивалентны. Конечно, один помогает учащимся учиться лучше, но быть уверенным в том, что студенты учатся учиться, не очень стимулируется на профессиональном уровне . Те, кто от 24 до 48 часов, могли бы быть потрачены на поиски грантового финансирования или написания документов, а главное – на 100 учеников; если вы участвуете в обучении трех или более классов в семестр, это число увеличивается.

Эти стимулы не просто распространяются на тесты и оценки. Если комитеты по найму не все, что связано с результатами обучения моих учеников, это имеет значение для того, сколько времени я должен потратить на разработку моих лекционных материалов. Предположим, я столкнулся с задачей научить своих учеников об информации, которую я не очень хорошо знал, будь то тема класса в целом или отдельная новая информация в той же знакомой теме. Я мог бы занять много времени и сначала ознакомиться с информацией, отслеживать основные источники, читать их подробно, оценивать их сильные и слабые стороны, а также искать последующие исследования по этому вопросу. Я мог бы также воспользоваться быстрым маршрутом и просто прочитать раздел резюме / обсуждения в документе или просто сообщить о резюме исследований, предоставленных учебниками или материалами издателя.

Если ваша цель состоит в подготовке материала для лекций на 12 недель, совершенно ясно, какой метод экономит больше всего времени. Если хорошо изученные курсы, наполненные информацией, которую вы являетесь экспертом, не стимулируются должным образом, то почему мы ожидаем, что профессора пройдут последний путь? Гордость, возможно, – многие профессора хотят быть добрыми на работе и полезны для своих учеников, но, похоже, другие стимулы подталкивают к тому, чтобы посвятить время качественному образованию, если вы хотите сделать себя привлекательным. Я слышал, что учение упоминалось как отвлечение более чем на одного инструктора, и он твердил о том, где они видят стимулы.

• Беседы о творчестве с Даниэлем Тамметом – Часть V, Творчество, Разум и Мозг
• Зависимость говорит
• Беспокойство о Apple Watch и интернет-вещах
• Расширенный двойной стандарт: Библия как приложение для убийц
• Автобиография серийного убийцы

Последствия этих опасений в отношении стимулов выходят за рамки любых личных разочарований, которые у меня могут возникнуть, и они начинают получать большую долю внимания. Одно из последних событий, освещающих этот вопрос, было названо кризисом репликации, в котором многие опубликованные результаты не появлялись снова, когда независимые исследовательские группы искали их. Это было не какое-то значительное меньшинство; в психологии это было более 50% из них. Существует мало сомнений в том, что здоровая часть этого состояния дел обязана своим существованием исследователям, целенаправленно использующим сомнительные методы для поиска опубликованных результатов, но зачем им это делать в первую очередь? Почему они так мотивированы, чтобы найти эти результаты. Опять же, факторы гордости в уравнение, но, как это обычно бывает, другая часть этого ответа вращается вокруг стимулирующей структуры академических кругов: если ученые оценивают, нанимают, рекламируют и финансируют их способность публиковать результаты, тогда они стимулируются публиковать как можно больше таких результатов, даже если сами результаты не заслуживают особого доверия (они также не склонны к попытке опубликовать отрицательные результаты, во многих случаях, что вызывает другие проблемы).

В новой статье были обсуждены эти стимулы в академических кругах (Edwards & Roy, 2017), которые начинаются с простой предпосылки: ученые-исследователи – люди. Как и другие люди, мы склонны реагировать на конкретные стимулы. Хотя структуры стимулов в академических кругах могли быть созданы с хорошими намерениями, всегда существует угрожающая угроза от закона непреднамеренных последствий. В этом случае эти непреднамеренные последствия, упомянутые в Законе Гудхарта, которые могут быть выражены как таковые: « Любая наблюдаемая статистическая закономерность будет стремиться к рушению, когда давление будет оказано на нее для целей контроля » или « когда мера становится целевой , это перестает быть хорошей мерой » . По сути, эта идея означает, что люди будут следовать букве закона, а не духу.

Источник: Flickr / alan schoolar

Полагая это на академический пример, университет может захотеть нанять интеллектуальных и проницательных профессоров. Однако оценить интеллект и проницательность трудно, поэтому, вместо того, чтобы оценивать эти черты, университет оценивает их прокси-меры ; то, что имеет тенденцию ассоциироваться с интеллектом и проницательностью, но не является ни тем или иным. В этом случае можно заметить, что умные, проницательные профессора склонны публиковать больше бумаг, чем их сверстники. Поскольку количество документов, публикуемых кем-то, намного легче измерить, университет просто измеряет эту переменную вместо того, чтобы определять, кто нанимает и продвигает. Хотя публикации являются изначально хорошими предикторами производительности, как только они становятся объектом оценки, эта корреляция начинает снижаться. Поскольку публикация публикаций сама по себе стала целевым поведением людей, на которых оцениваются люди, они начинают максимизировать эту переменную, а не то, что она должна была измерять в первую очередь . Вместо публикации более качественных документов, полных проницательности, они публикуют много документов, которые делают хуже работу, помогая нам понять мир.

• Урок Мухаммада Али «Величайший»
• Могут ли родители помочь колледжам слишком много?
• Писатели! 5 способов вызвать тревогу для Ага!
• Лидер как исполнитель: проведите путь к максимальному успеху
• Человеческая ошибка и Hubris Sank Costa Concordia

В том же духе студентские оценки по стандартизированному тесту могут быть хорошей мерой эффективности учителя; более эффективные учителя, как правило, производят студентов, которые учатся больше и впоследствии лучше справляются с тестом. Однако, если бедные учителя затем наказываются и говорят, чтобы улучшить их работу или найти новую работу, учителя могут попытаться сыграть в систему. Теперь вместо того, чтобы преподавать своих учеников по предмету целостным образом, что приводит к реальному обучению, они просто начинают преподавать тест. Вместо того, чтобы преподавать, скажем, химию, учащиеся начинают обучать тому, как пройти тест на химию , и оба явно не то же самое. Пока учителя оцениваются только по классам своих учеников, которые проходят эти тесты, это структура стимулов, которая заканчивается созданием.

Источник: Flickr / biologycorner

Помимо простого воздействия на количество публикаций, которые могут публиковать ученые, обсуждается ряд других потенциальных непредвиденных последствий структур стимулирования. Один из них включает в себя меры качества опубликованной работы. Мы могли бы ожидать, что теоретически и эмпирически значимые документы получат больше ссылок, чем слабая работа. Однако, поскольку значимость статьи не может быть оценена напрямую, мы рассматриваем прокси-меры, такие как подсчет цитирования (как часто цитируется статья другими документами или авторами). Следствие? Люди, ссылающиеся на свою собственную работу чаще, и рецензенты-рецензенты, просящие свою работу, цитируются людьми, которые хотят опубликовать их на местах. Количество бессмысленных цитат завышено. Существуют также стимулы для публикации в «хороших» или престижных журналах; те, которые, как считается, предпочитают публиковать значимую работу. Опять же, мы не можем просто оценить, как «хороший» журнал, поэтому мы используем другие показатели, например, как часто цитируются статьи из этого журнала. Чистый результат здесь почти тот же, где журналы предпочитают публиковать документы, которые цитируют документы, которые они ранее опубликовали. Еще дальше, когда университеты оцениваются по определенным показателям, они стимулируют игру к этим показателям или просто неправильно сообщают о них. По-видимому, ряд колледжей были пойманы просто лежащими на этом фронте, чтобы получить рейтинг, в то время как другие могут улучшить свое ранжирование, не улучшив свое учреждение.

Есть много таких примеров, которые мы могли бы выполнить, хотя (и я рекомендую вам проверить сам документ именно по этой причине), но более важная точка, которую я хотел обсудить, это то, что все это означает в более широком масштабе. В той мере, в какой те, кто более охотно обманывает систему, вознаграждаются за свое поведение, те, кто менее охотно обманывают, будут вытеснены, и там у нас есть настоящая проблема в наших руках. Для перспективы, Fanelli (2009) сообщает, что 2% ученых признаются в изготовлении данных и 10% отчетов, участвующих в менее открытых, но все же сомнительных практиках, в среднем; он также сообщает, что, когда их спрашивают, знают ли они о случае, когда их сверстники делают такие вещи , эти цифры составляют около 14% и 30% соответственно. Хотя эти цифры не просто интерпретировать (возможно, что некоторые люди обманывают много, некоторые люди знают об одном и том же случае или что кто-то может захотеть обмануть, если представилась возможность, даже если она еще не появилась, например ), их следует воспринимать очень серьезно как причину для беспокойства.

(Также стоит отметить, что Эдвардс и Рой неправильно сообщают о результатах Фанелли, ссылаясь на его верхние границы, как если бы они были средними, что делает проблему академического проступка показателем как можно более плохим. Это, скорее всего, просто ошибка, но это подчеркивает возможность что ошибки, вероятно, также следуют структуре стимулов, а не просто обманывать. Так же, как исследователи имеют стимулы к преувеличению своих собственных результатов, у них также есть стимулы завышать результаты других, чтобы помочь сделать их точки убедительно)

Ирония в том, что газета жалуется на стимулы к преувеличению результатов.

Источник: Flickr / Jacob

Когда дело не только в том, что горстка плохих яблок в академических кругах способствует решению проблемы, скажем, обмана с их данными, а, скорее, заметного меньшинства из них, это может иметь как минимум два серьезных последствия. Во-первых, это может побудить больше нечисток стать мошенниками. Если бы я наблюдал, как мои коллеги обманывают систему и получают вознаграждение за нее, мне может быть предложено обмануть себя, просто чтобы идти в ногу с (очень) ограниченными возможностями для работы или финансирования. Parallels можно привлекать к использованию стероидов в спортивных состязаниях, где те, кто изначально не хочет использовать стероиды, могут быть поощрены, если этого достаточно для своих конкурентов.

Второе следствие состоит в том, что, поскольку все больше людей принимают участие в такой культуре, общественная вера в университеты – и, возможно, научные исследования в целом – разрушается. При разрушении государственной веры происходит сокращение финансирования и усиление скептицизма в отношении результатов исследований; оба ответа оправданы (зачем вам финансировать исследователей, которым вы не можете доверять?) и беспокоиться, так как есть важные проблемы, которые могут помочь исследования, но только если люди готовы слушать.

^{* Справедливости ради, это не значит, что мои способности как учителя совершенно не имеют отношения к найму комитетов; не только эта способность является вторичной по отношению к другим проблемам (т. е. мои способности к обучению можно рассматривать только после того, как они сужают поиск вниз путем финансирования грантов и публикаций), но сама моя способность обучения фактически не оценивается. Оцениваются оценки моих учеников, и это явно не то же самое.}

Рекомендации

^{Edwards, M. & Roy, S. (2017). Академические исследования в XXI веке: поддержание научной целостности в атмосфере порочных стимулов и гиперконкуренции. Environmental Engineering Science, 34, 51-61.}

^{Фанелли, Д. (2009). Сколько ученых изготавливают и фальсифицируют исследования? Систематический обзор и метаанализ данных обследования. PLoS One. 4, e5738}