Почему интервенции работают так же важно, как если бы они работали

Ваша оценка не должна соглашаться только на ответ да / нет.

Источник: Тех. Сержант Райан Крейн / Кислер

Многих из нас судят не по богатству наших идей, а по качеству наших результатов. Сколько студентов вы набрали? Сколько денег вы сохранили в колледже? Сколько грантов вы получили? Какие бы показатели ни определяли ваш профессиональный успех (к счастью, мой вопрос не в том, сколько людей читают этот блог), подобные вопросы сужают наше внимание к тому, работают ли новые программы и инновации, пренебрегая тем, почему они работают или не работают. Почему, однако, это больше, чем академический вопрос, и может иметь несколько преимуществ при проведении оценки. Этот совет особенно актуален в сегодняшнем духе подталкивания – недорогих, масштабируемых вмешательствах, которые могут быть легко реализованы и повторены – где простота этих стратегий может запутать сложные психологические реакции, которые они вызывают от людей, которых мы хотим поддержать. Вопрос о том, почему программа работает, может помочь нам расширить сферу наших усилий, разработать дополнительные решения и диагностировать проблемы, когда наши усилия не увенчаются успехом.

Тематическое исследование: изменение привычек энергии

• Планирование пути к вашей карьере
• Является ли универсальный скрининг депрессии хорошей идеей?
• Диагностика и лечение хронической боли
• Трансцендентные государства способствуют пиковому исполнению в мистических путях
• От грандиозных раундов до доктора Фила: могут ли психологи быть на телевидении?

Теперь известный набор исследований показал, как социальное доказательство может обуздать потребление энергии в семье. Большинство из нас не знает, сколько энергии используется нормально, поэтому, если бы мы узнали, что мы используем больше среднего, мы могли бы мотивировать приблизить наше потребление к норме. Таким образом, программа сохранения энергии Opower разослала своим клиентам счета, показывающие, сколько энергии они использовали по сравнению со своими соседями. И вот, потребители, которые потребляли больше энергии, чем в среднем, со временем сокращали свое потребление, что сохранялось довольно устойчиво в течение многих лет.

Так почему потребление энергии снизилось? Два различных анализа данных Opower дали разные объяснения:

# 1. Социальное доказательство меняет привычки. Когда люди получали свой первый счет, их ежедневное потребление энергии резко снижалось. Их потребление будет медленно расти, пока не придет следующий счет, после чего потребление энергии снова уменьшится. Однако, согласно четвертому законопроекту, потребление энергии людьми, как правило, стабилизировалось на более низком уровне, чем там, где оно началось, поэтому не было ни падения, ни восстановления. По словам этих исследователей, появились новые привычки (например, выключение света при выходе из комнаты; перенастройка термостата). Или они?

• Так выглядит гуманистическое образование
• Переселение детей-беженцев: построение инклюзивности
• Доставьте свои таланты: сделайте себя бесценным на работе
• Включение ЛГБТК в начальные школы: что могут сделать учителя
• Борьба с религией и духовностью

# 2. Социальное доказательство мотивирует улучшение дома. Конкурентный анализ изучал, что произошло с потреблением энергии в домашних хозяйствах после продажи дома. Новые жильцы никогда не подвергались социальному доказательству, поэтому они все еще должны быть наивными относительно того, что представляет собой нормальное использование энергии. Однако потребление энергии в перепроданных домах не увеличилось. Зачем? Исследователи утверждают, что первоначальные домовладельцы, получившие социальное подтверждение, сделали усовершенствования, такие как программируемые термостаты и приборы Energy Star. Это объяснение говорит о том, что четыре месяца были не столько временем, сколько потребовалось для формирования новых привычек, но и тем, сколько времени потребовалось людям, чтобы сделать свои дома более энергоэффективными, что оставалось в доме даже после ухода первоначальных домовладельцев.

Один результат, два объяснения … пока социальное доказательство работает, кого это волнует? Но представьте, выкатываете эту программу сохранения в районе с низким доходом. Если социальное доказательство изменяет энергетические привычки людей, оно должно работать независимо от дохода семьи. Но если социальное доказательство в первую очередь подталкивает людей к обновлению своих домов, это может оказаться невозможным среди более обездоленного населения. Аналогичным образом, люди, уже живущие в энергоэффективных домах, извлекут выгоду из социального доказательства, только если оно порождает новые привычки, потому что у них нет других улучшений, которые можно было бы сделать. Как вы можете видеть, почему это чрезвычайно важно при планировании масштабирования такой программы, как эта, для новых населенных пунктов.

Что может «почему» сделать для вас?

Пример Opower раскрывает одну из ключевых причин для изучения того, почему программа работает: масштабируемость . Часто, когда мы вводим новую программу или технологию в высшее образование, мы тестируем ее с определенной группой студентов, но с планами широко ее внедрить, если пилот пойдет хорошо. Понимание того, почему, а не только, что-то работает, поможет нам предсказать, как отреагируют новые группы населения. Например, если новое вмешательство для студентов первого поколения, проживающих в кампусе, повышает успеваемость, в первую очередь за счет мотивации студентов искать репетиторство, оно может не сработать для пригородных студентов, работающих взрослых и родителей, у которых может не быть дополнительного времени в жизни в поисках помощи. Однако, если это вмешательство создает более эффективные учебные привычки, оно с большей вероятностью поможет более широкому кругу студентов. Понимая основной механизм, мы лучше понимаем, кто еще может извлечь выгоду из нашего вмешательства.

Вопрос о том, почему программа работает, может также помочь нам разработать дополнительные решения для студенческих задач. Допустим, мы пилотируем успешную инициативу по благополучию, и благодаря опросам выяснили, что мы оказали большое влияние на улучшение привычек сна студентов. Теперь мы можем разработать другие способы улучшения сна, чтобы сохранить и укрепить эти достижения, а также подумать о том, как лучше масштабировать наши результаты вокруг сна. Но давайте скажем, что хотя наш первоначальный пилот был успешным, мы действительно помогали женщинам лучше спать, а не мужчинам. Теперь мы знаем, как по-новому взглянуть на мужчин и выяснить, оказывает ли изменение их привычек сна соразмерное влияние на их общее самочувствие.

Наконец, изучение того, почему что-то работает, может также помочь нам диагностировать, почему что-то не работает. Часто, когда пилот терпит неудачу, ребенок выходит из воды, и мы начинаем все сначала. Но вопрос о том, почему может открыть нам роковой недостаток, который мы можем исправить в следующей итерации. Например, представьте, что вы внедрили полезное вмешательство для начинающих студентов STEM, которое увеличило время, затрачиваемое на обучение, но не оказало существенного влияния на средний балл. Возможно, эффект был слишком слабым (т. Е. Ученики должны учиться еще больше, прежде чем их оценки улучшатся), или механизм изменений был недостаточным, и вместо этого вам нужно было ориентироваться на учебные привычки учеников или поведение в поисках помощи. Изучение причины дает вам возможность увидеть своего пилота с новой точки зрения и сделать обоснованные улучшения, не начиная с нуля.

Заключение

В этом мире подталкивания может быть легко внедрить простое вмешательство и получить быстрые результаты, но это не значит, что вам не следует заглядывать за капот, чтобы понять, что делает это вмешательство. Нет сомнений в том, что вопрос о том, почему это может быть трудным: часто включает сбор дополнительных данных, таких как опросы, интервью и отслеживание поведения, которые увеличивают стоимость и бремя вашей оценки. Но отдача с точки зрения масштабируемости, разработки и диагностики вполне может стоить дополнительных инвестиций, необходимых для того, чтобы задать крайне важный вопрос «Почему?».

Рекомендации

Allcott, H. & Rogers, T. (2014). Краткосрочные и долгосрочные последствия поведенческих вмешательств: экспериментальные данные по энергосбережению. American Economic Review, 104 (10), 3003-3037.

Брэндон, А., Ферраро, PJ, Лист, JA, Меткалф, RD, Прайс, MK, & Рундхаммер, F. (2017). Сохраняются ли эффекты социального подталкивания? Теория и доказательства 38 естественных полевых экспериментов (№ w23277). Национальное бюро экономических исследований.