4 изменения, которые я сделаю при использовании Amazon MTurk для исследования

Источник: знак, увиденный в Санта-Крусе Робертом Коусом-Бейкером, лицензированным под CC BY 2.0

Несколько дней назад я описал свой довольно интенсивный и не совсем приятный опыт, работающий неполный рабочий день, как Amazon Mechanical Turk (MTurk)   работник. Мало того, что этот опыт оставил меня «потрясенным и возбужденным», так сказать, но это также заставило меня задуматься о тех изменениях, которые мне нужно сделать, когда я вернусь к использованию MTurk в качестве исследователя для сбора данных обследований или экспериментальных данных.

Вот мой список из четырех изменений, которые я планирую сделать при использовании MTurk для публикации моей работы (коллеги-исследователи могут присоединиться к J).

1. Оплатите работников вдвое больше!

Вопрос о зарплате был, пожалуй, самым ярким откровением из моего опыта, и это было бы невозможно, если бы я не зашел в обувь рабочего МТУРК в течение недели. До сих пор, когда я отправлял свои опросы на MTurk, я думал о трудящихся очень абстрактными и нечеткими способами, если бы я думал о них вообще.

Раньше работая над исследованиями в области коммерческого маркетинга, в глубине души я ощущал ворчание, что я получаю данные за цену сделки (я когда-то работал над исследовательским проектом с участием заключенных, и даже такая пленная аудитория стоила около $ 3 / исследование); но я отмахнулся. По какой цене? После моего рабочего опыта мне стало ясно, что я недостаточно плачу за то значение, которое получаю от работников MTurk.

• Слова, чтобы переместить вас к действию
• Долгосрочный успех в бизнесе означает видеть будущее
• Используйте метод Argyris для принятия лучших решений о найме
• Где мы будем без социальных медиа?
• Выполнение творческой работы, которую компания не может: Часть 1 Путь

Для 6-7-минутного опроса я предложил от $ 0,40 до $ 0,60 в зависимости от количества открытых вопросов, необходимости читать и понимать проходы и т. Д. Теперь я собираюсь предложить не менее $ 1,00. С моим ограниченным бюджетом исследований этот односторонний рост зарплаты означает, что мне придется больше усердно работать над разработкой и планированием исследований и делать меньше.

(И я действительно понимаю, что Amazon недавно увеличила комиссию, которую они в значительной степени заряжают исследователей. Но, как я ее вижу, это совершенно другой вопрос, который лучше всего оставить более жестоким бойцам, он не имеет никакого отношения к справедливому вознаграждению работника).

Там вы идете, профессор маркетинга, предлагающий платить вдвое! Странно, я знаю.

• Когда время и пространство – это лечение
• Пятьдесят государств серого
• Рейтинги больниц: массовые и двухъярусные
• Атака на работе
• Действительно ли семейные семьи?

2. Удовлетворительно контролировать и поддерживать качество обследования

С точки зрения рабочих MTurk все, что замедляет их, болит, как когнитивно (в том, как они думают и отвечают на вопросы), так и в кармане! Такие болевые точки могут включать много вещей. Вопросы, которые являются заговорщиками языка, сформулированы плохо или неоднозначно, орфографические ошибки, грамматические ошибки, запутанные потоки опроса, задачи, которые заставляют респондентов сидеть более двух минут, в то время как цифровые часы мучительно исчезают, открытые вопросы, которые заставляют людей писать определенное количество слов (или персонажей, я чувствую, что больше, чем 100 персонажей) слишком много опросов (что еще более 70 общих вопросов слишком велико, на мой взгляд) все вносят большой вклад в боль, вызванную опросом.

В исследованиях, которые я (или мои соавторы) разместили на MTurk, мы в целом хорошо относились к этим вещам. Но время от времени мы колеблемся. Иногда мы выписываем тип ответа в вопросе, чтобы пробел, который действительно заполнялся текстом, заставлял отвечать на адрес электронной почты. В других случаях мы оставляем вопиющую опечатку в опросе, когда мы публикуем его, что отвлекает респондентов. Это крошечные вещи, подобные этому, и мы сосредоточимся на фиксации.

Мой собственный самый вопиющий контроль над качеством – это то, что я часто пропускаю редактирование, предварительную проверку и проверку анкетных опросов, которые я собираюсь опубликовать в MTurk (из чистой лени или необоснованной чрезмерной уверенности, я не знаю, что).

Моя мантра с этого момента: Скопируйте, а затем предварительно опробуйте анкету (и соавторов или миньонов), по крайней мере, три раза, прежде чем она будет отправлена ​​для работников MTurk. Если я не смогу работать с ним плавно, есть вероятность, что респонденты тоже этого не сделают.

Я сделал контрольный список, который просматривает все эти потенциальные проблемы и может быть полезен для исследователей, проводящих онлайн-опросы. Его можно скачать здесь.

3. Не только получить информированное согласие, но и предоставить возможность «информированной обратной связи»,

Как и большинство исследователей, я вставляю форму информированного согласия, объясняющую процедуру моего исследования, его потенциальные риски, мою контактную информацию и т. Д. В самом начале моей анкеты. Но теперь я понимаю, что это не так полезно, как могло бы быть по нескольким причинам.

• Форма довольно плотная. Неразумно ожидать, что работники MTurk на часах будут внимательно читать 300 слов даже до начала исследования. Даже если я попрошу рабочих распечатать его для дальнейшего использования, маловероятно, что большинство из них это сделает.
• Форма информированного согласия очень часто является единственным местом, где указаны имя исследователя и контактная информация. Однако работник действительно нуждается в этой информации в самом конце после нажатия последней кнопки и представления опроса.

Поэтому в дополнение к получению информированного согласия я собираюсь получить «информированную обратную связь» в самом конце после того, как опрос был представлен и приведен код завершения. Именно здесь представляется целесообразным предоставить мою контактную информацию и запросить отзывы и дать возможность озвучить любые жалобы.

Маркетологи регулярно спрашивают клиентов об их опыте после еды в ресторане или поездке на самолете, поэтому почему исследователи не должны делать то же самое после опроса MTurk?

4. Дополнение к исследованиям MTurk с сильно различными образцами и методами

Независимо от статистической адекватности данных MTurk, в социологических исследованиях есть что-то по своей сути, которое проводится исключительно с помощью метода, в котором опросники заполняют опросы, такие как работники конвейеров, которые собирают часы Apple.

Позвольте мне рассказать вам, почему. При принятии моральных решений важный (и ужасающий) класс проблем предполагает выбор между двумя ДЕЙСТВИТЕЛЬНО плохими ситуациями (которые я искренне надеюсь, что никто из нас никогда не столкнется в нашей реальной жизни). К таким дилеммам относятся: «Не могли бы вы задушить одного ребенка своими голыми руками, чтобы спасти дюжину незнакомых людей от смерти?» Или «Будете ли вы готовить и обслуживать свою собаку / кошку на деревенском пире, если это означает, что вся ваша деревня будет избавлен от немедленного уничтожения? « Yikes!

Эти типы вопросов ужасны. Для любого нормального человека они создают эмоциональную и моральную суматоху, когда вы сталкиваетесь с ними (по крайней мере, они сделали для меня!). Это то, что они должны делать. Но предположим, что вы снова и снова сталкиваетесь с теми же вопросами … и снова; скажем, вы сталкиваетесь с дюжиной этих вопросов в 20 опросах каждую неделю (моральное принятие решений – популярная тема исследований, в конце концов).

Вы будете испытывать такое же сильное моральное затруднение в 17-й раз, когда вы ответите на такие вопросы? Ни за что! Вы пойдете так: «Зевай! Ну ладно, чтобы успокоить мародеров, я готовлю Ровера в стейки для деревенского пира! Далее! » Я хочу сказать, что когда вы отвечаете, вы все равно можете отвечать на вопросы так, как хочет, ожидает или предсказывает исследователь, но без каких-либо эмоциональная суматоха, лежащая в основе таких моральных решений!

Есть по крайней мере две другие причины, по которым я с осторожностью отношусь к проведению только выборочных исследований MTurk. Во-первых, из-за легкости, стоимости и скорости проведения исследований MTurk наблюдается растущая тенденция проводить многочисленные исследования для одного и того же проекта с идеей тиражирования находок и использования причудливых статистических методов, таких как мелкомасштабный метаанализ, к фигуре вне размера эффекта более надежно .

Однако этот поток дешево приобретенных данных не учитывает тот факт, что все исследования проводились с обследователями, которые однородно изнашиваются; поэтому результаты не могут быть обобщены за пределами участников съемочной линии. И правда в том, что мы знаем слишком мало о профессиональных опросах, выходящих за рамки того факта, что их относительно немного.

Во-вторых, для прикладных исследователей, в частности, самодовольство, связанное с проведением многочисленных онлайн-исследований, отвлекает внимание от серьезных ограничений, связанных с текстовыми задачами, которые связаны с воображаемыми историями и сценариями, которые онлайн-опросы могут себе позволить. Такие измерения могут или не могут переходить к реальным решениям или поведению в реальном мире, которые нам действительно интересны в изучении.

По этим причинам я планирую использовать Образцы MTurk в основном предназначены для проведения предварительных испытаний и для исследовательских исследований, которые составляют небольшую часть исследований в любом конкретном исследовательском проекте. Как бы то ни было, я предпочитаю проводить полевые исследования (например, с реальными клиентами) и измерять реальное поведение, а не мнения о том, как ведут себя наблюдатели.

Я хочу сказать одну последнюю вещь (если вы, читатель, добрались так далеко, не штурмовав меня, проклиная меня). При публикации работы над MTurk было бы неплохо, если бы исследователи использовали свое настоящее имя и четко заявили о своей принадлежности? Использование псевдонимов, таких как «SocPerfLab37», создает впечатление о онлайн-спамерах, которые каждый день делают Виагру!

Дополнительные ресурсы

Коллектив рабочих и исследователей MTurk под названием «Динамо» собрал отличный набор рекомендаций для исследователей, который описывает многие из тех вещей, которые я затронул здесь гораздо глубже, и многое другое. Группа также провела ряд интересных исследований по коллективным действиям среди работников MTurk.

Больше обо мне

Я преподаю основной маркетинг и оценку для студентов МВА в Университете Райса, и моя академическая вита здесь.

Вы можете найти и загрузить много моих академических и некоторых из моих ориентированных практик письменной форме в SSRN. Если вы не можете найти что-то старое, которое я написал, застрелите мне электронное письмо, и я пришлю его вам.

Некоторые из моих писем для менеджеров и деловых людей можно найти на HBR.org, и я также пишу относительно новый блог под названием «The Behavior Behavior» по психологии сегодня.

Вы можете связаться со мной по LinkedIn или Facebook , или вы можете отправить мне электронное письмо. Все вопросы, комментарии, мысли и идеи для будущих фрагментов блога или академических исследовательских проектов приветствуются. Пожалуйста, не отправляйте мне никаких писем с ненавистью.

[Этот пост перекрестно вывешен из LinkedIn Pulse ]