Просто Сколько Amazon MTurk Survey-Takers есть?

В наши дни большинство экспериментальных исследователей-потребителей (не говоря уже о социальных психологах, политологах, поведенческих экономистах и ​​т. Д.) Заменили или дополняли учебные аудитории студентов Amazon Mechanical Turk (MTurk) для проведения своих исследований. Использование опросов MTurk для исследований удобно, дешево и быстро. (Это также часто бывает эксплуататорским, но это другое сообщение в блоге).

Источник: Зол Кораби от Rolo Natkys Flickr, лицензированный под CC BY 2.0

Неудивительно, что десятки тысяч исследований в области психологии каждый год в настоящее время проводятся с использованием работников MTurk в качестве наблюдателей. (Когда я искал в MTurk, когда писал этот пост в блоге, 319 опросов были доступны для меня, чтобы меня заполнили как работник MTurk, и у меня нет квалификации MTurk Master!)

Учитывая, что значительное количество исследований в области социальных наук в настоящее время опирается на работников MTurk, безусловно, стоит больше узнать об этих людях. Эта информация имеет отношение к действительности проводимых исследований. Есть много важных вопросов, которые можно задать, например:

• Кто эти люди?
• Являются ли они серьезным ответом на опросы?
• Можем ли мы быть уверены, что все, что мы находим с этой группой, действительно относится к более широкому населению? Другими словами, являются ли они репрезентативными?
• Насколько действительны выводы из их ответов? О чем мы должны беспокоиться?

Каждый из этих вопросов стоит вникать. Однако в этом посте я хотел бы рассмотреть другой вопрос, который мне очень любопытно: «Сколько опросников на Amazon Mechanical Turk?»

• Может ли кофе улучшить вашу память?
• Пристрастие к праву!
• Нижняя сторона совершенства: 7 черт для приручения
• Пищевые добавки могут помочь при лечении СДВГ
• Как оптимизм может повлиять на наши финансовые решения

Почему этот вопрос важен?

Опираясь на исследование, я расскажу немного позже в этом посте, полезно подумать о сайте Amazon MTurk как о пруде, каждый исследователь как рыбак или рыбак, и каждый работник MTurk как рыба. Каждый раз, когда исследователь отправляет исследование, они бросают сеть, чтобы поймать несколько сотен рыб. Они ловят и освобождают рыбу, но в процессе они извлекают какую-то «сущность» из рыбы в виде ответов на вопросы обследований, меняя рыбу из ее первозданного состояния.

На данный момент сети плывут в пруду MTurk тысячи раз в неделю (в основном) академиками и все чаще профессиональными опросниками. Таким образом, вопросы «есть ли достаточно рыбы?» Или мы все ловим в основном одну и ту же рыбу.

У большого пула респондентов есть три преимущества: (1) больший шанс найти разнообразные характеристики и достаточное количество респондентов с определенной характеристикой, например, с тяжелыми телевизионными наблюдателями или энтузиастами походов; (2) более «свежие» незагрязненные респонденты, которые будут серьезно отвечать на опрос и делать это с мыслью и честностью (т. Е. Тот, кто не ответил на шкалу общего самоконтроля или шкалу социального и экономического консерватизма, дюжину (уже), и (3) большая вероятность того, что образец, представляющий население в целом (хотя это не гарантируется).

• Рискованное поведение и жертвы: два вопроса, не один
• Превосходство в области психического здоровья
• Достопримечательности, которые кажутся кислыми: хорошая и плохая взаимодополняемость
• Пауки: оральный секс во время спаривания спасает живые существа
• Когда слоны благословлены

Прямо из уст лошади – сайт MTurk?

Логическим первым местом для поиска ответа является сам сайт MTurk. Вы ожидаете, что Amazon предоставит эту информацию, обновленную ежедневно, по двум причинам. Во-первых, это важная информация для клиентов Amazon (академических и коммерческих исследователей), которые платят им за использование сайта. Без сомнения, это увеличило бы качество исследований, проведенных с использованием сайта. Во-вторых, они уже знают, сколько рабочих MTurk используют сайт, поэтому для них очень просто (и дешево) их извлечь и опубликовать. Но, к сожалению, это не так.

Их претензия «Доступ более 500 000 работников из 190 стран» в значительной степени бессмысленна, поскольку она неточна и не изменилась годами. Кроме того, неясно, сколько из этих предполагаемых полумиллионов человек действительно проводят опросы или приходят и уходят с сайта.

В стороне, это умопомрачительный и настоящий позор, сколько известных СМИ, таких как Guardian, Wall Street Journal и даже исследовательские организации, такие как Исследовательский центр Pew, лениво сообщают об этом хитроумном номере. Хотя это не совсем «поддельные новости», мне кажется, что это «ленивые новости», потому что это может исказить остальную часть истории, о которой сообщается.

Не круто, Amazon и большие СМИ! Хорошо, теперь нам нужны другие источники, чтобы найти номер.

Стюарт и др. исследования, решения и принятия решений, 2015 год.

Профессор психологии Нейл Стюарт и группа исследователей из семи разных лабораторий, расположенных по разным странам, провели самое всестороннее и впечатляющее (по размеру и продолжительности) исследование до настоящего времени, чтобы ответить на этот вопрос, который я смог найти. Покрывая сбор данных MTurk из всех своих лабораторий с января 2012 года по март 2015 года и используя классный статистический метод, который обычно используют экологи, чтобы выяснить популяцию конкретного животного или птицы в дикой природе, они пришли к выводу, что средний исследователь, использующий MTURK, доступ к пулу около 7 300 респондентов в любой момент времени. Они также обнаружили, что 26% опрошенных MTurk опрошенных «увольняются» каждый квартал, и они пополняются новыми работниками. Также следует отметить, что в их лабораториях в основном использовались респонденты из США. Меня поразило их сравнение:

«Таким образом, население, которое может достичь средняя лаборатория, лишь в несколько раз больше, чем активный пул участников в типичном университете (курсы кредитных пулов, как правило, имеют довольно высокий уровень охвата), с коэффициентом текучести, который не отличается от предстоящих и идущих студентов университетов »(стр. 485)

Таким образом, опросники MTurk похожи на университетский предметный пул на стероидах!

Некоторые из их других выводов, по меньшей мере, вызываются размышлениями. Около 65% опрошенных принимали участие в нескольких исследованиях, проведенных той же лабораторией (я получил эту ценность, обратив внимание на рисунок 5 в своей статье). Теперь очень вероятно, что эти разные исследования касались разных тем, но это все еще не идеально. И только более 50% участников участвовали в исследованиях из нескольких лабораторий. Это рыба, которую поймали, выпустили и снова поймали, и снова выпустили, и снова поймали, и так далее.

Я мог бы найти две другие оценки более раннего происхождения и / или использовать то, что я считал менее надежными методами:

• В исследовании 2011 года по вычислительной лингвистике Форт Карен, Жиль Адда и К. Бретоннел Коэн подсчитали, что число опрошенных составляет от 15,059 до 42,912. Это было основано на оценках, полученных от набора работников MTurk, и скорректировано с использованием экспертных заключений. Кроме того, они включали неамериканских респондентов (значительное число рабочих из Индии).
• Анонимный комментатор Reddit указал, что в течение одной недели они смогли получить 6 000 уникальных респондентов, не имея никаких условий или ограничений на то, кто может участвовать в их исследовании.

Так что же из этих цифр?

Чтобы дать некоторую перспективу, онлайн-панель компании YouGov утверждает, что у нее есть онлайн-панель из 4 миллионов участников, охватывающих 37 стран, и панель экспертов из США, состоящая из 1,8 миллиона человек. Аналогичным образом SurveyMonkey заявляет, что у нее есть онлайн-панель из 30 миллионов человек, а Slice Intelligence – 4,2 миллиона человек в своей онлайн-панели. Очевидно, что это просто претензии, похожие на претензии Amazon «Более 500 000 …», и невозможно проверить их.

Возвращаясь к Amazon MTurk, мне кажется, что рыбы не так много, и в пруду MTurk есть слишком много сетей. Это, конечно, не хорошая новость, если вы психологический исследователь, потому что подавляющее большинство рабочих MTurk в течение короткого времени принимали десятки, если не сотни, других обследований. Вполне вероятно, что многие из них находятся в середине сеанса съемки марафона. Это может создать всевозможные проблемы, если исследователь пытается создать психологическую манипуляцию, такую ​​как индукция настроения, или конкретное мышление и т. Д. (Об этом в следующем посте).

Слишком много рыбаков, мало рыбы.

Итак, это образ, с которым мы остались. Представьте себе пруд с около 10 000 рыб, плавающих в любой момент времени. И затем представьте себе, что десятки тысяч рыбаков и рыбаков выстроились вокруг пруда и каждую неделю бросали свои сети, ловя рыбу, прощупывая их, отбрасывая назад, ловя, зондируя, а затем отпуская, ловя, зондируя, а затем выпуская снова и снова. Неудивительно, что четверть рыбы уходит на пенсию каждые три месяца. Вероятно, они сжигаются из многочисленных исследований рыбаков. Это то, что использование рабочих MTurk для проведения исследований в области социальных наук похоже примерно на начало 2017 года. Не очень красивое зрелище.

PS:

После того, как я написал этот пост, Кристи Милланд (редактор Twitter: @TurkerNational) отправила мне ссылку на исследование, которое она провела (см. Ее комментарии ниже). За шестинедельный период в 2015 году она получила 25 293 уникальных участника из США, и в общей сложности 30 002 участника (большинство из них были из Индии), чтобы завершить свой хит. Обратите внимание, что это касается всех работников MTurk, а не только опрошенных. Ссылка на результаты исследования Кристи можно найти здесь.

Обо мне

Я преподаю маркетинг и оценку для студентов МВА в Университете Райса. Вы можете найти более подробную информацию обо мне на моем сайте или следовать за мной в LinkedIn, Facebook или Twitter @ud.