Книга Майкла Льюиса «Moneyball» рассказывает историю о том, как майорская бейсбольная команда, Оклендская легкая атлетика, перестала полагаться на разведчиков, чтобы судить о талантах игроков и превратилась в статистический анализ. Moneyball выражает одну из любимых тем Льюиса: так называемые эксперты не знают, что действительно имеет значение, и, что еще хуже, они очень уверены в своих суждениях. Они не знают, чего не знают. Moneyball также выражает другую любимую тему Льюиса: умные аутсайдеры перехитрили так называемых экспертов (см. Также The Big Short). Moneyball был опубликован в 2003 году и до сих пор является бестселлером; он был превращен в фильм с Брэдом Питтом в главной роли, как Билли Бин, генеральный менеджер Оклендской легкой атлетики.
Льюис – достаточно талантливый писатель, чтобы не допустить, чтобы факты мешали развлечениям. Его версия событий обоснованно, но не совсем точна (например, см. В эссе 2012 года Уилла Браунда, « Как верно, это Moneyball?») Эти неточности меня не очень беспокоят.
Моя реальная проблема связана с центральным посланием Moneyball . Мифы, которые он представляет, как представляется, захватывают не только широкую общественность, но и сообщество суждения и принятия решений, члены которого часто цитируют Moneyball, чтобы поддержать свои профессиональные рекомендации.
В этом эссе описываются три мифы о девчонке, которые беспокоят меня больше всего. И мне нужно объяснить, что эссе не нападение на Майкла Льюиса. Мне очень понравились все его книги, которые я прочитал, и я прочитал большинство из них. Я также встречался с ним на обед несколько раз и нашел его остроумным и очаровательным. Я большой поклонник.
Мифы о митинге необходимы для того, чтобы рассказать историю – более тонкое лечение не стало бы бестселлером. Это было бы лучше подходит как статья в профессиональном журнале.
Однако, когда я вижу фактические статьи в профессиональных журналах, которые цитируют Moneyball , я чувствую необходимость озвучивать предупреждение.
Вот три мифа, которые я хочу рассмотреть более внимательно:
Во-первых, разведчики бейсбола не знают, какие игроки действительно квалифицированы.
Во-вторых, у бейсбольных скаутов есть фасад экспертизы, но ничего существенного.
В-третьих, у бейсбольных скаутов есть аллергия на статистику.
Давайте рассмотрим эти три утверждения.
Претензия №1. Скауты бейсбола не знают, какие игроки действительно квалифицированы. Они полагаются на разведывательные предрассудки, включая абсурдные черты. «Некоторые разведчики по-прежнему полагали, что они могут сказать по строению лица молодого человека не только его характер, но и его будущее в про-шаре. У них была фраза, которую они использовали: «Хорошее лицо» (стр. 7).
Даже если мы согласны с тем , что статистический анализ превосходит мнение разведчиков, он не следует, что суждения скаутов были бесполезны. Помните – перед широкой доступностью бейсбольных данных все команды, которые были доступны, были оценены разведчиками. Если бы это решение было бесполезным, это означало бы, что разведчики не лучше идентифицировали талантливых молодых игроков, чем поклонников на трибунах. Не лучше, чем люди, случайно выбранные. И никто никогда не делал этого исследования.
У нас есть анекдоты об обратном, такие как инцидент 1988 года, когда разведчик слышал о приятели в Панаме без обучения в качестве кувшина, который пришел в качестве замены для борющегося стартового кувшина и добился успеха. Скаут наблюдал за шорт-броском / броском кувшина и любил его плавное движение и атлетизм. Хотя он весил всего 155 фунтов. и бросил только 85-87 миль / час, разведчик подписал его на контракт с 2500 долларов с янки. Его звали Мариано Ривера.
Такие анекдоты – это не данные, но данных у нас нет. Насколько мне известно, никто не сравнивал мнение профессиональных разведчиков с контрольной группой. Было бы непросто показать видеоролики нападающих, качающихся на площадках, или кувшины, завершающие и отпускающие, только движения, а не результаты. Некоторые из видеороликов показывают, что небольшие лиги собираются выпустить. В других видеороликах будут показаны успешные игроки. Или получить видеоролики из Японии, из Профессиональной бейсбольной лиги Nippon и связанной с ней незначительной лиги, чтобы участники не смогли узнать успешных игроков.
Будут ли разведчики бейсбола лучше, чем контролировать, чтобы определить, какие из них являются успешными крупными лигами, а какие вымываются в нижней части второстепенных лиг? Возможно, не будет никакой разницы. Я подозреваю, что разведчики значительно превзошли контроль.
Почему у исследователей, которые рекламируют Moneyball, скептически относятся к претензиям № 1? Я думаю, что это потому, что претензия № 1 соответствует их предрассудкам, и они не чувствуют необходимости проверять эти предубеждения, – это критика, которую делает Moneyball из разведчиков.
Претензия № 2. У разведчиков бейсбола есть фасад экспертизы, но ничего существенного.
Следуя заявлению № 1, если у разведчиков есть опыт, то из чего он состоит? Одна из возможностей заключается в том, что скауты могут оценить атлетизм и механику.
Вернемся к анекдоту Мариано Ривера. Разведчик, который смотрел на Ривера, восхищался его плавным движением. Точно так же разведчики могут восхищаться плавным размахом нападающего. Статистика не фиксирует эти тонкости. Но мы видим это в действии: комментаторы бейсбола на телевидении регулярно комментируют движение кувшина. Или они будут использовать повторы, чтобы показать, как нападающий «шагает в ведро», ставя под угрозу его способности.
Рассматривайте другие виды спорта. Во время летних Олимпийских игр в соревнованиях по дайвингу опытные комментаторы телевидения предупреждали нас, когда ныряльщик слишком сильно вращается, чтобы проникнуть в воду чисто, создав больший всплеск. И, конечно же, в замедленном воспроизведении мы увидели проблему. Однако комментатор видел это так, как было. Разумеется, это считается опытом, полученным только после бесчисленных часов, когда спортсмены выполняют свое ремесло.
Несмотря на то, что у бейсбольных скаутов могут быть важные навыки, их способность оценивать талант может все же уступать статистическому анализу. Хотя это не имеет отношения к тезису этого эссе, это наблюдение следует учитывать. И тестировали, сравнивая суждения скаутов с оценками аналитиков, а не с контрольной группой.
Предположительно, аналитики будут использовать самую современную статистику, доступную в настоящее время. Поэтому нет смысла сравнивать этих аналитиков с теми разведчиками, которые освещались в Moneyball . Справедливо привлекать самых продвинутых скаутов – тех, кто выбирается строгим процессом проверки, а затем дополнительно обучается через современные современные методы для развития экспертизы. В Superforecasting Тетлок и Гарднер продемонстрировали, как развивать прогностический опыт в отношении мировых событий – не может быть сложнее разработать прогностический опыт в разведке бейсбола. Давайте поместим Moneyball на тест.
Претензия № 3. У разведчиков бейсбола есть аллергия на статистику. («Билли навсегда сказал Павлу, что, когда вы пытаетесь объяснить теорию вероятности бейсбольным парням, вы просто в конечном итоге сбиваете с толку». Стр. 34).
Это утверждение интересно сделать, подкрепленное анекдотическими доказательствами. Но сам Льюис описывает, как бейсбольные разведчики использовали статистику. Они просто не использовали очень хорошую статистику – в то время они полагались на традиционную статистику. Скауты с удовольствием изучали средние баттоны нападающих и средние средние заработки кувшинов. Скаутов не испугали номера. Они слишком сильно зависели от этих вводящих в заблуждение статистических данных, а не слишком мало.
Moneyball цитирует работу Билла Джеймса, который в 1970-х и 1980-х годах показал, что можно сделать с данными, которые только что стали доступны. Еще до того, как я прочитал « Moneyball», я пожрал несколько книг « Билл Джеймс», когда начал играть в фэнтезийный бейсбол в начале 1990-х годов, и стал мгновенным преобразованием в статистические анализы в бейсболе. Таким образом, это эссе не критикует статистические подходы. Скорее, эссе объясняет, почему мы, возможно, захотим пересмотреть презрение, наложенное на разведчиков бейсбола.
Moneyball стал метафорой, почему мы не должны доверять экспертам. Это первая выставка в «Войне экспертов». Цель этой войны – девальвировать экспертов в различных областях и рекомендовать заменить экспертов на алгоритмы, контрольные списки и анализы. Эта рекомендация иногда бывает полезной, но часто безрассудной и контрпродуктивной.
Конечно, реальная проблема заключается не в разведке и анализах, а в том, как создавать статистические и вычислительные инструменты, позволяющие разведчикам и другим лицам, принимающим решения, быть более успешными. Но у нас будут проблемы с этим путем, если мы купим мифы о Moneyball .
