Два следствия теоремы Байеса

Преподает преподает неопределенность.

Я наука, прогресс возможен. На самом деле, если верить в теорему Байеса, научный прогресс неизбежен, поскольку прогнозы сделаны, а убеждения проверяются и уточняются . ~ Nate Silver

Если вероятность того, что теорема Байеса истинна, равна 9. Какова пересмотренная вероятность того, что она является истиной, если мы отвергаем гипотезу о том, что она ложна при p = 0,05? ~ JIK

Томас Байес был английским клириком и математиком, который интересовался, среди прочего, поиском доказательства божества. Он не мог, но он оставил трактат и теорему, которая после того, как она была опубликована посмертно (Байес, 1764), стала основой того, что мы теперь называем байесовской статистикой. То, что теорема Байеса в концептуальных терминах описывает, как обновленная вера (гипотеза, гипотеза или догадка) должна обновляться в свете новых данных (наблюдений, данных) таким образом, чтобы не было противоречий. Другими словами, теорема Байеса гарантирует согласованность и обещает постепенное повышение точности веры. Неудивительно, что многие люди (статистики, психологи, машинисты) рассматривают теорему как определение рациональности. В этом мягком техническом очерке я указываю на два вывода теоремы Байеса, которые не особенно глубоко скрыты в математике, но которые глубоко увязываются в их отношении к исследованиям и религии. Но сначала нам нужно ввести условия теоремы и то, как они связаны друг с другом (что является задачей теоремы о освещении).

• Хорошие произведения плохих людей
• Супергерои и герой Мономит: Часть I
• Культивирование заботливых детей
• Американский крик по смыслу
• 10 советов по психическому здоровью, чтобы поделиться с вашей старшей школой

Рисунок 1. Теорема Байеса.

Источник: Дж. Крюгер

На рисунке 1 показана теорема. Вероятность того, что вера (H для гипотезы отсюда на выходе) истинна, учитывая доказательства (D для данных) или p (H | D), равна произведению предыдущей вероятности гипотезы p (H) , т. е. до ввода новых данных и «диагностического отношения». Это отношение является вероятностью данных, предполагающих, что гипотеза истинна, p (D | H), по всей вероятности данных, p (D ), т. е. суммированная вероятность данных при всех гипотезах. Чтобы сделать дело простым ( да! ), Допустим, что существует только одна альтернативная гипотеза ~ H, вероятность которой равна 1 – p (H). Теперь мы можем сказать, что p (D) = p (H) * p (D | H) + p (~ H) * p (D | ~ H). Теорема завершена. Посмотрите еще раз на рисунок 1, чтобы оценить этот факт.

• Современная вдумчивость
• Это не проблема с оружием, это проблема сердца
• Гулливер в антропоцене
• Как скрыть тролля
• Как «Westworld» зажигает глубокие мыслители среди нас

Первой импликацией теоремы Байеса является то, что преподобный мог быть доказанным богом в теории, но что необходимое условие является экстремальным. Возможно, что p (H | D) равно 1, но только если p (D | H) = 1 и p (D | ~ H) = 0. Уверенность в вере требует определенности данных. Данные должны быть достоверными с учетом гипотезы о заинтересованности и невозможности при альтернативной гипотезе. Когда эта последняя пара условий выполняется, предварительная сила убеждения (в боге или что-то еще) не имеет значения. Доказательство (т. Е. Комбинация p (D | H) = 1 и p (D | ~ H) = 0) устраняет разницу между адвокатом и скептиком.

Так много для религии. В большинстве эмпирических наук неопровержимое доказательство встречается редко. Данные приходят с шумом и неопределенностью, а гипотезы и убеждения и предположения, которые они поддерживают, как правило, остаются вероятностными. В лучшем случае исследователи могут сказать, что у них есть «нравственная уверенность» в том, что X истинно. Мораль, являющаяся классно несовершенной, дверь для смены ума, учитывая новые данные, остается приоткрытой.

Вторая импликация теоремы Байеса актуальна для вопроса о том, насколько хорошо выровненная вероятность данных при гипотезе p (D | H), с апостериорной вероятностью гипотезы, т. Е. С учетом данных, p (H | D). Этот вопрос интересует всех исследователей, которые хотят проверить гипотезы, а не только достоверность данных. Эти исследователи хотят сделать выводы из данных гипотез. Они хотят использовать p (D | H) для вывода p (H | D). Для этого им нужна полная теорема. Им нужно знать (или постулировать) p (H), p (~ H) и p (D | ~ H). Вывод из p (D | H) в p (H | D) силен, поскольку оба члена коррелированы друг с другом. Используя симуляционные эксперименты, мы обнаружили, что эти корреляции положительны, но их величина может широко варьироваться предсказуемым образом (Krueger & Heck, 2017). Здесь мы хотим найти условия, при которых p (D | H) и p (H | D) идентичны.

Теорема Байеса показывает, что p (D | H) = p (H | D) тогда и только тогда, когда p (H) = p (D). Теперь рассмотрим случай p (D | H) = .05, где исследователь, следуя соглашению, объявляет результат значительным. По всей вероятности, p (H | D) не будет столь же низким, как p (D | H), но может быть. Сегодняшний вопрос: что нужно, чтобы сделать так? Небольшая алгебра показывает, что p (D | H) = p (H | D), если p (D | ~ H) = (p (H) – p (D | H)) / p (~ H). Попробуем несколько примеров. Выбрав p (D | H) = .05, у нас может быть гипотеза, которая не представляется ни особенно вероятной, ни маловероятной с самого начала, т. Е. P (H) = .5. Теперь, если p (D | ~ H) = .9, мы имеем искомое равенство p (H | D) = p (D | H) = .05. Это хорошая договоренность. Предыдущее мнение является максимально неопределенным (p (H) = .5); результаты значительны (p (D | H) = .05) и весьма вероятны при альтернативной гипотезе (p (D | ~ H) = .9); и нулевая гипотеза действительно отрицательна (p (H | D) = .05, что означает, что p (~ H | D) = .95.

Теперь рассмотрим более тревожные последствия, которые возникают, когда мы отходим от этого наилучшего сценария. Что делать, если исследователь выбирает рискованную альтернативную гипотезу, то есть случай, когда p (H) высок? Если p (H) = .8, например, p (D | ~ H) должно быть 3,75, так что p (D | H) = p (H | D) = 0,05. Невозможный результат! Теорема Байеса запрещает это. Если вы будете проводить рискованные исследования (если p (H) высока) и им удастся получить статистическую значимость, гарантируется, что гипотеза не так маловероятна, как данные, которые приводят к ее отказу. При p (H) = .525 p (D | ~ H) = 1. Для любого более высокого значения p (H), p (H | D)> p (D | H). Это один рог дилеммы.

Другой рог возникает, когда исследования безопасны. Когда p (H) является низким, т. Е. Когда вероятность альтернативной или существенной гипотезы p (~ H) является высокой априорной , равенство p (H | D) и p (D | H) легко но по цене, что p (D | ~ H) является низкой. Например, если p (H) = .1 и оба p (D | H) и p (H | D) = .05, то p (D | ~ H) = .056. Это может показаться гротескным результатом. С одной стороны, альтернативная гипотеза считается весьма вероятной априорной (p (~ H) = .9), тогда как, с другой стороны, эта самая гипотеза обеспечивает соответствие данных, которые почти такие же плохие, как соответствие гипотезе (H), который отклоняется.

Мораль этой истории заключается в том, что теорема Байеса не только учит нас согласованности, но также побуждает нас (если она может говорить) сделать все возможное, чтобы выбрать гипотезы промежуточной вероятности для тестирования. Именно здесь эмпирические исследования дают наибольшие награды.

Доказательство? Какое доказательство? При написании первой импликации («Доказательство устраняет несогласие между адвокатом и скептиком»), я был взломан из-за моего юмового сна. Дэвид Хьюм (1764) классно доказывал ( и доказал! ), Что вы не можете доказать обоснованность индукции дедуктивными средствами (см. Здесь в Стэнфордской энциклопедии). Пример клише для этого очень глубокого понимания заключается в том, что независимо от того, сколько белых лебедей вы видели, вы не можете считать доказанным, что ни один черный лебедь не существует. Это так, когда нет никаких ограничений на возможное количество лебедей. Аргумент не выполняется в конечной совокупности. Теперь мы должны спросить, может ли p (D | H) быть 1. Если мы работаем в земле теории, предполагая наличие гауссовского (или иначе неограниченного) распределения, трудно понять, как это можно было бы утверждать на основы данных. Данные – по мере их измерения – конечны по их числовому значению. Следовательно, более экстремальное значение всегда возможно. Поэтому вероятность того, что эти данные или данные будут менее экстремальными, должна быть меньше 1. Поэтому аргумент, который я сделал, а именно, что теорема Байеса позволяет нам извлечь определенную веру из наблюдаемых данных, справедлива только в теории, но не на практике. Юм выигрывает (см. Здесь интересную историческую записку, в которой говорится, что усилия Байеса были вызваны желанием опровергнуть Юма).

Мы заканчиваем цитатой Дэвида Юма, чтобы показать, что у великого скептика было злобное чувство юмора. «Я написал всевозможные предметы … но у меня нет врагов; кроме всех вигов, всех тори и всех христиан » (найден здесь).

Байес, Т. (1764). Эссе о решении проблемы в доктрине шансов . Философские труды Лондонского королевского общества, 53 , 370-418.

Юм, Д. (1739). Трактат о человеческой природе . Оксфорд, Англия: Оксфордский университет.

Krueger, JI, & Heck, PR (2017). Эвристическое значение p в индуктивном статистическом выводе. Границы психологии: педагогическая психология . https://doi.org/10.3389/fpsyg.2017.00908