Статистика невыполнимых результатов

Малдер

: Вы верите в существование инопланетян?

Скалли : Логично, я бы сказал, что нет. Учитывая расстояния, необходимые для путешествия из дальних пределов космоса, потребности в энергии превысят возможности космического корабля …

Малдер : Обычная мудрость …

• 3 Больше вещей, которые вы не понимали о том, как работает ваш мозг
• 5 советов для бесплатного подарка благодарения
• Советы по собеседованию
• Ключи к тому, чтобы руководители и политиканцы лгут вам
• 5 способов решить, кому вы можете доверять

Я писал ранее о лекции, прочитанной чилийским астрономом Марио Хамуи. Изучая очень отдаленные сверхновые, Хамуи и его коллеги обнаружили доказательства, которые привели к выводу, что Вселенная расширяется с ускоряющейся скоростью. До их открытия вряд ли кто-либо считал это возможным. В игре играли несколько гипотез относительно скорости торможения, и идея о постоянстве скорости расширения была самой экстремальной и причудливой. Данные Хамуи были более экстремальными, чем позволяла бы самая экстремальная гипотеза, и все же эти данные теперь широко приняты, что приводит к новой гипотезе после факта: скорость расширения ускоряется. Почему это так еще предстоит объяснить (темная энергия?).

Хамуи показал график с несколькими строками, каждый из которых изображал определенную скорость расширения. Самая крутая линия не замедлила. Когда он показал данные от далеких сверхновых, ожидалось, что они будут падать как точки на одной из этих линий, тем самым подтверждая (меняющуюся) скорость расширения. Шокирующим откровением было то, что точки лежали над самой крутой линией, и измерение было достаточно точным, чтобы сохранить даже самую крутую линию за пределами доверительных интервалов, нарисованных вокруг точек. Вы получаете картину? По результатам статистической значимости Хамуи (и тем самым остальным из нас) были вынуждены сделать вывод, что данные сверхновой были невероятными даже при ближайшей гипотезе. Если (хотя бы) эту гипотезу пришлось отклонить (гипотезы замедления были отвергнуты тем более ), необходимо было установить новую гипотезу – и с межгалактической скоростью. Отсюда и возвращение космологической константы Эйнштейна и появление темной (антигравитационной) энергии.

Я был убежден в данных и заключениях Хамуи (до сих пор). Это было похоже на сильное использование тестирования гипотез. Хамуи и его команда установили четкие гипотезы, и данные сдули их. Если вы не проводили тестирование гипотез с этими данными, какие существуют альтернативы? Один из вариантов, который я упомянул только кратко, – это оценка размера параметра или эффекта . Адвокаты этого подхода выходят и измеряют, вычисляют средние (или другие типы совокупной статистики) и поля ошибки на основе информации о числе и дисперсии наблюдений. Затем они строят средства и доверительные интервалы, точно так же, как Хамуи представлял расстояние сверхновых. Проблема с чистым подходом оценки заключается в том, что он аэоричен. Никакая гипотеза не отвергается или не подтверждается. Вы смотрите на точки и говорите: «Это то, что есть». Вы можете, конечно, оценить центральные тенденции и отметить, включают ли доверительные интервалы теоретическое значение. Если они этого не сделают, вы можете вежливо отклонить эту ценность (и теорию, которая предсказывала это). Очевидно, что эта стратегия имеет прогорклый запах, пытаясь сделать это в обоих направлениях: отвергнуть гипотезу, утверждая, что она смотрит только на то, что есть . Тестирование значимости – оно должно быть признано – менее лицемерно относится к этой проблеме. Это учит нас тому, чего нет.

• Пусть осень поднимет ваши духи
• Когда наши домашние животные вступают в умирающий процесс
• Как сказать кому-то на работе, что он или она пахнет
• Фантастика против. Висцериал … О, и серфинг
• Что в поцелуе?

Другой альтернативой классическому тестированию гипотез является оценка байесовской гипотезы . Я сочувствую байесовскому делу, но вижу ограничения. Данные Хамуи показывают одно такое ограничение, но позвольте мне проиллюстрировать мою озабоченность стилизованной версией не массивных данных, которые я недавно нашел на этой стороне галактики.

Представьте себе экспериментальную игру, в которой вы, возможно, захотите сотрудничать с определенной вероятностью. Существуют две конкретные вероятности, которые могут быть получены из стандартных теоретических теоретических предположений. Один – .5, а другой – .75. Почему это так не имеет значения здесь. Теперь мы собираем вероятностные суждения из пула респондентов и оцениваем их. Скажем, среднее значение равно .8, а стандартная ошибка – 0,02. При анализе значимости отметим, что эмпирическое среднее больше ближайшего теоретического значения 0,75, t = 2,5, p = 0,013. Обратите внимание на аналогию с случаем Хамуи. Эмпирические данные настолько экстремальны, что они заставляют нас отвергать даже самое близкое теоретическое предсказание. Нам даже не нужно проверять эмпирическое среднее 0,8 от более отдаленной теоретической величины .5.

Или мы? В байесовском мире мы оцениваем данные в свете множественных (по крайней мере двух) взаимоисключающих гипотез, а затем переоцениваем эти гипотезы в свете данных. Для этого нам нужно объявить, каковы предварительные вероятности этих гипотез, но если они одинаковы, нам не нужно беспокоиться. Они отменяют друг друга. Цель байесовского анализа состоит в том, чтобы сформулировать относительную поддержку, которую получают гипотезы от данных, и это выражается как отношение. Мы уже вычислили значение p данных D в соответствии с гипотезой 1, которая гласит, что вероятность сотрудничества равна .75. Эта вероятность равна p (D | H1) = .013. Теперь мы также проводим тест значимости на более удаленной гипотезе 2, в которой говорится, что вероятность сотрудничества равна 0,5 и найти p (D | H2) = 6E-35, что является ошеломляюще низким. Мы завершаем байесовский круг, разделив прежнюю вероятность на последнюю, что дает 0,013 / 56E-35 = 2E32. H1, в котором говорится, что вероятность сотрудничества составляет 0,75, в подавляющем большинстве предпочтительны данные относительно гипотезы о том, что вероятность сотрудничества равна .5. Значение .75 должно быть правильным. Правильно?

Не так быстро. Предположим, что наши данные попали в предсказание пятна H1, а все остальное остается неизменным. Теперь p (D | H1) = 1 и p (D | H2) = 4E-27, что дает нам отношение Байеса 2E26. Обратите внимание, что мы спустились с 2E32. Другими словами, теперь, когда данные соответствуют H1 отлично, относительная поддержка H1 слабее, чем когда данные были более экстремальными, чем H1, когда только при значительном тестировании мы бы отклонили H1. Именно здесь тестеры значимости (и оценки параметров) отвечают с ликованием. В байесовской статистике все, что вы получаете, – это поддержка гипотезы, которая менее ложна с парадоксальным следствием того, что относительная поддержка гипотезы может увеличиваться по мере того, как ее абсолютная поддержка (расстояние между данными и гипотезой) уменьшается.

Байесовцы могли бы ответить, посмотрев на все распределение гипотез. В настоящем примере они могут начинаться с равномерного распределения всех гипотез с вероятностью сотрудничества с вероятностью 1. В этом случае эмпирический вывод .8 окажет самую сильную поддержку гипотезе, которая гласит. Если бы они это сделали, байесовцы были бы неотличимы от оценок параметров. Чтобы иметь теорию, значит, уже исключить некоторые вещи. И это хорошо, пока реальность не сделает невозможным возвращение на карту – как это было в обсерватории Хамуи.