Правило Баєса

Частина з циклу Статистика
Баєсова статистика
Теорія
Апостеріорна ймовірність Апостеріорний прогнозний розподіл[en] Апріорна ймовірність Баєсів інформаційний критерій Баєсова ефективність[en] Баєсова ймовірність Баєсова мережа Баєсове висновування Гіперапріорний розподіл[en] Гіперпараметр Емпіричний баєсів метод[en] Імовірний інтервал Інтерпретації ймовірності Коефіцієнт Баєса Оцінка апостеріорного максимуму Правдоподібність Правило Баєса Правило Кромвеля[en] Прийнятне правило рішення[en] Принцип максимальної ентропії[en] Принцип недостатнього обґрунтування[en] Спряжений апріорний розподіл Теорема Баєса Теорема Бернштайна — фон Мізеса[de]
Методи
Баєсова лінійна регресія Баєсова оцінка Приблизне баєсове обчислення
п о р

У теорії ймовірностей та її застосуваннях пра́вило Ба́єса (англ. Bayes' rule) встановлює відповідність між шансами^[en] події ${\displaystyle A_{1}}$ проти події ${\displaystyle A_{2}}$ до (апріорі) та після (апостеріорі) обумовлення іншою подією ${\displaystyle B}$. Шанси ${\displaystyle A_{1}}$ до події ${\displaystyle A_{2}}$ є просто відношенням ймовірностей цих двох подій. Апріорні шанси є відношенням безумовних, або апріорних ймовірностей, а апостеріорні шанси є відношенням умовних, або апостеріорних ймовірностей за умови події ${\displaystyle B}$. Це відношення виражається у термінах рівня правдоподібності, або коефіцієнту Баєса, ${\displaystyle \Lambda }$. За визначенням, це є відношенням умовних ймовірностей події ${\displaystyle B}$ у випадку ${\displaystyle A_{1}}$ та у випадку ${\displaystyle A_{2}}$ відповідно. Це правило просто стверджує: апостеріорні шанси дорівнюють добуткові апріорних шансів на коефіцієнт Баєса.^[1]:8

Коли цікавить довільно велика кількість подій ${\displaystyle A}$, а не лише дві, це правило може бути перефразовано як апостеріорне є пропорційнім добуткові апріорного на правдоподібність, ${\displaystyle P(A|B)\propto P(A)P(B|A)}$, де символ пропорційності означає, що ліва частина є пропорційною (тобто, дорівнює добуткові на сталу) до правої частини при зміні ${\displaystyle A}$ для фіксованої або заданої ${\displaystyle B}$.^[2][3] У такій формі воно йде ще від Лапласа^[4] та Курно.^[5][6]

Правило Баєса є рівноцінним способом формулювання теореми Баєса. Якщо нам відомі шанси за та проти ${\displaystyle A}$, то ми знаємо ймовірність ${\displaystyle A}$. На практиці в силу ряду причин йому може віддаватися перевага перед теоремою Баєса.

Правило Баєса широко використовується у статистиці, науці та інженерії, наприклад, у виборі моделі, ймовірнісних експертних системах на базі баєсових мереж, статистичних доказах^[en] у судових процесах, фільтрах спаму електронної пошти тощо.^[7][3] Як елементарний факт з числення ймовірностей, правило Баєса говорить нам, як пов'язані між собою безумовні та умовні ймовірності, чи то ми працюємо з частотницькою інтерпретацією ймовірності, чи то з баєсовою. При баєсовій інтерпретації воно часто застосовується у ситуації, коли ${\displaystyle A_{1}}$ та ${\displaystyle A_{2}}$ є конкурентними гіпотезами, а ${\displaystyle B}$ є деяким спостережуваним свідченням. Це правило показує, як чиєсь судження про те, чи є істинною ${\displaystyle A_{1}}$ чи ${\displaystyle A_{2}}$, повинне уточнюватися при спостереженні свідчення ${\displaystyle B}$.^[1]

Для заданих подій ${\displaystyle A_{1}}$, ${\displaystyle A_{2}}$ та ${\displaystyle B}$ правило Баєса стверджує, що умовні шанси ${\displaystyle A_{1}:A_{2}}$ за умови ${\displaystyle B}$ дорівнюють відособленим шансам ${\displaystyle A_{1}:A_{2}}$, помноженим на коефіцієнт Баєса або рівень правдоподібності ${\displaystyle \Lambda }$:

${\displaystyle O(A_{1}:A_{2}|B)=\Lambda (A_{1}:A_{2}|B)\cdot O(A_{1}:A_{2}),}$

де

${\displaystyle \Lambda (A_{1}:A_{2}|B)={\frac {P(B|A_{1})}{P(B|A_{2})}}.}$

Тут шанси та умовні шанси, відомі також як апріорні та апостеріорні шанси, визначаються як

${\displaystyle O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}},}$

${\displaystyle O(A_{1}:A_{2}|B)={\frac {P(A_{1}|B)}{P(A_{2}|B)}}.}$

В особливому випадку, коли ${\displaystyle A_{1}=A}$ та ${\displaystyle A_{2}=\neg A}$, пишуть ${\displaystyle O(A)=O(A:\neg A)}$, та використовують аналогічні скорочення для коефіцієнту Баєса та умовних шансів. Шанси ${\displaystyle A}$ за визначенням є шансами за та проти ${\displaystyle A}$. Відтак, правило Баєса може бути записано у скороченій формі

${\displaystyle O(A|B)=O(A)\cdot \Lambda (A|B),}$

або іншими словами: апостеріорні шанси ${\displaystyle A}$ дорівнюють апріорним шансам ${\displaystyle A}$, помноженим на рівень правдоподібності ${\displaystyle A}$ за умови інформації ${\displaystyle B}$. Коротко, апостеріорні шанси дорівнюють апріорним шансам, помноженим на рівень правдоподібності.

Це правило часто застосовується, коли ${\displaystyle A_{1}=A}$ та ${\displaystyle A_{2}=\neg A}$ є двома конкурентними гіпотезами стосовно причини деякої події ${\displaystyle B}$. Апріорні шанси ${\displaystyle A}$, іншими словами, шанси ${\displaystyle A}$ проти ${\displaystyle \neg A}$, виражають наші початкові переконання стосовно того, чи є ${\displaystyle A}$ істинним, чи ні. Подія ${\displaystyle B}$ представляє якесь свідчення, інформацію, дані або спостереження. Рівень правдоподібності є відношенням шансів спостереження ${\displaystyle B}$ відповідно до гіпотез ${\displaystyle A}$ та ${\displaystyle \neg A}$. Це правило каже нам, як мають уточнюватися наші апріорні переконання стосовно того, чи є ${\displaystyle A}$ істинним, чи ні, при отриманні інформації ${\displaystyle B}$.

Якщо ми розглядаємо ${\displaystyle A}$ як довільну, а ${\displaystyle B}$ як незмінну, то ми можемо переписати теорему Баєса ${\displaystyle P(A|B)=P(A)P(B|A)/P(B)}$ у вигляді ${\displaystyle P(A|B)\propto P(A)P(B|A)}$, де символ пропорційності означає, що зі зміною ${\displaystyle A}$ при незмінній ${\displaystyle B}$ ліва частина дорівнює правій частині, помноженій на сталу.

Словами — апостеріорне пропорційне апріорному, помноженому на правдоподібність. Цю версію теореми Баєса було спочатку названо «Правилом Баєса» Антуаном-Огюстеном Курно у 1843 році.^[5] Курно популяризував ранішу працю Лапласа 1774 року,^[4] який незалежно відкрив правило Баєса. Працю Баєса було опубліковано посмертно у 1763 році, але вона залишалася більш-менш невідомою, поки Курно не привернув увагу до неї.^[6]

Правилу Баєса може віддаватися перевага перед звичайним формулюванням теореми Баєса з цілого ряду причин. По-перше, воно є інтуїтивно простішим для розуміння. Інша причина полягає в тому, що в нормалізації ймовірностей іноді немає необхідності: іноді потрібно знати лише співвідношення ймовірностей. Нарешті, виконання нормалізації часто простіше здійснювати після спрощення добутку апріорного та правдоподібності шляхом вилучення будь-яких множників, що не залежать від ${\displaystyle A}$, відтак нам не потрібно насправді обчислювати знаменник ${\displaystyle P(B)}$ у звичайному формулюванні теореми Баєса ${\displaystyle P(A|B)={\frac {P(B|A)\,P(A)}{P(B)}}\cdot \,}$

У баєсовій статистиці правило Баєса часто застосовується із так званою некоректною апріорною ймовірністю, наприклад, рівномірним розподілом ймовірності над усіма дійсними числами. В такому випадку апріорний розподіл не існує як міра ймовірності в межах звичайної теорії ймовірності, й теорема Баєса сама по собі є не доступною.

Правило Баєса може застосовуватися кілька разів. Кожного разу, як ми спостерігаємо нову подію, ми уточнюємо шанси між подіями, що нас цікавлять, скажімо, ${\displaystyle A_{1}}$ та ${\displaystyle A_{2}}$, враховуючи цю нову інформацію. Для двох подій (повідомлень, свідчень) ${\displaystyle B}$ та ${\displaystyle C}$

${\displaystyle O(A_{1}:A_{2}|B\cap C)=\Lambda (A_{1}:A_{2}|B\cap C)\cdot \Lambda (A_{1}:A_{2}|B)\cdot O(A_{1}:A_{2}),}$

де

${\displaystyle \Lambda (A_{1}:A_{2}|B)={\frac {P(B|A_{1})}{P(B|A_{2})}},}$

${\displaystyle \Lambda (A_{1}:A_{2}|B\cap C)={\frac {P(C|A_{1}\cap B)}{P(C|A_{2}\cap B)}}.}$

В особливому випадку двох взаємодоповнюваних подій ${\displaystyle A}$ та ${\displaystyle \neg A}$ еквівалентним записом є

${\displaystyle O(A|B,C)=\Lambda (A|B\cap C)\cdot \Lambda (A|B)\cdot O(A).}$

Розгляньмо два примірники теореми Баєса:

${\displaystyle P(A_{1}|B)={\frac {1}{P(B)}}\cdot P(B|A_{1})\cdot P(A_{1}),}$

${\displaystyle P(A_{2}|B)={\frac {1}{P(B)}}\cdot P(B|A_{2})\cdot P(A_{2}).}$

Їхнє поєднання дає

${\displaystyle {\frac {P(A_{1}|B)}{P(A_{2}|B)}}={\frac {P(B|A_{1})}{P(B|A_{2})}}\cdot {\frac {P(A_{1})}{P(A_{2})}}.}$

Тепер за визначення

${\displaystyle O(A_{1}:A_{2}|B)\triangleq {\frac {P(A_{1}|B)}{P(A_{2}|B)}}}$

${\displaystyle O(A_{1}:A_{2})\triangleq {\frac {P(A_{1})}{P(A_{2})}}}$

${\displaystyle \Lambda (A_{1}:A_{2}|B)\triangleq {\frac {P(B|A_{1})}{P(B|A_{2})}},}$

це означає

${\displaystyle O(A_{1}:A_{2}|B)=\Lambda (A_{1}:A_{2}|B)\cdot O(A_{1}:A_{2}).}$

Аналогічне виведення застосовується для зумовлювання багатьма подіями, з використанням відповідного розширення теореми Баєса.

Розгляньмо приклад перевірки на вживання наркотиків зі статті про теорему Баєса.

Такі ж результати може бути отримано з використанням правила Баєса. Апріорні шанси того, що особа вживає наркотики, є 199 проти 1, оскільки ${\displaystyle \textstyle 0.5\%={\frac {1}{200}}}$ та ${\displaystyle \textstyle 99.5\%={\frac {199}{200}}}$. Коефіцієнт Баєса у разі позитивного результату перевірки особи є ${\displaystyle \textstyle {\frac {0.99}{0.01}}=99:1}$ на користь того, що особа вживає наркотики: це є відношення ймовірності позитивного результату для особи, що вживає наркотики, до позитивного результату особи, що їх не вживає. Апостеріорними шансами того, що особа вживає наркотики, відтак є ${\displaystyle \textstyle 1\times 99:199\times 1=99:199}$, що є дуже близьким до ${\displaystyle \textstyle 100:200=1:2}$. У круглих числах, лише один з трьох із тих, чия перевірка дала позитивний результат, насправді вживає наркотики.

• Bessière, P.; Mazer, E.; Ahuactzin, J.M.; Mekhnacha, K. (2013). Bayesian Programming. CRC Press. ISBN 9781439880326. (англ.)
• MacKay, David J.C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press. ISBN 9780521642989. (англ.) — електронний підручник, обговорює баєсове порівняння моделей у розділах 3 та 28
• Stone, James V. (2013). Download chapter 1. Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis. England: Sebtel Press. (англ.)