Bdtyk

Фу́нкция правдоподо́бия в математической статистике — это совместное распределение выборки из параметрического распределения, рассматриваемое как функция параметра. При этом используется совместная функция плотности (в случае выборки из непрерывного распределения) либо совместная вероятность (в случае выборки из дискретного распределения), вычисленные для данных выборочных значений.

Понятия вероятности и правдоподобия тесно связаны. Сравните два предложения:

• «Какова вероятность выпадения 12 очков в каждом из ста бросков двух костей?»


• «Насколько правдоподобно, что кости не шулерские, если из ста бросков в каждом выпало 12 очков?»

Если распределение вероятности зависит от параметра θ{displaystyle theta }, то, с одной стороны, можно рассматривать условную вероятность событий x{displaystyle x} при заданном параметре θ{displaystyle theta }, а с другой стороны — вероятность заданного события X{displaystyle X} при различных значениях параметра θ{displaystyle theta }. Первый случай соответствует функции, зависящей от события x{displaystyle x}: P(x)=P(x∣θ){displaystyle P(x)=P(xmid theta )}, а второй — функции, зависящей от параметра θ{displaystyle theta } при фиксированном событии X{displaystyle X}: L(θ)=L(x=X∣θ){displaystyle L(theta )=L(x=Xmid theta )}. Последнее выражение и есть функция правдоподобия и показывает, насколько правдоподобно выбранное значение параметра θ{displaystyle theta } при известном событии X{displaystyle X}.

Неформально: если вероятность позволяет нам предсказывать неизвестные результаты, основанные на известных параметрах, то правдоподобие позволяет нам оценивать неизвестные параметры, основанные на известных результатах.

L(θ∣x)=pθ(x)=Pθ(X=x){displaystyle L(theta mid x)=p_{theta }(x)=P_{theta }(X=x)},

Важно понимать, что по абсолютному значению правдоподобия нельзя делать никаких вероятностных суждений. Правдоподобие позволяет сравнить несколько вероятностных распределений с разными параметрами и оценить в контексте какого из них наблюдаемые события наиболее вероятны.

Определение |

Пусть дано параметрическое семейство распределений вероятности {Pθ}θ∈Θ{displaystyle {mathbb {P} _{theta }}_{theta in Theta }}, и дана выборка X1,…,Xn∼Pθ{displaystyle X_{1},ldots ,X_{n}sim mathbb {P} _{theta }} для некоторого θ∈Θ{displaystyle theta in Theta }. Предположим, что совместное распределение этой выборки задаётся функцией fX(x∣θ),x∈Rn{displaystyle f_{mathbf {X} }(mathbf {x} mid theta ),;mathbf {x} in mathbb {R} ^{n}}, где fX{displaystyle f_{mathbf {X} }} является либо плотностью вероятности, либо функцией вероятности случайного вектора X=(X1,…,Xn)⊤{displaystyle mathbf {X} =(X_{1},ldots ,X_{n})^{top }}.

Для фиксированной реализации выборки X=x{displaystyle mathbf {X} =mathbf {x} } функция fX(x∣θ):Θ→R{displaystyle f_{mathbf {X} }(mathbf {x} mid theta )colon Theta to mathbb {R} } называется функцией правдоподобия.

Логарифмическая функция правдоподобия |

Во многих приложениях необходимо найти максимум функции правдоподобия, что связано с вычислением производной. Логарифм — монотонно возрастающая функция, поэтому логарифм от функции достигнет максимума в той же точке, что и сама функция. С другой стороны, логарифм произведения является суммой, что упрощает дифференцирование. Поэтому для практических вычислений предпочитают использовать логарифм функции правдоподобия.

• Функция L(x∣θ){displaystyle L(mathbf {x} mid theta )}, где

L(x∣θ)=ln⁡fX(x∣θ){displaystyle L(mathbf {x} mid theta )=ln f_{mathbf {X} }(mathbf {x} mid theta )},

называется логарифми́ческой фу́нкцией правдоподо́бия.

• Если выборка независима, то

fX(x∣θ)=∏i=1nfX(xi∣θ){displaystyle f_{mathbf {X} }(mathbf {x} mid theta )=prod limits _{i=1}^{n}f_{X}(x_{i}mid theta )},

где fX(⋅∣θ){displaystyle f_{X}(cdot mid theta )} — плотность или функция вероятности распределения Pθ{displaystyle mathbb {P} _{theta }}.
Логарифмическая функция правдоподобия в этом случае имеет вид:

L(x∣θ)=∑i=1nln⁡fX(xi∣θ){displaystyle L(mathbf {x} mid theta )=sum limits _{i=1}^{n}ln f_{X}(x_{i}mid theta )}.

Замечания |

Эта статья или раздел нуждается в переработке. Пожалуйста, улучшите статью в соответствии с правилами написания статей.

Функция правдоподобия для оценки вероятности выпадения двух орлов, в зависимости от вероятности выпадения одного

Нельзя путать правдоподобие с вероятностью появления распределения с выбранным параметром. Как минимум, интеграл от функции плотности вероятности по параметру не обязан быть единицей.
Рассмотрим вероятность последовательного выпадания орла в двух бросках одной монеты. Вероятность OO = pO2{displaystyle p_{text{O}}^{2}}. Если pO=0,5{displaystyle p_{text{O}}=0{,}5}, то

P(OO∣pO=0,5)=0,25{displaystyle P({text{OO}}mid p_{text{O}}=0{,}5)=0{,}25}.

Правдоподобность того, что вероятность выпадения одного орла равна 0,5, при условии того, что два выпадают с вероятностью 0,25.

L(pO=0,5∣OO)=P(OO∣pO=0,5)=0,25.{displaystyle L(p_{text{O}}=0{,}5mid {text{OO}})=P({text{OO}}mid p_{text{O}}=0{,}5)=0{,}25.}

Но это не то же самое, что «вероятность того, что pO=0,5{displaystyle p_{text{O}}=0{,}5}, если выпало подряд два орла, равна 0,25».
Заметьте, правдоподобность утверждения pO=1{displaystyle p_{text{O}}=1} равна единице.

История |

Впервые правдоподобие было упомянуто в книге Торвальда Тиле, опубликованной в 1889 году^[1].

Полное описание идеи правдоподобия впервые было дано Рональдом Фишером в 1922 году в работе «Математические основы теоретической статистики»^[2] (англ.). В этой работе Фишер также использует термин метод максимального правдоподобия. Фишер возражает против использования обратной вероятности как основы статистических заключений и предлагает вместо неё использовать функцию правдоподобия.

См. также |

• Метод максимального правдоподобия

Примечания |