Викия

Математика

Метод максимального правдоподобия

1457статей на
этой вики
Добавить новую страницу
Обсуждение0 Поделиться

Обнаружено использование расширения AdBlock.


Викия — это свободный ресурс, который существует и развивается за счёт рекламы. Для блокирующих рекламу пользователей мы предоставляем модифицированную версию сайта.

Викия не будет доступна для последующих модификаций. Если вы желаете продолжать работать со страницей, то, пожалуйста, отключите расширение для блокировки рекламы.

Ме́тод максима́льного правдоподо́бия в математической статистике - это метод оценивания неизвестного параметра путём максимизации функции правдоподобия.

ОпределениеПравить

Пусть есть выборка X_1,\ldots,X_n из распределения \mathbb{P}_{\theta}, где \theta \in \Theta - неизвестный параметр. Пусть f(\mathbf{x} \mid \theta):\Theta \to \mathbb{R} - функция правдоподобия, где \mathbf{x} \in \mathbb{R}^n. Точечная оценка

\hat{\theta}_{\mathrm{M\Pi}} = \hat{\theta}_{\mathrm{M\Pi}} (X_1,\ldots, X_n) = \arg \max\limits_{\theta \in \Theta} f(X_1 ,\ldots, X_n \mid \theta )

называется оце́нкой максима́льного правдоподо́бия параметра \theta. Таким образом оценка максимального правдоподобия - это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

ЗамечаниеПравить

\hat{\theta}_{\mathrm{M\Pi}} = \arg \max\limits_{\theta \in \Theta} L(X_1 ,\ldots, X_n \mid \theta ),

где L - логарифмическая функция правдоподобия.

  • Оценка максимального правдоподобия, вообще говоря, может быть смещённой (см. примеры).

ПримерыПравить

f(\mathbf{x} \mid \theta ) = 
\left\{
\begin{matrix}
\frac{1}{\theta^n}, & \mathbf{x} \in [0,\theta]^n \subset \mathbb{R}^n \\
0, & \mathbf{x} \not\in [0,\theta]^n 
\end{matrix}
\right..

Последнее равенство может быть переписано в виде:

f(\mathbf{x} \mid \theta ) = 
\left\{
\begin{matrix}
\frac{1}{\theta^n}, & \theta \ge \max(x_1,\ldots,x_n) \\
0, & \theta < \max(x_1,\ldots,x_n) 
\end{matrix}
\right.,

где \mathbf{x} = (x_1,\ldots,x_n)^{\top}, откуда видно, что своего максимума функция правдоподобия достигает в точке \theta = \max(x_1,\ldots,x_n). Таким образом

\hat{\theta}_{\mathrm{M\Pi}} = \max(X_1,\ldots, X_n).
  • Пусть X_1,\ldots,X_n \sim \mathrm{N}(\mu,\sigma^2) - независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия \left(\hat{\mu}_{\mathrm{M\Pi}}, \widehat{\sigma^2}_{\mathrm{M\Pi}}\right)^{\top} для неизвестного вектора параметров \left(\mu,\sigma^2\right)^{\top}. Логарифмическая функция правдоподобия принимает вид
L(\mathbf{x} \mid\mu, \sigma^2) = - \frac{n}{2} \ln (2 \pi \sigma^2) - \frac{1}{2\sigma^2} \sum\limits_{i=1}^n (X_i - \mu)^2.

Чтобы найти её максимум, приравняем к нулю частные производные:


\left\{
\begin{matrix}
\displaystyle \frac{\partial}{\partial \mu} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\[10pt]
\displaystyle \frac{\partial}{\partial \sigma^2} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\
\end{matrix}
\right. \Rightarrow
\left\{
\begin{matrix}
\displaystyle \frac{ \sum\limits_{i=1}^n X_i - n \mu}{\sigma^2} = 0 \\[10pt]
\displaystyle -\frac{n}{2 \sigma^2} +\frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{2 \left(\sigma^2\right)^2}  = 0 \\
\end{matrix}
\right.,

откуда

\hat{\mu}_{\mathrm{M\Pi}} = \bar{X} - выборочное среднее, а
\widehat{\sigma^2}_{\mathrm{M\Pi}} = S^2_n - выборочная дисперсия.

См. такжеПравить

no:Sannsynlighetsmaksimeringsestimator sv:Maximum Likelihood-metoden

Викия-сеть

Случайная вики