Викия

Математика

Модель Регрессии

1457статей на
этой вики
Добавить новую страницу
Обсуждение0 Поделиться

Обнаружено использование расширения AdBlock.


Викия — это свободный ресурс, который существует и развивается за счёт рекламы. Для блокирующих рекламу пользователей мы предоставляем модифицированную версию сайта.

Викия не будет доступна для последующих модификаций. Если вы желаете продолжать работать со страницей, то, пожалуйста, отключите расширение для блокировки рекламы.

Пусть случайная величина X зависит от величины T которая принимает значения {t_1,...,t_n}, эти значения величины T фиксированы, т.е. не являются случайными. Обозначим через f(t) функцию, отражающую зависимость среднего значения(мат.ожидания) X от значений T:

M(X \ | \ T = t) = f(t)

Функция f(t) называется — линией регрессии X на T, а X = f(t)уравнением регрессии.

После n экспериментов, в которых T последовательно принимает значения T = t_1, ..., T = t_n получим значения наблюдаемой величины X, равные X_1, ...,X_n. Обозначим через \varepsilon_i разницу X_i - M(X \ | \ T = t_i ) = X_i - f (t_i) между наблюдаемой в i-м эксперименте случайной величиной и её математическим ожиданием, таким образом:

\varepsilon_i = X_i - f (t_i ), \ i = 1, . . . , n

где \varepsilon_i - ошибки наблюдения, равные в точности разнице между реальным и усредненным значением случайной величины X при значении T=t_i.

Вектор ошибок \vec\boldsymbol{\varepsilon} = \{\varepsilon_1, .., \varepsilon_n\} состоит из независимых и нормально распределённых случайных величин с одинаковой дисперсий и нулевым средним, т.е. ошибки должны соответствовать допущениям Гаусса-Маркова:

  • M(\varepsilon_i)=0, \ \forall i - мат.ожидание(среднее значение) равно нулю.
  • D(\varepsilon_i)= \sigma^2 < +\infty, \ \forall i - дисперсия одинакова и не бесконечна.
  • {\rm cov}(\varepsilon_i,\varepsilon_j) = 0, \forall i \neq j - независимость величин.

Так как \forall \varepsilon_i   M(\varepsilon_i) и D(\varepsilon_i) одни и те же, то можно считать набор \{\varepsilon_1, .., \varepsilon_n\} — элементарными событиями одной и тойже же случайной величины \boldsymbol{\varepsilon}.

Дисперсия случайной величины \boldsymbol{\varepsilon}:

D[\boldsymbol{\varepsilon}] = M[\boldsymbol{\varepsilon}^2] - (M[\boldsymbol{\varepsilon}])^2 = \frac{1}{n}\sum_{i=1}^{n}\varepsilon_i^2

И возвращаясь к: \varepsilon_i = X_i - f (t_i ):

D[\boldsymbol{\varepsilon}] = \frac{1}{n}\sum_{i=1}^{n}(X_i - f (t_i ))^2

Предполагается, что функция f(t) полностью определяется неизвестными параметрами \vec c=\{c_0,..,c_m\}, т.е. f(t, \vec c).

Таким образом, получаем зависимость дисперсии ошибки от вектора неизвестных параметров \vec c:

D[\boldsymbol{\varepsilon}] = \frac{1}{n}\sum_{i=1}^{n}(X_i - f(t_i, \vec c))^2

Таким образом, дисперсия ошибки есть функция от вектора неизвестных параметров: D[\boldsymbol{\varepsilon}] \equiv D[\boldsymbol{\varepsilon}](\vec c)

Требуется по значениям t_1, ...,t_n и X_1, ..., X_n как можно точнее оценить f(t), точнее означает с минимальными ошибками, с минимальным разбросом(дисперсией), однако зависимость f(t) не должна быть просто построенной по точкам (t_i, X_i).

Предположим, что раз дисперсия ошибок D[\boldsymbol{\varepsilon}] \subset (0, +\infty), то D[\boldsymbol{\varepsilon}] имеет экстремум(минимум) на (0, +\infty).

Минимум D[\boldsymbol{\varepsilon}] будем искать как:

\frac{\partial D[\boldsymbol{\varepsilon}]}{\partial \vec c} = 0

См. также Править

Ссылки Править

Викия-сеть

Случайная вики