Методы оценивания параметров

Наиболее часто используются 3 метода:

1. метод максимального правдоподобия;

2. метод моментов;

3. оценивание по Байесу.

Мы будем рассматривать только метод максимального правдоподобия.

Метод максимального правдоподобия (предложен Фишером)

Пусть P(x; Q₁, Q₂,.., Q_n) - плотность распределения случайной величины X, Q_i - параметр функции распределения. Считается, что вид плотности распределения функции - известен. Пусть имеем выборку из n независимых наблюдений из одного и того же распределения. Совместную плотность при этом можно записать так

g_n(X \ Q) = g_n(x₁, x₂,.., x_n \ Q) = f(x₁ \ Q) f(x₂ \ Q).... f(x_n \ Q)

Совместное распределение наблюдений, рассматриваемое как функция неизвестного параметра Q, называется функцией правдоподобия (ФП) выборки.

g_n(X \ Q) = f(x₁ \ Q) f(x₂ \ Q).... f(x_n \ Q)

Те значения выборки Q, для которых функция правдоподобия достигает максимума (так как события x₁, x₂,.., x_n - уже произошли, то они имеют максимальную вероятность, равную 1!), называются оценками максимального правдоподобия.

ОМП - оценки максимального правдоподобияобладаютследующими свойствами:

n оценки асимптотически несмещенные (! асимпто-тическая несмещенность ОМП вовсе не означает что оценки всегда не смещены);

n асимптотически нормальные;

n асимптотически эффективные.

Более удобно работать с логарифмической функцией правдоподобия. Переход к логарифмической функции правдоподобия возможен потому, что значения аргументов, максимизирующие функцию и ее логарифм - совпадают

(*) ln(X \ Q) = ln_ng(X \ Q) =

Если функция правдоподобия достаточно гладкая, то есть имеет 1-ую и 2-ую производные, то ее максимум ищется приравниванием нулю частных ее производных по каждому из параметров Qi.

Или, что то же самое,

(**)

Пример: оценивание параметров функции правдоподобия. (нормальное распределение)

f(x, Q₁, Q₂) =

Опыты независимы!!

g(Q₁, Q₂ \ x₁, x₂,.., x_n ) =

=

(***) lng = L =-nln(Q₂ ) -

(****)

Решение системы (****) дает следующие оценки:

E[ ] = , где - дисперсия - параметр закона распределения

- выборочная дисперсия - несмещенная оценка дисперсии

- смещенная оценка параметра - дисперсии

В (***) первый член не влияет на положение максимума, так как - параметр масштаба, а не сдвига. Второй же член входит в L со знаком (-). Поэтому для максимизации функции правдоподобия необходимо минимизировать выражение , то есть сумму квадратов отклонений случайных величин от своего математического ожидания (от среднего). Это обстоятельство, по существу, - теоретическое обоснование метода наименьших квадратов.

МНК был разработан К. Гауссом в начале 19 века. Основное его достоинство - простота реализации и ясный физический смысл. МНК широко применяется в различных задачах, связанных с построением математических моделей. Параметры моделей подбираются таким образом, чтобы минимизировать сумму квадратов отклонений вычисленных по модели значений от наблюденных, и так далее (такая же задача ставится при обработке измерений).