Точечные оценки параметров распределения.

(метод наименьших квадратов)

Цель работы: изучение свойств МНК-оценок (оценок, полученных методом наименьших квадратов). Работа выполняется с использованием языков высокого уровня и пакета прикладных программ " STATISTICA".

На работу отводится 6 часов.

Основная цель обработки данных состоит в том, чтобы получить некоторые заключения об ансамбле (генеральной совокупности) по выборке из этого ансамбля. Под ансамблем понимается набор всех возможных значений экспериментальных данных [7], т.е. ансамбль можно рассматривать как бесконечно большую выборку.

При получении наилучшей из возможных оценок одного или нескольких параметров распределения вероятностей возникает задача оценивания параметров. Такими параметрами могут быть коэффициенты, описывающие распределения вероятности: математическое ожидание и дисперсия (параметр сдвига и параметр масштаба) в случае нормального распределения, или коэффициенты в эмпирической модели процесса.

Оценивание некоторого отдельного значения параметра дает точечную оценку. Если плотность распределения вероятности случайной величины Х задана в виде функции Р(х, Q), где Q— неизвестный параметр, а экспериментальные данные представлены выборкой (x₁, x₂,.., x_n), то, вычисляя некоторую статистику, например выборочное среднее , можно получить оценку значения Q.

Необходимо стремиться к тому, чтобы оценки-были

— несмещенными;

— состоятельными;

— эффективными.

Оценка параметра Q является несмещенной, если ее математическое ожидание M[ ] равно значению параметра Q.

Оценка называется состоятельной, если по мере увеличения выборки она все более приближается к значению параметра.

Несмещенная оценка называется эффективной, если ее дисперсия минимальна. [7].

При оценивании параметров широко применяется метод максимального правдоподобия. Сущность этого метода состоит в следующем. Пусть Р(х; Q₁, Q₂,.., Q_n) — плотность распределения случайной величины X, Q_i — параметры функции распределения. Считается, что вид плотности распределения известен. Пусть имеем выборку из независимых наблюдений из одного и того же распределения. Совместную плотность при этом можно записать так:

Функцией правдоподобия (ФП) выборки называется совместное распределение наблюдений g_n(x\ Q) рассматриваемое как функция неизвестного параметра.

Так как события x₁, x₂,.., x_n уже произошли, то они имеют максимальную вероятность, равную 1.

Оценками максимального правдоподобия называются значения величины Q для которых функция правдоподобия достигает максимума (события x₁, x₂,.., x_nуже произошли, следовательно, вероятность их появления равна единице, то есть имеет максимальное значение).

Более удобно работать с логарифмической функцией правдоподобия.

Переход к логарифмической функции правдоподобия возможен потому, что значения аргументов, максимизирующих функцию и ее логарифм, совпадают.

Если функция правдоподобия имеют первую и вторую производные, то ее максимум находится приравниванием нулю частных ее производных по каждому из параметров Q_i.

В случае нормального распределения имеющего плотность вероятности

неизвестными являются два параметра: Q₁ и Q₂.

Логарифмическая функция правдоподобия равна

Таким образом, если погрешности измерений подчиняются нормальному распределению, оценки параметров, полученные методом максимального правдоподобия, совпадают с оценками метода наименьших квадратов (МНК-оценки).

Приравнивая нулю частные производные и , получаем оценки параметров сдвига (Q₁) и масштаба (Q₂):

Следовательно, МНК-оценка математического ожидания Q₁ равна среднему значению результатов наблюдений x_i. Оценка дисперсии (параметр масштаба) смещена. Чтобы сделать ее несмещенной, следует умножить ее на поправочный коэффициент . Таким образом получаем следующие МНК-оценки: оценка математического ожидания (выборочное среднее)

оценка параметра масштаба (выборочная дисперсия)

Так как погрешности измерений очень часто обусловлены воздействием большого числа случайных факторов, в силу центральной предельной теоремы теории вероятностей [3] можно предположить, что погрешности измерений подчиняются нормальному закону. В этом случае оценки, полученные по формулам (6) и (7) являются:

— несмещенными;

— состоятельными;

— эффективными.