Задача 3.23. Оценить, используя метод максимального правдоподобия, параметры нормальной генеральной совокупности E(X) и s2по данным простой выборки x1, x2,…, xn.

Дано: x ₁, x ₂, …, x_n – простая выборка из генеральной совокупности X; каждый i -ый элемент выборки x_i N (a ₁ = E (X); a ₂ = s²); i = 1, 2, …, n.

Найти: оценивающие функции и .

Решение: Составим МП-функцию для простой выборки, которая трансформируется в силу условия (94) стохастической несвязности в совокупности в произведение нормальных плотностей компонентов случайного вектора X _{1 n} ^T:

L = =

= (2ps²)^{– n /2}∙ exp(–∑ (x_i – E (X))²/(2s²)) = max. (201)

Поскольку, плотность вероятности всегда положительна, а дифференцирование произведения (201) очень трудоемко, прологарифмируем эту функцию по натуральному основанию:

ln L = (– n / 2)∙ ln (2ps²) –∑ (x_i – E (X))²/(2s²) = max. (202)

Теперь составим систему уравнений, определяемую частными производными (200) логарифма МП-функции по искомым оценкам:

= = = 0

.(203)

= = – n / 2 ∙ + = 0

Из решения системы (203) получаем обе оценивающие функции:

= () / n = – среднее арифметическое; (204)

² = () / n = s ² – выборочная дисперсия. (205)

Полученные в примере оценивающие функции формально применимы только для работы с простой выборкой из нормальной генеральной совокупности, т.к. при их выводе использована плотность вероятности нормального распределения. Они являются состоятельными и асимптотически несмещенными нормальными оценивающими функциями [9].

3.2.2.2. Метод моментов.

Метод моментов введен К.Пирсоном и очень прост для получения оценивающих функций основных числовых характеристик распределений. Упрощенно, его суть состоит в том, что приравниваются друг другу соответствующие теоретические и выборочные моменты. Формулы последних и применяются в качестве оценивающих функций. Например, математическое ожидание является начальным моментом первого порядка. Следовательно, его оценивающей функцией служит выборочный начальный момент первого порядка. Дисперсия – это центральный момент второго порядка. Её оценивающая функция – центральный выборочный момент второго порядка. Соответствующие соотношения вновь приводят нас к ранее полученным выборочному среднему и выборочной дисперсии s ²:

= = =() / n = ;

= = =() / n = s ².

Метод моментов применим и при построения оценивающих функций для многомерных случайных величин. Например, ковариация пары случайных величин X и Y определится из соотношения, связывающего смешанный центральный момент второго порядка K_XY с соответствующим выборочным моментом (179), называемым выборочная ковариация:

= = = = - ∙ =

= = / n – = . (206)

Оценивающие функции, найденные по методу моментов, асимптотически нормальны и характеризуются дисперсией порядка 1 / n [9].

3.2.2.3. Метод наименьших квадратов.

Метод наименьших квадратов (НК-метод) широко используется для получения оценивающих функций для параметров многомерных распределений. НК-метод практически одновременно был внедрен А.Лежандром и К.Ф.Гауссом в самом начале XIX века при обработке астрономических наблюдений. Суть метода заключается в следующем.

Пусть y ₁, y ₂, …, y_n – простая выборка из многомерной генеральной совокупности Y_{n 1}. Каждый из элементов выборки y_i является функцией от общей системы параметров a ₁, a ₂, …, a_k (такая функция называется параметрическим уравнением связи или уравнением наблюдения):

y_i = f_i (a ₁, a ₂, …, a_k), i = 1, 2,... n. (207)

Объём выборки n больше числа искомых параметров k. В связи с этим, система уравнений (207) дополнительно ограничивается функционалом наименьших квадратов, в котором параметры a_j заменены соответствующими оценками ã _j, чтобы подчеркнуть единственность получаемого решения и его отличие от истинных значений:

= = min. (208)

Необходимые условия существования экстремума этого функционала образуют систему k уравнений с k неизвестными:

= 0, j =1, 2, …, k, (209)

из решения которой и находят оценивающие функции искомых параметров.

НК-метод имеет несколько обоснований. Первое, вероятностное, связывает его с нормальным распределением. Второе, статистическое, доказывает (теорема Гаусса-Маркова [9]), что для случая, когда уравнения (207) линейны, НК-оценки параметров ã ₁, ã ₂, … ã _k будут несмещенными МД-оценками при любом распределении генеральной совокупности, из которой получена выборка. Третье, алгебраическое, даёт решение, обеспечивающее минимальность длины вектора остатков e_{n 1}= y_{n 1} – f_{n 1}(ã _{k 1}), т.е.

|| e_{n 1} ||² = min. (210)

Задача 3.24. Получить, используя НК-метод, оценку для математического ожидания одномерной генеральной совокупности по данным простой выборки, которая представляет собой результаты некоррелированных равноточных измерений одной и той же величины, имеющей истинное значение X.

Дано: x ₁, x ₂, …, x_n – простая выборка из генеральной совокупности X, являющейся вероятностно-статистической моделью технологии измерений; a = E (X) – параметр, подлежащий оценке; E (x_i) = E (X) – по принципу статистической копии, так как измеряется одна и та же величина X.

Найти: НК-оценку ã параметра «a».

Решение: Составим уравнения связи для нашей задачи (мы перешли от переменной y к переменной x, так как имеем дело не с многомерной, как в общем описании НК-метода, а с одномерной генеральной совокупностью X:

x_i = a = E (X). (211)

НК-функционал (208) принимает вид:

= (x_i – ã)² = min. (212)

Производная этого функционала по единственному параметру ã, приравненная к нулю,

= – 2 = 0,

позволяет получить выражение для искомой оценивающей функции:

ã = () / n = . # (213)

Найденная оценивающая функция – это уже знакомое нам среднее арифметическое, которое было получено в предположении нормальности выборки. В данном же примере нормальность не предполагалась, т.е. закон распределения знать не нужно. Поскольку уравнения (211) линейны, то среднее арифметическое будет несмещенной МД-оценкой математического ожидания при любом распределении генеральной совокупности, из которой была получена простая выборка.

3.2.2.4 Исследование точечных оценок.

В предыдущих параграфах мы получили выражения оценивающих функций для математического ожидания, дисперсии и ковариации:

среднее арифметическое:

= () / n, (174)

выборочную дисперсию:

s ² = () / n = () / n – (176)

и выборочную ковариацию:

= / n – . (179)

Там же было показано, что для простой выборки среднее арифметическое удовлетворяет всем требованиям, предъявляемым к оценивающим функциям и сформулированным в разделе 3.2.1. В отношении остальных оценивающих функций параметров можно говорить лишь об их состоятельности, асимптотической несмещенности и асимптотической нормальности [9]. Для выборок малого объема важную роль играет несмещенность оценивающей функции, так как асимптотичность не успевает проявиться. В связи с этим, исследуем на несмещённость выборочную дисперсию (176).