Оценивание неизвестного закона распределения.

Изложенные в предыдущем разделе результаты позволяют решить и более общую задачу оценивания неизвестного закона распределения произвольной дискретной случайной величины.

Пусть закон распределения случайной величины задан следующей таблицей

(3)

Предположим, что вероятности , с которыми величина принимает свои возможные значения, неизвестны, но у нас есть информация, доставляемая независимыми наблюдениями над нею – выборкой . Как по этой информации восстановить закон распределения (3), т. е. оценить неизвестные вероятности ?

Для этого поступают следующим образом. Подсчитывают числа появлений в выборке каждого из возможных значений случайной величины : – число появлений , – число появлений , …, – число появлений . Тогда исходные данные можно прредставить в виде последовательности пар или в виде таблицы, аналогичной таблице (3):

(4)

Эта таблица называется статистическим рядом.

Поскольку, числа , , …, связаны, очевидно, условием + + … + = n, относительные частоты удовлетворяют соотношению как и вероятности в таблице (3). Для наглядности, статистический ряд (4) часто представляют графически: для этого надо построить ломаную линию с вершинами в точках – такая ломаная называется полигоном частот.

Частоты дают наглядное представление о законе распределения наблюдаемой случайной величины и служат эмпирическими (т. е. опытными) оценками для соответствующих неизвестных вероятностей .

Для обоснования этого заметим, что каждую отдельную величину можно рассматривать как число «успехов» в n испытаниях схемы Бернулли, в которой «успехом» является реализация события , вероятность которого есть . Следовательно, величина имеет биномиальное распределение , и, согласно предыдущему разделу 1, статистика является оптимальной (несмещённой с минимальной дисперсией) и состоятельной оценкой для вероятности ().

Так по результатам статистического эксперимента восстанавливается (оценивается) неизвестный закон распределения произвольной дискретной случайной величины:

Замечание. Совместное распределение случайных величин , , …, является полиномиальным распределением (см. пример 4.3 и соотношение (2.8)):

так что полученный результат можно интерпретировать также и как оценивание параметров по наблюдению над , , …, в полиномиальном распределении.

3. Оценивание математического ожидания. Помимо неизвестных вероятностей, часто бывает необходимо оценить те или иные характеристики наблюдаемой в эксперименте случайной величины, и прежде всего – её среднего значения Для этого естественно поступить так: в формуле неизвестные вероятности надо заменить их оценками что приводит к следующей оценке для

Здесь сумма есть не что иное, как – сумма всех элементов выборки (ведь в этой сумме каждое возможное значение повторяется раз – именно так и определялись выше числа ), поэтому предыдущую формулу можно переписать в виде

(5)

Таким образом, мы получаем, что оценкой для неизвестного среднего наблюдаемой случайной величины является среднее арифметическое всех наблюдений . Оценку называют выборочным средним в отличие от теоретического среднего

Исследуем свойства этой оценки. Так как, по условию, величины независимы и распределены так же, как наблюдаемая случайная величина , то по правилам вычисления математического ожидания и дисперсии суммы независимых случайных величин имеем:

Эти соотношения означают, что является несмещённой и состоятельной оценкой теоретического среднего

Более того, по центральной предельной теореме эта оценка асимптотически нормальна с параметрами где . Это, в свою очередь, позволяет оценивать для больших выборок (т. е. при ) вероятности заданных отклонений значений оценки от теоретического среднего Действительно, из этой теоремы имеем, что при любом фиксированном и

Отсюда можно получить и -доверительный интервал для Пусть выбрано так, что т. е. . Тогда предыдущее соотношение можно переписать в виде

Тем самым, интервал с центром в случайной точке есть асимптотический -доверительный интервал для

Замечание. Изложенные в этом разделе результаты имеют общий характер, т. е. они справедливы для любой наблюдаемой случайной величины – как дискретной, так и непрерывной, нужно только, чтобы она имела конечные среднее значение и дисперсию.

1. Оценивание дисперсии. Аналогичным образом, отправляясь от

формулы

можно построить оценку и для дисперсии , когда она неизвестна. Именно, заменив на оценку и вероятности их оценками получим искомую оценку

которая через исходные данные может быть записана в виде

(6)

Определённую в формуле (6) величину называют выборочной дисперсией.

Можно показать, что

т. е. выборочная дисперсия не является несмещённой оценкой для теоретической дисперсии , но отличие её среднего значения от , равное , пренебрежимо мало, когда О таких оценках говорят, что они асимптотически несмещённые. Тем самым, является асимптотически несмещённой оценкой для теоретической дисперсии. На основе статистики легко построить и несмещённую оценку, именно, таковой является, очевидно, статистика

(7)

Можно также показать, что при дополнительном условии существования четвёртого момента справедливо соотношение

тем самым, выборочная дисперсия , также как и статистика , являются состоятельными оценками для .

Относительно выборочной дисперсии справедливо такое же замечание, как и относительно выборочного среднего, сделанное в конце предыдущего раздела, т. е. формулы (6) и (7) и свойства этих оценок справедливы для любой наблюдаемой случайной величины .