Тема: Основы математической статистики.

Цель:

1. Ознакомиться с методом моментов.
2. Ознакомиться с методом максимального правдоподобия.
3. Расчет доверительного интервала.

Теоретические сведения:

Для получения точечных оценок неизвестных параметров распределения практически используются четыре метода: метод моментов, метод минимальной дисперсии оценки, метод максимальной апостериорной вероятности и метод максимального правдоподобия. Из них наиболее часто применяются метод моментов и метод максимального правдоподобия.

При методе моментов выборочные моменты приравниваются к соответствующим моментам теоретического распределения, которые являются функциями от неизвестных оцениваемых параметров. В случае оценки одного параметра достаточно иметь одно уравнение относительно этого параметра.

Пусть, например, задан вид плотности вероятности , определяемый одним параметром и требуется найти оценку этого параметра. Следуя методу моментов, приравняем первый теоретический момент первому выборочному моменту :

. (4.10)

Решив это уравнение относительно , найдем оценку , которая является функцией от выборочной средней и, следовательно, функцией выборочных значений:

.

При оценке неизвестных параметров , , …, следует найти первый, второй,.., -й моменты распределения

= , .

а затем соответствующие выборочные моменты:

=

и приравнять их. Тогда получим систему уравнений с неизвестными:

= . (4.11)

Решив систему (4.11), определим оценки неизвестных параметров.

Достоинством метода является его простота. Оценки по методу моментов в смысле эффективности не являются «наилучшими» — в больших выборках они имеют не наименьшую дисперсию.

Метод максимального правдоподобия, как и два других метода, базируется на рассмотрении апостериорной (послеопытной) плотности вероятности:

, (4.12)

где — коэффициент, зависящий от результатов выборки, но не зависящий от параметра ; — априорная (доопытная) плотность вероятности параметра ; — функция правдоподобия.

Если плотность вероятности случайной величины содержит один, подлежащий оценке параметр , то функция правдоподобия для этого параметра при независимой выборке объема имеет вид

(4.13)

За оценку максимального правдоподобия параметра принимается такое его значение , при котором достигает максимума, т. е. такая оценка является решением уравнения правдоподобия:

=0 (4.14)

При оценке неизвестных параметров , , …, распределения оценки определяются как решения системы уравнений

, (4.15)

Оценки, полученные по этому методу, при довольно общих условиях являются состоятельными, асимптотически несмещенными, асимптотически нормальными и асимптотически эффективными. На практике этот метод иногда приводит к сложным системам уравнении.

Точечные оценки применяются прежде всего тогда, когда с их помощью нужно провести еще и другие расчеты. Такие оценки не несут информации о точности конкретной оценки. При малых выборках они случайны, а поэтому малонадежны. Точность и надежность оценки позволяют определить интервальные оценки.

Пусть из опыта получена несмещенная оценка параметра . Для разумного использования этой оценки на практике нужно знать вероятность того, что при данном объеме выборки отклонение оценки от оцениваемого параметра не превысит границы :

(4.16)

где — точность оценки; — доверительная вероятность (надежность) того, что при данном оценка будет иметь точность ; (; ) — доверительный интервал. Величина определяется конкретными условиями задачи и обычно выбирается равной 0, 95, 0, 99, 0, 999. Задаваясь любыми двумя из величии , , связанных соотношением (4.16), можно найти третью. Для этого нужно знать закон распределения оценки , который в общем случае зависит от самих неизвестных параметров. Однако иногда удается перейти в (4.16) от к таким функциям выборочных значений, закон распределения которых зависит только от объема выборки и закона распределения случайной величины и не зависит от неизвестных параметров.

Если выборка объема произведена из гауссовской геиеральной совокупности с параметрами и , то доверительные интервалы для оценок параметров с вероятностью рассчитываются по следующим формулам

1. Доверительный интервал для математического ожидания при известной дисперсии строится на основе выборочной функции , имеющей стандартное нормальное распределение с параметрами , . В этом случае от формулы (4.16) приходим к выражению

, (4.17)

где определяется из равенства по таблице приложения II.

2. Доверительный интервал для математического ожидания при неизвестной дисперсии строится с использованием выборочной функции , имеющей -распределение Стьюдента с степенями свободы. В этом случае формула (4.16) приводит к выражению

, , (4.18)

где

,

- процентная точка -распределения Стьюдента степенями свободы, определяемая по таблицам приложения IV из условия

= = = ; .

3. Доверительный интервал для дисперсии строится с использованием выборочной функции , имеющей -распределение Пирсона с степенями свободы, в соответствии с формулой

, (4.20)

где - — процентная точка -распределения Пирсона с степенями свободы, определяемая равенством

= = = .

Процентные точки -распределения приведены в приложении III. - распределение асимметрично, . На практике обычно выбирают и так, чтобы = = .

Статистические гипотезы могут формулироваться или относительно неизвестных параметров известного распределения (параметрические гипотезы), или относительно неизвестного закона распределения (непараметрические гипотезы). Возможны и другие варианты гипотез.

При двухальтернативной ситуации, когда происходит одно из двух событий, рассматривают две гипотезы: исходную (нулевую или основную) и конкурирующую (альтернативную) , которая противоречит . Задача состоит в том, чтобы по результатам наблюдений принять одну из них. Из - за случайного характера явлений любое решение (выбор одной из гипотез) сопровождается ошибками двух видов. Ошибка первого рода возникает тогда, когда отвергается правильная гипотеза, а ошибка второго рода — когда принимается неправильная гипотеза.

Пусть наблюдаемое событие обусловлено одной из двух причин: (гипотеза ) или (гипотеза ); — пространство всех возможных значений наблюдаемой величины ; — область принятия гипотезы ; — область отклонения гипотезы (критическая область); , — условные плотности вероятности точки пространства ; , — априорные вероятности и ; — условная вероятность ошибки первого рода (уровень значимости критерия); — условная вероятность ошибки второго рода; — мощность критерия; и — безусловные вероятности ошибок первого и второго рода; — суммарная вероятность ошибки.

Тогда справедливы следующие сотношения:

, (4.21)

, (4.22)

, . (4.23)

В радиотехнических приложениях наиболее часто применяются два оптимальных правила решения: критерий идеального наблюдателя (критерий Котельникова — Зигерта) и критерий Неймана — Пирсона.

Критерий идеального наблюдателя применяется тогда, когда нет различия в значимости ошибок первого и второго рода и когда известны априорные вероятности каждой из гипотез, что характерно для радиосвязи. При этом критерии правило решения состоит в следующем:

если , то принимается ,

если , то принимается . (4.24)

где

, (4.25)

— отношение правдоподобия; — постоянный порог, который является решением уравнения

. (4.26)

Критерий идеального наблюдателя минимизирует вероятность полной ошибки

. (4.27)

Критерий Неймана — Пирсона применяется в случаях, когда значимость ошибок и различна, а априорные вероятности гипотез неизвестны ((характерно для задач радиолокации). При этом критерии оптимальным считается такое решение, когда при заданной ошибке первого рода минимизируется ошибка второго рода. Решение выносится на основании сравнения отношения правдоподобия с порогом :

. (4.28)

Порог определяется по наперед заданной ошибке первого рода

. (4.29)

Для проверки гипотезы о законе распределения генеральной совокупности обычно используют критерий согласия , при котором за меру расхождения теоретического и статистического распределений принимается величина (4.3), которая при асимптотически распределена по закону c степенями свободы, независимо от распределения случайной величины .

Критерий для гипотезы с уровнем значимости отвергает , если вычисленное по выборке значение и принимает , если . Величина определяется из условия

по таблицам приложения III, при заданных и . Уровень значимости наиболее часто выбирается равным 0, 05 или 0, 01.

При применении критерия необходимо, чтобы величины и были достаточно велики (рекомендуется , ). Если число наблюдений в отдельных интервалах очень мало (одно-два наблюдения), то следует объединить некоторые интервалы.

Пример 1.

Генеральная совокупность распределена по нормальному закону с неизвестными параметрами и :

.

Вычислить по независимой выборке , , …, оценки неизвестных параметров и : 1) методом моментов; 2) методом максимального правдоподобия.

Решение. Одномерная нормальная плотность вероятности опопределяется двумя параметрами и .

1. Параметры и представляют собой соответственно начальный момент первого порядка и центральный момент второго порядка : , . Начальный эмпирический момент первого порядка равен выборочной средней ,

а центральный момент второго порядка—выборочной дисперсии . Приравняв в соответствии с методом моментов соответствующие теоретические и выборочные моменты, получим оценки параметров нормального распределения:

, .

2. В соответствии с (4.13) функция правдоподобия имеет вид

= ,

а логарифмическая функция правдоподобия:

.

Используя формулу (4.15), получаем систему двух уравнений относительно и :

,

.

Отсюда находим

,

= = .

В данном случае оценки, найденные по методу моментов и по методу максимального правдоподобия, совпадают. Они являются состоятельными, причем первая из них несмещенная, а вторая смещенная.

Пример 2.

Произведено 16 независимых измерений случайной величины , распределенной по нормальному закону. По выборке найдена выборочная средняя =4, 1.

Оценить неизвестное математическое ожидание случайной величины по выборочной средней при помощи доверительного интервала с надежностью = 0, 95, если: 1) среднее квадратическое отклонение величины известно и равно единице; 2) среднее квадратическое отклонение , неизвестно, а выборочное среднее квадратическое отклонение величины .

Решение. 1. По условию, =0, 95. Следовательно, . Из таблицы приложения II находим значение =1, 96, которому соответствует 0, 975. Определим точность оценки = = = 0, 49. В соответствии с формулой (4.17) при =4, 1 доверительный интервал имеет доверительные границы:

, .

Таким образом, значения неизвестного параметра , согласующиеся с данными выборки, удовлетворяют неравенству:

.

2. Случайная величина подчиняется -распределению Стьюдента с степенями свободы. Поэтому доверительный интервал строится по формуле (4.18).

По условию, = , , = = .

Используя таблицы приложения IV, получаем: .

Тогда доверительные границы равны

,

.

В данном случае с надежностью =0, 95 неизвестный параметр заключен в доверительном интервале:

3, 57 < < 4, 63.

Пример 3.

Произведено четыре измерения дальности до неподвижной цели с помощью радиолокатора, в результате получены следующие данные: 2470, 2490, 2580, 2520 м

Оценить точность радиолокатора при надежности оценки =0, 95.

Решение. Определим выборочные характеристики и . По

формулам (4.5) и (4.9) имеем:

= м,

м².

По таблице приложения III для , = = =0, 025 и = =0, 975 находим

=9, 35, =0, 216.

Границами доверительного интервала для дисперсии являются:

= =736, = 31900.

Тогда 736 м² < < 31900 м².

Оценка среднего квадратического отклонения

или 27, 2 м < < 178 м.

Результат показывает, что для определения точности радиолокатора четырех измерений мало.

Пример 4.

Ошибки 500 результатов измерений дальности до цели радиодальномером приведены в таблице

Интервал , м	-25; -15	-15; -5	-5; 5	5; 15	15; 25
Число ошибок в интервале
Относительная частота	0, 10	0, 26	0, 40	0, 20	0, 04

Требуется: 1) построить гистограмму и эмпирическую функцию распределения ошибок измерения дальности; 2) аппроксимировать выборочное распределение с помощью нормального закона; 3) пользуясь критерием согласия с уровнем значимости , проверить согласованность теоретического и эмпирического распределений.

Решение. 1. По условию, число интервалов , а длина интервалов = 10 м. Используя формулы (4.2), (4.1), данные таблицы строим гистограмму и функцию распределения , графики которых соответственно изображены на рис. 5.1 и 5.2.

рис. 5.1 рис 5.2

Гистограмма виборки Эмпирическая функция распределения

2. По методу моментов заменим теоретические параметры и их выборочными характеристиками и . Последние определим по формулам (4.9) и (4.10):

=-1, 8 м,

м²,

м,

где — середины интервалов: —20, —Ю, 0, 10, 20.

Тогда выражения оценок плотности вероятности и функции распределения будут иметь вид:

,

.

3. Для определения меры расхождения (4.3) необходимо вычислить вероятности

,

где , — границы -го интервала, а находится из таблицы приложения II. Так, например, для четвертого интервала (5; 15) имеем: =0, 2012. Результаты вычислений остальных вероятностей сведены в таблицу

Интервал , м	-25; -15	-15; -5	-5; 5	5; 15	15; 25
	0, 0821	0, 2818	0, 3794	0, 2012	0, 0417

Подставив соответствующие значения в формулу (4.3), получим расхождение:

=3, 427.

Оценочными значениями заменены два параметра нормального распределения. Поэтому число степеней свободы =2. Из таблицы приложения III при , находим

=9, 21.

Так как =3, 427 < = 9, 21, то гипотезу о том, что ошибка измерения распределена по нормальному закону, можно считать правдоподобной.

Пример 5.

На вход радиоприемного устройства в некоторый фиксированный момент времени воздействует случайное напряжение , которое является либо суммой известного сигнала и помехи (гипотеза ), либо одной помехой (гипотеза . Помеха — гауссовский стационарный шум с нулевым математическим ожиданием и известной дисперсией . Априорные вероятности гипотез одинаковы: . В момент производится измерение величины .

Требуется: 1) построить правило решения; 2) вычислить условные вероятности ошибок первого и второго рода, а также полную вероятность ошибки.

Решение. При отсутствии сигнала , поэтому

.

При наличии сигнала . Следовательно,

.

1. В соответствии с (4.23) правило решения принимает вид

= ,

что эквивалентно (после логарифмирования) неравенству .

Таким образом, принимается решение о наличии сигнала (),

если измеренное значение (область ); при (область

) констатируется отсутствие сигнала ().

2. По формулам (4.20) и (4.22) находим вероятности ошибок:

,

= ,

где определяется по таблице приложения II.

Графики плотностей вероятностей, а также ошибки и показаны на рис. 5.3.

Рис. 5.3. Нормальные плотности вероятности и ошибки первого и второго рода

Задания.

1. Произведена выборка объемом п = 100 из большой партии однотипных радиоламп. Средний срок службы радиолампы выборки оказался равным 5000 ч.

Найти с надежностью 0, 95 доверительный интервал для среднего срока службы радиолампы во всей партии, если среднее квадратическое отклонение срока службы составляет 40 ч.

2. Случайный радиосигнал распределен по нормальному закону, причем его среднее значение неизвестно, а дисперсия =1В². Произведено 100 измерений сигнала, по которым определено значение выборочного среднего В.

Определить величину доверительной вероятности , с которой может быть гарантирована предельная погрешность измерения среднего значения сигнала = 0, 2.

3. Распределение выборки объемом задано таблицей

Оценить с надежностью 0, 95 математическое ожидание случайной величины , распределенной по нормальному закону, по выборочной средней при помощи доверительного интервала.

4. Произведено десять независимых измерений случайной величины , подчиненной нормальному закону с неизвестными параметрами и . Результаты измерений представлены в таблице:

Номер измерения,
Результат измерения	2, 5		-2, 3	1, 9	-2, 1	2, 4	2, 3	-2, 5	1, 5	-1, 7

Найти оценку для математического ожидания и построить доверительный интервал, соответствующий доверительной вероятности =0, 95.

5. Произведено 12 измерений напряжения радиосигнала одним и тем же прибором, не имеющим систематической ошибки, причем выборочное среднее квадратическое отклонение случайных ошибок оказалось равным 0, 6 В.

Найти точность прибора с надежностью 0, 99.

6. На контрольных испытаниях 16 радиоламп были определены выборочные характеристики их срока службы, которые оказались равными =3000 ч и = 20 ч.

Считая, что срок службы каждой лампы является нормальной случайной величиной, определить: а) доверительный интервал для математического ожидания и среднего квадратического отклонения при доверительной вероятности 0, 9; б) с какой вероятностью можно утверждать, что абсолютное значение ошибки определения не превзойдет 10 ч, а ошибка в определении будет меньше 2 ч?

7. На телефонной станции производилась регистрация числа неправильных соединений , в минуту. Результаты наблюдений приведены в таблице

Требуется: а) определить выборочные характеристики и и проверить выполнение основного условия для распределения Пуассона, б) найти теоретическое распределение Пуассона и проверить степень соответствия теоретического и эмпирического распределений по критерию с уровнем значимости = 0, 05.

8. Произведены испытания 500 радиоприемников на их чувствительность. Данные отклонений чувствительности от номинала указаны в таблице

Интервалы чувствительности, мкВ	-4; -3	-3; -2	-2; -1	-1; 0	0; 1	1; 2	2; 3	3; 4

Проверить по критерию с уровнем значимости = 0, 01 гипотезу о том, что результаты испытаний подчиняются нормальному распределению.

9. Испытания 200 радиоламп на их срок службы дали результаты, приведенные в таблице

Срок службы, ч	300—	400—	500—	600—	700—	800—	900—	1000—	1100—

Требуется: 1) установить теоретический закон распределения срока службы радиоламп и найти его параметры; 2) написать выражения для плотности вероятности и функции распределения ; 3) пользуясь критерием установить, согласуются ли данные испытаний с гипотезой о распределении случайной величины по избранному теоретическому закону.