Предельные теоремы теории вероятностей

Центральная предельная теорема

Если Л',, Л,,..., Л",,,... - последовательность независимых и одинако­во распределенных случайных величин, имеющих конечные математи­ческое ожидание ш и дисперсию о², то для любого л при п -» х

I где Ф(л) = -р= \е' ²с! 1 - функция распределения нормального закона

л/2; г ^

Л'(0, 1). Теорема дает нормальное приближение биномиального рас­пределения и применяется при пра> 9.

Теорема Чебышева (закон больших чисел)

Если Л',, Л'₂,..., Л'_/; ,... - последовательность попарно независимых случайных величин, дисперсии которых ограничены одной и той же постоянной П[Х_{] < с1, О[Х₂] < с1,..., О[Х_п]< < /,..., то для любого е > О

^гяе К - Х^ ••• ~ ^т / V " стандартизованное среднее арифметичес-

хЛм, / V/?

1 г г-,

кое /г случайных величин, а Ф(л) = —р= ] р ' " < // - функция распреде­ления нормального закона Л^г(0, 1).

Теорема Пуассона

Если п -> да и /? -> О так, что «•/? -» Л < оо, то

Нтп Р

Закон больших чисел утверждает, что среднее арифметическое большого числа случайных величин имеет малое рассеяние. Для после­довательности попарно независимых случайных величин, имеющих одинаковое математическое ожидание /я, из закона больших чисел следует, что

Эта теорема дает пуассоновское приближение биномиального распре­деления и обычно используется при р« 1 и /? /> < •/< 9.

Локальная теорема Муавра-Лапласа

Если прц —» ос, то

плотность распределения вероятностей нормаль-

ного закона Л⁷(0, 1). Теорема дает нормальное приближение биноми­ального распределения и применяется при прд> 9.

Интегральная теорема Муавра-Лапласа

Если прд^> оо, то для биномиальной случайной величины Л"

10.1. Цех производит 10000 пар обуви в день. Вероятность брака одного башмака 0, 0003. Найти вероятность того, что цех выпустит за день больше шести пар бракованной обуви.

10.2._: Известно, что вероятность рождения мальчика равна 0, 5! 5. Какова вероятность того, что среди 10 тысяч новорожденных мальчи­ков будет не больше, чем девочек?

10.3. В зале 900 мест, его обслуживают 3 гардероба. Каждый зри­тель может с равной вероятностью обратиться в любой ш гардеробов. Найти вероятность того, что в данный гардероб обратится больше че­тырехсот человек.

⁴ 10.4. Среди семян пшеницы 0, 6% семян сорняков. Какова вероят­ность при случайном отборе 1000 семян обнаружить:

а) не менее 3 семян сорняков,

б) не более 16 семян сорняков,

в) ровно 6 семян сорняков.

10.5. Для 40-летнего человека вероятность смерти на 41-м году рав­на. 0, 008. Застрахована группа в 10 тыс. чел. 40-летнего возраста. На­чальный взнос 20 долларов. В случае смерти в течение года страховое учреждение выплачивает наследникам 1000 долларов.

Найти вероятность того, что:

а) к концу года страховое учреждение окажется в убытке;

б) доход превысит 100000 долларов;

в) доход превысит 150000 долларов.

10.6. В архив поступают материалы по двум основным тематикам,
причем по первой вдвое больше, чем по второй. Найти вероятность
того, что из 2000 документов по первой тематике окажется больше
1500.

10.7. При наборе книги существует постоянная, равная 0, 00! веро­
ятность того, что любой знак будет набран неверно. Корректор обна­
руживает ошибку с вероятностью 0, 9. После корректора автор, читая
корректуру, обнаруживает ошибку с вероятностью 0, 6. Найти вероят­
ность того, что книга со 100 тысячами знаков выйдет в свет не более
чем с! 0 опечатками.

10.8. Театр, вмещающий 1000 человек, имеет два разных входа. Около каждого входа имеется свой гардероб. Сколько мест должно быть в каждом гардеробе, чтобы с вероятностью 0, 99 каждый зритель мог раздеться в том гардеробе, в который он обратился сразу после входа в театр?

10.9. Вероятность выпуска сверла повышенной хрупкости 0, 02. Сверла укладывают в коробки по 100 штук в каждую. Найти вероят­ность того, что:

а) в коробке не окажется бракованных сверл; •, б) бракованных сверл окажется более двух.

Какое число сверл надо класть в коробку, чтобы с вероятностью 0, 9 в ней было не менее 1 00 исправных?

10. 10. Сколько телефонисток должно обслуживать справочную станцию, чтобы с вероятностью 0, 98 не было отказов абонентам, если в час в среднем требуется ответить на 360 запросов, а на один ответ ухошгтодна минута?

10.11. Из трех разных мест города А каждый день отправляется в город В по автобусу. На сколько мест должен быть рассчитан каждый автобус, чтобы с вероятностью 0, 992 не было отказа пассажирам⁰ Все три пункта отправления одинаково популярны, а из города Л в город В ездит по 270 человек в день.

! 0. 1 2. Ошибка прогноза температуры воздуха есть случайная вели­чина с математическим ожиданием 0 и средним квадратичным откло­нением 2 градуса. Найти вероятность того, что в течение недели ошиб­ка прогноза трижды превысит 4 градуса.

11. Элементы теории информации

Пусть X - система, которая может находиться в п различных со­стояниях д^, л,,.т₃,.... л'„ с вероятностями соответственно д, р_г, р₃,..., р„.

₁- называется энтропией системы X.

Свойства энтропии системы: Кесли л = 1, то Я(А1 = 0,

2. если л = 2 и д = р_г = 0, 5, то Н(Х) = 1,

3. если п фиксировано, то максимальная энтропия ЩХ)

стигается при р_} - р₂ - р₃ -...- р_п = —.

Объединением двух систем X и V с состояниями.х,, л₂, л₃,..., х_п и г,, г₂, г₃,..., г„, называется сложная система (X, У), состояния ко­торой (л,, г_; ) представляют собой все возможные комбинации состоя­ний.г,, vi систем X и У.

Энтропией сложной системы (X, У) называется величина

Если системы X и Г независимы, то совместная энтропия сложной системы (Л', У) равна сумме энтропии подсистем:

Н(Х, Г) е Н(Х)

В общем случае Я(Л', Г) < ЩХ} + //(Т).

Условная энтропия системы У при условии, что система X нахо­дится в состоянии л,. определяется формулой

" (Г/л-,)

где /Хг, /л,) - условная вероятность того, что система У примет со­стояние у_} при условии, что система X находится в состоянии дг,. Средняя или полная условная энтропия задается формулой

где /> - вероятность состояния.v- системы X.

Аналогично определяется условная энтропия системы X при усло­вии, что система V находится в состоянии г,:

Частная информация от сообщения, что система X находится в со­стоянии я,, определяется равенством

ЩХ/у,)

Взаимной информацией систем X и У, которая обозначается называется величина 1_Х_+_Г - 1_Г^_Х.

Полная условная энтропия равна

где < /, - вероятность состояния у^ системы У.

Для любых систем Л' и У выполняются равенства

Н(Х, У) - //(Л) + Н (У /X) и Н(Х, У) = //(К) + Я(л7У).

Полной или средней информацией о системе X, содержащейся в системе У, называется уменьшение энтропии системы X после того. как определилась система У:

Аналогично определяется полная информация о системе У, содер­жащаяся в системе Л':

/_д_^ = Н(У)-Н(У/Х).

Полная информация о системе X, содержащаяся в системе У, рав­на полной информации о системе У, содержащейся в системе Л':

/_К^_Л = Я(Л) + 7/(}^ - Н(Х, У) = 1_Х^..

Полная информация, содержащаяся в системе X, совпадаете ее эн­тропией

11.1. Из многолетних наблюдений известно, что на экзамене по тео­
рии вероятностей в группе из 25 студентов в среднем 2 получают оцен­
ку " отлично", 6 - " хорошо", 10 - " удовлетворительно" и 5 - " неудовлет­
ворительно". Для экзамена по программированию соответствующие
числа составляют 8, 12, 2 и 1. В каком случае оценка более неопреде­
ленна?

11.2. На выборы в местную Думу выдвинуты два симпатичных вам
кандидата. Вероятность того, что оба они пройдут, - 0, 2; первый
пройдет, а второй нет - 0, 3; первый не пройдет, а второй пройдет - 0, 4;
оба не пройдут -0, 1. Найти степень неопределенности результатов
выборов для ваших кандидатов. Какой будет энтропия, если все
случаи равновозможны? Как изменится энтропия, если оба кандидата
либо вместе проходят с вероятностью 0, 1, либо проигрывают?

11.3. Какова энтропия системы, состоящей из трех элементов, для
каждого из которых существует 4 равновозможных состояния?

11.4. Найти энтропию слова, состоящего из 5 букв, если в алфавите
32 равновозможных буквы.

1!.5. Некоторой болезнью страдают в среднем 2 человека из 100. Используется реакция,, которая оказывается положительной всегда, когда человек болен, и в 50% случаев, если он здоров. Пусть система X имеет два состояния, соответствующие тому, болен человек или здоров, а система У зависит от результатов реакции того же человека. Определить энтропию системы X, энтропию системы У, условную энтропию системы X при условии определенности системы У, а так­же совместную энтропию систем. Найти взаимную информацию сис­тем X и }'.

11.6. Системы X и У имеют по три состояния. Их совместное рас­пределение описывается таблицей

Найтл энтропию кажлой из систем, условные энтропии, совместную энтропию и взаимную информацию систем X и У.

\ 1.7. Система представляет собой шахматную доску с одной фигу­рой на ней. Какая частная информация заключена в сообщениях:

а) " фигура стоит в клетке Е2",

б) " фигура стоит в одном из углов",

в) " фигура - на белом поле",

г) " фигура - на главной диагонали".

11.8. Какая информация заключена в ответе на вопрос: " Сегодня
день твоего рождения? "

11.9. Какая информация заключена в сообщении: " Сегодня день
моего рождения."?

II. 10. Производится п выстрелов по цели с меткостью р. После А выстрелов проверяется, поражена ли цель. При каком значении 1с ин­формация, полученная при проверке, будет максимальной?

11.!!. Сколько вопросов необходимо задать, чтобы угадать заду­манное собеседником число, не превосходящее 1000?

11.12. Сколькими взвешиваниями на чашечных весах без гирь мож­
но среди 25 одинаковых монет обнаружить фальшивую, если известно,
что она легче остальных?

11.13. Сколькими взвешиваниями из! 2 монет можно выделить
фальшивую, если известно, что она отличается по весу от остальных
монет?