Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Метод максим. правдоподобия
Пусть f(x, Q) – ф-ия плотности, отвечающая распредел F(x, Q). Пусть Q задано. P события X1=x1,..Xn=xn при заданной оценке Q будет (Õ [1; n]f(X; Q))∙ Dn, где D - малое число Функция правдопод. дискретной с.в. L(x1, x2, …xn; Θ)=p(x1; Θ)p(x2; Θ)… где x1,.. – fix числа. Θ - оценка наибольшего правдоподобия. Ищется из d L/ d Θ =0 или d lnL/ d Θ =0+d2lnL/dΘ ≤ 0 Функция правдоподобия непрер с.в. Дано: f(x), но не известен Θ, к-рой она определ. L(x1, x2, …xn; Θ)= f(x1; Θ)f(x2; Θ)… -32- | 20. Статистические оценки Найти статистич оценку неизвестного параметра теоретич распр= найти ф-ию от наблюд с.в., к-рая дает приближ-ое знач оцениваемого парам-ра. => это ф-ия от наблюд с.в. Θ ˆ - статистич оценка Θ – оцениваемый параметр Свойства оценок: Несмещенность – мат ожид-я оценки (Θ ˆ)совпадает с истинным значением параметра: E(Θ ˆ)= Θ Смещенная оценка – E(Θ ˆ)≠ Θ Состоятельность – при nà ∞ Θ ˆ à Θ (например if D(Θ ˆ)à 0 при nà ∞) " ξ > 0 сущ n(номер выборки): lim{P| Θ n- Θ |< ξ }=1; Θ n=Θ (X1, X2, …Xn) Эффективность – при заданном объеме выб-ки (n) имеет наименьшую дисперсию. If Θ 1^, Θ 2^ стат оценки, E(Θ 1^)= Θ; E (Θ 2^)= Θ; D(Θ 1^)< D(Θ 2^), то оценка Θ 1^ более эффективна T. Если оценка Tn для параметра Q является несмещенной и D(Tn)à 0 при nà ∞, то оценка Tn состоятельна Д-во: (по нер-ву Чебышева (стр 31)) 1) E(Йn)=μ – несмещенность 2) D(Йn)=σ 2/n à 0 при nà ∞ < -30- | 18. Простая случайная выборка это такая процедура, при к-рой любые n эл-ов из генер совок-ти могут быть выбраны с одной и той же вер-тью Т. в простой случ выборке EX=μ Д-во: E(Xi)=∑ {J=1; m} ζ J∙ P(Xi= ζ J) =∑ ζ J ∙ nJ/N=1/N=∑ ζ J ∙ nJ= =1/N∙ ∑ {l=1; N}xl=μ E(Й)1/n ∙ ∑ {i=1; n}EX=μ < Лемма: в простой случ выборке cov(Xi, Xj)={ σ 2 при i=о { σ 2/(N-1) при i≠ j Д-во: пусть i=j; Cov(Xi, Xi)=D(Xi)= E(Xi2)-(EXi)2=1/N ∙ ∑ {j=1; m}n∙ ζ J-μ 2= =1/n ∙ ∑ {l=1; N}xl2 - μ 2=σ 2 Пусть i≠ j; E(Xi, Xj)=E(XiXj)-E(Xi)∙ E(Xj)= = E(XiXj)- μ 2 … T. При простой случ выборке D(X)=[σ 2/n]∙ [N-n]/[N-1] Д-во: D(X)=D(1/n ∙ ∑ Xi)= =1/n2 ∙ ∑ {i=1; n}∑ {j=1; n}cov(Xi; Xj)= =1/n2 ∙ ∑ D(Xi) + +1/n2∙ ∑ {i=1; n}∑ {j=1; n}cov(Xi; Xj)… Стратифицированная случ выборка stratum – слой. Из каждого слоя берется простая случ выборка N=N1+N2+…+NL n=n1+…nL; l=1, …L μ l=1/Nl∙ ∑ [i=1; i< Nl]li∙ e σ l2=1/Nl∙ ∑ [i=1; i< Nl](xi- μ l)2 Wl=Nl/N; Йl=1/n∙ ∑ [i=1; i< nl]Xil ЙS=∑ [l=1; l< L]WlЙl; E(ЙS)=μ; P(ЙS)= ∑ [l=1; l< L]Wl2∙ σ l2/nl Преимущество страт. выборки перед простой случайной в том, что DX меньше -28- | Отрицательное биномиальное распр P{X(k)=x}=Cx-1k-1pk(1-p)x-k) p- появл событ А в каждом испыт X(k) – число испыт до появл k-ого успеха. Гипергеометрическое респр P(X=m)=[СmM∙ Сn-mN-M ]/CnN Имеем: N изделий, из них M стандарт. Бывираем любые n и ищем P(X=m), где m – станд-ые из n. СmM – способами извлекаем m из M (cт) Сn-mN-M- Cп-ми берем n-m из N-M (нест) СmM∙ Сn-mN-M- число благопр исходов -26- | |||||||||||||||||||||||||
24.-27. Проверка Гипотез О конкретном значении 1. H0: μ = μ 0 a) σ 2 изв. t=[Й-μ 0]/[σ /√ n]; H1: μ < /> μ 0 ; |t|> t1-2α H1: μ ≠ μ 0; |t|> t1-α b) σ 2 неизв. t=[Й-μ 0]/[σ ^/√ (n-1)]; H1: μ < /> μ 0 ; |t|> t1-2α , n-1 H1: μ ≠ μ 0; |t|> t1-α , n-1 2. H0: σ 2= σ 20; μ - изв χ 2=nσ ^2 / σ 20 H1: σ > σ 0 ; χ 2> χ 2α, n-1 H1: σ > σ 0 ; χ 2> χ 21-α, n-1 H1: σ ≠ σ 0; |χ 2|> χ 2α /2, n-1 3. H0: p=p0 // вер-ть успеха в 1 испыт P^~N(p0; [p0(1-p0)]/n) Z=[P^-p0] / √ [p0(1-p0)/n] ~ N(0; 1) О равенстве 1. H0: Px=Py P^0=[P^XnX+ P^YnY]/[nX+nY] Z=___________ [P^X-P^Y]________ √ [(P^0(1- P^0)/nX)+ (P^0(1- P^0)/nY) 2. H0: σ 2X= σ 2Y (if σ ^2X> σ ^2Y) F= (σ ^2X) / (σ ^2Y)~F(nx-1; nY-1) > - α; < - 1-α; ≠ - α /2 О разности 1. H0: PX-PY=P0 Z=_________ P^X-P^Y-P0 _________ √ [P^X(1-P^X)/nX + P^X(1-P^X)/nX] -37- | 28. Дисперсионный Анализ (ANOVA=analysis of variances) У нас есть k генер совок-тей. n1,...nk – размеры выборок μ 1,...μ k – среднее по генер совок H0: μ 1=...=μ k xij – j-ое наблюдение из i-ой выборки i=1, …k, j=1, …ni Рассм след с.в.: /* SS- sum squares – ∑ квадр T – total; W-within (внутри) groups; G – между группами Й – общее среднее всех наблюд Йi - среднее про i-ой выборке */ SST=∑ [i=1; i< k]∑ [j=1; j< ni](Xij-Й)2 SSW=∑ [i=1; i< k]∑ [j=1; j< ni](Xij-Йi)2 SSG=∑ [i=1; i< k] (Xi-Й)2 // Лемма: SST=SSW+SSG MSW=SSW/n-k MSG=SSG/k-1 Однофакт-ый Дисперс. анализ: В предположении о норм-ти наблюд и рав-ве дисперсий для всех ген.совок. при ур-не значим-ти α гипотеза H0 отклон при: MSG/MSW> Fk-1, n-k, α Вероятност модель одноф.Дисп.Ан: Xij=μ +ti+eij Xij – j-ое наблюд из группы i μ – общее среднее ti – неслучайный вклад i-ой группы eij - случайная ошибка ∑ (eij)=0, D(eij)=σ 2 Тогда гипотеза H0: μ 1=...=μ kверна ó, когда верна гипотеза H0: t1=…=tk=0 -39- | 29. Аксиоматика Колмогорова {W, P} 1. W - несчетно, напр W=[0, 1] Надо выделить сист подмножеств F и определ вер-ть для AGF (A< W) Тогда, верятност сист: {W, F, P} 2. событие А={wÎ W: X(w)≤ x} X: Wà R Необходимо, чтобы " xÎ R AÎ F. Тогда определена вер-ть P(A) 3. Пусть X приним счетное число знач-ий=x1,..xn An={wÎ W: X(w)=xn} Тогда: E(X)=∑ [n=1; ∞ ]xnP(An) при усл, что ряд абсолютно сходится Система мн-в: всякое мн-во, элементами которого явл-ся др. мн-ва. Кольцо - непустая система мн-в K, облад св-ом: что" 2 мн-в. A, BÎ K, AÇ B и AΔ B тоже Î системе Так же кольцу принадл AÈ B=(ADB)D(AÇ B); A\B=AD(AÇ B) Это есть замкнутость кольца относительно операций и объединений Единица системы мн-ва S – мн-во E, такое, что если EÌ S и " AÎ S: AÇ E=A. (E - макс. мн-во). Алгебра м-в – кольцо мн-в с еденицей. (пересеч люб кол-ва колец к-цо) Алгебра множеств2 – Кольцо множеств с единицей Т. " непустой сист мн-в S $! кольцо K(S), содерж-ее S и содерж-щееся в любом кольце К, сожержащем S – это min кольцо -41- | σ -аддит мера – мера m if " A1.. An, ... Î полукольцу Sm : A=È [n=1; ∞ ]An Ai Ç Aj при i≠ j и m(A)= ∑ [n=1; ∞ ]m(An) Не аддит мера – пр - W - м-во рац точек на [0; 1], Sm состоит из перечеч W с призволь-ми (0; 1], [0; 1), (0; 1) [0; 1]. Sm – полукольцо. Для каждого мн-ва AabÎ Sm m(Aab)=b-a. Тогда m(W)=1, y W- объед счетн числа точек, каждая их которых имеет меру 0. -43- | Интеграл Лебега Ф-ия f(x) определенная на нек-ом мн-ве W с заданной на нем мерой назыв. простой, if она измерима и принимает не более, чем счетное число значений. Т. f(x) принимает не более, ч ем счетное число значений y1,..yn,.. измерима ó, когда все мн-ва Сn={xÎ W f(x)=yn} измеримы Простая ф-ия назыв-ся интегрируемой по мере μ на мн-ве А, if ряд ∑ [n=1; ∞ ]ynμ (An) абсолютно сходится. If простая ф-ия интегрир-ма, то ∑ данного ряда назыв интегралом от f по мн-ву А обознач: ò Аf(x)dμ Сходимость по мере измеримых ф-ий Пол-ть {fn(x)} измеримых ф-ий, определенная на нек-ом множ-ве W с заданной на нем мерой μ назыв-ся сходящейся по мере измеримой ф-ией f(x), if " σ > 0 lim [nà ∞ ]μ {xÎ W: |fn(x)-f(x)≥ σ |}=Æ -45- | Т. (о самост. выб. ков.) Ĉ n является самостоятельной оценкой для cov. Д-во.Воспользовавшись представлением, что Ĉ n==1/(n-1) ∑ (i=1, n)(XiYi)- n/(n-1) ЙŸ по закону больший чисел: 1/n ∑ (i=1, n)(XiYi) -> (p)E(XY) при x-> ∞. Йn-> (p)E(X) при n-> ∞, Ÿ n-> (p)E(Y) при n-> ∞, g: R3-> R, gn(U1, U2, U3)=U1-U2U3. Vn, 1=1/n ∑ (i=1, n)(XiYi), Vn, 2=Йn, Vn, 3= Ÿ n; C1=E(XY), C2=E(X), C2=E(Y) Ĉ n=n/(n-1)g(Vn, 1, Vn, 2, Vn, 3) тк Vn, 1-> (p) C1… Vn, 3-> (p) C3 è Ĉ n-> (p) E(XY)-E(X)E(Y), n-> ∞. Положим ^δ 2n, x=1/(n-1) ∑ (i=1, n)(Xi-Й)2 ^δ 2n, y=1/(n-1) ∑ (i=1, n)(Yi-Ÿ)2 Выборочная Corr: ^Rn= Ĉ n/√ (^δ 2n, x *^δ 2n, y ) < Т. (о состоятельности выборочной корреляции) ^Rn является самостоятельной оценкой для Corr(X1, Y1) Д. Vn, 1= Ĉ n-> (p)Сov(X1, Y1)=C1 , Vn, 2=^δ 2n, x-> (p)D(X1)=C2, Vn, 3=^δ 2n, y -> (p) D(Y1)=C3 è g(U1, U2, U3)=U1/√ (U2U3), Таким образом ^Rn-> (p) Corr(X1, Y1) при n-> ∞ -47- | ||||||||||||||||||||||||
Мат. ожидания случ вектора (x1, x2)T это вектор (E(X1) E(X2))T Ковариационная матрица (типа дисперсии) случайного вектора – это (D(X1) cov(X1, X2)) (cov (X2, X1) D(X2)) Свойства: 1. симметрична 2. Неотрицат определена Т.к. " ой a=(a1, a2)T - обычный вектор - " случ вектора X=(X1, X2)T D(aTX)=aTCa, где С – ковариационная матр случ вектора X -49- | Многомерное нормальное распределение. Для краткости рассмотрим только двумерный случай. Def Совместное непрерывное распределение с. в. X1 и Х2 назыв. двумерным нормальным распределением, если совестная ф-ция плотности имеет вид: f(x1, x2)=e-0.5Q/2Пδ 1δ 2√ (1-ρ) (-∞ < x1< ∞, -∞ < x2< ∞, δ 1> 0, δ 2> 0, -1< ρ < 1, Q=1/(1- ρ 2)[(x1-μ 1)2/ δ 12 – -2ρ (x1-μ 1)(x2-μ 2)/ δ 1 δ 2 + (x2-μ 2)2/ δ 22 , где μ 1ЄR, μ 2ЄR) Т.Так опред-ая ф-ия f(x1, x2) явл. совместной ф-цией плотности E(X1)=μ 1 , D(X1)= δ 12 E(X2)=μ 2., D(X2)=δ 22 Ковариац. матрица: (δ 12 ρ δ 1 δ 2 ) (ρ δ 1 δ 2 δ 22 ) Cov(X1, X2)= ρ δ 1 δ 2 Упр показать, что f(x1, x2)=1/(2П√ det∑) e^([-0.5(x-μ)T ∑ -1(x-μ) -51- | Нер-во Крамера-Рао. Dq(T(X))≥ 1/In(q)=1/(nI1(q)) Асимптотически эффективные оценки. Рассмотрим производ. несмещ. оценку Т(Х) для скаляр пар-ра q. По нер-ву Крамера-Рао Dq(T(X))≥ 1/(nI1(q)); Если сущ c2=lim(n-> ∞)n Dq(T(X)), то вел-на e(T)=1/(c2I1(q)) называется асимптотич эфф-ностью оценки Т. Из нер-ва Кр.-Рао следует, что 0≤ e(T)≤ 1. Оценка назыв. асимпт. эф-й, если e(T) ≤ 1 Состоятельность, асимпт. эф-ть, асимпт норм-ть оценок макс. правд. lik(q)=П(i=1, n)f(Xi, q). L(q)=log(lik(q)). Рассмотрим ур-ие правдоподобности ∂ L/∂ qi=0 i=1…k, k-размерность q [? k=1] ^q-решение ур. правдоподобия. Т.При выполнении некот. усл. гладкости и регулярности для f ур-ия правдоподобия имеют послед-ть решений ^qn таких, что: 1) ^qn -> (p)q при n-> ∞ (те оценка ^qn состоят) 2)послед-ть с.в √ n (qn - q) -> (d)V, где V~N(0, 1/I1(q)) при n-> ∞ По другому записывают тоже самое ^qn ~(A)N(0, 1/I1(q)). Из нер-ва Кр.-Рао видим, что оценка макс. правдоподоб. ^qn не только асимпт. нормальна, но и асимпт. эф-вна. -53- | -55- | -57- | -59- | ||||||||||||||||||||||||
32. Совместная функция распределения системы с.в. Рассмотрим верятностно пр-во (W, ₣, P) " AÎ ₣ определена P(A) " ₣ - σ –алгебра подмножеств X1: Wà R…Xk: Wà R – с.в. или измеримые ф-ии Пусть x1,..xk – действит числа, X1≤ x1 … Xk≤ xk – событие (измеримое мн-во) FX1, …Xk(x1, …xk)=P((X1≤ x1)Ç … …Ç (Xk≤ xk)). F: Rkà [0; 1] и назыв-ся совместной ф-ией распределения случ величин X1, …Xk, определенных на одном и том же W (случ вектор) Свойства: 1. lim [xà -∞ ] = 0; 2. lim [xà +∞ ] = 1; 3. неубывание; 4.непрер-ть справа; Аналогично св-вам ф-ии распред-ия Ф-ия распред каждй из с.в. X1, …Xk связана с совместно ф-ией распр соотношением: FXi(xi)=FX1, …Xk(∞, …∞, xi, ∞, …∞) и называется маргинальной функцией рапсределения Т. (О виде совм. ф-ии распр для независ с.в.) С.в. X1, …Xk независимы ó, когда " (x1, …xk)Î Rk FX1, …Xk(x1, …xk)=P[i=1; k]FXi(xi) Def: Пусть с.в. X1, X2 имеют совместное непрер распределение, тогда ф-ия F(x1|X2=x2)=P(X1≤ x1|X2≤ x2) называется условной функцией распределения Т. E(g(X1, X2)) = ò [-∞, ∞ ]ò [-∞, ∞ ]g(x1, x2)∙ f(x1, x2)dx1dx2 // эта теорема применима для расчета cov с.в. -48- | 31. Состоятельность оценок как частный случай сходимости по вероятности случайных величин. С.в Xn сходится по вероятности к с.в X (Xn-> (p) X при n-> ∞), if " σ > 0 limn-> ∞ P(|Xn-X|> σ)=0 if " ω Î Ω X(ω)=q, то Xn-> (p) q. Оценка Tn параметра q назыв самостоятельной, if Tnà (p) q, nà ∞. Т. (о сходимости по вероятности функции от случайных векторов). Пусть Vn, 1 --(p)à C1, при nà ∞ Vn, m--(p)à Cm, при nà ∞ непрерывная ф-ция g: Rmà R, тогда g(Vn, 1, …. Vn, m) --(p)à (C1, …. Cm) при nà ∞ Теорема останется справедливой, if ф-ция g борелевская непрерывная в точке (C1, …. Cm) Пусть 2D случ вектора (X1, Y1)T, … (Xm, Ym)T независимы и одинаково распределены Выборочная cov: Ĉ n=1/(n-1)∙ ∑ (i=1, n)(Xi-Й)(Yi- Ÿ) -46- | 30. Продолжение меры m, - Мера μ, if SmÌ Sμ и " АÎ Sm μ (A)=m(A) " меры m заданной на полук Sm! продолж-е m’, область определения которого кольцо K(Sm) (min кольц над Sm). Продолжение меры с полукольца на min кольцо – μ: Sà R, SmÌ Sμ Лебегово продолжение меры Внешн мера AÎ W - μ *(A)=inf∑ [n]m(Bn). Нижн грань по всем погрешностям мн-ва Аконечными или счетными системами мн-в BnÎ Sm Измеримое мн-во – мн-во AÌ W, if " e> 0 $ВÎ R(Sm) такое, что μ *(AΔ B)< e R (Sm) – min кольцо с Sm. Неизмеримое мн-во построить трудно, но такие $. Функция μ *, раасматр-ая только на измеримых мн-ах – лебеговая мера (обозн μ). Измеримые функции W - мн-во, на σ -алгебре подмножеств которого ₣ задана σ -аддитивная мера μ Ф-ия f: W→ R наз-ся измеримой по Лебегу, if " борелевского мн-ва AÎ K: f--1(A)Î ₣. Для того чтобы ф-ия f: W→ R была измеримой необходимо и дост, чтобы для люб с из R, мн-во {xÎ W таких, что f(x)< c} было измеримым. (при ≤ а не < тоже верно) (если исх ф-ии измеримы то их +; -; *; / при знамен ≠ 0 измеримо). Если f: W→ R измерима, и ф-ия g: W→ R борелевская, то сл ф-я g(f(x)) измеримая. -44- | Полукольцо – система мн-в S, к-рая содержит Æ, замкнуто по потношениюк образованию пересеченийи облад теми де св-ми, что из A, A1Î S, при чем A1Î A вытекает возможность представл A в виде: A= È [k=1; n]Ak; A1.. Ak – попарно не пересек мн-ва из S. Т. Если S – полукольцо, то мин к-цо K(S) совпадает с системой мн-в, допускающих конечное разлож-е вида A= È Ak где AkÎ S и эти мн-ва попарно пересек. σ -кольцо –if вместе с каждй посл-тью мн-в A1.. An, …оно содержит их объединения A=È [n=1, ∞ ]An σ -алгебра – σ -кольцо с единицей σ -алгебра неприводимая по отношению к данной системе S – if ee единица E=È [AÎ S]A Т." непустой сист мн-в S $ неприводимая по отношению к данной системе мн-в σ -алгебра ₣ (S), содерж-ая S и содержащаяся в любой σ -алгебре ₣ (S) – min σ -алгебра; S – сист-ма всех отр-ов [а, b]Î K. Мера – ф-ия μ, if выпол след усл-я: 1. S - полукольцо; 2. μ ≥ 0; 3. μ аддитивна, те " конечн разлож мн-ва A= È [k=1; n]Ak на попрарно не пересек A1.. Ak Î S выполн-ся: μ (A)=∑ [k=1; n]μ (Ak); μ (Æ)=0, т.к. Æ =Æ È Æ -42- | Двухфакторный Дисп Анал Xij=μ +ti+eij+β j i=1,..K; j=1,..H β j – неслучайный вклад j-ого блока. n=K∙ H ∑ [i=1; K]ti=0; ∑ [j=1; H]β i=0; E(eij)=0; D(eij)=σ 2 H0: t1=…=tK=0 либо H0: β 1=β 2=...=β K=0; Йi∙ =1/H ∑ [j=1; H]Xij Й∙ j =1/K ∑ [i=1; K]Xij SST=∑ [i=1; K]∑ [j=1; H](Xij-Й)2 SSG=H∙ ∑ [i=1; K](Xij-Й)2 SSB=K∙ ∑ [j=1; H](Xij-Й)2 SSE=∑ [i=1; K]∑ [j=1; H](Xij-Йi ∙ -Й∙ j +Й)2 Лемма: SST=SSG+SSB+SSE MSG=SSG/(K-1) MSB=SSB/(H-1) MSE=SSE/(K-1)(H-1) a) при тех же предположениях, что и в однофакторном анал H0: t1=…=tK=0 отклоняется при α, if MSG/MSE> FK-1, (K-1)∙ (H-1), α б) H0: β 1=β 2=...=β K=0 отклоняется если MSB/MSE> FH-1, (K-1)∙ (H-1), α -40- | 2. H0: μ X-μ Y=D0
di=Xi-Yi ~N(μ X-μ Y; ∙)
d^ ~N(μ X-μ Y; (σ ^2α )/n)
[d^-D0]/ (σ ^α )/√ n ~t(n-1; α)
a) ~N, σ 2 – изв.
Й-Ϋ ~N(μ X-μ Y; σ 2X/nX + σ 2X/nX)
Z=_____ Й-Ϋ -D0 _____
√ [σ 2X/nX + σ 2X/nX] ~N(0; 1)
b) n> 30
Z=_____ Й-Ϋ -D0 _____
√ [σ ^2X/nX + σ ^2X/nX] ~N(0; 1)
c) ~N, σ 2 – Неизв, но σ 2X= σ 2Y
σ ^2= (nX-1)σ ^2X + (nY-1)σ ^2Y
nX+nY-2
t=[Й-Ϋ -D0]/[σ ∙ √ {(nX+nY)/ nX∙ nY}]
~t(nx+nY-2)
О соответствии наблюдений предполагаемому
H0: Pi=Pi0
H1: другое распределение
n – наблюдения
k – категории
Oi – кол-во наблюд i-ой катег.
χ 2=∑ [(Oi-Ei)2/Ei]~ χ 2(k-1, α)
|