Свойство 1. Справедливо неравенство

0 £ £ 1.

Свойство 2. Чтобы случайные величины были независимы, необходимо и достаточно равенства нулю корреляционного отношения:

= 0.

Свойство 3. Чтобы между случайными величинами имела место собственная функциональная зависимость h = j(x), т.е.

P(h = j(x)) = 1,

необходимо и достаточно, чтобы корреляционное отношение было равно единице:

= 1.

Свойство 4. Если регрессия h на x линейна, то корреляционное отношение равно квадрату коэффициента корреляции:

= r ²(x, h).

Таким образом, корреляционное отношение есть характеристика близости стохастической зависимости между случайными величинами к функциональной зависимости h = j(x), где j(x) есть функция регрессии h на x.

3.2.3. Остаток. Остаточная дисперсия

Пусть известно уравнение линейной среднеквадратичной регрессии h на x₁, x₂, …, x _n:

. (2.12)

Рассмотрим соответствующую этому уравнению регрессии случайную величину h _r:

.

Случайная величина z = h – h _r, определяемая формулой

z , (2.13)

называется остатком случайной величины h относительно случайного вектора (x₁, x₂, …, x _n), а дисперсия этой случайной величины – остаточной дисперсией:

. (2.14)

Как видно из формулы (1.21), в случае n = 1 остаточная дисперсия h относительно x такова:

= . (2.15)

В общем n -мерном случае справедлива формула:

= . (2.16)

Отметим очевидные свойства остаточной дисперсии, которые следуют из формулы (2.14).

Свойство 1. Наибольшее значение остаточная дисперсия принимает в случае, если h не коррелирована ни с одной из величин x₁, x₂, …, x _n. В этом случае r ²(h, h _r) = 0 и остаточная дисперсия равна дисперсии h: = Dh.

Свойство 2. Наименьшее значение остаточной дисперсии достигается при условии, что , и оно равно нулю. Это имеет место в случае, если справедливо равенство

. (2.17)

Свойство 3. Для двумерного случайного вектора остаточные дисперсии его компонент и x относительно h и h относительно x определяются формулами:

= m₀₂ (1 – r ²), (2.18)

= m₂₀ (1 – r ²). (2.19)

Ясно, что чем меньше остаточная дисперсия, тем точнее приближение случайной величины x с помощью соответствующего уравнения регрессии. Иногда в приложениях такое приближение характеризуют отношением , где 0 £ £ 1.

3.2.4. Сводный коэффициент корреляции

Сводным коэффициентом корреляции называется коэффициент корреляции случайной величины h и ее наилучшего в смысле среднеквадратичного линейного приближения h _r. Из формулы (2.16) следует:

r ²(h, h _r) = 1 – . (2.20)

Приведем свойства сводного коэффициента корреляции, вытекающие непосредственно из его определения.

Свойство 1. –1 £ r (h, h _r) £ 1.

Свойство 2. Равенство r (h, h _r) = 0 означает, что r (h, x _k) = 0 для всех k.

Свойство 3. Равенство r (h, h _r) = 1 означает, что имеет место собственная линейная зависимость

.

Свойство 4. Если случайные величины x₁, x₂, …, x _n не коррелированы, то справедливо равенство

r ²(h, h _r) = , (2.21)

в котором легко узнать аналог теоремы Пифагора.

П р и м е р. Найти характеристики связи для случайных величин x и h, если x = x₁ + x₂, h = x + z и известно, что x₁, x₂, z попарно не коррелированы и распределены нормально:

x₁ ~ N(a ₁, s₁), x₂ ~ N(a ₂, s₂), z ~ N(a ₃, s₃).

Коэффициент корреляции r (x, h) был найден в п. 2.2.1. Для нашего случая имеем:

r (x₁, h) = = .

r (x₂, h) = = .

Определяя сводный коэффициент корреляции, получим:

r (x, h) = .

Чтобы определить корреляционное отношение, найдем вначале функцию регрессии j(x, y):

j(x, y) = M(h /x₁ = x, x₂ = y) = M(x + z /x = x + y) = x + y + a ₃.

В соответствии с тем, что регрессия, как видим, линейна, корреляционное отношение равно квадрату коэффициента корреляции:

.

Остатком в соответствии с формулой (2.13) является случайная величина z, а ее дисперсия и будет остаточной дисперсией. Остаточная дисперсия определяется как дисперсия разности:

D(h-x) = Dz = .

3.3. Представление случайной величины

в ортогональном базисе

Рассмотрим множество случайных величин таких, которые можно представить в виде линейной комбинации случайных величин x₁, x₂, …, x _n. Предположим, что для них существуют все моменты до второго порядка включительно и при этом все математические ожидания равны нулю, а дисперсии отличны от нуля.

Введем матрицу ковариаций, т.е. матрицу вторых смешанных моментов:

C = (c _{i j}), 1£ i, j £ n, c _{i j} = M(x _i x _j), c _{i i} = Dx _i. (2.22)

Если случайные величины попарно не коррелированы, то С – диагональная матрица. Рассмотрим простейший случай: n = 2. Тогда матрица ковариаций С и корреляционная матрица R имеют диагональный вид:

C = ; R = . (2.23)

Элементом наилучшего в смысле среднего квадрата приближения случайной величины h (в предположении, что Мh = 0, Dh = s²) в ортогональном базисе x₁, x₂ будет линейная комбинация

x = a₁₀ x₁ + a₂₀ x₂, (2.24)

коэффициенты которой, как мы видели, определяются так:

= , , (2.25)

где c ₁ = cov(h, x₁), c ₂ = cov(h, x₂). (Вспомним в линейной алгебре аналогичные формулы для коэффициентов разложения вектора по ортогональному базису на плоскости.)

Формулы (2.24) и (2.25) легко обобщаются на случай n -мерного пространства. Получаем разложение случайной величины h в системе произвольного числа n некоррелированных случайных величин. Здесь система x₁, x₂, …, x _n выступает в качестве ортогонального базиса. В n -мерном случае имеем:

h = a₁⁰ x₁ + a₂⁰ x₂ + … +a _n ⁰ x _n, (2.26)

где , k = 1, 2, …, n.

Особенно просто, как известно, выполняется разложение относительно ортонормированного базиса. Полагаем

(2.27)

Это означает, что система x₁, x₂, …, x _n попарно не коррелирована, и базисные величины имеют единичные дисперсии . В этом случае коэффициенты разложения (2.26) равны соответствующим коэффициентам корреляции:

h = r ₁₀x₁ + r ₂₀x₂ + … + r_{n 0}x _n. (2.28)

Геометрический смысл коэффициентов разложения (2.26) и (2.28) состоит в том, что они представляют собою проекции элемента h на соответствующий элемент x _k.

П р и м е р. Известны все моменты (до второго порядка включительно) системы случайных величин h, x₁, x₂, x₃.

Математические ожидания

5, 112; 1, 023; 2, 005; 4, 985.

Стандартные отклонения

0, 490; 0, 087; 0, 170; 0, 283.

Корреляционная матрица

.

В качестве ортогонального базиса можно выбрать попарно некоррелированные случайные величины x₁, x₂, x₃. Переходим к нормированным и центрированным величинам, которые образуют ортонормированный базис:

x₁₀ = (x₁ – 1, 023)/0, 087;

x₂₀ = (x₂ – 1, 023)/0, 170;

x₃₀ = (x₃ – 4, 985)/0, 283.

В линейном пространстве случайных величин, натянутом на этот базис, находим элемент наилучшего среднеквадратичного приближения случайной величины h. Для этого составляем уравнение регрессии:

(у –5, 112) / 0.490 = 0, 606(x ₁–1, 023) / 0, 087 +

+ 0, 599(x ₂ – 1, 023) / 0, 170 – 0, 452(x ₃ – 4, 985) / 0, 283,

или короче

y = 3, 422 x ₁ + 1, 730 x ₂ – 0, 784 x ₃ + 2, 053.

Следовательно, элементом наилучшего среднеквадратического приближения случайной величины h в базисе x₁, x₂, x₃ будет случайная величина h*:

h* = 3, 422 x₁ + 1, 730 x₂ – 0, 784 x₃ + 2, 053.

Коэффициенты корреляции

r ₁ = 0, 606; r ₂ = 0, 599; r ₃ = – 0, 452

характеризуют степень влияния соответствующего фактора на характеристику h.

Точность описания этой характеристики с помощью параметров x₁, x₂, x₃ характеризуется остаточной дисперсией. Вычисляя остаточную дисперсию по формуле (3.18), получим:

s_h² = 0, 006.

Сводный коэффициент корреляции характеризует точность описания в относительных единицах. Вычисляя сводный коэффициент корреляции по формуле (2.21) (теорема Пифагора), получаем:

r (h, h*) = 0, 965.

Близкое к единице значение сводного коэффициента корреляции говорит о высокой точности описания характеристики h с помощью выбранной линейной функции.