Парная линейная регрессия

Мы убедились, что наилучшим в смысле среднеквадратичного приближения одной случайной величины с помощью функции остальных координат случайного вектора является функция регрессии. Для двумерного случайного вектора наименьшее среди всех возможных функций y = f (x), x = g (y) значение критериям Q ₁[ f (x)] = М(h – f (x))², Q ₂[ g (y)] = М(x – g (y))² доставляют функции регрессии.

Естественно поставить задачу выбора оптимальных по критериям Q ₁[ f (x)] и Q ₂[ g (y)] соответственно фнкций y = f (x), x = g (y), ограничиваясь некоторым определенным заранее классом функций. Решение задачи в такой постановке известно под названием метода наименьших квадратов. В этом случае функции y = f (x) и x = g (y), вообще говоря, не являются функциями регрессии в смысле данного выше определения (п. 2.1). Однако в приложениях для них сохраняют термин функции регрессии и линии регрессии с указанием соответствующего класса функций: линейная регрессии, параболическая регрессия и т.д. Разъяснение неоднозначности этих терминов можно найти на примере, который приводится п. 2.3. Особый интерес представляет собой среднеквадратическая регрессия в классе тригонометрических многочленов. Этому вопросу посвящается отдельный раздел в курсе математического анализа.

Мы ограничимся рассмотрением простейшего случая минимизации среднего квадрата в классе линейных функций. В этой ситуации говорят о линейной регрессии. Заметим, что к линейной регрессии сводятся также случаи многих других классов функций.

Линейная среднеквадратичная регрессия в двумерном случае, в приложениях называемая парной линейной регрессией, приводит к следующей задаче.

Предположим, что для двумерного случайного вектора (x, h) известны все моменты до второго порядка включительно и дисперсии его компонент не равны нулю: Dx ¹ 0, Dh ¹ 0. Требуется найти такую линейную функцию

f (x) = a x +b, (2.8)

которая доставляет минимальное значение среднему квадрату

Q ₁[(a, b)] = М(h – (ax + b))². (2.9)

Иначе говоря, требуется найти параметры a₀, b₀ так, чтобы выполнялось условие:

М(h – (ax + b))² = М(h – (a₀x + b₀))². (2.10)

Переходим к принятым обозначениям для моментов двумерного случайного вектора:

· m_kl = M(x ^k h ^l) – смешанный начальный момент порядка k, l;

· m _kl = M((x–Mx) ^k (h–Mh) ^l) – смешанный центральный момент порядка k, l.

Преобразуем средний квадрат отклонения (2.9), используя введенные обозначения моментов:

М(h – (ax + b))² =

= М((h – m ₀₁) – a(x – m ₁₀) + m ₀₁ – (a m ₁₀ + b))²,

что приводит к выражению:

М(h – (ax + b))² =

= m₀₂ – + – ² + (m ₀₁ – (a m ₁₀ + b))². (2.11)

В соответствии с поставленной задачей минимизации выражения (2.9) за счет выбора a и b приходим к условиям:

. (2.12)

Решением этой системы и будут требуемые значения a и b:

a = , b = m ₀₁ – m ₁₀. (2.13)

Таким образом, доказана следующая теорема.

Теорема. Если случайный вектор (x, h) имеет все моменты до второго порядка включительно и при этом m₂₀ и m₀₂ не равны нулю, то среди всех линейных функций y = a x + b существует единственная линейная функция, при которой критерий

Q ₁[(a, b)] = М(h – (ax + b))²

принимает наименьшее значение, которое достигается при следующих значениях a и b:

a₀ = , b₀ = m ₀₁ – m ₁₀. (2.14)

Иначе говоря, прямая линия y = a₀ x + b₀ является прямой наилучшего среди всех прямых среднеквадратичного приближения зависимости координаты h от координаты x по критерию Q ₁[(a, b)].

Абсолютно симметричный результат получим, выбирая линейную функцию x = g y + d наилучшего среднеквадратичного приближения зависимости координаты x от координаты h, имея в виду критерий

Q ₂[(g, d)] = М(x– (gh + d))².

Наименьшему значению критерия Q ₂[(g, d)] соответствуют значения

g₀ = , d₀ = m ₁₀ – m ₀₁ . (2.15)

Для более удобного выражения a₀, b₀ преобразуем (1.15) и воспользуемся формулой

r (x, h) = (2.16)

котрая определяет характеристику r = r (x, h), называемую коэффициентом корреляции случайных величин x и h. В теории вероятностей мы уже познакомились с этой характеристикой. Более подробно вероятностный смысл и свойства этой характеристики мы рассмотрим в п. 2.2.1. Формулы (2.15) с учетом выражения (2.16) принимают вид:

a₀ = r, b₀ = m ₀₁ – m ₁₀a₀. (2.17)

Уравнение прямой линии среднеквадратичной регрессии h на x

y = a₀ x + b₀,

учитывая полученные значения a₀, b₀ (1.18), можем теперь переписать в виде:

. (2.18)

Точно таким же образом получим уравнение прямой линии средней квадратичной регрессии x на h:

. (2.19)

Теперь можно определить соответствующие минимальные значения критериев Q ₁[(a, b)] и Q ₂[(a, b)]:

Q ₁[(a, b)] = М(h – (ax + b))², Q ₂[(g, d)] = М(x– (gh + d))².

Из (2.11), (2.12) и (2.16) следует:

М(h – (ax + b))² = m₀₂(1 – r ²), (2.20)

М(x – (gh + d))² = m₂₀(1 – r ²). (2.21)

Эти минимальные значения среднеквадратичных отклонений называются остаточными дисперсиями. Более подробно об этих характеристиках см. п. 3.2. Приведем предельные значения остаточной дисперсии в зависимости от коэффициента корреляции r. Наибольшие значения:

М(h – (ax + b))² = m₀₂, (2.22)

М(x – (gh + d))² = m₂₀, (2.23)

если случайные величины x и h не коррелированы, т. е. r = 0.

Наименьшие значения:

М(h – (ax + b))² = 0; (2.24)

М(x – (gh + d))² = 0. (2.25)

Эти значения достигаются, если между случайными величинами имеет место линейная зависимость, т. е. r ² = 1.

Геометрический смысл прямых линий среднеквадратической регрессии состоит в том, что эти прямые доставляют наименьшее среди всех прямых значение среднему квадрату расстояния некоторой системы материальных точек, если это расстояние измерять вдоль координатных осей.

По уравнениям этих прямых (2.18) и (2.19) можно определить угол j между ними. Известными из аналитической геометрии средствами находим:

tgj = (2.26)

Если r ² = 1, то обе прямые среднеквадратичной регрессии совпадают. В этом случае, как мы видели из (2.24) и (2.25), остаточные дисперсии равны нулю. Это имеет место тогда (и только тогда), когда случайные величины x и h с вероятностью 1 связаны линейной зависимостью, т. е.

P(h = ax + b) = 1. (2.27)

Перечислим теперь основные свойства прямых среднеквадратичной регрессии, которые следуют непосредственно из формул (2.19) – (2.22) и (2.26).

Свойство 1. Прямые регрессии проходят через точку (m ₁₀, m ₀₁).

Свойство 2. Если между случайными величинами имеет место собственная линейная зависимость, то линии регрессии совпадают.

Свойство 3. Если случайные величины не коррелированы, то прямые регрессии ортогональны.

Свойство 4. Угол j между прямыми регрессии определяется формулой (2.27).

Рассмотрим пример вычисления моментов и уравнений регрессии двумерного случайного вектора.

П р и м е р. Распределение дискретного двумерного случайного вектора задано таблицей. Здесь – возможные значения координат случайного вектора , – неизвестная вероятность.

Вычисления приводятся с точностью до 10^-4 .

1. Имея в виду свойство 2 дискретного совместного распределения , получаем 0, 92+ , поэтому , и имеем теперь полную таблицу совместного распределения двумерного случайного вектора.

2. Частные распределения координат находим, пользуясь таблицами 2 и 3 и формулами 2.1. Таблицы частных распределений:

	0.2	0.31	0.3	0.19		0.23	0.25	0.3	0.22

3. Находим моменты частных распределений координат.

; ;

; .

; .

4. Находим ковариацию и коэффициент корреляции.

; ; ;

Имеет место отрицательная корреляция.

5. Строим условные распределения координат случайного вектора. По формулам (3.2) находим условные вероятности, и результаты оформляем в виде таблиц условных распределений координат.

6. Находим условные математические ожидания и дисперсии координат.

Условные математические ожидания , , и приводим в следующих таблицах.

x\y
		0, 15	0, 45	0, 40	=4, 2500
	0, 0645	0, 1935	0, 4194	0, 3226	=4, 0001
	0, 2333	0, 3667	0, 2667	0, 1333	=3, 3000
	0, 7368	0, 2632			=2, 2632

x\y
		0, 15	0, 45	0, 40
	0, 0645	0, 1935	0, 4194	0, 3226
	0, 2333	0, 3667	0, 2667	0, 1333
	0, 7368	0, 2632
	=3, 7761	=2, 6899	=2, 0889	=1, 4451

7. Составляем линейные уравнения наилучшего квадратического приближения (по методу наилучших квадратов) к линиям регрессии.

В соответствии с формулами (1.19) и (1.20) п. 2.3 имеем:

; .

После преобразований получаем линейные уравнения регрессии:

; .

8. Ломаные линии регрессии строим по точкам на основании таблиц условных математических ожиданий.

1. Уравнения и прямые регрессии (линии наилучшего среднеквадратичного приближения) определяются уравнениями линейной регрессии