Корреляционный анализ. Метод наименьших квадратов

В исследовательской практике часто требуется установить и оценить зависимость одной случайной величины Y от одной или нескольких дру­гих величин. Такие зависимости могут быть функциональными или ста­тистическими.

Зависимость является функциональной в том случае, когда каждой отдельной величине соответствует строго определенная другая величи­на, например, каждому радиусу окружности соответствует строго опре­деленная площадь круга. Вообще же строго функциональные зависимо­сти между двумя величинами встречаются крайне редко, так как обе ве­личины подвержены действию случайных факторов и среди них могут быть общие для обеих величин. В этом случае возникает статистическая зависимость.

Статистической (корреляционной) называют такую зависимость, при которой изменение одной из величин влечёт изменение распреде­ления другой, и в частности при изменении одной величины изменяется среднее значение другой. Корреляционная зависимость может быть парной или множественной, положительной или отрицательной, прямо­линейной или криволинейной.

Под прямой, или положительной корреляцией подразумевают такую корреляцию, когда с увеличением одного свойства средние значения другого свойства неуклонно возрастают. Например, при повышении плотности древесины (кг/м³) предел прочности при сжатии вдоль воло­кон (МПа) в среднем возрастает.

При обратной, или отрицательной, корреляцией с увеличением од­ного свойства средние значения другого свойства непрерывно убывают. Например, при добавлении в бетон воды прочностные характеристики бетона ухудшаются.

Если связь между факторами (плотностью древесины; количеством воды) и откликами (прочностью древесины и бетона соответственно) существует, то она проявляется в эксперименте в неявном виде, а для использования результатов эксперимента в практических целях неявную зависимость следует сделать явной и представить ее в виде функции, системы уравнений, номограммы, графика и т. д. Если зависимости ме­жду факторами и откликами не существует, то следует обработать их независимо друг от друга по правилам математической статистики.

Наиболее простым способом первичного определения связи между двумя свойствами является способ графического изображения резуль­татов наблюдений (рис. 5.1)

Рис. 5.1. Зависимость между плотностью и пределом
прочности при сжатии вдоль волокон древесины сосны

Для этого строится поле корреляции или диаграмма разброса из ко­торой часто удается визуально определить вид зависимости и опреде­лить соответствующую ей функциональную зависимость (рис. 5.2).

Задачу подбора вида функции, лучшим образом соответствующей кривой, называют подгонкой кривых по точкам. При этом необходимо определить количественный принцип соответствия теоретической функ­ции экспериментальным точкам. Мерой такого соответствия логично принять минимальные отклонения по всем точкам или сумму всех
от­клонений.

Так как эти отклонения могут быть положительными и отрицатель­ными, то математически проще предварительно возвести их в квадрат и обеспечить минимум для суммы квадратов отклонений. Этот метод, на­званный методом наименьших квадратов, соответствует критерию наи­лучшего приближения.

Рис. 5.2. Диаграммы разброса

Поиск математических зависимостей между переменными более сло­жен и на этом этапе обычно используют методы регрессионного и корреляционного анализов. Регрессионный анализ дает возможность вывести уравнение, а корреляционный – установить, насколько хорошо экспериментально полученные точки согласуются с выбранным уравне­нием и насколько тесна связь между двумя и более величинами, на­блюдаемыми и фиксируемыми при моделировании.

Математический метод, обеспечивающий такую подгонку выбранной кривой, при которой экспериментальные точки описывают ее наилучшим образом в смысле критерия наименьших квадратов, называют регресси­онным анализом. Он широко используется при планированном экспери­менте.

Однако, наилучшее приближение теоретической кривой к экспери­ментальным результатам еще не означает ее соответствия физической сущности явления (рис. 5.3).

Для оценки согласованности экспери­ментальных точек с теоретическими про­гнозами используют понятие корреляции. Если регрессия определяет эту согласо­ванность по форме, то корреляция показы­вает, насколько точно она отражает дейст­вительность. Однако, и она лишь показы­вает что изменения переменных взаимо­связаны, но не доказывает наличие при­чинно-следственной связи между ними.

Корреляционная зависимость Y от X – это
Рис. 5.3. Диаграмма разброса зависимость условной средней Y_x от х

Y_x = f (x). (5.11)

Это уравнение называют уравнением регрессии Y на X, функцию – регрессией Y на X, а её график – линией регрессии Y на X.

При парной линейной корреляции между двумя величинами х и у теоретическое уравнение, описывающее эту связь, выглядит так

(5.12)

Угловой коэффициент прямой линии регрессии Y на X называют выборочным коэффициентом регрессии Y на X и обозначают r _ух; он является оценкой коэффициента регрессии.

Уравнение (5.12) хорошо опишет экспериментальный материал в том случае, если сумма квадратов отклонений экспериментальных ве­личин у_i, от расчетных значений будет минимальной (рис. 5.4).

Рис. 5.4. Отклонение фактических уровней от выровненных

Это и есть основной принцип метода наименьших квадратов, на кото­ром основан расчет уравнения и определение коэффициентов а и r _ух (b)

. (5.13)

Для отыскания минимума приравняем нулю соответствующие част­ные производные

, (5.14)

. (5.15)

Выполнив преобразования, получим систему уравнений относитель­но а и b

откуда

; (5.16)

. (5.17)

Пример 5.4. Найти выборочное уравнение регрессии на по данным 5 наблюдений:

1, 00 1, 50 3, 00 4, 50 5, 00

1, 25 1, 40 1, 50 1, 75 2, 25

Составим расчетную таблицу (табл. 5.4).

Таблица 5.4

Расчетная таблица

1, 00 1, 50 3, 00 4, 50 5, 00	1, 25 1, 40 1, 50 1, 75 2, 25	1, 00 2, 25 9, 00 20, 25 25, 00	1, 250 2, 100 4, 500 7, 875 11, 250	1, 226 1, 327 1, 630 1, 933 2.034	- 0, 024 - 0, 073 0, 130 0, 183 - 0, 215
		57, 50	26, 97

,

.

Искомое уравнение регрессии будет иметь вид

.

Достоверность коэффициента определяют из условий нормального распределения или распределения Стьюдента–Фишера:

, .

Для независимых случайных величин коэффициент корреляции = 0, для функциональных зависимостей = 1. Для зависимых случайных величин изменяется в пределах от –1 до +1.

Для расчетов часто пользуются такой модификацией формулы коэффициента корреляции:

. (5.18)

Пример 5.5. Определим зависимость прочности строительного раствора от расхода цемента . Марка цемента 400, пластичность всех составов раствора 6 см. Для получения уравнения регрессии воспользуемся данными, приведенными в табл. 5.5.

Таблица 5.5

Исходные данные

Расположение точек на поле корреляции подсказывает линейную зависимость прочности раствора от расхода цемента (рис. 5.5). В качестве исходной математической модели рассматривается линейная зависимость

(5.19)

Упростим формулу и приравняем , тогда

, откуда

МПа,

,

Рис. 5.5. Зависимость прочности раствора от расхода цемента

,

.

Достоверность коэффициента корреляции определяют из условия распределения Стьюдента–Фишера

; ;

.

при вероятности Р = 0, 95 величина = 1, 86 и так как , то рассматриваемая зависимость значима.