Линеаризация

Для того, чтобы оценить неизвестные параметры β ₀ , …, β _n нелинейной регрессионной модели, необходимо привести ее к линейному виду. Суть линеаризации нелинейных по независимым переменным регрессионных моделей заключается в замене нелинейных факторных переменных на линейные. В общем случае полиномиальной регрессии процесс замены нелинейных переменных функции п-го порядка выглядит следующим образом: x = с₁,; х² = c₂; x^З = с₃;...; x^п = c_п.

Тогда уравнение множественной нелинейной регрессии можно записать в виде линейного множественного регрессионного уравнения

y_i = β ₀ + β ₁x_i + β ₂x²_i + … +β _nxⁿ_i + ε _i =>

=> y_i = β ₀ + β ₁c_1i + β ₂c_2i + … +β _nc_ni + ε _i

Гиперболическую функцию также можно привести к линейному виду с помощью замены нелинейной факторной переменной на линейную. Пусть 1/ х = с. Тогда исходное уравнение гиперболической функции можно записать в преобразованном виде:

y_i = β ₀ + β ₁ / x_i + ε _i => y_i = β ₀ + β ₁с_i + ε _i

Таким образом, и полиномиальную функцию любой степени, и гиперболоид можно свести к модели линейной регрессии, что позволяет применять к преобразованной модели традиционные методы нахождения неизвестных параметров уравнения регрессии (например, классический МНК) и стандартные методы проверки различных гипотез.

Ко второму классу нелинейных моделей относятся регрессионные модели, в которых результативная переменная y_i нелинейно связана с параметрами уравнения β ₀ , …, β _n. К такому типу регрессионных моделей относятся:

1) степенная функция

y_i = β ₀ · x _i ^{β 1} · ε _i

2) показательная функция

y_i = β ₀ · β ₁^xi · ε _i

3) логарифмическая парабола

y_i = β ₀ · β ₁^xi · β ₂^xi · ε _i²

4) экспоненциальная функция

y_i = e ^{β 0+β 1xi} · ε _i

5) обратная функция

и другие.

Нелинейные по параметрам регрессионные модели в свою очередь делятся на модели подлежащие линеаризации (внутренне линейные функции) и неподлежащие линеаризации (внутренне нелинейные функции). Примером моделей, которые можно свести к линейной форме, является показательная функция вида y_i = β ₀ · β ₁^xi · ε _i, где случайная ошибка ε _i мультипликативно связана с факторным признаком x_i. Д анная модель нелинейна по параметру β ₁. Для ее линеаризации вначале осуществим процесс логарифмирования:

ln y_i = ln β ₀ + x_i ·ln β ₁ + ln ε _i

Затем воспользуемся методом замен. Пусть ln y_i = Y_i; ln β ₀ = А; ln β ₁ = В; ln ε _i = Е_i.

Тогда преобразованная показательная функция имеет следующий вид:

Y_i = А + В x_i + Е_i.

Следовательно, показательная функция y_i = β ₀ · β ₁^xi · ε _i является внутренне линейной, и оценки ее параметров могут быть найдены с помощью традиционного метода наименьших квадратов.

Если же взять показательную функцию, включающую случайную ошибку ε _i аддитивно, т.е. y_i = β ₀ · β ₁^xi+ ε _i, то данную модель уже невозможно привести к линейному виду с помощью логарифмирования. Она является внутренне нелинейной.

Пусть задана степенная функция вида y_i = β ₀ · x _i ^{β 1} · ε _i. Прологарифмируем обе части уравнения:

ln y_i = ln β ₀ + β ₁·ln x_i + ln ε _i

Теперь воспользуемся методом замен: ln y_i = Y_i; ln β ₀ = А; ln x_i = X_i; ln ε _i = Е_i.

Тогда преобразованная степенная функция имеет следующий вид:

Y_i = А + β ₁ X_i + Е_i.

Степенная функция также является внутренне линейной и ее оценки можно найти с помощью традиционного метода наименьших квадратов. Но если взять степенную функцию; виде уравнения y_i = β ₀ · x _i ^{β 1}+ ε _i, где случайная ошибка аддитивно связана с факторной переменной, то модель становится внутренне нелинейной.