– случайный вектор-столбец значений результативной переменной размерности (n*1);
– матрица значений факторной переменной размерности (n*(m+1)). Первый столбец является единичным, потому что в модели регрессии коэффициент β0 умножается на единицу;
В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β0…βm, потому что значения результативной и факторных переменных известны из наблюдений. Для определения минимума функции (1) необходимо вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (1):
где
– вектор-столбец неизвестных коэффициентов модели регрессии размерности ((m+1)*1);
Общий вид стационарной системы уравнений для функции (1):
Решением стационарной системы уравнений будут МНК-оценки неизвестных параметров линейной модели множественной регрессии:
Оценим с помощью метода наименьших квадратов неизвестные параметры линейной модели двухфакторной регрессии:
yi=β0+β1x1i+β2x2i+εi,
где
Чтобы рассчитать оценки неизвестных коэффициентов β0,β1 и β2 данной двухфакторной модели регрессии, необходимо минимизировать функционал F вида:
Для определения экстремума функции нескольких переменных, частные производные по этим переменным приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для модели множественной линейной регрессии с двумя переменными:
В результате элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:
Данная система называется системой нормальных уравнений относительно коэффициентов
для модели регрессии yi=β0+β1x1i+β2x2i+εi.
Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты
можно рассчитать с помощью метода Крамера или метода Гаусса.
Рассмотрим подробнее метод Крамера решения квадратных систем нормальных уравнений.
Единственное решение квадратной системы линейных уравнений определяется по формуле:
где Δ – основной определитель квадратной системы линейных уравнений;
Δj – определитель, полученный из основного определителя путём замены j-го столбца на столбец свободных членов.
При использовании метода Крамера возможно возникновение следующих ситуаций:
1) если основной определитель системы Δ равен нулю и все определители Δjтакже равны нулю, то данная система имеет бесконечное множество решений;
2) если основной определитель системы Δ равен нулю и хотя бы один из определителей Δjтакже равен нулю, то система решений не имеет.
28. Линейная модель множественной регрессии стандартизированного масштаба
Помимо классического метода наименьших квадратов для определения неизвестных параметров линейной модели множественной регрессии β0…βm используется метод оценки данных параметров через β-коэффициенты (коэффициенты модели регрессии в стандартных масштабах).
Построение модели множественной регрессии в стандартизированном или нормированном масштабе означает, что все переменные, включенные в модель регрессии, стандартизируются с помощью специальных формул.
Посредством процесса стандартизации точкой отсчёта для каждой нормированной переменной устанавливается её среднее значение по выборочной совокупности. При этом в качестве единицы измерения стандартизированной переменной принимается её среднеквадратическое отклонение σ.
Факторная переменная х переводится в стандартизированный масштаб по формуле:
где xij – значение переменной xjв i-том наблюдении;
G(xj) – среднеквадратическое отклонение факторной переменной xi;
Результативная переменная у переводится в стандартизированный масштаб по формуле:
где G(y) – среднеквадратическое отклонение результативной переменной у.
Если между исследуемыми переменными в исходном масштабе является линейной, то процесс стандартизации не нарушает этой связи, поэтому стандартизированные переменные будут связаны между собой линейно:
Неизвестные коэффициенты данной функции можно определить с помощью классического метода наименьших квадратов для линейной модели множественной регрессии. В этом случае минимизируется функционал F вида:
В результате минимизации данного функционала получим систему нормальных уравнений, переменными в которой будут являться парные коэффициенты корреляции между факторными и результативной переменной. Такой подход основывается на следующем равенстве:
Система нормальных уравнений для стандартизированной модели множественной регрессии имеет вид:
В связи с тем, что полученная система нормальных уравнений является квадратной (количество уравнений равняется количеству неизвестных переменных), то оценки коэффициентов
можно рассчитать с помощью метода Крамера, метода Гаусса или метода обратных матриц.
Рассчитанные из системы нормальных уравнений β-коэффициенты в стандартизированном масштабе необходимо перевести в масштаб исходных данных по формулам:
Рассмотрим метод Гаусса решения квадратных систем линейных уравнений. Суть данного метода заключается в том, что исходная квадратная система из n линейных уравнений с n неизвестными переменными преобразовывают к треугольному виду. Для этого в одном и уавнений системы оставляют все неизвестные переменные. В другом уравнении сокращают одну из неизвестных переменных для того, чтобы число неизвестных стало (n-1). В следующем уравнении сокращают две неизвестных переменных, чтобы число переменных стало (n-2). В результате данных преобразований исходная система уравнений примет треугольный вид, первое уравнение которой содержит все неизвестные, а последнее – только одну. В последнем уравнении системы остаётся (n-(n-1)) неизвестных переменных, т. е. одна неизвестная переменная, которая называется базисной. Дальнейшее решение сводится к выражению свободных (n-1) неизвестных переменных через базисную переменную и получению общего решения квадратной системы линейных уравнений.
29. Соизмеримые показатели тесноты связи
К соизмеримым показателям тесноты связи относятся:
1) коэффициенты частной эластичности;
2) стандартизированные частные коэффициенты регрессии;
3) частный коэффициент детерминации.
Если факторные переменные имеют несопоставимые единицы измерения, то связь между ними измеряется с помощью соизмеримых показателей тесноты связи. С помощью соизмеримых показателей тесноты связи характеризуется степень зависимости между факторной и результативной переменными в модели множественной регрессии.
Коэффициент частной эластичности рассчитывается по формуле:
где
– среднее значение факторной переменной xi по выборочной совокупности,
– среднее значение результативной переменной у по выборочной совокупности;
– первая производная результативной переменной у по факторной переменной х.
Частный коэффициент эластичности измеряется в процентах и характеризует объём изменения результативной переменной у при изменении на 1 % от среднего уровня факторной переменной xiпри условии постоянства всех остальных факторных переменных, включённых в модель регрессии.
Для линейной модели регрессии частный коэффициент эластичности рассчитывается по формуле:
где βi– коэффициент модели множественной регрессии.
Для того чтобы рассчитать стандартизированные частные коэффициенты регрессии, необходимо построить модель множественной регрессии в стандартном (нормированном) масштабе. Это означает, что все переменные, включённые в модель регрессии, стандартизируются с помощью специальных формул. Посредством процесса стандартизации точкой отсчёта для каждой нормированной переменной устанавливается её среднее значение по выборочной совокупности. При этом в качестве единицы измерения стандартизированной переменной принимается её среднеквадратическое отклонение β.
