– вектор-столбец неизвестных коэффициентов модели регрессии размерности 2 x 1;
– случайный вектор-столбец ошибок модели регрессии размерности n x 1.
10. Нормальная линейная модель парной (однофакторной) регрессии
Общий вид нормальной (традиционной или классической) линейной модели парной (однофакторной) регрессии (Classical Normal Regression Model):
yi=β0+β1xi+εi,
где yi– результативные переменные,
xi – факторные переменные,
β0, β1 – параметры модели регрессии, подлежащие оцениванию;
εi – случайная ошибка модели регрессии.
При построении нормальной линейной модели парной регрессии учитываются пять условий:
1) факторная переменная xi – неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии εi;
2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:
3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:
4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю): Cov(εi,εj)=E(εi,εj)=0 (). Это условие выполняется в том случае, если исходные данные не являются временными рядами;
5) на основании третьего и четвёртого условий часто добавляется пятое условие, заключающееся в том, что случайная ошибка модели регрессии – это случайная величина, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией G2: εi~N(0, G2).
Общий вид нормальной линейной модели парной регрессии в матричной форме:
Y= X* β+ ε,
где
– случайный вектор-столбец значений результативной переменной размерности n x 1;
– матрица значений факторной переменной размерности n x 2. Первый столбец является единичным, потому что в модели регрессии коэффициент β0 умножается на единицу;
– вектор-столбец неизвестных коэффициентов модели регрессии размерности 2 x 1;
– случайный вектор-столбец ошибок модели регрессии размерности n x 1.
Условия построения нормальной линейной модели парной регрессии, записанные в матричной форме:
1) факторная переменная xi – неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии βi;
2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:;
3) третье и четвёртое условия можно записать через ковариационную матрицы случайных ошибок нормальной линейной модели парной регрессии:
где G2 – дисперсия случайной ошибки модели регрессии ε;
In – единичная матрица размерности n x n.
Определение. Ковариацией называется показатель тесноты связи между переменными х и у, который рассчитывается по формуле:
где
– среднее арифметическое значение произведения факторного и результативного признаков;
Основными свойствами показателя ковариации являются:
а) ковариация переменной и константы равна нулю, т. е. cov(x,C)=0 (C=const);
б) ковариация переменной с самой собой равна дисперсии переменной, т. е. Cov(ε,ε)=G2(ε). По этой причине на диагонали ковариационной матрицы случайных ошибок нормальной линейной модели парной регрессии располагается дисперсия случайных ошибок;
4) случайная ошибка модели регрессии подчиняется нормальному закону распределения: εi~N(0, G2).
11. Критерии оценки неизвестных коэффициентов модели регрессии
В ходе регрессионного анализа была подобрана форма связи, которая наилучшим образом отражает зависимость результативной переменной у от факторной переменной х:
y=f(x).
Необходимо оценить неизвестные коэффициенты модели регрессии β0…βn. Для определения оптимальных коэффициентов модели регрессии возможно применение следующих критериев:
1) критерий суммы квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений β (рассчитанных на основе функции регрессии f(x)):
Данный критерий определения оптимальных коэффициентов модели регрессии получил название метода наименьших квадратов или МНК. К основным преимуществам данного метода относятся:
а) все расчёты сводятся к механической процедуре нахождения коэффициентов;
б) доступность полученных математических выводов.
Недостаток метода наименьших квадратов заключается в излишней чувствительности оценок к резким выбросам, встречающимся в исходных данных.
Для определения оптимальных значений коэффициентов β0…βn необходимо минимизировать функционал F по данным параметрам:
Суть минимизации функционала наименьших квадратов F состоит в определении таких значений коэффициентов β0…βn, при которых сумма квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений β была бы минимальной;
2) критерий суммы модулей отклонений наблюдаемых значений результативной переменной у от теоретических значений β (рассчитанных на основе функции регрессии f(x)):
Главное преимущество данного критерия заключается в устойчивости полученных оценок к резким выбросам в исходных данных, в отличие от метода наименьших квадратов.
К недостаткам данного критерия относятся:
а) сложности, возникающие в процессе вычислений;
б) зачастую большим отклонениям в исходных данных следует придавать больший вес для уравновешивания их в общей сумме наблюдений;
в) разным значениям оцениваемых коэффициентов β0…βn могут соответствовать одинаковые суммы модулей отклонений.
Для определения оптимальных значений коэффициентов β0…βn необходимо минимизировать функционал Fпо данным параметрам:
Суть минимизации функционала F состоит в определении таких значений коэффициентов β0…βn, при которых сумма квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений β была бы минимальной;
3) критерий, имеющий вид:
где g – это мера или вес, с которой отклонение (yi-f|xi,β|) входит в функционал F. В качестве примера веса g можно привести функцию Хубера, которая при малых значениях переменной х является квадратичной, а при больших значениях х – линейной:
где с – ограничения функции.
Данный критерий определения наилучших оценок коэффициентов модели регрессии β0…βn является попыткой объединения достоинств двух предыдущих критериев. Основное преимущество данного критерия заключается в том, что оценки неизвестных коэффициентов, найденные с его помощью, являются более устойчивыми к случайным выбросам в исходных данных, чем оценки, полученные методом наименьших квадратов.
Для определения оптимальных значений коэффициентов β0…βn необходимо минимизировать функционал F по данным параметрам:
Суть минимизации функционала F состоит в определении таких значений коэффициентов β0…βn, при которых сумма квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений ỹ с учётом заданных весов g была бы минимальной.
12. Оценивание неизвестных коэффициентов модели регрессии методом наименьших квадратов. Теорема Гаусса – Маркова
Определение коэффициентов модели регрессии осуществляется на третьем этапе схемы построения эконометрической модели. В результате этой процедуры рассчитываются оценки (приближенные значения) неизвестных коэффициентов спецификации модели.
Спецификация линейной эконометрической модели из изолированного уравнения с гомоскедастичными возмущениями имеет вид:
Рассмотрим метод наименьших квадратов на примере оценивания эконометрических моделей в виде моделей парной регрессии (изолированных уравнений с двумя переменными).
