К основным методам минимизации функции ошибок относятся:
1) метод Ньютона. В соответствии с данным методом основной шаг в направлении глобального минимума метода Ньютона рассчитывается по формуле:
где βk– вектор значений оцениваемых параметров на k-ой итерации;
Н – матрица вторых частных производных, или матрица Гессе;
gk – вектор градиента на k-ой итерации.
Предположим, что задана скалярная функция у от переменных
вида y=f(x).
Независимые переменные xi можно записать в виде вектора: x=[x1x2…xn]T. Тогда по определению производной:
Вектор-столбец
называется градиентом функции y=f(x) в точке x;
2) для избежания громоздких вычислений матрицы Гессе существуют различные способы её замены приближёнными выражениями. Эти приёмы легли в основу квазиньютоновых методов. Суть квазиньютоновых методов заключается в том, что в различных точках вычисляются значения функции ошибок для определения первой и второй производной. Первая производная функции в заданной точке равна тангенсу угла наклона графика функции, а вторая производная функции в заданной точке равна скорости его изменения. Затем эти данные применяются для определения направления изменения параметров, а соответственно, и для минимизации функции ошибок;
3) симплекс-метод – это метод нелинейного оценивания, который не использует производные функции ошибок. При каждой итерации функция ошибок оценивается в n+1 точках n-мерного пространства, образуя при этом фигуру, называемую симплексом. В многомерном пространстве симплекс будет постепенно менять параметры, смещаясь в сторону минимизации функции потерь. Основное преимущество симплекс-метода перед остальными методами нелинейного оценивания заключается в том, что при слишком большом шаге для точного определения направления минимизации функции потерь или при слишком большом симплексе, алгоритм автоматически уменьшает симплекс, и вычислительная процедура продолжается. При обнаружении минимума, симплекс вновь увеличивается для проверки минимума на локальность.
45. Показатели корреляции и детерминации для нелинейных моделей регрессии
Индексом корреляции для нелинейных форм связи называется коэффициент корреляции, который вычисляется для оценки качества построенной нелинейной модели регрессии.
Индекс корреляции для нелинейных форм вычисляется с помощью теоремы о разложении дисперсий по формуле:
где G2(y) – это общая дисперсия зависимой переменной;
σ2(y) – это объяснённая с помощью построенной модели регрессии дисперсия переменной у, которая рассчитывается по формуле:
δ2(y) – необъяснённая или остаточная дисперсия переменной у, которая рассчитывается по формуле:
Также индекс корреляции для нелинейных форм можно рассчитать с помощью теоремы о разложении сумм квадратов по формуле:
где RSS (Regression Sum Square) – сумма квадратов объяснённой регрессии:
ESS (Error Sum Square) – сумма квадратов остатков модели множественной регрессии с n независимыми переменными:
TSS (TotalSumSquare) – общая сумма квадратов модели множественной регрессии с n независимыми переменными:
Индекс корреляции для нелинейных форм связи изменяется в пределах от нуля до единицы. С его помощью нельзя охарактеризовать направление связи между результативной и факторными переменными. Чем ближе значение индекса корреляции для нелинейных форм связи к единице, тем сильнее взаимосвязь между результативной и независимыми переменными, и наоборот, чем ближе значение индекса корреляции для нелинейных форм связи к нулю, тем слабее взаимосвязь между результативной и независимыми переменными.
Индексом детерминации называется квадрат индекса корреляции для нелинейных форм связи.
Расчёт индекса детерминации с помощью теоремы о разложении дисперсий:
Расчёт индекса детерминации с помощью теоремы о разложении сумм квадратов:
Индекс детерминации характеризует, на сколько процентов построенная модель регрессии объясняет вариацию значений результативной переменной относительно своего среднего уровня, т. е. показывает долю общей дисперсии результативной переменной, объяснённой вариацией факторных переменных, включённых в модель регрессии.
Коэффициент множественной детерминации также называется количественной характеристикой объяснённой построенной моделью регрессии дисперсии результативной переменной. Чем больше значение коэффициента множественной детерминации, тем лучше построенная модель регрессии характеризует взаимосвязь между переменными.
46. Проверка гипотезы о значимости нелинейной модели регрессии. Проверка гипотезы о линейной зависимости между переменными модели регрессии
На нелинейные модели регрессии, которые являются внутренне линейными, т. е. сводимыми к линейному виду, распространяются все методы проверки гипотез, используемые для классических линейных моделей регрессии.
Таким образом, если внутренне линейную модель регрессии можно свести к линейной модели парной регрессии, то на эту модель будут распространяться все методы проверки гипотез, используемые для парной линейной зависимости.
Проверка гипотезы о значимости линейной модели множественной регрессии состоит в проверке гипотезы значимости индекса детерминации R2.
Рассмотрим процесс проверки гипотезы о значимости индекса детерминации.
Основная гипотеза состоит в предположении о незначимости индекса детерминации, т. е.
Н0:R2=0.
Обратная или конкурирующая гипотеза состоит в предположении о значимости индекса детерминации, т. е.
Н1:R2≠0.
Данные гипотезы проверяются с помощью F-критерия Фишера-Снедекора.
Наблюдаемое значение F-критерия (вычисленное на основе выборочных данных) сравнивают со значением F-критерия, которое определяется по таблице распределения Фишера-Снедекора, и называется критическим.
При проверке значимости индекса детерминации критическое значение F-критерия определяется как Fкрит(a;k1;k2), где а – уровень значимости, k1=l-1 и k2=n-l – число степеней свободы, n – объём выборочной совокупности, l – число оцениваемых по выборке параметров.
При проверке основной гипотезы вида Н0:R2=0 наблюдаемое значение F-критерия Фишера-Снедекора рассчитывается по формуле:
При проверке основной гипотезы возможны следующие ситуации.
Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то с вероятностью а основная гипотеза о незначимости индекса детерминации отвергается, и он признаётся значимым. Следовательно, полученная модель регрессии также признаётся значимой.
Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл=Fкрит, то основная гипотеза о незначимости индекса детерминации принимается, и он признаётся незначимым. Полученная модель регрессии является незначимой и нуждается в дальнейшей доработке.
Если в начале эконометрического моделирования перед исследователем стоит выбор между моделью регрессии, внутренне нелинейной и линейной моделью регрессии (или сводящейся к линейному виду), то предпочтение отдаётся линейным формам моделей.
Проверка предположения о возможной линейной зависимости между исследуемыми переменными осуществляется с помощью коэффициента детерминации r2 и индекса детерминации R2.
Выдвигается основная гипотеза Н0о наличии линейной зависимости между переменными. Альтернативной является гипотеза Н1 о нелинейной зависимости между переменными.
Данные гипотезы проверяются с помощью t-критерия Стьюдента.
Наблюдаемое значение t-критерия (вычисленное на основе выборочных данных) сравнивают с критическим значением t-критерия, которое определяется по таблице распределения Стьюдента.
При проверке гипотезы о линейной зависимости между переменными критическое значение t-критерия определяется как tкрит(а;n-l-1), где а – уровень значимости, n – объём выборочной совокупности, l – число оцениваемых по выборке параметров, (n-l-1) – число степеней свободы, которое определяется по таблице распределений t-критерия Стьюдента.
