Основы практического использования прикладного регрессионного анализа

Теоретические основы прикладного регрессионного анализа. Проверка предпосылок и предположений регрессионного анализа. Обнаружение выбросов в выборке. Рекомендации по устранению мультиколлинеарности. Пример практического применения регрессионного анализа.
Краткое сожержание материала:

24

25

СОДЕРЖАНИЕ

Содержание

Введение

1. Теоретическая часть

1.1 Теоретические основы прикладного регрессионного анализа

1.2 Проверка предпосылок и предположений регрессионного анализа

1.2.1 Проверка случайности

1.2.2 Проверка стационарности

1.3 Обнаружение выбросов в выборке

1.4 Мультиколлинеарность переменных

1.4.1 Рекомендации по устранению мультиколлинеарности

1.4.2 Доверительные интервалы для уравнения регрессии

1.4.3 Определение доверительного интервала для истинного значения уравнения регрессии

1.4.4 Свойства доверительных интервалов

1.5 Адекватность модели

2. Практическая часть

Вывод

Список литературы

ВВЕДЕНИЕ

Общее назначение множественной регрессии (этот термин был впервые использован в работе Пирсона - Pearson, 1908) состоит в анализе связи между несколькими независимыми переменными (называемыми также регрессорами или предикторами) и зависимой переменной. Например, агент по продаже недвижимости мог бы вносить в каждый элемент реестра размер дома (в квадратных футах), число спален, средний доход населения в этом районе в соответствии с данными переписи и субъективную оценку привлекательности дома. Как только эта информация собрана для различных домов, было бы интересно посмотреть, связаны ли и каким образом эти характеристики дома с ценой, по которой он был продан. Например, могло бы оказаться, что число спальных комнат является лучшим предсказывающим фактором (предиктором) для цены продажи дома в некотором специфическом районе, чем "привлекательность" дома (субъективная оценка). Могли бы также обнаружиться и "выбросы", т.е. дома, которые могли бы быть проданы дороже, учитывая их расположение и характеристики.

Специалисты по кадрам обычно используют процедуры множественной регрессии для определения вознаграждения адекватного выполненной работе.

Как только эта так называемая линия регрессии определена, аналитик оказывается в состоянии построить график ожидаемой (предсказанной) оплаты труда и реальных обязательств компании по выплате жалования. Таким образом, аналитик может определить, какие позиции недооценены (лежат ниже линии регрессии), какие оплачиваются слишком высоко (лежат выше линии регрессии), а какие оплачены адекватно.

1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

1.1 Теоретические основы прикладного регрессионного анализа

Регрессионный анализ применяется для построения математических зависимостей объектов, явлений по результатам экспериментальных данных, полученных на основе проведения активного или пассивного экспериментов.

Предполагается, что математическая зависимость относится к определенному классу функций с несколькими неизвестными параметрами. В общем виде эти функции представим в виде:

,

где - вектор зависимой (выходной) переменной размерностью ;

- матрица независимых (входных) переменных размерностью ;

- вектор неизвестных параметров размерностью ;

- вектор возмущений размерностью ;

- количество независимых переменных;

- количество экспериментальных данных;

- класс функциональных зависимостей.

В зависимости - является случайной величиной, значения могут рассматриваться либо как фиксированные, либо как случайные. При этом ожидаемое значение одной случайной переменной соотносится с наблюдаемыми значениями других случайных переменных в виде условной регрессии.

Рассмотрим зависимость между случайными величинами и , представленную в виде некоторой таблицы наблюдений значений и .

Перенося табличные значения и на плоскость , получаем поле корреляции, приведенное на рисунке 3.1

Рисунок 1.1 -- Экспериментальное уравнение регрессии

Разобьем диапазон изменения на -равных интервалах . Все точки, попавшие в интервал , отнесем к середине интервала , в результате получаем трансформированное поле корреляции.

Определим частичные средние арифметические для каждого значения :

,

где - число точек, оказавшихся в интервале, причем , где

- общее число наблюдений.

Соединим последовательно точки с координатами и отрезками прямых. Полученная ломаная линия называется эмпирической линией регрессии по ; она показывает, как в среднем меняется с изменением . Предельное положение эмпирической линии регрессии, к которому она стремится при неограниченном увеличении числа наблюдений и одновременном уменьшении , называется предельной теоретической линией регрессии. Ее нахождение и составляет основную задачу регрессионного анализа. Отметим, что по линии регрессии невозможно точно определить значение по в одном опыте. Однако зависимость позволяет определить в среднем значение при многократном повторении опыта при фиксированном значении . В регрессионном анализе рассматривается связь между одной переменной, называемой зависимой, и несколькими другими, называемыми независимыми. Эта связь представляется в виде математической модели, т.е. в виде функции регрессии. Если функция линейна относительно параметров, но не обязательно линейна относительно независимых переменных, то говорят о линейной модели. В противном случае нелинейная. Статистическими проблемами обработки в регрессионном анализе являются:

а) Получение наилучших точечных и интервальных оценок неизвестных параметров регрессионного анализа;

б) Проверка гипотез относительно этих параметров;

в) Проверка адекватности;

г) Проверка множества предполагаемых предположений.

Исследуемый объект представлен на рисунке 3.2

Рисунок 1.2 -- Вид исследуемого объекта

Для корректного использования регрессионного анализа существует следующие предпосылки и следующие допущения на свойства регрессионной ошибки , ; - значение зависимой переменной, полученное подстановкой в уравнение , , ; - количество экспериментальных данных, - количество независимых переменных:

Приведем свойства и предпосылки регрессионной ошибки:

а) Свойства регрессионной ошибки:

1) В каждом опыте имеет нормальный закон распределения;

, .

2) В каждом опыте математическое ожидание равно нулю;

, .

3) Во всех опытах дисперсия постоянна и одинакова;

, .

4) Во всех опытах ошибки независимы.

, .

б) предпосылки регрессионной ошибки:

1). Матрица наблюдений имеет полный ранг;

.

2). Структура модели адекватна истинной зависимости;

3). Значения случайной ошибки не зависят от значений регрессоров ;

4). Ошибки регистрации регрессоров пренебрежимо малы по сравнению со случайной ошибкой .

1.2 Проверка предпосылок и предположений регрессионного анализа

Регрессионный анализ является одним из самых распространённых методов обработки результатов наблюдений. Он служит основой для целого ряда разделов математической статистики и методов обработки данных. Регрессионный анализ базируется на ряде предположений и предпосылок, нарушение которых приводит к некорректному его использованию и ошибочной интерпретации результатов.

Если F-критерий и показал, что подгонка модели в целом является удовлетворительной; целесообразно провести анализ остатков для проверки соблюдений предпосылок и предположений.

В этом случае исследуется набор отклонений между экспериментальными и предсказанными значениями зависимой переменной,

.

Проверка предпосылок и предположений регрессионного анализа включает в себя следующие задачи:

1) оценка случайности зависимой переменной;

2) оценка стационарности и эргодичности зависимых и независимых переменных;

3) Проверка гипотезы о нормальности распределения ошибок E;

4) Обнаружение выбросов;

5) Проверка постоянства математического ожидания и дисперсии ошибок;

6) Оценка коррелированности остатков;

7) Обнаружение мультиколлинеарности.

1.2.1 Проверка случайности

Построение моделей методом множественного регрессионного анализа требуется выполнение предположения случайности и в нормальной линейной модели вида

где - вектор наблюдений зависимой переменной;

- матрица наблюдений независимых переменных;

- вектор неизвестных коэффициентов;

- вектор ошибок.

Задача проверки случайности может быть разбита на 2 подзадачи:

1) проверка случайности собственной величины Y;

2) проверка случайности выборки, то есть допущения об отсутствии существенного смещения средней величины во времени.

Первая подзадача решается с использованием критерия серий. Для этой цели последовательность наблюдений величины Y представля...