Метод наименьших квадратов в решении задач восстановления регрессионных зависимостей

Понятие интерполяционного многочлена Лагранжа как многочлена минимальной степени, порядок его построения. Решение и оценка остаточного члена. Нахождение приближающей функции в виде линейной функции, квадратного трехчлена и других элементарных функций.
Краткое сожержание материала:

Размещено на

9

Метод наименьших квадратов в решении задач восстановления регрессионных зависимостей

Содержание

Введение

Глава 1.Теоретические сведения

§1 Многочлен Лагранжа

1.1 Постановка задачи

1.2 Построение интерполяционного многочлена Лагранжа

1.3 Остаточный член

§2 Метод наименьших квадратов

2.1 Постановка задачи

2.2 Нахождение приближающей функции в виде линейной функции и квадратного трехчлена

2.3 Нахождение приближающей функции в виде других элементарных функций

Глава 2 . Вычислительный эксперимент

§1 Листинг программы по МНК

§2 Листинг программы по многочлену Лагранжа

§3 Вывод

Заключение

Список использованной литературы

Введение

Метод наименьших квадратов (МНК) - один из наиболее широко используемых методов при решении многих задач восстановления регрессионных зависимостей, а также в во многих областях математики, в частности в теории интерполяции функций, статистике, экономике. Впервые МНК был использован Лежандром в 1806 г. для решения задач небесной механики на основе экспериментальных данных астрономических наблюдений. В 1809 г. Гаусс изложил статистическую интерпретацию МНК и тем самым дал начало широкого применения статистических методов при решении задач восстановления регрессионных зависимостей. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена.

Глава 1. Теоретические сведения

§1 Многочлен Лагранжа

1.1 Постановка задачи

Пусть задана функция y=f(x). Часто нахождение значений этой функции может оказаться трудоемкой задачей. Например, - параметр в некоторой сложной задаче, после решения которой определяется значение f(x), или f(x) измеряется в дорогостоящем эксперименте. В этих случаях можно получить небольшую таблицу значений функции, но прямое нахождение ее значений при большом количестве значений аргумента нереально. В такой ситуации f(x) заменяется приближенной функцией , которая в определенном смысле близка к функции f(x). Близость обеспечивается введением в функцию свободных параметров и их соответствующим выбором.

Итак, известны значения функции f(x) в точках , . Потребуем, чтобы для некоторой функции , где - свободные параметры, выполнялись равенства:

(1)

Если (1) рассматривать как систему для определения , то этот способ называется интерполяцией (Лагранжевой).

Если зависит от нелинейно, то интерполяция нелинейная, иначе интерполяция линейная. В случае линейной интерполяции можно записать

 (2)

(где - система линейно-независимых функций)

Подставим (2) в (1). Относительно получаем линейную систему уравнений:

, (3)

Для однозначной разрешимости системы должно быть .

Для того, чтобы задача интерполирования имела единственное решение, система функций должна для любых несовпадающих удовлетворять условию:

(4)

Система функций, удовлетворяющая условию (4), называется чебышевской.

1.2 Построение интерполяционного многочлена Лагранжа

Наиболее простой и (для многих случаев) удобной является система функций , . Функция при этом представляет собой многочлен степени (интерполяционный многочлен) с коэффициентами .

Система уравнений (3) в этом случае имеет вид:

, (5)

Определителем этой системы является отличный от нуля определитель Вандермонда:

Отсюда следует, что интерполяционный многочлен существует и единственен.

Непосредственное решение системы (5) для нахождения aj уже при небольших n приводит к сильному искажению значений aj. Получим явный вид интерполяционного многочлена, не решая систему (5).

Если y С[a,b]- многочлен степени n , то - искомый интерполяционный многочлен степени ,т.к..

Так как при , то y C[a,b] делится на для любых , то есть

. Так как , то .

Таким образом,

 (6)

Такая форма записи интерполяционного многочлена называется многочленом Лагранжа и обозначается, как правило, .

Существуют и другие формы записи того же самого интерполяционного многочлена.

Если обозначить , то

(6) можно записать в виде

1.3 Остаточный член

В узлах многочлен Лагранжа совпадает с заданной функцией, в остальных точках в общем случае не совпадает с (кроме случая, когда многочлен степени не выше ). Разность остаточный член. Запишем ее в виде .

При. Найдем постоянную такую, чтобы в некоторой фиксированной точке , в которой мы рассматриваем погрешность.

Будем предполагать, что раз дифференцируема.

Значение c, при котором существует и равно . Тогда функция равна нулю по крайней мере в точках .

По теореме Ролля производная равна нулю по крайней мере в точках . Далее, равна нулю по крайней мере в n точках и т.д.

Для - производной получаем, что существует по крайней мере одна точка такая, что

Отсюда получаем при .

Значение зависит от - точки, в которой рассматривается погрешность.

В этом случае в точке , т.е. остаточный член в точке имеет вид:

Оценка остаточного члена:

, где

§2 Метод наименьших квадратов для аппроксимации функций

2.1 Постановка задачи

Пусть в результате измерений в процессе опыта получена таблица

x	x1	x2	…	xn
f(x)	y1	y2	…	yn

Нужно найти формулу, выражающую эту зависимость аналитически.

Можно, разумеется, применить метод интерполяции: построить интерполяционный многочлен, значения которого в точках x1, x2, … xn будут совпадать с соответствующими значениями f(x) из таблицы. Однако совпадение значений в узлах иногда может вовсе не значить совпадения характеров поведения исходной и интерполирующей функций. Требование неукоснительного совпадения значений в узлах выглядит тем более неоправданным, если значения функции f(x) получены в результате измерений и являются приближенными.

Поставим задачу так, чтобы с самого начала учитывался характер исходной функции: найти функцию заданного вида y=F(x), которая в точках x1, x2, … xn принимает значения, как можно более близкие к табличным значениям y1, y2,… yn .(уточнение выражения «более близкие» будет приведено ниже). итерполяционный многочлен лагранж

Практически вид приближающей функции F можно определить следующим образом. По данным таблицы строится точечный график функции, а затем как на рисунке проводится плавная кривая, по возможности наилучшим образом отражающая характер расположения точек. По полученной таким образом кривой устанавливается вид приближающей функции( обычно из числа простых по виду аналитических функций)



Следует заметить, что строгая функциональная зависимость для экспериментально полученной таблицы наблюдается редко, так как каждая из участвующих величин может зависеть от многих случайных факторов. Приближающая функция( ее называют эмпирической формулой, или уравнением регрессии y на x) интересна тем, что позволяет находить значения функции f(x) для нетабличных значений x, «сглаживая» результаты измерений величины y. Оправданность такого подхода определяется, в конечном счете, практически полезностью полученной формулы.

Рассмотрим один из распространенных способов нахождения эмпирической формулы. Предположим, что приближающая функция F в точках x1, x2, .. xn имеет значения

(1)

Требование близости табличных значений y1, y2,… yn .и значений (1) можно истолковать следующим образом. Будем рассматривать совокупность значений функции f(x) из таблицы как координаты двух точек n- мерного пространства. С учетом этого задача приближения функции f может быть переформулирована следующим образом: найти такую функцию F заданного вида, чтобы расстояние между точками M(y1, y2,… yn) и было наименьшим. Если воспользоваться метрикой евклидова пространства, то это условие сводится к требованию, чтобы величина



была наименьшей. Легко видеть, что это требование равносильно следующему: чтобы была наименьшей сумма квадратов

(2)

Итак, задача приближения функции f теперь формулируется следующим образом: для функции f, заданной таблицей, найти функцию F определенного вида, чтобы сумма квадратов (2) был наименьшей

Эта задача носит название задачи приближения функции методом наименьших квадратов.

В качестве приближающих функций в зависимости от характера точеч...