Aproximación funcional por mínimos cuadrados

Aproximación funcional por
mínimos cuadrados
Laboratori de Càlcul Numèric (LaCàN)
Departament de Matemàtica Aplicada III
Universitat Politècnica de Catalunya (Barcelona)
http://www-lacan.upc.es
Introducción
  Interpolación polinómica pura puede no ser la mejor opción:
•  si el número de datos (n+1) es elevado, el polinomio
interpolador puede presentar oscilaciones importantes
(ejemplo paradoja de Runge),
•  poca flexibilidad para elegir el tipo de interpolante
(polinomio de grado n)
•  si los datos son experimentales o susceptibles de tener un
cierto error no tiene sentido imponer que el interpolante
pase exactamente por los datos, es suficiente exigir “que
se acerque lo máximo posible”
cambio de criterio de
aproximación
·2
Ejemplo: REGRESIÓN LINEAL
·3
Criterio de MÍNIMOS CUADRADOS
  Mínimos cuadrados: se minimiza el cuadrado de la
distancia entre f(x) y p(x)
versión continua
versión discreta
4
APROXIMACIÓN FUNCIONAL. INTRODUCCIÓN
·4
  Producto escalar continuo
  Producto escalar discreto
·5
Producto escalar y norma
  Producto escalar <·,·>: es una forma
1.  bilineal
2.  simétrica
3.  y definida positiva
·6
  Todo producto escalar tiene una norma asociada
  Norma || · ||:
1. 
y
2. 
3. 
·7
Criterio de MÍNIMOS CUADRADOS
  Mínimos cuadrados es un criterio de aproximación que se
puede utilizar para ajustar cualquier tipo de función:
•  Aproximación polinómica
•  Aproximación trigonométrica
•  otros, por ejemplo,
En cualquier caso, el aproximante se expresa en función de
un número finito de coeficientes (con dependencia lineal o
no lineal)
·8
Criterio de MÍNIMOS CUADRADOS
  Criterio de mínimos cuadrados: minimizar el error
  donde el aproximante p(x) depende de los coeficientes c0,
…,cm
  El mínimo se obtiene derivando respecto a los coeficientes
(sistema de ecuaciones m x m)
·9
Teorema de existencia de proyección
Sea V un espacio métrico, y W un subespacio de dimensión
finita. Entonces, dado v∈V existe w*∈W tal que
||v-w*|| ≤ ||v-w|| para todo w ∈W
· 10
Mínimos cuadrados sobre un espacio vectorial:
ECUACIONES NORMALES
  Caso particular: el espacio de aproximación es un espacio
vectorial (el aproximante depende linealmente de los
coeficientes)
•  base
•  aproximante
•  buscamos los coeficientes c0, c1,...,cm que minimicen
· 11
  Para encontrar el mínimo derivamos respecto a los
coeficientes
· 12
Proyección
  p(x) es la proyección de f(x) sobre Ψ
· 13
  Sustituyendo
se obtienen las ecuaciones normales
(notación)
· 14
Teorema fundamental de Mínimos
Cuadrados
  Si
son linealmente
independientes, el problema de mínimos cuadrados,
planteado como solución de las ecuaciones normales,
1.  Tiene solución única
2.  La solución se caracteriza por la propiedad de
ortogonalidad
3.  Si
son una base ortogonal
(coeficientes de Fourier)
· 15
Ejemplo: regresión lineal
· 16
Ejemplo: paradoja de Runge
  Tipo aproximación: polinómica
  Criterios:
Interpolación pura
Mínimos cuadrados
1
0.8
0.5
0.6
0.4
0
0.2
-0.5
-1
-1
0
f(x)
-0.5
n=4
n=8
0
n=16
0.5
1
-0.2
-1
f(x)
-0.5
n=4
n=8
0
n=16
0.5
1
· 17
Teorema
Si las funciones
son linealmente
independientes, el problema de mínimos cuadrados tiene
una única solución.
  demostración:
•  basta comprobar que la matriz de las ecuaciones normales A es
regular
•  la matriz es regular si la única solución del sistema homogéneo es
el vector 0 (hay que comprobarlo)
· 18
Consideremos un vector solución del sistema homogéneo,
es decir,
Por lo tanto, la norma de la función
es
· 19
|| · || norma
ψi linealmente
independientes
· 20
Aproximación polinómica por mínimos
cuadrados con datos discretos
  n+1 datos: f(xi) con i=0,...,n
  Aproximación con un polinomio de grado m
donde
es una base de Pm
(espacio de polinomios de grado menor o igual que m)
  Condición
· 21
  Si m>n el producto escalar discreto
es degenerado en Pm (no induce una norma)
cumple
aunque
  Si m=n el polinomio pn(x) es el polinomio de
interpolación
· 22
Malcondicionamiento de las ecuaciones
normales
  Las ecuaciones normales pueden estar muy mal
condicionadas (depende de la elección de la base)
  Por ejemplo, la matriz de las ecuaciones normales con base
natural de polinomios
y producto escalar continuo
se llama matriz de Hilbert
· 23
  Matriz de Hilbert de dimensión m+1
m
Número de
condición
2
3
5
10
15
1.9 101
5.2 102
4.8 105
1.6 1013
6.1 1020
· 24
Bases ortogonales
  Ecuaciones normales con matriz diagonal
· 25
Familias de polinomios ortogonales
  Polinomios de Legendre:
  Polinomios de Gram:
con puntos equiespaciados en [-1,1]
  Para intervalo [a,b] se hace un cambio de variable
· 26
Paradoja de Runge
  Interpolación polinómica
5
9
17
· 27