Mínimos cuadrados lineales

Mínimos cuadrados lineales
Consideramos un conjunto de puntos {xi , yi }i=0...n que queremos aproximar mediante diferentes
funciones p(x) utilizando el criterio de mínimos cuadrados. Para ello, denimos el error
E=
n
X
(p(xi ) − yi )2
i=0
y, derivando respecto los parámetros de la función p(x), buscamos el mínimo de esta función
de error.
1. En primer lugar consideramos aproximar los datos por una recta por el origen. Por lo
tanto, podemos escribir el aproximante como p(x) = c1 x.
El error en este caso es
E=
n
n
X
X
(p(xi ) − yi )2 =
(c1 xi − yi )2 .
i=0
i=0
Es importante notar que los valores xi e yi son datos y, por lo tanto, el error depende sólo
del parámetro c1 . Para minimizarlo, derivamos respecto esta variable
n
X
∂E
=2
(c1 xi − yi )xi
∂c1
i=0
e igualado este valor a cero:
n
X
n
X
(c1 xi − yi )xi = 0 ⇒
i=0
n
X
(c1 x2i − yi xi ) = 0 ⇒ c1 =
i=0
yi xi
i=0
n
X
.
x2i
i=0
2. Si en lugar de una función lineal el aproximante es p(x) = c1 ψ(x), con ψ(x) una función
cualquiera, el proceso para obtener el aproximante es el mismo. El error es
n
n
X
X
2
(p(xi ) − yi ) =
(c1 ψ(xi ) − yi )2 ,
E=
i=0
i=0
su derivada respecto el parámetro c1 es
n
X
∂E
=2
(c1 ψ(xi ) − yi )ψ(xi ),
∂c1
i=0
e igualando esta derivada a cero se obtiene
n
X
c1 =
yi ψ(xi )
i=0
n
X
i=0
.
ψ(xi )2
3. A continuación, consideramos una función p(x) que depende de varios parámetros. Por
ejemplo, consideremos un polinimio de grado 2; es decir, p(x) = a0 + a1 x + a2 x2 .
En este caso, el error
n
n
X
X
2
E=
(p(xi ) − yi ) =
(a0 + a1 xi + a2 x2i − yi )2
i=0
i=0
depende de tres parámetros (a0 , a1 y a2 ). Para minimizarlo, derivamos respecto a cada
uno de ellos
n
X
∂E
=2
(a0 + a1 xi + a2 x2i − yi )
∂a0
i=0
n
X
∂E
=2
(a0 + a1 xi + a2 x2i − yi )xi
∂a1
i=0
n
X
∂E
=2
(a0 + a1 xi + a2 x2i − yi )x2i
∂a2
i=0
e igualamos a cero estas tres derivadas:
n
n
n
n
X
X
X
X
∂E
= 0 ⇒ a0
1 + a1
x i + a2
x2i =
yi
∂a0
i=0
i=0
i=0
i=0
n
n
n
n
n
n
n
n
X
X
X
X
∂E
= 0 ⇒ a0
x i + a1
x2i + a2
x3i =
xi y i
∂a1
i=0
i=0
i=0
i=0
X
X
X
X
∂E
= 0 ⇒ a0
x2i + a1
x3i + a2
x4i =
x2i yi .
∂a2
i=0
i=0
i=0
i=0
Podemos escribir este sistema de tres ecuaciones en forma matricial:

n
X
i=0
i=0
xi
n + 1

i=0
X
n
X
 n

xi
x2i

 i=0
i=0
X
n
n
X

2
xi
x3i
i=0
 n

X
 
yi 
a0


    i=0
i=0

   X
n
n
X

  
3  
xi y i 
xi  a1  = 



    i=0
i=0

   X
n
n
X

4
2 
xi y i
xi
a2
n
X

x2i 
i=0
4. Un polinomio de grado M cualquiera se puede escribir como p(x) =
M
X
j=0
caso, el error es
E=
n
X
i=0
(p(xi ) − yi )2 =
n
M
X
X
i=0
!2
aj xji
− yi
.
j=0
Para minimizarlo, derivamos respecto cada una de las componentes
n
M
X
X
∂E
=2
aj xji − yi
∂ak
i=0
j=0
!
xki
aj xj . En este
e igualando estas M + 1 derivadas a cero, se obtiene un sistema lineal de ecuaciones:
n
M
X
X
i=0
!
aj xj+k
i
=
j=0
n
X
para k = 0 . . . M.
yi xki
i=0
Cada una de estas ecuaciones se puede rescribir como
a0
n
X
xki
+ a1
i=0
n
X
xk+1
i
+ · · · + aM
i=0
n
X
+k
xM
i
=
i=0
n
X
yi xki
k = 0...M
i=0
y el sistema completo queda
n
X

xi
···
 n+1

i=0
 n
n
X
X

x
x2i
···
i

 i=0
i=0
 .
..
 ..
.

 .
..
 ..
.
 n
n
X
X

+1
xM
xM
···
i
i
i=0
n
X

n
X


xM
yi 
 a0

i
    i=0

i=0
   n

n

X

X
M +1   a1 

xi    
xi y i 

 




i=0
i=0
  ..  = 
.
..
.



..
.  
.




  ..  

..
.
..
 .  

.
   n

n



X
X


2M
M 
a
x
x y

M
i
i=0

i=0
i
i
i=0
5. Finalmente, en el caso más general, podemos considerar una función p(x) que es combinación lineal de M funciones de una base: p(x) =
M
X
aj ψj (x). En este caso, el error
j=0
es
n
n
M
X
X
X
2
E=
(p(xi ) − yi ) =
aj ψj (xi ) − yi
i=0
i=0
!2
.
j=0
y, como en el caso anterior, calculamos su derivada respecto cada una de las componentes
n
M
X
X
∂E
=2
aj ψj (xi ) − yi
∂ak
i=0
j=0
!
ψk (xi )
y al igualar a cero se obtiene un sistema de ecuaciones lineales:
n
M
X
X
i=0
!
aj ψj (xi )ψk (xi )
j=0
=
n
X
yi ψk (xi )
para k = 0 . . . M.
i=0
Cada una de estas ecuaciones se puede rescribir como
a0
n
X
i=0
ψ0 (xi )ψk (xi )+a1
n
X
i=0
ψ1 (xi )ψk (xi )+· · ·+aM
n
X
i=0
ψM (xi )ψk (xi ) =
n
X
i=0
yi ψk (xi )
k = 0...M
y el sistema completo en forma matricial es:
n
X

n
X
ψ0 (xi )2
ψ0 (xi )ψ1 (xi ) · · ·

 i=0
i=0
 n
n
X
X

ψ0 (xi )ψ1 (xi )
ψ1 (xi )2
···

 i=0
i=0

..
..

.
.


..
..

.
.
 n
n
X
X

ψ0 (xi )ψM (xi )
ψ1 (xi )ψM (xi ) · · ·
i=0
i=0
n
X




n
X

ψ0 (xi )ψM (xi ) a0
yi ψ0 (xi ) 






i=0
    i=0

n
n
a  X

X


1

ψ1 (xi )ψM (xi )
y
ψ
(x
)
i
1
i
  




 .   i=0
i=0

.
=


..
..
..  



.
.
  

.
 .  

..
..



.
  
.
.




n
n

X

X

ψ (x )2  a
y ψ (x )
M
i=0
i
M
i
i=0
M
i