APROXIMACIÓN POR MÍNIMOS CUADRADOS

APROXIMACIÓN POR MÍNIMOS
CUADRADOS
MÉTODO DE LOS MÍNIMOS CUADRADOS
Supongamos que un sistema de ecuaciones lineales Ax = b, con
Mm×n(R), es incompatible, es decir que b no es combinación de
de las columnas de A. Se trata de hallar un vector x0 de Rn que
minimice
E = kAx − bk
Para cualquier x ∈ Rn , Ax es combinación de las columnas de A,
por lo que estamos buscando es el elemento que es combinación
de las columnas de A que mas se acerca a b. Eso no es más que
la proyección ortogonal de b sobre el espacio columna de A. La
solución que minimiza E es aquella tal que Ax0 es la proyección
ortogonal sobre el espacio de las columnas de A, es decir,
b − Ax0 es ortogonal a Ay, ∀ y ∈ Rn.
Por lo tanto
< Ay, b − Ax0 >= 0,
ytAt(b − Ax0) = 0,
yt(Atb − AtAx0) = 0,
de lo que se deduce
∀ y ∈ Rn
∀ y ∈ Rn
∀ y ∈ Rn ,
AtAx0 = Atb
A las ecuaciones anteriores se les denomina ecuaciones normales, a la solución x0 solución óptima y a E 2 = kAx0 − bk2 se
le llama error cuadrático.
1
Si las columnas de A son independientes la solución de las ecuaciones normales es única, como se puede ver aplicando la factorización QR a A
(QR)t(QR)x0 = (QR)tb
RtQtQRx0 = RtQtb
Rx0 = Qtb.
AJUSTE DE DATOS
Si se espera una relación lineal entre los datos y = a + bx el
sistema planteado es

1 x1

 ... ... 
1 xm
µ
a
b
¶

y1

=  ...  .
ym
Si se ajusta una parábola y = a + bx + cx2 se obtiene

 ... ...
1 xm

 

y1
a
  b  =  ...  .
c
x2m
ym
1 x1 x21
Se dene el índice de determinación como
m
X
d=
(y(xk ) − y)2
k=1
m
X
(yk − y)2
k=1
m
1 X
yk .
donde y =
m
k=1
Es fácil ver que 0 ≤ d ≤ 1.
2
Los ajustes anteriores son casos particulares del ajuste por modelos lineales y = a1φ1(x) + a2φ2(x) + · · · + anφn(x). En este
caso se obtiene

φ1(x1) φ2(x1)

 φ1(x2) φ2(x2)

...
...

φ1(xm) φ2(xm)

· · · φn(x1)
a1

· · · φn(x2)   a2
  ..
...
...
 .
· · · φn(xm)
an


y1


  .. 
.
.
=

ym
Algunas funciones no lineales se pueden linealizar, como por
ejemplo y = aebx .
3