Aproximación por mínimos cuadrados

Aproximación por mı́nimos cuadrados
José Vicente Romero Bauset
ETSIT-curso 2009/2010
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 1
Introducción
Con el fin de determinar el valor de la constante g, la aceleración
causada por la acción de la gravedad sobre la superficie de la
Tierra, se lleva a cabo un experimento en el cual se mide el tiempo
que tarda en caer un objeto desde un edificio a lo largo de alturas
diferentes, midiéndose el tiempo a distancias prefijadas. Se
obtienen los siguientes datos:
t(s)
y(m)
1.1
4.9
1.6
13.5
José Vicente Romero Bauset
2.9
39
3.0
45
4.3
87.6
4.8
110
Tema 6.- Aproximación por mı́nimos cuadrados. 2
Introducción
Con el fin de determinar el valor de la constante g, la aceleración
causada por la acción de la gravedad sobre la superficie de la
Tierra, se lleva a cabo un experimento en el cual se mide el tiempo
que tarda en caer un objeto desde un edificio a lo largo de alturas
diferentes, midiéndose el tiempo a distancias prefijadas. Se
obtienen los siguientes datos:
t(s)
y(m)
1.1
4.9
1.6
13.5
2.9
39
3.0
45
4.3
87.6
4.8
110
¿Cuál es el valor de la aceleración de la gravedad?
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 2
Introducción
Con el fin de determinar el valor de la constante g, la aceleración
causada por la acción de la gravedad sobre la superficie de la
Tierra, se lleva a cabo un experimento en el cual se mide el tiempo
que tarda en caer un objeto desde un edificio a lo largo de alturas
diferentes, midiéndose el tiempo a distancias prefijadas. Se
obtienen los siguientes datos:
t(s)
y(m)
1.1
4.9
1.6
13.5
2.9
39
3.0
45
4.3
87.6
4.8
110
¿Cuál es el valor de la aceleración de la gravedad?
1
Vamos a suponer que y = a + bt + gt 2
2
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 2
Introducción
Si se exige que todos los puntos cumplan la ecuación se
obtiene el sistema


t12


y
=
a
+
bt
+
g
1
1

2


2


t

y2 = a + bt2 + g 22




2


 y3 = a + bt3 + g t3
2
t42


y
=
a
+
bt
+
g

4
4
2



2

t

5

y
=
a
+
bt
+
g

5
5
2



2

t

 y6 = a + bt6 + g 6
2
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 3
Introducción
Si se exige que todos los puntos cumplan la ecuación se
obtiene el sistema


t12


y
=
a
+
bt
+
g
1
1

2


2


t

y2 = a + bt2 + g 22




2


 y3 = a + bt3 + g t3
2
t42


y
=
a
+
bt
+
g

4
4
2



2

t

5

y
=
a
+
bt
+
g

5
5
2



2

t

 y6 = a + bt6 + g 6
2






⇒




José Vicente Romero Bauset
1 t1 t12


y1



1 t2 t22  
 
 y2 



a
1 t3 t32 
y3 

 

  b  =  y4 

1 t4 t42 
g





2
2
y
5
1 t5 t5 



2
y
6
1 t6 t6
Tema 6.- Aproximación por mı́nimos cuadrados. 3
Introducción
Si se exige que todos los puntos cumplan la ecuación se
obtiene el sistema


t12


y
=
a
+
bt
+
g
1
1

2


2


t

y2 = a + bt2 + g 22




2


 y3 = a + bt3 + g t3
2
t42


y
=
a
+
bt
+
g

4
4
2



2

t

5

y
=
a
+
bt
+
g

5
5
2



2

t

 y6 = a + bt6 + g 6
2






⇒




1 t1 t12


y1



1 t2 t22  
 
 y2 



a
1 t3 t32 
y3 

 

  b  =  y4 

1 t4 t42 
g





2
2
y
5
1 t5 t5 



2
y
6
1 t6 t6
Sistema incompatible
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 3
Introducción
6
Se minimiza
g
∑ (yi − a − bti − 2 ti2 )2
i=1
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 4
Introducción
6
Se minimiza
g
∑ (yi − a − bti − 2 ti2 )2
i=1
Se obtiene
g
2
= 4.5217
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 4
Método de los mı́nimos cuadrados
Ax = b incompatible
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
Ax = b incompatible → b no es combinación de las columnas de A
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
Ax = b incompatible → b no es combinación de las columnas de A
w
w
 hallar un vector x0
minimice E = kAx − bk
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
Ax = b incompatible → b no es combinación de las columnas de A
w
b
w
 hallar un vector x0
0
Col A
Ax
Ax̂ Ax
minimice E = kAx − bk
w
w
 Teorema de la mejor aproximación
proyección ortogonal de b sobre el espacio columna de A
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
Ax = b incompatible → b no es combinación de las columnas de A
w
b
w
 hallar un vector x0
0
Col A
Ax
Ax̂ Ax
minimice E = kAx − bk
w
w
 Teorema de la mejor aproximación
proyección ortogonal de b sobre el espacio columna de A
w
w

b − Ax0 es ortogonal a Ay, ∀ y ∈ Rn .
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
Ax = b incompatible → b no es combinación de las columnas de A
w
b
w
 hallar un vector x0
0
Col A
Ax
Ax̂ Ax
minimice E = kAx − bk
w
w
 Teorema de la mejor aproximación
proyección ortogonal de b sobre el espacio columna de A
w
w

b − Ax0 es ortogonal a Ay, ∀ y ∈ Rn .
w
w

< Ay, b − Ax0 >= 0
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
Ax = b incompatible → b no es combinación de las columnas de A
w
b
w
 hallar un vector x0
0
Col A
Ax
Ax̂ Ax
minimice E = kAx − bk
w
w
 Teorema de la mejor aproximación
proyección ortogonal de b sobre el espacio columna de A
w
w

b − Ax0 es ortogonal a Ay, ∀ y ∈ Rn .
w
w

< Ay, b − Ax0 >= 0 ⇒ yt At (b − Ax0 ) = 0
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
Ax = b incompatible → b no es combinación de las columnas de A
w
b
w
 hallar un vector x0
0
Col A
Ax
Ax̂ Ax
minimice E = kAx − bk
w
w
 Teorema de la mejor aproximación
proyección ortogonal de b sobre el espacio columna de A
w
w

b − Ax0 es ortogonal a Ay, ∀ y ∈ Rn .
w
w

< Ay, b − Ax0 >= 0 ⇒ yt At (b − Ax0 ) = 0 ⇒ yt (At b − At Ax0 ) = 0
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
Ax = b incompatible → b no es combinación de las columnas de A
w
b
w
 hallar un vector x0
0
Col A
Ax
Ax̂ Ax
minimice E = kAx − bk
w
w
 Teorema de la mejor aproximación
proyección ortogonal de b sobre el espacio columna de A
w
w

b − Ax0 es ortogonal a Ay, ∀ y ∈ Rn .
w
w

< Ay, b − Ax0 >= 0 ⇒ yt At (b − Ax0 ) = 0 ⇒ yt (At b − At Ax0 ) = 0
w
w

At Ax0 = At b
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 5
Método de los mı́nimos cuadrados
A las ecuaciones anteriores se les denomina ecuaciones normales,
a la solución x0 solución óptima y a E 2 = kAx0 − bk2 se le llama
error cuadrático.
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 6
Método de los mı́nimos cuadrados
A las ecuaciones anteriores se les denomina ecuaciones normales,
a la solución x0 solución óptima y a E 2 = kAx0 − bk2 se le llama
error cuadrático.
Si las columnas de A son independientes la solución de las
ecuaciones normales es única, como se puede ver aplicando la
factorización QR a A
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 6
Método de los mı́nimos cuadrados
A las ecuaciones anteriores se les denomina ecuaciones normales,
a la solución x0 solución óptima y a E 2 = kAx0 − bk2 se le llama
error cuadrático.
Si las columnas de A son independientes la solución de las
ecuaciones normales es única, como se puede ver aplicando la
factorización QR a A
At Ax0 = At b
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 6
Método de los mı́nimos cuadrados
A las ecuaciones anteriores se les denomina ecuaciones normales,
a la solución x0 solución óptima y a E 2 = kAx0 − bk2 se le llama
error cuadrático.
Si las columnas de A son independientes la solución de las
ecuaciones normales es única, como se puede ver aplicando la
factorización QR a A
At Ax0 = At b
(QR)t (QR)x0 = (QR)t b
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 6
Método de los mı́nimos cuadrados
A las ecuaciones anteriores se les denomina ecuaciones normales,
a la solución x0 solución óptima y a E 2 = kAx0 − bk2 se le llama
error cuadrático.
Si las columnas de A son independientes la solución de las
ecuaciones normales es única, como se puede ver aplicando la
factorización QR a A
At Ax0 = At b
(QR)t (QR)x0 = (QR)t b
R t Q t QRx0 = R t Q t b
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 6
Método de los mı́nimos cuadrados
A las ecuaciones anteriores se les denomina ecuaciones normales,
a la solución x0 solución óptima y a E 2 = kAx0 − bk2 se le llama
error cuadrático.
Si las columnas de A son independientes la solución de las
ecuaciones normales es única, como se puede ver aplicando la
factorización QR a A
At Ax0 = At b
(QR)t (QR)x0 = (QR)t b
R t Q t QRx0 = R t Q t b
Rx0 = Q t b.
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 6
Ajuste de datos
Relacion lineal
Si se espera una relación lineal entre los datos y = a + bx
y1
=
..
.
a + bx1
ym = a + bxm
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 7
Ajuste de datos
Relacion lineal
Si se espera una relación lineal

y1 = a + bx1

..
⇒
.
ym = a + bxm
entre los datos y = a + bx



1 x1
y1
.. ..  a =  ..  .
 . 
. .  b
1 xm
ym
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 7
Ajuste de datos
Relacion lineal
Si se espera una relación lineal

y1 = a + bx1

..
⇒
.
ym = a + bxm
entre los datos y = a + bx



1 x1
y1
.. ..  a =  ..  .
 . 
. .  b
1 xm
ym
(y = a + bx + cx 2 )
  
x1 x12
a
..
..   b  = 

.
. 
2
c
1 xm xm
Relación Cuadrática

1
 ..
 .
José Vicente Romero Bauset

y1
..  .
. 
ym
Tema 6.- Aproximación por mı́nimos cuadrados. 7
Ajuste de datos
n
El error cuadrático ( ∑ (yi − y (xi ))2 ) depende del número de puntos
i=1
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 8
Ajuste de datos
n
El error cuadrático ( ∑ (yi − y (xi ))2 ) depende del número de puntos
i=1
⇓
Se define el ı́ndice de determinación como
m
∑ (y (xk ) − y)2
d=
k=1
m
,
2
∑ (yk − y)
k=1
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 8
Ajuste de datos
n
El error cuadrático ( ∑ (yi − y (xi ))2 ) depende del número de puntos
i=1
⇓
Se define el ı́ndice de determinación como
m
∑ (y (xk ) − y)2
d=
k=1
m
∑ (yk − y)2
, y=
1 m
∑ yk
m k=1
k=1
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 8
Ajuste de datos
n
El error cuadrático ( ∑ (yi − y (xi ))2 ) depende del número de puntos
i=1
⇓
Se define el ı́ndice de determinación como
m
∑ (y (xk ) − y)2
d=
k=1
m
∑ (yk − y)2
, y=
1 m
∑ yk
m k=1
k=1
Es fácil ver que 0 ≤ d ≤ 1.
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 8
Ajuste de datos
Los ajustes anteriores son casos particulares del ajuste por
modelos lineales
y = a1 φ1 (x) + a2 φ2 (x) + · · · + an φn (x).
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 9
Ajuste de datos
Los ajustes anteriores son casos particulares del ajuste por
modelos lineales
y = a1 φ1 (x) + a2 φ2 (x) + · · · + an φn (x).
⇓





φ1 (x1 )
φ1 (x2 )
..
.
φ2 (x1 )
φ2 (x2 )
..
.
···
···
..
.
φn (x1 )
φn (x2 )
..
.
φ1 (xm ) φ2 (xm ) · · · φn (xm )
José Vicente Romero Bauset





a1
a2
..
.
an



 
=


y1
..  .
. 
ym
Tema 6.- Aproximación por mı́nimos cuadrados. 9
Ajuste de datos
Los ajustes anteriores son casos particulares del ajuste por
modelos lineales
y = a1 φ1 (x) + a2 φ2 (x) + · · · + an φn (x).
⇓





φ1 (x1 )
φ1 (x2 )
..
.
φ2 (x1 )
φ2 (x2 )
..
.
···
···
..
.
φn (x1 )
φn (x2 )
..
.
φ1 (xm ) φ2 (xm ) · · · φn (xm )





a1
a2
..
.



 
=

an

y1
..  .
. 
ym
Algunas funciones no lineales se pueden linealizar
y = aebx ⇒ ln y = ln a + bx
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 9
Ajuste de datos
Ejemplo
El nivel del agua en el mar del Norte está principalmente
determinado por la marea. Se han tomado las siguientes mediciones
t
h(t)
0
1
2
1.6
4
1.4
6
0.6
8
0.2
10
0.8
con t medido en horas.
a) Ajuste a los datos anteriores una recta. Para ello escriba las
ecuaciones normales y resuelva dicho sistema por el método
de Gauss-Jordan. ¿Tiene sentido la solución obtenida para
tiempos grandes?
b Ajuste por mı́nimos cuadrados los datos anteriores a una
función del tipo
πt πt h(t) = h0 + a1 sen
+ a2 cos
6
6
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 10
Ajuste de datos
h = a + bx
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 11
Ajuste de datos
h = a + bx

1





1.6




 1.4
0.6




 0.2




 0.8
=
=
=
=
=
=
a
a
a
a
a
a
+
+
+
+
+
+
0b
2b
4b
6b
8b
10 b
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 11
Ajuste de datos

1





1.6




 1.4
0.6




 0.2




 0.8
=
=
=
=
=
=
a
a
a
a
a
a
+
+
+
+
+
+
0b
2b
4b
6b
8b
10 b
h = a + bx

1 0

 1 2

 1 4

⇒
 1 6

 1 8

1 10
{z
|
A
José Vicente Romero Bauset







! 

 a


=


 b
 | {z } 



 x0
}
|
1
1.6
1.4
0.6
0.2
0.8
{z
d











}
Tema 6.- Aproximación por mı́nimos cuadrados. 11
Ajuste de datos

1





1.6




 1.4
0.6




 0.2




 0.8
=
=
=
=
=
=
a
a
a
a
a
a
+
+
+
+
+
+
0b
2b
4b
6b
8b
10 b
h = a + bx

1 0

 1 2

 1 4

⇒
 1 6

 1 8

1 10
{z
|
A







! 

 a


=


 b
 | {z } 



 x0
}
|
1
1.6
1.4
0.6
0.2
0.8
{z
d











}
At Ax0 = At d
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 11
Ajuste de datos

1





1.6




 1.4
0.6




 0.2




 0.8
=
=
=
=
=
=
a
a
a
a
a
a
+
+
+
+
+
+
0b
2b
4b
6b
8b
10 b
At Ax0 = At d ⇒
h = a + bx



1 0



 1 2 



! 
 1 4  a




⇒
=


 1 6  b



 1 8  | {z } 


 x0
1 10
{z
}
|
|
A
!
!
6
30
5.6
x0 =
30 220
22
José Vicente Romero Bauset
1
1.6
1.4
0.6
0.2
0.8
{z
d











}
Tema 6.- Aproximación por mı́nimos cuadrados. 11
Ajuste de datos

1





1.6




 1.4
0.6




 0.2




 0.8
=
=
=
=
=
=
a
a
a
a
a
a
+
+
+
+
+
+
0b
2b
4b
6b
8b
10 b
At Ax0 = At d ⇒
6
30
F1 − 30F2
−−−−−→
30
220
5.6
22
F2 − 5F1
−−−−→
!
6 0 286
F1
353
6
0 1 − 35
→
−
h = a + bx



1 0



 1 2 



! 
 1 4  a




⇒
=


 1 6  b



 1 8  | {z } 


 x0
1 10
{z
}
|
|
A
!
!
6
30
5.6
x0 =
30 220
22
!
6 30
6 30 5.6
F2
70
0 70 −6 →
0 1
−
1
0
José Vicente Romero Bauset
0
1
!
143
105
⇒ x0 =
3
− 35
1
1.6
1.4
0.6
0.2
0.8
{z











d
5.6
3
− 35
}
!
1.36
−0.086
!
Tema 6.- Aproximación por mı́nimos cuadrados. 11
Ajuste de datos
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 12
Ajuste de datos
h(t) = h0 + a1 sen
José Vicente Romero Bauset
πt 6
+ a2 cos
πt 6
Tema 6.- Aproximación por mı́nimos cuadrados. 13
Ajuste de datos
h(t) = h0 + a1 sen

1 = h0 + sen





1.6 = h0 + sen




 1.4 = h0 + sen

0.6 = h0 + sen





0.2 = h0 + sen



 0.8 = h + sen
0
π0
6 a1
π2
6 a1
π4
6 a1
π6
6 a1
π8
6 a1
π10
a1
6
+ cos
+ cos
+ cos
+ cos
+ cos
+ cos
πt 6
+ a2 cos
πt 6
π0
6 a2
π2
6 a2
π4
6 a2
π6
6 a2
π8
6 a2
π10
a2
6
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 13
Ajuste de datos
h(t) = h0 + a1 sen

1 = h0 + sen





1.6 = h0 + sen




 1.4 = h0 + sen

0.6 = h0 + sen





0.2 = h0 + sen



 0.8 = h + sen
0
π0
6 a1
π2
6 a1
π4
6 a1
π6
6 a1
π8
6 a1
π10
a1
6
+ cos
+ cos
+ cos
+ cos
+ cos
+ cos
πt + a2 cos
6
6

1
0
1
√

3
1
 1
2
2

√

3
1
 1
−
2
2

⇒
0 −1
 1

√

 1 − 23 − 12

√
1
1 − 23
2
|
{z
πt π0
6 a2
π2
6 a2
π4
6 a2
π6
6 a2
π8
6 a2
π10
a2
6
A
José Vicente Romero Bauset











|


1
1.6 


1.4 


0.6 

0.2 

0.8
| {z }





a1 
=


a2

{z } 
h0

x0
}
Tema 6.- Aproximación por mı́nimos cuadrados. 13

d
Ajuste de datos
h(t) = h0 + a1 sen

1 = h0 + sen





1.6 = h0 + sen




 1.4 = h0 + sen

0.6 = h0 + sen





0.2 = h0 + sen



 0.8 = h + sen
0
π0
6 a1
π2
6 a1
π4
6 a1
π6
6 a1
π8
6 a1
π10
a1
6
+ cos
+ cos
+ cos
+ cos
+ cos
+ cos
πt + a2 cos
6
6

1
0
1
√

3
1
 1
2
2

√

3
1
 1
−
2
2

⇒
0 −1
 1

√

 1 − 23 − 12

√
1
1 − 23
2
|
{z
πt π0
6 a2
π2
6 a2
π4
6 a2
π6
6 a2
π8
6 a2
π10
a2
6
A











|



x0
}
Tema 6.- Aproximación por mı́nimos cuadrados. 13

1.6 


1.4 


0.6 

0.2 

0.8
| {z }





a1 
=


a2

{z } 
h0
At Ax0 = At d
José Vicente Romero Bauset
1
d
Ajuste de datos
h(t) = h0 + a1 sen

1 = h0 + sen





1.6 = h0 + sen




 1.4 = h0 + sen

0.6 = h0 + sen





0.2 = h0 + sen



 0.8 = h + sen
0
π0
6 a1
π2
6 a1
π4
6 a1
π6
6 a1
π8
6 a1
π10
a1
6
+ cos
+ cos
+ cos
+ cos
+ cos
+ cos
πt + a2 cos
6
6

1
0
1
√

3
1
 1
2
2

√

3
1
 1
−
2
2

⇒
0 −1
 1

√

 1 − 23 − 12

√
1
1 − 23
2
|
{z
πt π0
6 a2
π2
6 a2
π4
6 a2
π6
6 a2
π8
6 a2
π10
a2
6
A
6
 0
A Ax0 = A d ⇒ 
0

t
t
0
3
0
0











|



x0
}
José Vicente Romero Bauset



d

Tema 6.- Aproximación por mı́nimos cuadrados. 13

1.6 


1.4 


0.6 

0.2 

0.8
| {z }





a1 
=


a2

{z } 
h0
5.6
0.93
 1.73 
 0.58 
0 
 x0 = 
 ⇒ x0 = 

3
0.8
0.27

1
Ajuste de datos
José Vicente Romero Bauset
Tema 6.- Aproximación por mı́nimos cuadrados. 14