Proyecciones ortogonales y mínimos cuadrados

Proyección ortogonal y mı́nimos cuadrados
Profesores
Omar Darı́o Saldarriaga Ortı́z
Iván Dario Gómez
Hernán Giraldo
2009
Definición (Proyección ortogonal sobre un vector)
Sean a y b vectores en Rn , definimos la proyección ortogonal del vector a
sobre el vector b, el cual será denotado por proyb a, como el vector dado por
proyb a =
b·a
b.
b·b
Definición (La matriz proyección)
Esta fórmula la podemos expresar matricialmente de la siguiente forma:
bt a
1
b·a
b = t b = t bbt a. Nótese que bbt es una matriz y a la matriz
b·b
bb
bb
P =
1 t
bb
bt b
se le llama la matriz de la proyección y tiene la propiedad que para todo
a ∈ Rn , P a = proyb a.
(1)
Definición (Proyección ortogonal sobre un vector)
Sean a y b vectores en Rn , definimos la proyección ortogonal del vector a
sobre el vector b, el cual será denotado por proyb a, como el vector dado por
proyb a =
b·a
b.
b·b
Definición (La matriz proyección)
Esta fórmula la podemos expresar matricialmente de la siguiente forma:
bt a
1
b·a
b = t b = t bbt a. Nótese que bbt es una matriz y a la matriz
b·b
bb
bb
P =
1 t
bb
bt b
se le llama la matriz de la proyección y tiene la propiedad que para todo
a ∈ Rn , P a = proyb a.
(1)
Ejemplo
 
1
Sea b = 0, calcular la matriz que proyecta sobre b y usarla para calcular
2
 
1
proyb a donde a = 1
1
Teorema
1
Sea b ∈ Rn y P = t bbt la matriz proyección, entonces para todo a ∈ Rn
bb
tenemos lo siguiente:
1
P a = proyb a ∈ hbi,
2
a − P a ⊥ b,
3
P P a = P a, es decir, P 2 = P ,
4
Si a ∈ hbi entonces P a = a,
5
Si a ⊥ b entonces P a = 0.
Ejemplo
 
1
Sea b = 0, calcular la matriz que proyecta sobre b y usarla para calcular
2
 
1
proyb a donde a = 1
1
Teorema
1
Sea b ∈ Rn y P = t bbt la matriz proyección, entonces para todo a ∈ Rn
bb
tenemos lo siguiente:
1
P a = proyb a ∈ hbi,
2
a − P a ⊥ b,
3
P P a = P a, es decir, P 2 = P ,
4
Si a ∈ hbi entonces P a = a,
5
Si a ⊥ b entonces P a = 0.
Lema
Sea A una matriz, entonces N ul(A) = N ul(At A).
Lema
Sea A = v1 · · ·
son LI entonces
vk una matriz donde {v1 , . . . , vk } son las columnas y
1
At A es invertible,
2
La matriz (At A)−1 At es una inversa a la izquierda de A.
Lema
Sea A una matriz, entonces N ul(A) = N ul(At A).
Lema
Sea A = v1 · · ·
son LI entonces
vk una matriz donde {v1 , . . . , vk } son las columnas y
1
At A es invertible,
2
La matriz (At A)−1 At es una inversa a la izquierda de A.
Ejemplo

1
Calcular una inversa a la izquierda de la matriz A = 1
1

0
1.
2
Lema
Sea A una matriz, entonces N ul(A) = N ul(At A).
Lema
Sea A = v1 · · ·
son LI entonces
vk una matriz donde {v1 , . . . , vk } son las columnas y
1
At A es invertible,
2
La matriz (At A)−1 At es una inversa a la izquierda de A.
Ejemplo

1
Calcular una inversa a la izquierda de la matriz A = 1
1

0
1.
2
Corolario
Sea A una matriz cuyas filas son linealmente independientes, entonces se
tiene que
1
AAt es invertible,
2
La matriz At (AAt )−1 es una inversa a la derecha de A.
Ejemplo
Sea A =
1
0
1
1
1
, calcular una inversa a la derecha de A.
1
Corolario
Sea A una matriz cuyas filas son linealmente independientes, entonces se
tiene que
1
AAt es invertible,
2
La matriz At (AAt )−1 es una inversa a la derecha de A.
Ejemplo
Sea A =
1
0
1
1
1
, calcular una inversa a la derecha de A.
1
Teorema
n
Sean H un subespacio
, . . . , hk } una base para H,
de R , t{h1−1
A = h1 · · · hk , P = A(A A) At y b ∈ Rn , entonces se tiene que
1
P b ∈ H,
2
b − P b ∈ H ⊥,
3
P2 = P,
4
Si b ∈ H entonces P b = b,
5
Si b ∈ H ⊥ entonces P b = 0.
Corolario
Sea A una matriz cuyas filas son linealmente independientes, entonces se
tiene que
1
AAt es invertible,
2
La matriz At (AAt )−1 es una inversa a la derecha de A.
Ejemplo
Sea A =
1
0
1
1
1
, calcular una inversa a la derecha de A.
1
Teorema
n
Sean H un subespacio
, . . . , hk } una base para H,
de R , t{h1−1
A = h1 · · · hk , P = A(A A) At y b ∈ Rn , entonces se tiene que
1
P b ∈ H,
2
b − P b ∈ H ⊥,
3
P2 = P,
4
Si b ∈ H entonces P b = b,
5
Si b ∈ H ⊥ entonces P b = 0.
Definición
Sean H un subespacio
de Rn , {v1 , . . . , vk } una base para H,
A = v1 · · · vk y b ∈ Rn . Definimos la proyección de b sobre H,
denotada por proyH b, como el vector:
proyH b = P b,
donde P es la matriz P = A(A A)−1 At .
t
Ejemplo
 
*1 0+
1
Calcular el vector proyH b donde b = 1 y H = 1 , 1 .
3
0
1
Definición
Sean H un subespacio
de Rn , {v1 , . . . , vk } una base para H,
A = v1 · · · vk y b ∈ Rn . Definimos la proyección de b sobre H,
denotada por proyH b, como el vector:
proyH b = P b,
donde P es la matriz P = A(A A)−1 At .
t
Ejemplo
 
*1 0+
1
Calcular el vector proyH b donde b = 1 y H = 1 , 1 .
3
0
1
Definición (MÍNIMOS CUADRADOS)
Sea A una matriz cuyas columnas son linealmente independientes y b ∈ Rn ,
si el sistema Ax = b es inconsistente entonces la solución de los mı́nimos
cuadrados al sistema está dada por
−1 t
x̂ = At A
A b.
Ejemplo


 
2 1
1
Considere el sistema Ax = b donde −1 1 y b = 2. Use el método de
1 1
0
los mı́nimos cuadrados para calcular la ”mejor”solución.
Definición (MÍNIMOS CUADRADOS)
Sea A una matriz cuyas columnas son linealmente independientes y b ∈ Rn ,
si el sistema Ax = b es inconsistente entonces la solución de los mı́nimos
cuadrados al sistema está dada por
−1 t
x̂ = At A
A b.
Ejemplo


 
2 1
1
Considere el sistema Ax = b donde −1 1 y b = 2. Use el método de
1 1
0
los mı́nimos cuadrados para calcular la ”mejor”solución.
Ejemplo
Supongamos que los valores observados son (−2, 0), (1, 0) y (2, 3), es fácil
ver que estos valores no pertecen a una linea. Use el método de los mı́nimos
cuadrados para calcular la ”mejor.aproximación a una recta de estos puntos.
Definición (MÍNIMOS CUADRADOS)
Sea A una matriz cuyas columnas son linealmente independientes y b ∈ Rn ,
si el sistema Ax = b es inconsistente entonces la solución de los mı́nimos
cuadrados al sistema está dada por
−1 t
x̂ = At A
A b.
Ejemplo


 
2 1
1
Considere el sistema Ax = b donde −1 1 y b = 2. Use el método de
1 1
0
los mı́nimos cuadrados para calcular la ”mejor”solución.
Ejemplo
Supongamos que los valores observados son (−2, 0), (1, 0) y (2, 3), es fácil
ver que estos valores no pertecen a una linea. Use el método de los mı́nimos
cuadrados para calcular la ”mejor.aproximación a una recta de estos puntos.