Teorema

Optimización
Matrices de Proyección
Dr. E Uresti
ITESM
Matrices de Proyección
Profr. E. Uresti - p. 1/21
Proyección ortogonal
Teorema
Sea Y una matriz m × n y un espacio lineal
V de dimensión r, ambos dentro de un
espacio lineal U .
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 2/21
Proyección ortogonal
Teorema
Sea Y una matriz m × n y un espacio lineal
V de dimensión r, ambos dentro de un
espacio lineal U . Entonces, existe una única
matriz Z en V tal que (Y − Z) ⊥ V .
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 2/21
Proyección ortogonal
Teorema
Sea Y una matriz m × n y un espacio lineal
V de dimensión r, ambos dentro de un
espacio lineal U . Entonces, existe una única
matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0
entonces Z = 0,
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 2/21
Proyección ortogonal
Teorema
Sea Y una matriz m × n y un espacio lineal
V de dimensión r, ambos dentro de un
espacio lineal U . Entonces, existe una única
matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0
entonces Z = 0, y si r > 0 entonces Z se
puede expresar como
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Z = c1 X1 + . . . + cr Xr ,
donde {X1 , . . . , Xr } forman una base
ortonormal de V y ci = Y • Xi para
i = 1, . . . , r.
Matrices de Proyección
Profr. E. Uresti - p. 2/21
Proyección ortogonal
Teorema
Sea Y una matriz m × n y un espacio lineal
V de dimensión r, ambos dentro de un
espacio lineal U . Entonces, existe una única
matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0
entonces Z = 0, y si r > 0 entonces Z se
puede expresar como
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Z = c1 X1 + . . . + cr Xr ,
donde {X1 , . . . , Xr } forman una base
ortonormal de V y ci = Y • Xi para
i = 1, . . . , r. Además, Z = Y si y sólo si
Y ∈V.
Matrices de Proyección
Profr. E. Uresti - p. 2/21
Proyección ortogonal
Teorema
Sea Y una matriz m × n y un espacio lineal
V de dimensión r, ambos dentro de un
espacio lineal U . Entonces, existe una única
matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0
entonces Z = 0, y si r > 0 entonces Z se
puede expresar como
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Z = c1 X1 + . . . + cr Xr ,
donde {X1 , . . . , Xr } forman una base
ortonormal de V y ci = Y • Xi para
i = 1, . . . , r. Además, Z = Y si y sólo si
Y ∈ V . La matriz Z se llamará la proyección
ortogonal de Y sobre V .
Matrices de Proyección
Profr. E. Uresti - p. 2/21
Demostración
Si r = 0 entonces dim(V ) = 0, y por tanto V = {0}.
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 3/21
Demostración
Si r = 0 entonces dim(V ) = 0, y por tanto V = {0}.
Para Z = 0 se tiene (Y − Z) ⊥ V .
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 3/21
Demostración
Si r = 0 entonces dim(V ) = 0, y por tanto V = {0}.
Para Z = 0 se tiene (Y − Z) ⊥ V . Y es claramente
la única matriz en V que cumple esto.
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 3/21
Si r > 0 sea {X1 , . . . , Xr } una base ortonormal de
V y definamos
ci = Y • Xi para i = 1, . . . , r y
Pr
Z = i=1 ci Xi .
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 4/21
Si r > 0 sea {X1 , . . . , Xr } una base ortonormal de
V y definamos
ci = Y • Xi para i = 1, . . . , r y
Pr
Z = i=1 ci Xi . Claramente, Z ∈ V y
!
r
X
Y−
ci Xi • Xj = Y • Xj − cj = 0
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
i=1
para cada j = 1, . . . , r.
Matrices de Proyección
Profr. E. Uresti - p. 4/21
Si r > 0 sea {X1 , . . . , Xr } una base ortonormal de
V y definamos
ci = Y • Xi para i = 1, . . . , r y
Pr
Z = i=1 ci Xi . Claramente, Z ∈ V y
!
r
X
Y−
ci Xi • Xj = Y • Xj − cj = 0
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
i=1
para cada j = 1, . . . , r. Y por tanto (Y − Z) ⊥ V .
Matrices de Proyección
Profr. E. Uresti - p. 4/21
Si r > 0 sea {X1 , . . . , Xr } una base ortonormal de
V y definamos
ci = Y • Xi para i = 1, . . . , r y
Pr
Z = i=1 ci Xi . Claramente, Z ∈ V y
!
r
X
Y−
ci Xi • Xj = Y • Xj − cj = 0
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
i=1
para cada j = 1, . . . , r. Y por tanto (Y − Z) ⊥ V .
Si X ∈ V y (Y − X) ⊥ V :
(X − Z) • (X − Z) = (X − Y + Y − Z) • (X − Z)
= −(Y − X) • (X − Z) + (Y − Z) • (X − Z)
= −0 + 0 = 0
Matrices de Proyección
Profr. E. Uresti - p. 4/21
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Ejercicio 1
Considere el espacio lineal formado por todas las
soluciones al sistema homogéneo:
x+y+z−w
=
0
x−y−z+w
=
0
y el vector d =< 1, 3, 2, 1 >.
■ Usando el orden primero x, luego y, luego z, y por último
w, encuentre una base para el espacio solución.
■
Ortogonolice la base encontrada.
■
Usando la base encontrada, determine la proyección
ortogonal de d sobre tal espacio.
■
Usando el orden primero y, luego w, luego y, y por último
z, encuentre una base para el espacio solución.
■
Ortogonolice la base nueva base.
■
Usando la nueva base encontrada, determine la
Matrices de proyección
Proyecciónortogonal de d sobre tal espacio.
Profr. E. Uresti - p. 5/21
Lema
Sean A una matriz m × n. Si X es invertible
n × n entonces
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
C(A X) = C(A)
y en particular, rank (A X) = rank (A).
Demostración
Claramente C(A X) ⊆ C(A). Como
A = A (X X−1 ) = (A X)X−1
entonces, C(A) ⊆ C(A X). De estas dos
contenciones tenemos la igualdad de los
conjuntos ⋄
Matrices de Proyección
Profr. E. Uresti - p. 6/21
Lema
Para cualquier matriz A:
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
rank(A′ A) = rank(A′ ) = rank(A)
Matrices de Proyección
Profr. E. Uresti - p. 7/21
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Lema
Para cualquier matriz A:
rank(A′ A) = rank(A′ ) = rank(A)
Demostración
Sea A una matriz m × n con rango r. Sea A = Q R la factorización
QR de A. Por tanto, Q′ Q = In y R es una matriz cuadrada
triangular superior con rango r. Así
A′ A = (Q R)′ (Q R) = R′ Q′ QR = R′ R
Matrices de Proyección
Profr. E. Uresti - p. 7/21
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Lema
Para cualquier matriz A:
rank(A′ A) = rank(A′ ) = rank(A)
Demostración
Sea A una matriz m × n con rango r. Sea A = Q R la factorización
QR de A. Por tanto, Q′ Q = In y R es una matriz cuadrada
triangular superior con rango r. Así
A′ A = (Q R)′ (Q R) = R′ Q′ QR = R′ R
Si r = n, entonces R es invertible y R′ también y por consiguiente
también R′ R, indicando que A′ A = R′ R tiene rango n el mismo
rango que A y que A′ .
Matrices de Proyección
Profr. E. Uresti - p. 7/21
Si r < n, entonces

R=
Z
0
con Z matriz r × r invertible. Así

Z′ Z
′
RR=
B′ Z
Matrices de Proyección
B
0
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección


Z′ B
B′ B


Profr. E. Uresti - p. 8/21
Si r < n, entonces

R=
Z
B
0
0
con Z matriz r × r invertible. Así

Z′ Z
′
RR=
B′ Z
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección


Z′ B
B′ B


Haciendo operaciones elementales sobre esta matriz se puede
reducir a:


I

0
Z−1 B
0

Indicando que A′ A = R′ R tiene rango r
Matrices de Proyección
⋄
Profr. E. Uresti - p. 8/21
Ejercicio 2
Para las matrices


2 1


A1 =  1 2 
0 1
"
#
2 1 −1
A2 =
1 2
1


2 3 0


A3 =  2 3 0 
2 3 0
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
repita los cálculos presentes en la
demostración del lema 12.3.
Matrices de Proyección
Profr. E. Uresti - p. 9/21
Lema
Para cualquier matriz A m × n y cualquier
vector b en Rm el sistema de ecuaciones:
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
A′ A x = A′ b
es consistente.
Matrices de Proyección
Profr. E. Uresti - p. 10/21
Lema
Para cualquier matriz A m × n y cualquier
vector b en Rm el sistema de ecuaciones:
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
A′ A x = A′ b
es consistente.
Demostración
Del lema anterior se deduce que C(A′ A) = C(A′ ).
Como el vector A′ b está en C(A′ ), entonces
también está en C(A′ A). Por consiguiente, el
sistema formulado es consistente ⋄
Matrices de Proyección
Profr. E. Uresti - p. 10/21
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Ejercicio 3
Para las matrices


2 1



A1 =  1 2 

0 1


2 3 0



A2 =  2 3 0 

2 3 0
y vectores b1 =< 1, 0, 1 > y b2 =< 1, −1, 0 >, vea que los
sistemas A x = b con inconsistentes pero los sistemas
A′ A x = A′ b son consistentes.
Matrices de Proyección
Profr. E. Uresti - p. 11/21
Proyección de un vector en Rm
Teorema
Sea z la proyección de b sobre C(A), A
m × n.
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 12/21
Proyección de un vector en Rm
Teorema
Sea z la proyección de b sobre C(A), A
m × n. Entonces,
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
z = Ax∗
para cuaquier solución x∗ al sistema
A′ Ax = A′ b
Matrices de Proyección
Profr. E. Uresti - p. 12/21
Demostración
Suponga que x∗ es la solución al sistema
A′ Ax = A′ b. Por el lema anterior, estos sistemas
siempre son consistentes.
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 13/21
Demostración
Suponga que x∗ es la solución al sistema
A′ Ax = A′ b. Por el lema anterior, estos sistemas
siempre son consistentes. Por tanto,
A′ (Ax∗ − b) = 0, es decir que b − Ax∗ es
ortogonal C(A).
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 13/21
Demostración
Suponga que x∗ es la solución al sistema
A′ Ax = A′ b. Por el lema anterior, estos sistemas
siempre son consistentes. Por tanto,
A′ (Ax∗ − b) = 0, es decir que b − Ax∗ es
ortogonal C(A). Como Ax∗ está en C(A), por el
resultado anterior Ax∗ es la proyeccción ortogonal
de b sobre C(A)⋄
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 13/21
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Ejercicio 4
Para las matrices


2 1



A1 =  1 2 

0 1


2 3 0



A2 =  2 3 0 

2 3 0
y los vectores b1 =< 1, 0, 1 > y b2 =< 1, −1, 0 >,
determine las proyecciones de cada b a los espacios
columnas de cada A y compruebe que da lo mismo que se
obtiene resolviendo los sistemas A′ A x = A′ b.
Matrices de Proyección
Profr. E. Uresti - p. 14/21
Si uno dispone de una inversa generalizada de
A′ A entonces es simple el cálculo del vector
proyección sobre un espacio. El siguiente
resultado indica cómo y es una consecuencia
inmediante del anterior y de las propiedades de la
inversa generalizada:
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Corolario
Sea z la proyección del b sobre C(A),
entonces
−
z = A(A′ A) A′ b
Matrices de Proyección
Profr. E. Uresti - p. 15/21
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Ejercicio 5
Para las matrices


2 1



A1 =  1 2 

0 1


2 3 0



A2 =  2 3 0 

2 3 0
y los vectores b1 =< 1, 0, 1 > y b2 =< 1, −1, 0 >, en cada
caso determine una inversa generalizada para A′ A y
compruebe que la proyección de b sobre C(A) coinde con
el resultado que da la fórmula del colorario 12.6.
Matrices de Proyección
Profr. E. Uresti - p. 16/21
Ejercicio 6
Encuentre la proyección del vector < 1, 1, 1 > sobre el plano
2x + 3y − z = 0.
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Sugerencia
De acuerdo al resultado anterior se debe encontrar una
matriz A tal que C(A) sea el plano. Para ello hay que
encontrar los vectores que general tal plano: “Resolviendo”
la ecuación del plano:



x

 
 y =

 
z
− 32 y
+
1
z
2




 = y


y
z
− 32
1
0


1
2




+z 0 



1
Así el plano es el espacio generado por los vectores:

Matrices de Proyección



− 32
1
0
 
1
2

 

,  0 
 

1
Profr. E. Uresti - p. 17/21
Matriz de Proyección
El corolario anterior motiva la siguiente definición:
Definición
Sea A una matriz cualquiera, la matriz PA se
definirá como:
− T
T
PA = A A A A
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
se conoce como la matriz de proyección
ortogonal sobre A.
Nuestra meta ahora es probar que esta matriz no
depende de la elección de la inversa generalizada
−
T
de A A .
Matrices de Proyección
Profr. E. Uresti - p. 18/21
Teorema
Sean matrices X m × n, Y q × n, y X m × q. Si
R(Y) ⊆ R(X) y C(Z) ⊆ C(X), entonces la matriz YX− Z
es independiente de la elección de X− .
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 19/21
Teorema
Sean matrices X m × n, Y q × n, y X m × q. Si
R(Y) ⊆ R(X) y C(Z) ⊆ C(X), entonces la matriz YX− Z
es independiente de la elección de X− .
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Demostración
Suponga que R(Y) ⊆ R(X) y C(Z) ⊆ C(X)
Matrices de Proyección
Profr. E. Uresti - p. 19/21
Teorema
Sean matrices X m × n, Y q × n, y X m × q. Si
R(Y) ⊆ R(X) y C(Z) ⊆ C(X), entonces la matriz YX− Z
es independiente de la elección de X− .
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Demostración
Suponga que R(Y) ⊆ R(X) y C(Z) ⊆ C(X) entonces existen
matrices L y R tales que Y = LX y Z = XR.
Matrices de Proyección
Profr. E. Uresti - p. 19/21
Teorema
Sean matrices X m × n, Y q × n, y X m × q. Si
R(Y) ⊆ R(X) y C(Z) ⊆ C(X), entonces la matriz YX− Z
es independiente de la elección de X− .
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Demostración
Suponga que R(Y) ⊆ R(X) y C(Z) ⊆ C(X) entonces existen
matrices L y R tales que Y = LX y Z = XR. Así:
YX− Z = (RX)X− (XR) = R(XX− X)R = LXR
el segundo miembro no depende de X−
Matrices de Proyección
⋄
Profr. E. Uresti - p. 19/21
Teorema
Sea A una matriz cualquiera, entonces la matriz proyección
−
de A es independiente de la matriz (A′ A) .
Matrices de Proyección
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Profr. E. Uresti - p. 20/21
Teorema
Sea A una matriz cualquiera, entonces la matriz proyección
−
de A es independiente de la matriz (A′ A) .
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Demostración
Por lema previo,
rank A′ A = rank(A′ ) = rank(A)
Matrices de Proyección
Profr. E. Uresti - p. 20/21
Teorema
Sea A una matriz cualquiera, entonces la matriz proyección
−
de A es independiente de la matriz (A′ A) .
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Demostración
Por lema previo,
rank A′ A = rank(A′ ) = rank(A)
En particular, C(A′ ) ⊆ C(A′ A) y R(A) ⊆ R(A′ A).
Matrices de Proyección
Profr. E. Uresti - p. 20/21
Teorema
Sea A una matriz cualquiera, entonces la matriz proyección
−
de A es independiente de la matriz (A′ A) .
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Demostración
Por lema previo,
rank A′ A = rank(A′ ) = rank(A)
En particular, C(A′ ) ⊆ C(A′ A) y R(A) ⊆ R(A′ A). Por tanto, se
cumplen las condiciones del teorema anterior para X = A′ A,
Y = A y Z = A′ :
Matrices de Proyección
Profr. E. Uresti - p. 20/21
Teorema
Sea A una matriz cualquiera, entonces la matriz proyección
−
de A es independiente de la matriz (A′ A) .
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Demostración
Por lema previo,
rank A′ A = rank(A′ ) = rank(A)
En particular, C(A′ ) ⊆ C(A′ A) y R(A) ⊆ R(A′ A). Por tanto, se
cumplen las condiciones del teorema anterior para X = A′ A,
Y = A y Z = A′ : Por tanto,
−
′
YX Z = A A A
es independiente de (A′ A)
Matrices de Proyección
−
A′
−
⋄
Profr. E. Uresti - p. 20/21
Proyección
Ortogonal
Proyección de un
Vector
Matriz de
Proyección
Ejercicio 7
Para las matrices

2

A1 = 
 1
0

2

A2 = 
 2
2

1
3
2

3 

1

0

0 

0
1
3
3
3
determine dos matrices inversas generalizadas de A′ A y
vea que las matrices de proyección arrojan el mismo
resultado. En la determinación de las inversas
generalizadas, utilice la inversa de Moore-Penrose y otra
obtenida del algoritmo visto en clase.
Matrices de Proyección
Profr. E. Uresti - p. 21/21