Clase 7 Herramientas de Álgebra Lineal

Clase 7 Herramientas de Álgebra Lineal
Clase 7
Herramientas de Álgebra Lineal
1. Formas cuadráticas
2. La descomposición en valores singulares
3. Normas de matrices
4. Ejercicios
Clase 7 Herramientas de Álgebra Lineal
Formas Cuadráticas
Formas Cuadráticas
Dada una matriz M ∈ Rn×n , la función escalar x T Mx, donde x ∈ Rn , es una
forma cuadrática. Sin pérdida de generalidad se puede tomar M como
simétrica, M = M T , ya que
x T (Q + Q T )x = 2x T Qx,
para todo x ∈ Rn .
Los autovalores de una matriz simétrica son todos reales, ya que para todo
autovalor λ con autovector v de M = M T ,
1. el escalar v ∗ Mv (donde v ∗ denota la transpuesta conjugada de v ) es
real (sea v real o no),
(v ∗ Mv )∗ = v ∗ M ∗ v = v ∗ Mv ,
2. λ debe ser real dado que
v ∗ Mv = v ∗ λv = λ(v ∗ v ) .
y así
Clase 7 Herramientas de Álgebra Lineal
Formas Cuadráticas
Diagonalizabilidad de Matrices Simétricas (y Hermíticas)
Toda matriz real simétrica M es diagonalizable, es decir, el orden de su
mayor bloque de Jordan es 1. Si no lo fuera, es decir, si existiera un
autovector generalizado v de orden mayor que 1 asociado a algún autovalor
repetido λ, tendría que verificarse que
(λI − M)k v = 0,
para algún k > 1, y
(λI − M)k −1 v 6= 0.
(1)
(2)
Pero entonces
“
”∗
k −1
(λI − M) v (λI − M)k −1 v = v ∗ (λI − M ∗ )k −1 (λI − M)k −1 v
= v ∗ (λI − M)2k −2 v
= v ∗ (λI − M)k −2 (λI − M)k v
(3)
debería ser nulo por (1) y no nulo por (2). Una contradicción que prueba que
M = M T no puede tener bloques de Jordan de orden mayor que 1.
Clase 7 Herramientas de Álgebra Lineal
Formas Cuadráticas
Por lo tanto debe ser similar a una matriz diagonal: existe una matriz
Q ∈ Rn×n no singular tal que M = QDQ −1 , donde D ∈ Rn×n es diagonal.
Notar que como M es simétrica y D diagonal,
M = QDQ −1 = (QDQ −1 )T = (Q −1 )T DQ T ,
que implica que Q T = Q −1 y QQ T = I. Toda matriz no singular Q con esta
propiedad se llama ortogonal, y sus columnas son vectores ortonormales.
Teorema
Para toda matriz real simétrica M existe una matriz ortogonal Q tal que
M = QDQ T
o
D = Q T MQ ,
donde D es una matriz diagonal con los autovalores de M, que son todos
reales, en la diagonal.
Una desigualdad importante para una matriz simétrica M es la desigualdad
de Rayleigh-Ritz, que dice que para cualquier x ∈ Rn
λm«ın x T x ≤ x T Mx ≤ λma«x x T x ,
donde λm«ın y λm«ax son respectivamente el menor y mayor autovalor de M.
Clase 7 Herramientas de Álgebra Lineal
Formas Cuadráticas
Matrices definidas y semi-definidas positivas
Matrices definidas y semi-definidas positivas
Una matriz simétrica M se dice definida positiva, que denotamos M > 0, si
x T Mx > 0 para todo vector x ∈ Rn no nulo. Es semi-definida positiva, que
denotamos M ≥ 0, si x T Mx ≥ 0 para todo vector x ∈ Rn no nulo.
Si M es definida positiva, entonces x T Mx = 0 sii x = 0. Si M es
semi-definida positiva, entonces existe algún x no nulo tal que x T Mx = 0.
Clase 7 Herramientas de Álgebra Lineal
Formas Cuadráticas
Matrices definidas y semi-definidas positivas
Existen pruebas para determinar si una matriz es definida o semi-definida
positiva basados en las propiedades del signo de los determinantes de
diversas submatrices. Uno de ellos se basa en los menores principales.
Sea una matriz simétrica M ∈ Rn×n con entradas {mij }. Entonces dados los
enteros p = 1, . . . , n y {i1 , i2 , . . . , ip }, con 1 ≤ i1 ≤ i2 ≤ · · · ≤ ip ≤ n, definimos
los menores principales de la matriz M como
2
3
mi1 ,i1 mi1 i2 · · · mi1 ip
6mi ,i
mi2 i2 · · · mi2 ip 7
2 1
7.
M(i1 , i2 , . . . , ip ) = det 6
4 ···
··· ··· ··· 5
mip ,i1 mip i2 · · · mip ip
Los escalares M(1, 2, . . . , p), p = 1, 2, . . . , n, que son simplemente los
determinantes de las submatrices de la esquina superior izquierda de M,
ˆ m11 m12 ˜
M(1) = m11 , M(1, 2) = det m
,
21 m22
h m11 m12 m13 i
M(1, 2, 3) = det m21 m22 m23 , · · ·
m31 m32 m33
son los primeros menores principales de M.
Clase 7 Herramientas de Álgebra Lineal
Formas Cuadráticas
Matrices definidas y semi-definidas positivas
Teorema
Una matriz simétrica M es definida positiva (semi-definida positiva) sii
cualquiera de las siguientes condiciones se satisface:
1. Cada uno de sus autovalores es positivo (no negativo).
2. Todos sus primeros menores principales son positivos (todos su
menores principales son no negativos).
3. Existe una matriz no singular N ∈ Rn×n (una matriz singular N ∈ Rn×n , o
una matriz N ∈ Rm×n , con m < n) tal que M = N T N.
Una matriz simétrica M es definida negativa (semi-definida negativa ) si −M
es definida positiva (semi-definida positiva).
Clase 7 Herramientas de Álgebra Lineal
Formas Cuadráticas
Matrices definidas y semi-definidas positivas
Ejemplo
La matriz simétrica
»
m11
M=
m12
m12
m22
–
2
es definida positiva si y sólo si m11 > 0 y m11 m22 − m12
> 0. Es semi-definida
2
positiva si y sólo si m11 ≥ 0, m22 ≥ 0, y m11 m22 − m12
≥ 0.
Clase 7 Herramientas de Álgebra Lineal
Descomposición en Valores Singulares (SVD)
Descomposición en Valores Singulares (SVD)
Consideremos una matriz A ∈ Rm×n y definamos M = AT A. Claramente M
es n × n, simétrica, y semi-definida positiva. Sus autovalores λi son no
negativos. Como
det(λIm − AAT ) = λm−n det(λIn − AT A)
las matrices cuadradas AT A y AAT comparten los mismos autovalores
positivos y sólo difieren en el número de autovalores nulos.
Supongamos que hay r autovalores positivos de M, y sea p = m«ın(m, n).
Entonces podemos ordenar
λ1 ≥ λ2 ≥ · · · ≥ λr > 0 = λr +1 = · · · = λp ,
Los valores singulares de la matriz A son
p
σi , λi , i = 1, . . . , p .
Por el Teorema 2, para M = AT A existe una matriz ortogonal Q tal que
Q T AT AQ = D = S T S,
donde D es una matriz diagonal con los σi2 en la diagonal. La matriz S es
m × n con los σi en la diagonal.
Clase 7 Herramientas de Álgebra Lineal
Descomposición en Valores Singulares (SVD)
Teorema (Descomposición en Valores Singulares)
Para toda matriz A ∈ Rm×n , existen matrices ortonormales U ∈ Rm×m y
V ∈ Rn×n tales que
σ1
60
6
6 ..
6.
6
T
U AV = S , 6
60
60
6
6.
4 ..
2
0
0
σ2
..
.
0
0
..
.
0
···
···
..
.
···
···
···
···
0
0
..
.
σp
0
..
.
0
0
0
..
.
0
0
..
.
0
···
···
···
···
···
···
···
3
0
07
7
.. 7
.7
7
07
7
07
7
.. 7
.5
0
m×n
donde σ1 ≥ σ2 ≥ · · · ≥ σp ≥ 0.
Los vectores en las columnas de U = [ u1 ,...,um ] y V = [ v1 ,...,vn ] son los
vectores singulares izquierdos y derechos respectivamente de A.
Clase 7 Herramientas de Álgebra Lineal
Descomposición en Valores Singulares (SVD)
Es fácil verificar comparando las columnas de las ecuaciones AV = US y
AT U = VS T que
ff
Avi
= σi ui
i = 1, . . . , p = m«ın(m, n) .
AT ui = σi vi
La descomposición en valores singulares (SVD)1 revela muchas propiedades
de la matriz A. Por ejemplo, si r es el índice del valor singular positivo más
pequeño, entonces
1. el rango de A es r ,
2. los vectores {vr +1 , . . . , vn } son una base ortonormal del kernel de A,
3. los vectores {u1 , . . . , ur } son una base ortonormal de la imagen de A,
4. tenemos la representación
A=
r
X
σi ui viT .
i=1
1
Singular Value Decomposition.
Clase 7 Herramientas de Álgebra Lineal
Descomposición en Valores Singulares (SVD)
Los valores singulares representan precisamente las longitudes de los
semiejes del hiper-elipsoide E = {Ax : kxk = 1}. La Figura 1 muestra el
conjunto E para una matriz A con σ1 = 0,8, σ2 = 0,6, σ3 = 0,4.
1
0.5
z
0
x
y
−0.5
−1
1
1
0.5
0.5
0
0
−0.5
−0.5
−1
−1
Figura: Hiper-elipsoide E en R3 .
En M ATLAB la función [U,S,V]=svd(A) calcula los valores y vectores
singulares.
Clase 7 Herramientas de Álgebra Lineal
Normas de Matrices
Normas de Matrices
El concepto de norma de vectores se extiende a matrices. Sea A una matriz
m × n. La norma de A puede definirse como
kAk = m«
ax
x6=0
kAxk
= sup kAxk
kxk
kxk=1
(4)
Esta norma definida desde la norma de los vectores se llama norma
inducida. Usando diferentes normas vectoriales (1, 2, ∞, etc.) obtenemos
diferentes normas inducidas. En este curso vamos a utilizar la norma
inducida por la norma vectorial euclídea, kxk2 , que es la que se conoce
como norma espectral de una matriz.
Otra propiedad importante de la descomposición en valores singulares de A
es que la norma espectral de A está dada por su mayor valor singular,
kAk = σ1 .
Clase 7 Herramientas de Álgebra Lineal
Normas de Matrices
Ejemplo
Si λ1 y λ2 son números reales, la norma espectral de
»
–
λ1 1
A=
0 λ2
está dada por (4) como
kAk = √ ma
«x
x12 +x22 =1
q
(λ1 x1 + x2 )2 + λ22 x22 .
Para no tener que resolver un problema de optimización con restricciones,
calculamos kAk a través de σ1 computando los autovalores de AT A. El
polinomio característico de AT A es
–
»
λ − λ21
−λ1
T
det(λI − A A) = det
−λ1
λ − λ22 − 1
= λ2 − (1 + λ21 + λ22 )λ + λ21 λ22 .
Clase 7 Herramientas de Álgebra Lineal
Normas de Matrices
Ejemplo (cont)
Las raíces de esta cuadrática están dadas por
q
2
2
1 + λ! + λ2 ± (1 + λ21 + λ22 )2 − 4λ21 λ22
λ=
2
El radical puede escribirse de forma que su positividad es obvia. Eligiendo el
signo positivo, y después de un poco de álgebra llegamos a
p
p
(λ1 + λ2 )2 + 1 + (λ1 − λ2 )2 + 1
kAk =
.
(5)
2
De (5) se ve que
kAk = σ1 ≥
|λ1 + λ2 | + |λ1 − λ2 |
= ma
«x(|λ1 |, |λ2 |) .
2
Clase 7 Herramientas de Álgebra Lineal
Normas de Matrices
La propiedad de que σ1 es mayor que la magnitud mayor de los autovalores
de A es general, y más aún, para cualquier autovalor no nulo λi de A ∈ Rn×n
σp ≤ |λi | ≤ σ1
La norma espectral de una matriz A en M ATLAB se calcula con norm(A).
Algunas propiedades útiles de la norma espectral de matrices:
kAxk ≤ kAkkxk
kA + Bk ≤ kAk + kBk
kABk ≤ kAkkBk .
Clase 7 Herramientas de Álgebra Lineal
Ejercicios
Ejercicios
Ejercicio
¿Son las siguientes matrices definidas o semi-definidas positivas?
2
3
2
3
2 2
a1
a1 a2
2 3 2
0
0 −1
4
5
4
5
4
0
0 , A3 = a2 a1
A1 = 3 1 0 , A2 = 0
a22
2 0 2
−1 0
2
a3 a1 a3 a2
3
a1 a3
a2 a3 5
a32
Ejercicio
Calcular los valores singulares de las siguientes matrices
»
–
»
–
−1
0
1
−1 2
A1 =
, A2 =
2
−1 0
2
4
Clase 7 Herramientas de Álgebra Lineal
Ejercicios
Ejercicio
Calcular la norma espectral de las siguientes matrices
–
»
»
–
»
1−j
0 0
3 1
, A3 =
A1 =
, A2 =
1 0
1 3
0
0
1+j
–
Ejercicio
Dada una constante α > 1, mostrar cómo definir una matriz 2 × 2 A tal que
los autovalores de A sean los dos 1/α y kAk ≥ α.
Ejercicio
Si A es invertible probar que kA−1 k ≥ kAk−1 .
Clase 7 Herramientas de Álgebra Lineal
Ejercicios
Conclusiones
Hemos visto en esta clase
1. Las formas cuadráticas x T Mx, que son funciones escalares cuadráticas
en los elementos del vector x, donde M puede tomarse como simétrica
(o ser reemplada por (M + M T )/2).
2. Que las matrices simétricas tienen siempre autovalores reales, y que
son siempre diagonalizables.
3. Matrices simétricas definidas, y semi-definidas positivas, que son
aquellas M para las que x T Mx es positiva, y no negativa,
respectivamente.
4. La descomposición en valores singulares de una matriz A. Los valores
singulares son la raíz cuadrada de los autovalores de AT A.
5. La norma espectral de una matriz A, que es la inducida por la norma
euclídea de vectores, y es el máximo valor singular, σ1 de A.