Método de direcciones conjugadas

Método de direcciones conjugadas
Estos apuntes están escritos con ayuda de Lourdes Fabiola Uribe Richaud y Juan Esaú Trejo Espino.
Objetivos. Estudiar la idea del método de direcciones conjugadas y demostrar que este
método converge en n pasos.
1. De un sistema de ecuaciones lineales a un problema de minimización (repaso). Ya sabemos que si A es una matriz simétrica positiva definida, entonces el problema
de resolver el sistema Ax = b es equivalente al problema de minizar la función
1
f (x) = x> Ax − b> x.
2
2. Minimización sobre una recta (repaso). Si x ∈ Rn y p ∈ Rn \ {0}, entonces la
función
g(α) = f (x + αp)
alcanza su valor mı́nimo en el punto
α=
p> (b − Ax)
.
p> Ap
3. El producto interno asociado a una matriz. Estamos suponiendo que A ∈ Mn (R)
es una matriz simétrica positiva definida. Entonces la función de dos argumentos
hx, yiA := x> Ay
es un producto interno en Rn .
4. Vectores A-conjugados. Sea A ∈ Mn (R) una matriz simétrica positiva definida
y sean p1 , . . . , pm ∈ Rn . Se dice que la lista de vectores p1 , . . . , pm es A-conjugada o
A-ortogonal si
∀j, k ∈ {1, . . . , m}
(j 6= k)
=⇒
hpj , pk iA = 0.
5. Independencia lineal de vectores A-conjugados. Sea A ∈ Mn (R) una matriz
simétrica positiva definida y sea p1 , . . . , pm ∈ Rn una lista A-conjugada de vectores no
nulos. Entonces la lista p1 , . . . , pm es linealmente independiente.
Demostración. Es un hecho general sobre vectores no nulos y ortogonales con respecto
a un producto interno. Escribamos la demostración para nuestra situación particular,
cuando el producto interno es inducido por la matriz A. Supongamos que λ1 , . . . , λm ∈ R
tales que
m
X
λj pj = 0n .
j=1
Método de direcciones conjugadas, página 1 de 3
Mostremos que para cada k ∈ {1, . . . , m} el escalar λk es cero. Multiplicamos ambos
lados de la igualdad por p>
k A, del lado izquierdo, y utilizamos propiedades del producto
de matrices:
m
X
λj p>
k Apj = 0.
j=1
p>
k Apj
Si j 6= k, entonces
convierte en
= 0. Para j = k obtenemos p>
k Apk > 0. Por eso la igualdad se
λk p>
k Apk = 0
e implica que λk = 0.
6. Teorema sobre la convergencia del método de direcciones conjugadas. Sean
A ∈ Mn (R) una matriz real simétrica positiva definida, b ∈ Rn , x0 ∈ Rn . Sean p0 , . . . , pn−1
algunos vectores no nulos A-conjugados. Definimos escalares α0 , . . . , αn−1 ∈ R y vectores
x1 , . . . , xn ∈ Rn mediante las siguientes fórmulas recursivas:
αs :=
p>
s (b − Axs )
,
p>
s Aps
xs+1 := xs + αs ps
(s = 0, . . . , n − 1).
Entonces Axn = b.
Demostración. Denotemos por u a la solución exacta del sistema: u := A−1 b. Como los
vectores p0 , . . . , pn−1 forman una base de Rn , el vector u − x0 se puede expandir en una
combinación lineal de la forma
n−1
X
u − x0 =
λj pj .
(1)
j=0
Por otro lado, la definición de los vectores x1 , . . . , xn implica que
xs − x0 =
s−1
X
α j pj .
(2)
j=0
Vamos a demostrar que λj = αj para cada j; esto implicará que xn −x0 = u−x0 y xn = u.
Sea s ∈ {0, . . . , n − 1}. Multipliquemos la igualdad (1) por p>
s A del lado izquierdo y
apliquemos la hipótesis que p0 , . . . , pn−1 son A-conjugados:
>
p>
s A(u − x0 ) = λs ps Aps .
Notando que A(u − x0 ) = Au − Ax0 = b − Ax0 obtenemos
λs =
p>
s (b − Ax0 )
.
p>
s Aps
Por otro lado,
>
p>
s Axs = ps Ax0 +
s−1
X
>
α j p>
s Apj = ps Ax0 ,
j=1
ası́ que λs = αs .
Método de direcciones conjugadas, página 2 de 3
7. Lema (sobre la ortogonalidad del residuo nuevo a la dirección anterior). Sean
A ∈ Mn (R) una matriz real simétrica positiva definida, b ∈ Rn , x0 ∈ Rn . Supongamos
que p ∈ Rn \ {00 }, x ∈ Rn ,
α=
p> (b − Ax)
,
p> Ap
y = x + αp.
Entonces
p ⊥ (b − Ay).
Demostración. Es un cálculo directo:
p> (b − Ay) = p> (b − A(x + αp)) = p> (b − Ax) − αp> Ap
p> (b − Ax) >
= p (b − Ax) −
p Ap = 0.
p> Ap
>
8. Teorema sobre la ortogonalidad de los residuos y direcciones en el método de
direcciones conjugadas. Sean A ∈ Mn (R) una matriz real simétrica positiva definida,
b ∈ Rn , x0 ∈ Rn . Sean p0 , . . . , pn−1 algunos vectores no nulos A-conjugados. Definimos
escalares α0 , . . . , αn−1 ∈ R y vectores x1 , . . . , xn ∈ Rn mediante las siguientes fórmulas
recursivas:
αs :=
p>
s (b − Axs )
,
p>
s Aps
xs := xs−1 + αs−1 ps−1
(s = 1, . . . , n).
Entonces p>
j (b − Axk ) = 0 para cualesquiera j, k ∈ {1, . . . , n} con j < k.
Demostración. Denotemos b − Axk por rk . Entonces
rs = rs−1 − αs−1 Aps−1 .
De la definición de los escalares αs se obtiene inmediatamente que ps−1 ⊥ rs (véase el
Lema). Demostremos por inducción sobre s que para cada s ∈ {1, . . . , n} y cada j < s se
tiene p>
j rs = 0.
Ya lo tenemos para s = 1, porque en este caso el único valor de j es 0, y j = s − 1.
Supongamos que j ≤ s − 2. Entonces
>
>
>
p>
j rs = pj (rs−1 − αs−1 Aps−1 ) = pj rs−1 − αs−1 pj Aps−1 .
Usando la hipótesis de inducción y la hipótesis que las direcciones son A-conjugadas
concluimos que ambos sumandos son 0.
Método de direcciones conjugadas, página 3 de 3