Tema 3. Sistemas de ecuaciones lineales incompatibles

Tema 3.- Sistemas de ecuaciones lineales incompatibles. Sistemas compatibles e indeterminados.
ÍNDICE
3.1 Solución de mínimos cuadrados de un sistema lineal incompatible de rango máximo:
ecuaciones normales y problemas numéricos asociados.
3.2 Cálculo de la factorización QR por Gram-Schmidt y mediante matrices de Givens y Householder.
3.3 Solución de mínima norma de un sistema lineal indeterminado.
3.4 Solución de sistemas incompatibles y sin solución de mínimo error única: matriz seudoinversa.
3.5 Propiedades de la matriz seudoinversa.
1
3.1 Solución de mínimos cuadrados de un sistema lineal incompatible de rango máximo:
ecuaciones normales y problemas numéricos asociados.
Ax = b, donde A 2 Rm n de rango igual a n y b 2 Rm , b 6= 0, es un sistema incompatible; es
decir, rango (A) 6= rango (A j b).
Del teorema 3 del tema 2, tomando ImA como subespacio de Rm , dotado del producto escalar
estandar, se deduce que kb vk = mín kb zk, donde v es la proyección ortogonal de b sobre ImA.
z2ImA
Al ser el rango de A igual a n, existe un único vector x0 2 Rn tal que v = Ax0 . Por tanto, x0 cumple
kb
Ax0 k = m nn kb
x2R
Axk
De…nición.- A dicho x0 2 Rn se le denomina solución de mínimos cuadrados del sistema
anterior Ax = b.
En la práctica, x0 , solución de mínimos cuadrados del sistema lineal, se halla resolviendo el sistema
compatible y determinado:
At Ax = At b
De…nición.- At Ax = At b son las ecuaciones normales del sistema Ax = b.
Como rango (A) = n , At A es invertible y x0 = (At A) 1 At b.
Observación.- Si rango (A) < n la solución de mínimos cuadrados no es única. El sistema de las
ecuaciones normales At Ax = At b es, en este caso, compatible e indeterminado. Todas las soluciones
de At Ax = At b seguirán llamándose soluciones de mínimos cuadrados de Ax = b (con rango de A
menor que n), ya que para todas ellas se obtiene el mínimo de kb Axk cuando x varía en Rn .
De…nición.- El error mínimo cuadrático es igual a kb Ax0 k2 ; es decir, igual al cuadrado de
la norma euclídea (norma respecto del producto escalar estandar de Rm ) de r = b Ax0 .
De…nición.- A r = b
Ax0 se le denomina vector residuo.
Si se desea aproximar el vector b por medio de los vectores linealmente independientes u1 ; : : : ; un
del espacio euclídeo Rm con el producto escalar estandar; es decir, minimizar
kb
(
1 u1
+
+
n un )k
donde 1 ; : : : ; n son números reales, basta tomar como dicha aproximación
( 1 ; : : : ; n ) es el vector solución del sistema:
At Ax = At b, siendo A = (u1 j u2 j
1 u1 +
+
n un ;
donde
j un )
Los problemas numéricos asociados a las ecuaciones normales son los siguientes:
1) Si la matriz A es dispersa (es decir, con un alto procentaje de elementos nulos) At A no lo será,
en general.
2
2) La matriz At A está, en general, peor condicionada (concepto que se tratará en el tema 8) que la
matriz A, y pueden obtenerse soluciones erróneas debido a los redondeos efectuados por el ordenador
al efectuar los cálculos.
3.2 Cálculo de la factorización QR por Gram-Schmidt y mediante matrices de Givens
y Householder.
En el tema 1 se vió la factorización QR utilizando Gram-Schmidt.
Factorización QR mediante matrices de Householder.
Se recuerda (véase tema 2) que una matriz de Householder, asociada al vector v 2 Rn , viene
2
t
n
de…nida por Hv = In kvk
9Hv , donde v = a kak e1 , tal que Hv a = kak e1 ,
2 vv , y que 8a 2 R
t
siendo e1 = (1; 0;
; 0) .
Cuando se toma v = a + kak e1 , se obtiene, como se vio en el tema 2, Hv a =
kak e1 .
La matriz A 2 Rm n , m n , de columnas linealmente independientes, es decir, de rango igual a
n, puede factorizarse, utilizando matrices de Householder, en la forma A = QR, donde Q 2 Rm m es
ortogonal y R 2 Rm n triangular superior de rango igual a n y cuyas últimas m n …las son nulas.
Factorización QR mediante matrices de Givens.
Las matrices de Givens son de la forma, como se vió en el tema
0
1
0
0
0
B .. . .
..
.
..
.. . ..
B .
.
. .
.
.
.
B
B
cos '
0
sen '
i) B 0
..
..
. . .. . .
B .. . . .
. .
.
.
.
B .
B
0
0
1
0
B
B . .
..
..
. . . .. . . .
B .. . .
.
.
.
B
j) B 0
sen '
0
cos '
B
B .. . .
..
.
..
.
.
. . .. . .
@ .
.
.
.
0
0
0
0
_
_
i
j
2,
1
0
. . .. C
. . C
C
0 C
C
. . .. C
. . C
C
0 C
. . .. C
. . C
C
0 C
C
. . . .. C
. A
1
y se denotarán G(i; j; '); donde i; j son las …las y columnas donde aparecen los cosenos y senos, y '
el argumento de los mismos. Se trata de rotaciones en Rn n (matrices ortogonales de determinante
igual a uno).
0
1 0
1
x1
x1
..
B .. C B
C
B . C B
C
.
B
C B
C
B xi C B xi cos ' xj sen' C
B . C B
C
..
C=B
C y se desea que la componente j-ésima sea
.
Se tiene G(i; j; ') B
.
.
B
C B
C
B x C B x sen' + x cos ' C
B j C B i
C
j
B . C B
C
.
..
@ .. A @
A
xn
xn
3
nula. Debe veri…carse xi sen' + xj cos ' = 0; de modo que tan' =
' = =2: En el primer caso,
xj
sen' = q
x2i + x2j
xj
,
xi
si xi 6= 0: Si xi = 0, se toma
xi
; cos ' = q
x2i + x2j
con lo que la componente j-ésima se anula y la i-ésima se transforma en
q
x2i + x2j :
Por medio de matrices de Givens es también posible efectuar la factorización QR, indicada antes,
de la matriz A: Es recomendable cuando la matriz es dispersa.
Una vez realizada la factorización A = QR (factorización única si los elementos diagonales de R
son positivos) mediante matrices de Householder o de Givens, se tiene:
S
b1
x=
O
b2
donde S es una matriz cuadrada, de orden n, regular. El sistema Sx = b1 ; proporciona la solución
de mínimos cuadrados, y el error cuadrático es el cuadrado de la norma euclídea de b2 :
Ax = b , QRx = b , Qt QRx = Qt b , Rx = Qt b ,
3.3 Solución de mínima norma de un sistema lineal indeterminado.
Si Ax = b es un sistema compatible indeterminado, donde A 2 Rm
las soluciones de dicho sistema cumple kAx bk = 0.
n
y b 2 Rm , cualquiera de
La solución de mínima norma del sistema anterior existe y es única. Pude determinarse sabiendo
que pertenece a
(KerA)? = ImAt
En la práctica, basta resolver el sistema compatible indeterminado anterior e imponer que la
solución sea ortogonal a una base de KerA .
De…nición.- La solución de mínima norma de un sistema compatible es aquélla cuya norma
es mínima.
Como el vector solución x0 , de mínima norma, cumple x 2 ImAt , entonces existe z 2 Rm , tal que
x0 = At z, y se obtiene AAt z = b: Si rango (A) = m < n; AAt es invertible y x0 = At (AAt ) 1 b es el
vector solución de mínima norma.
3.4 Solución de sistemas incompatibles y sin solución de mínimo error única: matriz
seudoinversa.
Ax = b es incompatible, donde A 2 Rm n , b 2 Rm ; y rango (A) < n . Las ecuaciones normales
constituyen un sistema compatible e indeterminado. En este caso, de todas las soluciones que minimizan kAx bk, la de mínima norma x0 es aquélla que es ortogonal a una base de kerA; ya que
ker(At A) = kerA.
Se calcula teniendo en cuenta que debe cumplir
At Ax0 = At b; x0 2 (kerA)? = ImAt
4
Matriz seudoinversa de una matriz
Si A 2 Rm n y rango (A) = r, existen B 2 Rm r y C 2 Rr n , ambas de rango r, tales que
A = BC. La solución de mínimos cuadrados (solución de mínimo error) de Ax = b es la que
minimiza
kb
Axk = kb
BCxk = kb
Byk
donde y = Cx: Como B es de rango r el vector único que minimiza kb
Byk es
y0 = (B t B) 1 B t b 2 Rr
Por otra parte, Cx = y0 es un sistema compatible ya que rango (C) = rango (Cjy0 ) = r: Su
solución única de mínima norma, tanto si es determinado como si es indeterminado, es
x0 = C t (CC t ) 1 y0
obteniéndose, …nalmente
x0 = C t (CC t ) 1 (B t B) 1 B t b
El resultado obtenido es independiente de la factorización A = BC con las condiciones indicadas
anteriormente.
De…nición.- x0 se denomina vector solución de mínimos cuadrados y mínima norma del
sistema Ax = b:
De…nición.- La matriz C t (CC t ) 1 (B t B) 1 B t 2 Rn
A+ .
m
es la seudoinversa de A, que se denotará
La seudoinversa de una matriz está unívocamente determinada por dicha matriz.
Es fácil comprobar que
A+ = C t (B t BCC t ) 1 B t = C t (B t AC t ) 1 B t
3.5 Propiedades de la matriz seudoinversa.
A 2 Rm
n
1) (A+ )+ = A
2) (At )+ = (A+ )t
3) rango (A) = rango (A+ ) = rango (AA+ ) = rango (A+ A)
4) Si el rango de A es igual a n, A+ A = In ; y, en este caso, A+ = (At A) 1 At :
Si el rango de A es igual a m, AA+ = Im ; y, en este caso, A+ = At (AAt )
5
1
Si A es una matriz cuadrada y regular, A+ = A 1 :
5) AA+ es la matriz de la proyección ortogonal sobre Im A
A+ A es la matriz de la proyección ortogonal sobre Im At
Im
AA+ es la matriz de la proyección ortogonal sobre ker At
In
A+ A es la matriz de la proyección ortogonal sobre ker A:
6) Caracterización de la matriz seudoinversa
A+ cumple las siguientes propiedades:
i) AA+ A = A
ii) A+ AA+ = A+
iii) (AA+ )t = AA+
iv) (A+ A)t = A+ A
Además, la seudoinversa es la única matriz que cumple las cuatro propiedades anteriores.
6