Ejercicios 3

Métodos de Regresión
Ciencias y Técnicas Estadísticas
Soluciones ejercicios: Regresión Lineal Múltiple
Versión 3
Emilio Letón
n
P
1. Demostrar que la suma de cuadrados de los residuos
i=1
n
X
i=1
2b
b2i = btb = y t y
t
b2i viene dada por
X ty + b
t
X tX b
SOLUCIÓN:
n
X
i=1
= yt y
yt X b
= yt y
b2i = btb = (y
Xb
t
bt X t y
t
yb) (y
y + Xb
t
yb) = y
X b = yt y
bt X t y + bt X t X b = yt y
Xb
t
y
yt X b
t
t
Xb
bt X t y + bt X t X b
t
2b X t y + b X t X b
2. A partir del criterio mínimo cuadrático determinar que la ecuación normal del modelo de regresión lineal
múltiple viene dada por
X tX b = X ty
SOLUCIÓN:
El criterio mínimo cuadrático busca minbtb, con lo que en primer lugar hay que encontrar los puntos
estacionarios a partir de la ecuación normal, con lo que hay que plantear la ecuación
0=
@ t
bb
@b
(a) que lleva, teniendo en cuenta que X t X es simétrica, a que
0=
@ t
@
bb=
yt y
b
@
@b
t
t
2b X t y + b X t X b =
0 = X ty
2X t y + 2 X t X b =
X tX b
X tX b = X ty
1
2 X ty
X tX b
3. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1, la resolución de la ecuación normal
del modelo de regresión lineal múltiple viene dada por
1
b = X tX
SOLUCIÓN:
X ty
Dado que rg (X) = rg (X t X) = rg (XX t ) se tiene que rg (X t X) = p + 1 y al ser X una matriz de
dimensiones (p + 1)x(p 1) se veri…ca que X t X es de rango completo y admite inversa por lo que
X tX
1
X tX b = X tX
1
b = X tX
1
X ty
X ty
4. Comprobar que la solución anterior cumple la condición de mínimo.
SOLUCIÓN:
Se trata de probar que la matriz
particularizada en b = (X t X)
1
@2 t
2b b
@b
X t y es de…nida positiva.
Para ello se observa que
@
@2 t
2b b = b
b
@
@
@
@b
btb =
@
@b
2 X ty
X tX b
= 2X t X
con lo que hay que probar que la matriz 2X t X particularizada en b = (X t X)
1
X t y es de…nida positiva.
Para ello basta probar que (X t X) es de…nida positiva siempre, es decir que dt (X t X) d > 0 para todo
d 6= 0: Sea d 6= 0; si se de…ne c = Xd se tiene que c 6= 0, ya que en el caso de que c = 0 se tendría que
habría una dependencia lineal entre las columnas de X lo que entraría en contradicción con que el rango
de X es completo (p + 1) : Por tanto ct c = dt (X t X) d > 0 (al ser c 6= 0) y (X t X) es de…nida positiva
1
siempre, en particular en b = (X t X) X t y:
5. Demostrar que en las hipótesis de que Y = X +
garantiza las siguientes propiedades:
(a) X tb = 0.
(b) ybtb = 0.
n
P
(c)
bi = 0 y por tanto b = 0.
(d)
i=1
n
P
i=1
xi1bi = 0,
(e) yb = y.
n
P
i=1
xi2bi = 0, ...,
n
P
i=1
xipbi = 0
SOLUCIÓN:
xxx.
2
con rg (X) = p + 1, el criterio mínimo cuadrático
1
6. Particularizar los resultados matriciales de b = (X t X) X t y para p = 1 y comprobar que se obtienen los
resultados del tema anterior de Regresión Lineal Simple.
SOLUCIÓN:
xxx.
7. En el modelo de Regresión Lineal Múltiple con p variables se supone que
yi =
con
i
+
0
1 xi1
+ ::: +
p xip
+
i
v.a.i.i.d según una N (0; ).
(a) Determinar que para cada xi1 ; :::; xip …jos se veri…ca que
utilizando que si W
1
1
p exp
2
f (yi ) =
yi
2
2
1 xi1
0
p1
2
N ( ; ) se tiene que f (w) =
:::
1
exp
2
2
2
p xip
2
(w
)
.
(b) Determinar a partir del apartado anterior la función de verosimiltud
l
0;
1 ; :::;
2
p;
jy1 ; :::yn :
(c) Determinar los estimadores máximo verosímiles b M V y b2M V (sin demostrar la condición de máximo).
(d) ¿Por qué b M V coincide con el estimador mínimo cuadrático b = (X t X)
1
X t y?
SOLUCIÓN:
(a) Por ser
N (0; ), para cada xi1 ; :::; xip …jos se tiene, al ser yi =
i
yi
N
E
0+
1 xi1 + ::: +
yi
N
0
yi
+
N
por lo que f (yi ) =
p1
2
2
+
N
1
exp
1 xi1
0
yi
p xip +
2
yi
i
+ ::: +
1 xi1
+
0
;
q
V
p xip
+ ::: +
1 xi1
+
1 xi1
+ E [ i] ;
p xip
+ ::: +
1 xi1
0
0
:::
+ 0;
+
0
1 xi1
+ ::: +
+ ::: +
p xip
+
p xip
i
p
V [ i]
p
2
p xip ;
p xip
2
:
(b) La función de verosimilitud viene dada por
l
0;
1 ; :::;
=
p;
2
jy1 ; :::yn =
i=1
n=2
1
2
n
Y
exp
2
=
n=2
1
2
2
2
1
1
p exp
2
n
1 X
2
2
yi
0
2
yi
1 xi1
0
1 xi1
:::
p xip
t
X ) :
i=1
1
exp
2
3
2
(y
X ) (y
:::
2
!
p xip
2
+ i ; que
(c) El logaritmo neperiano de la función de verosimilitud viene dado por
Lnl
;
2
n
Ln (2 )
2
jy1 ; :::yn =
n
Ln
2
1
2
2
2
(y
t
X ) (y
n
n
1
Ln (2 )
Ln 2
yt y 2 t X t y +
2
2
2 2
con lo que los puntos críticos son solución del sistema dado por
t
=
@
Lnl
@
;
@
Lnl
@ 2
;
2
X )
X tX
jy1 ; :::yn = 0
2
jy1 ; :::yn = 0
y al ser X t X simétrica por
1
2
2X t y + 2X t X
2
n 1
1
+ 4 (y
2
2
2
y, por tanto, al ser rg (X) = p + 1; por
b
MV
b2M V =
(d) Al ser
Lnl
;
2
jy1 ; :::yn =
=
1
= X tX
X )=0
X ty
t
X ) (y
X )
n=2
1
exp
2
1
exp
2
2
2
n=2
1
2
t
X ) (y
1
(y
n
2
=0
1
2
2
(y
t
X ) (y
X )
btb
se tiene que maximizar la exponencial negativa del exponente, equivale a minimizar el exponente.
8. Demostrar que la interpretación geométrica de considerar a yb como la proyección sobre el espacio generado
por los vectores 1; X1 ; :::; Xp conlleva a que X tb = 0.
SOLUCIÓN:
xxx.
9. Si se de…ne la matriz “hat” H como H = X (X t X)
demostrar las siguientes propiedades:
1
X t y su complementaria M como M = Id
(a) Los elementos hii de la diagonal de la matriz H veri…can que hii = xti (X t X)
(1; xi1 ; :::; xip ).
(b) H y M tienen de dimensión n por n.
(c) HX = X.
(d) M X = 0.
(e) b = M y.
(f) b = M .
4
1
H
xi , siendo xti =
(g) H t = H y M t = M (H y M son simétricas).
(h) HH = H y M M = M (H y M son idempotentes).
(i) tr (H) = p + 1 y tr (M ) = n
p
(j) rg (H) = p + 1 y rg (M ) = n
(k) btb =
(l)
t
t
SOLUCIÓN:
1.
b X t y.
btb.
t
p
t
M = yt M y = yt y
H =
1.
(a) La matriz H es la matriz ”hat”, que es la que pone el gorro a la y, es decir yb = Hy. Por otra parte
1
1
yb = X b = X (X t X) X t y. Por tanto, se veri…ca que H = X (X t X) X t :
Si se denota por (qij ) = (X t X)
matricial, se tiene que
0
B
B
H=B
@
1 x11
1 x21
:: :::
1 xn1
::: x1p
::: x2p
::: :::
::: xnp
0
B
B
=B
@
Por lo que
xti q1
hii =
xt1 q1
xt2 q1
::
xtn q1
xti q2
1
, que tiene dimensión (p + 1) x (p + 1) y se realiza el producto
10
CB
CB
CB
A@
q11
q21
::
q12
q22
:::
qp+11
qp+12
xt1 q2
xt2 q2
:::
xtn q2
::: xt1 qp+1
::: xt2 qp+1
:::
:::
::: xtn qp+1
::: xti qp+1
xi = xti
:::
q1p+1
:::
q2p+1
:::
:::
::: qp+1p+1
10
CB
CB
CB
A@
q1
1
x11
::
x1p
q2
1
x21
:::
x2p
10
CB
CB
CB
A@
1
x11
::
x1p
:::
1
::: xn1
::: :::
::: xnp
::: qp+1
1
x21
:::
x2p
:::
1
::: xn1
::: :::
::: xnp
1
1
C
C
C
A
C
C
C
A
xi = xti X t X
1
1
xi
(b) Como (X t X) es de dimensión (p + 1) x (p + 1) y X de dimensión (n) x (p + 1), se tiene que H es
de dimensión nxn y, al ser M = Id H, se tiene que M también es de dimensión nxn
(c) HX = X.
(d) M X = 0.
(e) b = M y.
(f) b = M .
(g) H y M son simétricas ya que H t = H y M t = M :
H t = X X tX
1
Xt
t
= Xt
t
h
= X X tX
M t = (I
t
H) = I t
5
X tX
1
i
1 t
Xt = X
h
Xt = H
Ht = I
H=M
X tX
t
i
1
Xt
(h) H y M son idempotentes ya que HH = H y M M = M :
1
HH = X X t X
Xt
1
X X tX
1
= X X tX
M M = (I
H) (I
H) = I
H
1
X t = X X tX
1
X tX X tX
Xt
Xt = H
H + HH = I
H
H +H =I
H=M
(i) Al veri…carse que tr (ABC) = tr (CAB) = tr (BCA) ; se tiene que
1
tr (H) = tr X X t X
X t = tr
tr (M ) = tr (In
1
X tX
H) = tr (In )
X t X = tr (Ip+1 ) = p + 1
tr (H) = n
p
1
(j) Al ser H y M simétricas e idempotentes se tiene que su rango es igual a su traza.
(k) btb =
t
M = yt M y = yt y
b= y
b t X t y.
b= y
yb = y
Hy = (I
H) y = M y
yb = M y = M (X + ) = M X + M = (I
= (X
HX)
+ M = (X
H) X + M
X) + M = 0 + M = M
Por lo que
t
btb = (M ) M =
t
t
y t M y = y t (I
(l)
t
H =
MM =
t
M
t
H) y = y t y
yt X b = yt y
y t Hy = y t y
1
10. Si se de…ne la matriz de ortogonalización C como C = (X t X)
(a) b = Cy.
t
b b = (M y) M y = y M M y = y M y
btb.
t
t
yt X b
t
= yt y
bt X t y
X t demostrar las siguientes propiedades:
(b) CX = Id.
(c) CC t = (X t X)
(d) b =
1
= (qij ).
+C .
SOLUCIÓN:
(a) xxx.
(b) CX = (X t X)
1
X t X = Id.
(c) Se tiene que
CC t = X t X
1
Xt
= X tX
1
Xt X
1
X tX
= X tX
Xt
X tX
1
t
t
= X tX
1
= X tX
X tX X tX
6
1
1
Xt
1
Xt
t
X tX
X t X X tX
= X tX
1
1
1 t
(d) b = (X t X)
1
X t y = Cy = C (X + ) = CX + C =
+C .
11. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1 y
b es centrado para .
v.a. con E [ ] = 0, se tiene que
SOLUCIÓN:
xxx.
12. Demostrar quehenilas hipótesis de que Y = X + con rg (X) = p + 1 y v.a. con E [ ] = 0 y V [ ] =
1
se tiene que V b = 2 (X t X) .
2
Id
SOLUCIÓN:
xxx.
h i
13. Particularizar los resultados matriciales de V b = 2 (X t X)
los resultados del tema anterior de Regresión Lineal Simple.
1
para p = 1 y comprobar que se obtienen
SOLUCIÓN:
xxx.
14. Demostrar que CM = 0.
SOLUCIÓN:
xxx.
15. Enunciar y demostrar el Teorema de Gauss-Markov.
SOLUCIÓN:
xxx.
16. Demostrar que en las hipótesis de que Y = X +
b N ; 2 (X t X) 1 .
con rg (X) = p + 1 y
v.a.N 0;
2
Id se tiene que
SOLUCIÓN:
xxx.
17. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1 y
E [b] = 0.
v.a. con E [ ] = 0, se tiene que
SOLUCIÓN:
xxx.
18. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1 y v.a. con E [ ] = 0 y V [ ] =
se tiene que:
(a) E bbt =
t
(b) E b b =
(c) V [b] =
(d) V [bi ] =
2
2
M.
2
tr (M ).
M.
2
(1
hii ) siendo hii = Diag (H).
7
2
Id
SOLUCIÓN:
xxx
19. Demostrar que en las hipótesis de que Y = X +
1 t
2
2b b
n p 1:
con rg (X) = p + 1 y
v.a.N 0;
2
Id se tiene que
SOLUCIÓN:
xxx
20. ¿Qué hipótesis son las mínimas necesarias para demostrar que sbb2 =
21. Demostrar que b y b son independientes.
22. Deducir que el IC (1
23. Deducir que el IC (1
) % ( i ) viene dado por b i
)%
2
tn
2
n
24. Demostrar que SCT = SCE + SCR.
25. Ejercicios Peña (2002) Temas 7,8,9,11,13.
8
p
p
bb
p 1; =2 s
(n p 1)b
sb2
viene dado por
1; =2
t
1
n p 1b b
;
qii .
(n p 1)b
sb2
2
n
p
1;1
=2
.
es centrado para
2
?