TEMA 2: Propiedades de los estimadores MCO

TEMA 2: Propiedades de los estimadores MCO
Econometría I
M. Angeles Carnero
Departamento de Fundamentos del Análisis Económico
Curso 2011-12
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2011-12
1 / 19
Propiedades estadísticas de
β̂
1
Es un estimador lineal. β̂ es una función lineal de Y al ser X una
matriz de constantes (dado el Supuesto 1):
1
β̂ = (X0 X) X0 Y = WY
2
Bajo las hipótesis básicas 1 a 4, β̂ es un estimador insesgado de β,
es decir, E β̂ = β ya que
y por tanto
b
β = (X 0 X )
1
X 0 Y = β + (X 0 X )
h i
E b
β = β + (X 0 X )
1
X 0 E [u]
1
=
X0 u
puesto que E[u]=0
β
Nótese que el estimador MCO es insesgado con independencia de
que se verifique o no el supuesto 5.
3
Bajo las hipótesis básicas del MRL, Var β̂ = σ2 (X0 X)
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
1
ya que:
Curso 2009-10
2 / 19
h ii h
b
β
β
E b
h
h i
β
β = E b
Var b
= E
h
(X 0 X ) 1 X 0 u
ih
h ii0
β
E b
(X 0 X ) 1 X 0 u
= (X0 X) 1 X0 E(uu0 )X(X0 X)
=
Ya que E(uu0 )=σ2 IT
σ
2
=E
0
XX
1
=
i0
h
=
b
β
β
ih
b
β
β
i0
1
Teorema de Gauss-Markov:
Bajo las hipótesis básicas del MRL, el estimador MCO de β es
óptimo entre la familia de estimadores lineales e insesgados. Es
decir, no es posible encontrar otro estimador de β que siendo
lineal e insesgado tenga una varianza menor que el estimador
MCO.
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
3 / 19
Estimación de σ2 y propiedades estadísticas de
σ̂2
1. El vector de residuos MCO es e = Y Ŷ = Y X β̂. Puede
interpretarse como la estimación del vector de errores u.
2. El vector de residuos MCO es una transformación lineal de u: e =
h
i
1
1
Y X β̂ = Y X (X0 X) X0 Y = I X (X0 X) X0 Y = MY = Mu
h
i
1
puesto que M es una matriz M = I X (X0 X) X0 que cumple las
siguientes propiedades:
1 M es una matriz singular: jMj = det(M) = 0 puesto que Rg (M) =
h
i
h
i
1
1
Tr (M) = Tr IT X (X0 X) X0 = Tr (IT ) Tr X (X0 X) X0 =
Tr (IT )
2
3
4
h
Tr (X0 X)
1
i
X0 X = Tr (IT )
Tr (Ik ) = T
M es una matriz simétrica: M =
M es una matriz idempotente: M = M M
M es ortogonal
a X:
h
i
MX = I
Econometría I (UA)
X (X 0 X )
k<T
M0
1
X0 X = X
X (X 0 X )
Tema 2: Pdades de los estimadores MCO
1
X0 X = X
X=0
Curso 2009-10
4 / 19
3. E (e) = 0 puesto que
E[e] = E[Mu] = ME[u]
=
ya que E[u]=0
0
4. Var (e) = σ2 M puesto que
Var (e) = Var(Mu) = MVar(u)M0 = Mσ2 IM0 = σ2 MM0 = σ2 M
5. Estimador de σ2 : La varianza de los errores, σ2 , es un valor
poblacional junto a β. Es necesario estimarlo para contrastar
hipótesis acerca de β o establecer intervalos de confianza. Intuición:
σ2 = E(u2t ) ) σ̃2 =
σ̌2 =
+
Econometría I (UA)
1
T
T
1
T
T
∑ u2t
t=1
1
∑ e2t = T e0 e
t=1
(para que sea insesgado)
σ̂2 =
1
T K
∑Tt=1 e2t =
Tema 2: Pdades de los estimadores MCO
1
0
T Ke e
Curso 2009-10
5 / 19
6. σ̂2 =
1
T k
T
∑ e2t =
t=1
e0 e
T k
(T
k son los grados de libertad) es un
estimador insesgado de σ2 puesto que
E σ̂2 = E
7. Otra expresión de
e0 e
T
e0 e
1
E e0 e =
T
k
Y
X β̂ = Y0 Y
σ 2 (T k )
= σ2
T k
:
e0 e = Y
Econometría I (UA)
k
=
X β̂
0
Tema 2: Pdades de los estimadores MCO
0
β̂ X0 Y
Curso 2009-10
6 / 19
Matriz de varianzas estimada de β̂ y errores estándar
Hemos visto que bajo las hipótesis 1 a 5
h i
Var b
β = σ2 X0 X
1
esta matriz es desconocida ya que σ2 es desconocido. Para saber la
fiabilidad de b
β y poder hacer inferencia es importante disponer de un
estimador de su varianza. Se define la matriz de varianzas estimada de
b
β como
h i
\
1
b2 X0 X
Var b
β =σ
En el tema 3 veremos cómo contrastar hipótesis sobre el vector de
h i
\
b
parámetros β utilizando β y Var b
β . Nótese que si no se verifica la
h i
1
b2 (X0 X) 1 no sería un
hipótesis 5, Var b
β 6= σ2 (X0 X) y por tanto σ
estimador apropiado de la varianza de b
β.
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
7 / 19
Se definen los errores estándar como las raices cuadradas de los
h i
\
elementos de la diagonal principal de la matriz Var b
β . Es decir
SE(b
βj ) =
q
b2 (X0 X)jj 1
σ
j = 1, .., k
1
donde b
βj es el elemento j del vector b
β y (X0 X)jj es el elemento (j, j) de
1
la matrix (X0 X) . SE(b
β ) es un estimador de la desviación típica de b
β.
j
j
Nota: Si cambiamos las unidades de medida de alguna o algunas
de las variables explicativas y/o de la variable dependiente cada
uno de los errores estándar variará en la misma proporción que el
valor estimado del parámetro correspondiente. Por ejemplo:
b
β2 = c b
β2
h
i
h i
\
\
β2
= c2 Var b
β2
Var b
Econometría I (UA)
SE b
β2
+
= cSE b
β2
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
8 / 19
Distribución de formas cuadráticas asociadas a la
distribución normal
Propiedad de la distribución normal multivariante
Si X es un vector n 1, X N [µ, Σ] , A es una matriz r
aleatoria y b es un vector r 1 no aleatorio, entonces:
(i) AX + b
n (r
n) no
N [Aµ + b, AΣA0 ]
(ii) En particular Σ
Econometría I (UA)
1/2
(X
µ)
N [0, In ]
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
9 / 19
Definición 1: Chi-cuadrado con 1 grado de libertad
Si Z
N (0, 1), entonces Z2
χ21 .
Nota: E Z2 = 1, Var Z2 = 2
Definición 2: Chi-cuadrado con n grados de libertad
Si Z1 , Z2 , ..., Zn son n variables aleatorias independientes e
idénticamente distribuidas (iid) como N [0, 1], entonces
n
∑ Z2i
i=1
χ2n .
Definición 3: t de Student con n grados de libertad
Si Z y X son variables aleatorias independientes, Z
X χ2n , entonces
Z
q
tn
N [0, 1] y
X
n
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
10 / 19
Definición 4: F de Snedecor con n y m grados de libertad
Si X1 y X2 son variables aleatorias independientes X1
X2 χ2m entonces
X1
n
X2
m
χ2n y
Fn,m
Teorema 1: Suma de chi-cuadrados
Sean X1 y X2 dos variables aleatorias independientes con
distribución X1 χ2n1 y X2 χ2n2 , entonces X1 + X2 χ2n1 +n2
Teorema 2:
Si Z1 , Z2 , ..., Zn son n variables aleatorias independientes e
idénticamente distribuidas (iid) como N 0, σ2 , entonces
n
∑
i=1
Zi
σ
2
Econometría I (UA)
χ2n .
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
11 / 19
Teorema 3: Distribución de formas cuadráticas de matrices
idempotentes en vectores normales estandarizados.
Sea X N (0, In ) de dimensión (n 1), A una matriz simétrica e
idempotente de dimensión (n n), entonces
X0 AX
χ2J
donde J=rg(A) = tr(A)
Teorema 4: Independencia de dos formas cuadráticas con matrices
idempotentes en un mismo vector normal estandarizado.
Sea X N (0, In ) y A y B dos matrices idempotentes de dimensión
(n n) tales que AB = 0, entonces las dos formas cuadráticas
X0 AX y X0 BX son independientes.
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
12 / 19
EJEMPLO: Sea X N (0, In ) y A y B dos matrices n n
idempotentes de rango nA y nB , respectivamente. Utilizando el
Teorema 3
X0 AX
χ2nA
X0 BX
χ2nB
Si AB = 0, utilizando el Teorema 4, X0 AX y X0 BX son
independientes y por tanto
(X0 AX) /nA
(X0 BX) /nB
Econometría I (UA)
FnA ,nB
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
13 / 19
Teorema 5: Independencia de una forma lineal y una forma
cuadrática idempotente de un vector normal estandarizado.
Sea X N (0, In ) y sea L una matriz r n y A una matriz n n
idempotente tales que LA = 0, entonces la función lineal LX y la
forma cuadrática X0 AX son independientes.
EJEMPLO: Sea X N (0, In ), A una matriz n n idempotente de
rango nA y L un vector n 1 tal que L0 L = 1. Como
X N (0, In ) ) L0 X N (0, L0 L) = N (0, 1) y X0 AX χ2nA . Si
L0 A = 0, utilizando el Teorema 5, L0 X y X0 AX son independientes
y por tanto
L0 X
p
tnA
(X0 AX) /nA
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
14 / 19
Teorema 6: Distribución de formas cuadráticas de matrices de rango
completo en vectores normales.
Sea X un vector n 1, X N [µ, Σ] , entonces:
(i) Σ 1/2 (X µ) N [0, In ]
(ii) (X µ)0 Σ 1 (X µ) χ2n
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2009-10
15 / 19
Propiedades de los estimadores MCO con errores
normales
Con la hipótesis adicional de normalidad de los errores, se puede
b2 . Nótese que la media y la
calcular la distribución exacta de β̂ y σ
varianza de β̂ se obtuvieron previamente sin necesidad de imponer
esta hipótesis aunque obviamente la distribución, sin hacer este
supuesto, es desconocida.
Si u N (0, σ2 IT ) y dado que b
β = β + (X0 X) 1 X0 u, entonces
b
β
k 1
Econometría I (UA)
N ( β , σ 2 (X 0 X )
k 1
1
)
k k
Tema 2: Pdades de los estimadores MCO
Curso 2010-11
16 / 19
La distribución marginal de cada elemento del vector b
β es también
normal:
b
βi N ( βi , σ2 (X0 X)ii 1 ) para i = 1, ..., k
donde b
βi es el elemento (i, 1) del vector b
β, βi es el elemento (i, 1) del
1
0
vector β y (X X)ii es el elemento (i, i) de la matriz (X0 X) 1 .
Del mismo modo se puede comprobar que bajo la hipótesis adicional
de normalidad se tiene que:
Y = Xβ + u N (Xβ, σ2 IT )
Ŷ = X b
β N (Xβ, σ2 X(X0 X)
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
1
X0 )
Curso 2010-11
17 / 19
b2 bajo el supuesto de normalidad de los errores u
Distribución de σ
Si u
N (0, σ2 IT ), entonces
Demostración:
b 2 (T k )
σ
σ2
χ2(T
k)
0
0
b2 = (Te ek) , queremos demostrar que eσ2e
Dado que σ
χ2(T k) . Sabemos
que
u0 Mu
e0 e
u 0
u
u
=
=
M
y
N (0, IT ).
σ2
σ2
σ
σ
σ
y M es una matriz idempotente de rango T k, entonces por el
0
Teorema 3, eσ2e
χ2(T k)
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2010-11
18 / 19
b2 bajo el supuesto de normalidad de los errores u
Independencia de β̂ y σ
Si u
b2 son independientes entre sí.
N (0, σ2 IT ), entonces β̂ y σ
Demostración:
Nótese que:
( β̂ β)
= (X 0 X )
σ
2
b (T k )
σ
σ2
=
u 0
σ
2
1 X0
u
σ
u
σ
!forma lineal en
u
σ
!forma cuadrática de M y en
2
( β̂ β)
b y β̂ independientes() σb (σT2 k) y σ
Entonces, σ
independientes ( (X0 X) 1 X0 M = 0
M
u
σ
Teorema 5
Econometría I (UA)
Tema 2: Pdades de los estimadores MCO
Curso 2010-11
19 / 19