Mı́nimos Cuadrados Generalizados Román Salmerón Gómez Los dos últimos temas de la asignatura han estado enfocados en estudiar por separado la relajación de las hipótesis de que las perturbaciones estén incorrelacionadas y tengan varianza constante. Aunque ambos problemas no suelen suceder conjuntamente, en este documento se analiza el caso más general presentando el estimador por Mı́nimos Cuadrados Generalizados (MCG) como corrector de dichos problemas de forma simultánea. Los problemas que surgen en esta situación derivan del hecho de que la matriz de varianzas y covarianzas de las perturbaciones no es un escalar por la matriz identidad, es decir, la varianza puede no ser constante y las covarianzas ser distintas de cero. Se examinan también las consecuencias que ésto tiene sobre las propiedades de los estimadores MCO de los coeficientes del modelo y sobre el estimador de la varianza de las perturbaciones. También se evaluan las implicaciones que esta nueva situación tiene sobre la utilización de las expresiones habituales para realizar los contrastes de hipótesis que se han considerado hasta ahora. Este punto es muy importante para que el alumno entienda que los resultados que se obtienen al estimar por MCO están siempre condicionados al cumplimiento de las hipótesis del modelo. 1. Hipótesis del Modelo. Matriz de varianzas y covarianzas no escalar El modelo lineal uniecuacional múltiple (con n observaciones y k regresores) responde a siguiente expresión matricial yn×1 = Xn×k · βk×1 + un×1 , (1) donde E[u] = 0n×1 y V ar(u) = E[u · ut ] = σ 2 · In×n (esto es, la matriz de varianzas-covarianzas de la perturbación aleatoria es escalar o, equivalentemente, las perturbaciones son esféricas). Las condiciones anteriores sobre la perturbación aleatoria implican que la misma está centrada (E[ut ] = 0, ∀t), es homocedástica (E[u2t ] = σ 2 , ∀t) e incorrelada (E[ui · uj ] = 0, ∀i 6= j). Luego, para un análisis correcto del modelo, además de la estimación y validación del mismo, se deben de comprobar como ciertas dichas hipótesis. Ahora bien, ¿y si dichas hipótesis no se verifican? En tal caso el estimador por mı́nimos cuadrados ordinarios deja de ser óptimo (en el sentido de mı́nima varianza) y existe un estimador alternativo superior. Planteamos el problema de analizar el modelo (1) bajo las hipótesis E[u] = 0n×1 y E[u · ut ] = Σn×n donde 2 σ1 σ12 . . . σ1n σ21 σ22 . . . σ2n Σ= . .. .. . .. .. . . . σn1 σn2 . . . σn2 Adviértase que la matriz anterior implica que E[u2t ] = σt2 6= σ 2 , ∀t (heteroscedasticidad) y que E[ui · uj ] = σij 6= 0, ∀i 6= j (autocorrelación). Además, por cuestiones de notación se suele considerar que Σ = σ 2 · Ω y hablaremos de un modelo con matriz de varianzas-covarianzas no escalar o con perturbaciones no esféricas. 1 2. Propiedades del estimador MCO con perturbaciones no esféricas Puesto que en el método de estimación por mı́nimos cuadrados ordinarios no influye la matriz de varianzascovarianzas de la perturbación aleatoria es claro que el estimador por mı́nimos cuadrados ordinarios del modelo (1) con perturbaciones no esféricas será: −1 t βbM CO = X t X X y. (2) Dicho estimador sigue siendo lineal e insesgado, ya que las condiciones que conducen a verificar dichas propiedades en el modelo con perturbaciones esféricas no se han modificado (las demostraciones son idénticas a tal caso). Sin embargo, ya no se tiene asegurado que la varianza sea mı́nima, ya que en este caso se obtiene la siguiente expresión: −1 t −1 V ar βbM CO = X tX X E[u · ut ]X X t X −1 t −1 = σ2 X t X X ΩX X t X , −1 distinta a la del modelo con perturbaciones esféricas: σ 2 (X t X) 3. . Estimación por Mı́nimos Cuadrados Generalizados. Propiedades En el apartado anterior hemos comprobado que en un modelo con perturbaciones no esféricas el estimador por mı́nimos cuadrados ordinarios es lineal e insesgado pero no tenemos asegurado que sea óptimo (en el sentido de varianza mı́nima). Para resolver este problema surgen los mı́nimos cuadrados generalizados. Dicho método consiste en transformar un modelo con perturbaciones no esféricas en otro con perturbaciones esféricas, de forma que al aplicarle a este último el método de mı́nimos cuadrados ordinarios se obtenga un estimador lineal, insesgado y óptimo. En dicha transformación es fundamental el teorema de Aitken, el cual afirma que al ser Ω una matriz simétrica definida positiva entonces existe una matriz regular, T , tal que T t T = Ω−1 (en tal caso se verifica t que Ω = T −1 T −1 , de donde se deduce que T ΩT t = In×n ). Partiendo del modelo (1) con perturbaciones no esféricas y premultiplicando el mismo por una matriz no estocástica, P , se obtiene: P y = P Xβ + P u → y∗ = X∗ β + u∗ , donde y∗ = P y, X∗ = P X y u∗ = P u. Si se estudian las propiedades de la perturbación aleatoria del modelo transformado obtendremos que: E[u∗ ] = E[P u] = P E[u] = 0n×1 , E[u∗ · ut∗ ] = E[P uut P t ] = P E[uut ]P t = σ 2 P ΩP t . De la expresiones anteriores se deduce que si P ΩP t = In×n , entonces el modelo transformado es un modelo con perturbaciones esféricas. Adviértase que en la transformación realizada no se han modificado las cantidades constantes del modelo que se desean estimar. ¿Existe P tal que P ΩP t = In×n ? En efecto, usando el teorema de Aitken, sin más que elegir P = T tenemos asegurado que se verifica tal hecho. Por tanto, el modelo transformado es un modelo lineal múltiple con perturbaciones esféricas, por lo que al aplicarle mı́nimos cuadrados ordinarios se obtiene un estimador lineal, insesgado y óptimo: −1 t ∗ t βbM X∗ y∗ . CO = X∗ X∗ 2 Dicha estimación recibe el nombre de estimador por Mı́nimos Cuadrados Generalizados (MCG). Sin más que deshacer el cambio: −1 t t βbM CG = X t P t P X X P Py −1 t −1 t −1 X Ω y, (3) = X Ω X −1 V ar βbM CG = σ 2 X∗t X∗ −1 −1 , = σ 2 X t Ω−1 X = σ2 X t P t P X donde la matriz de varianzas-covarianzas es mı́nima. Los estimadores obtenidos hasta el momento se pueden resumir en la siguiente tabla: Modelo con perturbaciones esféricas −1 t ] βbM CO = (X t X) X y lineal, insesgado y óptimo −1 V ar βbM CO = σ 2 (X t X) Modelo con perturbaciones no esféricas −1 ] βbM CO =(X t X) X t y lineal e insesgado (no óptimo) −1 −1 V ar βbM CO = σ 2 (X t X) X t ΩX (X t X) −1 t −1 ] βbM CG = X t Ω−1X X y óptimo Ω y lineal, insesgado −1 V ar βbM CG = σ 2 X t Ω−1 X 3.1. Estimador de la varianza de la perturbación aleatoria En la estimación de un modelo se tiene como objetivo las cantidades constantes del mismo, por lo que faltarı́a estimar la varianza de la perturbación aleatoria. A partir del modelo transformado es evidente que un estimador insesgado de la varianza de la perturbación aleatoria es: ∗ et∗ e∗ c2 σ , M CO = n−k donde e∗ = y∗ − yb∗ = y∗ − X∗ βbM CG = P y − P X βbM CG = P (y − X βbM CG ) = P e. En tal caso, et∗ e∗ = et P t P e = et Ω−1 e, por lo que: 2 σ bM CG = et Ω−1 e , n−k donde e = y − X βbM CG . 4. Estimación por intervalo y contraste de hipótesis Partiendo del modelo transformado, la estimación por intervalo y los contrastes de hipótesis se realizan igual que en el modelo lineal múltiple con perturbaciones esféricas sin más que deshacer el cambio anteriormente planteado. En tal caso obtendremos las siguientes expresiones: −1 βbM CG ∼ N β, σ 2 X t Ω−1 X , 3 2 (n − k) · σ bM CG ∼ χ2n−k , σ2 h −1 t i t R X t Ω−1 X R RβbM CG − r · · RβbM CG − r ∼ Fq,n−k , 2 σ bM CG a partir de las cuales se puede realizar inferencia en el modelo. 5. Los estimadores minimo cuadráticos generalizados factibles Como se pone de manifiesto en las expresiones anteriores, para el cálculo de βbM CG se requiere conocer la matriz Ω. Como en la práctica dicha matriz es desconocida, habrá que estimarla, obteniéndose ası́ el estimador por mı́nimos cuadrados generalizados factibles (MCGF): −1 b −1 X b −1 y, βbM CGF = X t Ω X tΩ b es una estimación de Ω. donde Ω En los temas dedicados a heteroscedasticidad y autocorrelación se han estudiado las formas más comunes de la matriz Ω en cada caso y, por tanto, cómo estimarla. 6. Reflexión Al comparar las expresiones (2) y (3), junto a sus correspondientes matrices de varianzas-covarianzas, observamos que coinciden cuando Ω = In×n . ”... En consecuencia, no hay ninguna razón por la que deba imponerse como matriz de covarianzas −1 del estimador MCO una expresión restringida como es σ 2 (X t X) , sino que más bien bederı́a utilizarse −1 −1 σ 2 (X t X) X t ΩX (X t X) y permitir ası́ que en las circunstancias apropiadas (cuando no hay heterosce−1 dasticidad ni autocorrelación) dicha matriz se reduzca numéricamente a σ 2 (X t X) . −1 −1 Por tanto, la expresión σ 2 (X t X) X t ΩX (X t X) es realmente la matriz de covarianzas del estimador MCO. Como ya hemos mencionado, no se trata de discutir si en un modelo de regresión existe heteroscedasticidad y/o autocorrelación, sino que más bien, dando como un hecho el que ambos problemas están siempre presentes en todo trabajo econométrico, entonces la cuestión reside en analizar en qué medida aparecen en cada aplicacion empı́rica...” Novales (1988). Econometrı́a (página 164). 7. Ejemplos 1. Dado el modelo Yt = β0 + β1 Xt , con las observaciones Yt 10 35 45 Xt 1 3 5 Se sabe que la matriz de varianzas-covarianzas de las perturbaciones es σ 2 Ω, donde Ω es igual a: 1 00 6 00 2 Ω = 00 6 00 8 00 6 00 2 00 6 00 9 4 a) ¿Son estocásticamente independientes u1 , u2 y u3 ? b) Estimase β y σ 2 por MCO, ası́ como la matriz de varianzas covarianzas del estimador MCO. c) Estimase β y σ 2 por MCG, ası́ como la matriz de varianzas covarianzas del estimador MCG. Una vez más la matriz Ω indica que hay heteroscedasticidad (elementos de la diagonal principal no constante) y autocorrelación (elementos de fuera de la diagonal principal no nulos), luego la perturbación aleatoria para distintos instantes de tiempo no puede ser independiente. En este caso, las estimaciones obtenidas por MCO no serán óptimas, al contrario que las obtenidas por MCG. A continuación, con el objeto de comparar dichas estimaciones, calcularemos las estimaciones de β, σ 2 y V ar βb por ambos métodos. En el caso de los MCO se obtiene: βbM CO 2 σ bM CO d V ar βb M CO −1 3 9 90 = X X ·X y = · 9 35 340 0 1 4583 −00 375 90 30 75 = · = , −00 375 00 125 340 80 75 t −1 t 370 5 et · e = = 370 5, n−k 3−2 −1 2 t = σ bM CO · X X 0 1 4583 −00 375 540 6875 0 = 37 5 · = −00 375 00 125 −140 0625 = −140 0625 40 6875 , donde se ha tenido en cuenta que: 0 10 1 1 3 75 e = y − yb = y − X · βbM CO = 35 − 1 3 · 80 75 45 1 5 0 −20 5 12 5 10 = 35 − 30 = 5 . 45 470 5 −20 5 Mientras que en el de los MCG: βbM CG 2 σ bM CG d V ar βb M CG 0 −1 −1 480 6486 1 7568 50 5405 X t Ω−1 X · X t Ω−1 y = · 50 5405 280 2432 2410 8919 0 1 4929 −00 2929 480 6486 10 7857 = · = , 0 0 0 −0 2929 0 0929 241 8919 80 2143 = et · Ω−1 · e 3210 4286 = = 3210 4286, n−k 3−2 −1 2 t −1 = σ bM X CG · X Ω 0 1 4929 −00 2929 4680 75 = 3210 4286 · = 0 0 −0 2929 0 0929 −1200 5357 = −1200 5357 400 1786 donde se ha tenido en cuenta que: e = y − yb = y − X · βbM CG 10 1 = 35 − 1 45 1 5 0 1 1 7857 3 · 80 2143 5 , 0 10 100 0000 0 0000 = 35 − 260 4286 = 80 5714 , 45 420 8571 20 1429 y 20 4324 −20 8378 = −20 8378 50 8108 10 3514 −30 2432 Ω−1 En ambos casos se ha usado que 1 X= 1 1 1 3 , 5 10 3514 −30 2432 . 20 973 10 y = 35 , n = 3, 45 k = 2. Por tanto, la estimación por MCO será: Ybt = 30 75 + 80 75 · Xt , (70 4) (20 16) σ b2 = 370 5. mientras que por MCG: Ybt = 10 7857 + 80 2143 · Xt , (210 65) (60 34) σ b2 = 3210 4286. 2. En un modelo lineal dado por la expresión Yt = β0 + β1 Xt + ut del que se dispone de los siguientes datos: X 2 -4 7 Y 5 -1 8 Además se verifica que E[u] = 0 y E[uut ] = σ 2 Ω, siendo 3 −1 1 Ω = −1 5 −1 1 −1 3 Se pide: a) Comente qué supuestos básicos del modelo lineal general no se verifica que en este caso. b) Estime el modelo anterior usando el modelo que considere oportuno. Puesto que los elementos de la diagonal principal de Ω no son constantes y los restantes no nulos, es claro que la perturbación aleatoria del modelo presentará los problemas de heteroscedasticidad y autocorrelación. Por tanto, habrá que aplicar el método de los mı́nimos cuadrados generalizados para resolver dichos problemas: 0 −1 −1 1 0000 10 6667 4 X t Ω−1 X · X t Ω−1 y = · 10 6667 170 0556 170 5 0 1 1946 −00 1167 4 20 7354 = · = , 0 0 0 −0 1167 0 07 17 5 00 7588 βb = 6 donde se ha usado que 1 2 X = 1 −4 , 1 7 5 y = −1 , 8 00 3889 00 0556 = −00 1111 Ω−1 Luego, la estimación por MCG será Ybt = 20 7354 + 00 7588 · Xt . 7 00 0556 00 2222 00 0556 −00 1111 00 0556 . 00 3889