Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Estimación del modelo lineal con dos variables el método de mínimos cuadrados ordinarios (MCO) Mariana Marchionni [email protected] Mariana Marchionni Estimación del modelo lineal por MCO 1 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Temario de la clase 1 Estimación del modelo lineal 2 Propiedades de los estimadores 3 Ejemplo empírico Mariana Marchionni Estimación del modelo lineal por MCO 2 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico El modelo lineal simple (2 variables) Y Y i = 1, ...N : variable dependiente; X : variable explicativa. α, β : i: u i = α + β Xi + ui parámetros desconocidos término aleatorio, no observable (carácter aleatorio por cuestiones de modelización) Datos: (Yi , Xi ) con i =1, ...N Mariana Marchionni Estimación del modelo lineal por MCO 3 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Estimación Objetivo: estimar α y β a partir de (Yi , Xi ) i = 1, ...N . Notación y deniciones: α̂ y β̂−→ estimadores de i ≡ α̂ + β̂ Xi −→ Ŷ α y β es la versión estimada de Yi es como si hubiésemos reemplazado los parámetros por estimaciones y a µi por su valor esperado i ≡ Yi − Ŷi = Yi − (α̂ + β̂ Xi ) −→ e error de estimación o residuo. Es una suerte de estimación de Mariana Marchionni µi Estimación del modelo lineal por MCO 4 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Representación gráca Recordar que podemos representar los puntos (Yi , Xi ) en el plano Y , X Consideremos la función de regresión estimada Ŷi Elegir valores de α̂ y β̂ ≡ α̂ + β̂ Xi es equivalente a elegir una línea en el plano Y , X Mariana Marchionni Estimación del modelo lineal por MCO 5 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Representación gráca Mariana Marchionni Estimación del modelo lineal por MCO 6 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico ¾Cómo elegimos la línea? Parece razonable elegir α̂ y β̂ de manera que la línea elegida pase lo más cerca posible de todos los puntos ¾Qué signica que la línea esté cerca o lejos de los puntos? Mariana Marchionni Estimación del modelo lineal por MCO 7 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico ¾Cómo elegimos la línea? Parece razonable elegir α̂ y β̂ de manera que la línea elegida pase lo más cerca posible de todos los puntos ¾Qué signica que la línea esté cerca o lejos de los puntos? Mariana Marchionni Estimación del modelo lineal por MCO 7 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico ¾Cómo elegimos la línea? Consideremos el siguiente criterio SRC (α̂, β̂) = N X i =1 SRC: 2 i e Suma de los Residuos Cuadráticos Es una medida global de los errores de estimación (función de penalización) ¾Por qué errores al cuadrado? Es una funcion de SRC ≥ 0. α̂ y β̂ , por qué? Es cero si y solo si... Entonces SRC grande signica que los errores de estimación son grandes Mariana Marchionni Estimación del modelo lineal por MCO 8 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Mariana Marchionni Estimación del modelo lineal por MCO 9 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Mínimos Cuadrados Ordinarios (MCO) Criterio de MCO: elegir α̂ y β̂ de manera de minimizar SRC Formalmente: Min α̂,β̂ SRC (α̂, β̂) = CPO : N X i =1 (1) (2) 2 i = e N X i =1 [Yi − (α̂ + β̂ Xi )]2 ∂ SRC ∂ α̂ =0 ∂ SRC ∂ β̂ =0 al pizarrón! Mariana Marchionni Estimación del modelo lineal por MCO 10 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Mínimos Cuadrados Ordinarios (MCO) Criterio de MCO: elegir α̂ y β̂ de manera de minimizar SRC Formalmente: Min α̂,β̂ SRC (α̂, β̂) = CPO : N X i =1 (1) (2) 2 i = e N X i =1 [Yi − (α̂ + β̂ Xi )]2 ∂ SRC ∂ α̂ =0 ∂ SRC ∂ β̂ =0 al pizarrón! Mariana Marchionni Estimación del modelo lineal por MCO 10 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Los estimadores MCO (3) α̂ = Ȳ − β̂ X̄ N P (4) i i − N Ȳ X̄ X Y β̂ = i =1N P X i =1 Mariana Marchionni 2 2 i − N X̄ Estimación del modelo lineal por MCO 11 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico La regresión estimada por MCO Ŷ i = α̂ + β̂ Xi Mariana Marchionni Estimación del modelo lineal por MCO 12 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Notación: variables en forma de desvíos Denotemos: xi = Xi − X̄ y yi = Yi − Ȳ Entonces (4) puede escribirse como: N P 0 (4 ) i i x y β̂ = i =N1 P i =1 Mariana Marchionni 2 i x Estimación del modelo lineal por MCO 13 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Ejemplo: desempeño académico y tamaño de clase Mariana Marchionni Estimación del modelo lineal por MCO 14 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Ejemplo: desempeño académico y tamaño de clase ˆ i Regresión estimada: puntaje Mariana Marchionni = 698,9 − 2,28 × ratio _almai Estimación del modelo lineal por MCO 15 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Propiedades algebraicas Recordemos las ecuaciones normales del problema de Min SRC: CPO : (1) ∂ SRC ∂ α̂ = P [Yi − (α̂ + β̂ Xi )] = 0 (2) ∂ SRC ∂ β̂ = P [Yi − (α̂ + β̂ Xi )]Xi = 0 Llamamos propiedades algebraicas de los estimadores a las que se derivan de las CPO Mariana Marchionni Estimación del modelo lineal por MCO 16 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Algunas de las propiedades 1 2 3 PN i =1 ei = 0 PN i =1 ei Xi = 0 (⇒ Cov (X , e ) = 0) Ŷ (X̄ ) = Ȳ (⇒la recta de regresión pasa por las medias muestrales) 4 β̂ = rY ,X SY /SX (relación entre el coeciente de regresión y el de correlación) 5 Ȳ 6 r = Ŷ¯ (la media de las estimaciones de Y coincide con Ȳ ) Ŷ ,e = 0 (la correlación entre las estimaciones de Y y los residuos es nula) Mariana Marchionni Estimación del modelo lineal por MCO 17 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Bondad del ajuste del modelo: R2 Regresión estimada como resumen de los datos: ¾cuán buen resumen es? Puede mostrarse que si se estima por MCO: N X |i =1 (Yi − Ȳ ) {z 2 } STC = = N X |i =1 2 (Ŷi − Ȳ ) {z SEC } + + N X 2 i i|={z 1 } e SRC STC : Suma Total de Cuadrados, SEC : Suma Explicada de Cuadrados, SRC : Suma de los Residuos al Cuadrado Proponemos como medida de bondad del ajuste: R 2 = SEC STC Mariana Marchionni =1− SRC STC Estimación del modelo lineal por MCO 18 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Propiedades del STC 0 R2 = SEC + SRC −→ R 2 = SEC /STC ≤ R2 ≤ 1 2 = 1: relación lineal exacta entre Y y X . 2 R = 0: cero correlación entre Y y X . R la regresión estimada es una recta horizontal (β̂ = 0) Importante: STC depende sólo de los datos, pero SEC y SRC dependen del modelo y del método de estimación. 2 Dado el modelo, MCO minimiza SRC , es decir, maximiza R . Mariana Marchionni Estimación del modelo lineal por MCO 19 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico ¾Cuán lejos está la recta estimada de los puntos? En ese sentido A es bueno, B es peor, C es aún peor De hecho, en A el ajuste es perfecto (R Mariana Marchionni 2 = 1) Estimación del modelo lineal por MCO 20 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico En el ejemplo de rendimiento académico R 2 = 0,049 sólo 5 % de la variabilidad de los puntajes es explicada por el tamaño de la clase Mariana Marchionni Estimación del modelo lineal por MCO 21 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Ejemplo: función de consumo keynesiana En su Teoría general del interés, la ocupación y el dinero (1936) Keynes estableció la existencia de una relación estable entre el consumo y el ingreso agregados: C = f (I ) La propensión marginal a consumir es positiva y menor que 1: 0 < dC dI <1 La propensión media a consumir cae cuando aumenta el ingreso: d (C/I ) dI <0 El consumo también depende de otras situaciones y de las necesidades subjetivas, hábitos, etc. de una determinada sociedad Mariana Marchionni Estimación del modelo lineal por MCO 22 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Modelo teórico La formulación teórica más usual de la función de consumo es la lineal: C = a + bI ¾Dónde estudiaron esta función? Los postulados keynesianos se satisfacen si se cumple: →0<b<1 →a>0 C ⇒ d (dI/I ) = −a/I 2 < 0 Estas proposiciones teóricas dan las bases para un estudio empírico Mariana Marchionni Estimación del modelo lineal por MCO 23 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Una aplicación empírica Datos de consumo e ingreso disponible de USA, 1970s (Greene, Econometric Analysis, 4th edition, examples 1.1 & 6.1) Mariana Marchionni Estimación del modelo lineal por MCO 24 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Modelo empírico Los datos se ajustan sólo aproximadamente a una relación lineal exacta ⇒ la relación determinística es inadecuada Para representar los datos proponemos el siguiente modelo lineal: C a + bIi i = a + bIi + µi es la con i = 1970, 1971, ..., 1979 función de regresión: es la parte del consumo que se determina sistemáticamente a partir del ingreso µi resume el efecto de los otros factores que afectan al consumo agregado en cada año i más allá del ingreso. Se lo considera como aleatorio por una cuestión de modelización. No debería haber nada sistemático en el efecto de µ sobre el consumo. Mariana Marchionni Estimación del modelo lineal por MCO 25 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Estimación del modelo por MCO C Ĉ b̂ = 0,98: i = a + bIi + µi i = −67,6 + 0,98 Ii por cada aumento de un millón de dólares del ingreso disponible, el consumo aumentó en promedio en 0.98 millones de dólares en USA durante los 70s. marginal al consumo â = −67,6: Propensión es el valor del consumo que deberíamos esperar si el ingreso fuera cero. Consumo autónomo Cuidado con las conclusiones que surgen de extrapolar la relación a valores de las variables fuera del rango de los datos Estimaciones puntuales: necesario evaluar mediante tests estadísticos Mariana Marchionni Estimación del modelo lineal por MCO 26 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico La regresión estimada Mariana Marchionni Estimación del modelo lineal por MCO 27 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico La hoja de cálculo Notar: la suma de los errores de estimación es cero Mariana Marchionni Estimación del modelo lineal por MCO 28 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico La regresión estimada pasa por las medias muestrales Mariana Marchionni Estimación del modelo lineal por MCO 29 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Los errores de estimación suman cero y no estan correlacionados con el ingreso Mariana Marchionni Estimación del modelo lineal por MCO 30 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Bondad del ajuste R 2 = 0,99 el 99 % de la variabilidad del consumo en los 70s en USA puede explicarse por la variabilidad del ingreso disponible Mariana Marchionni Estimación del modelo lineal por MCO 31 / 32 Estimación del modelo lineal Propiedades de los estimadores Ejemplo empírico Mismas variables, otra década Consumo e ingreso, USA, 1940s Mariana Marchionni Estimación del modelo lineal por MCO 32 / 32