MODELOS DE ELECCIÓN BINARIA

MODELOS DE ELECCIÓN BINARIA
Econometría I – UNLP
http://www.econometria1.depeco.econo.unlp.edu.ar/
Modelos de Elección Binaria: Introducción
• Estamos interesados en la probabilidad de ocurrencia de cierto evento
• Podemos representar la ocurrencia del evento mediante un indicador binario que es igual a 1
si el evento ocurre (éxito) y 0 si no ocurre (fracaso).
• Denotemos a esta variable dependiente binaria como Y.
Econometría I – 2011 – Modelos de Elección Binaria - 2 -
Algunos ejemplos:
1
si el individuo trabaja
0
en caso contrario
Modelos de empleo: Y =
1
si el banco quebró
0
en caso contrario
Performance de entidades financieras: Y =
1
si el chico abandonó la escuela
0
en caso contrario
Deserción escolar: Y =
Econometría I – 2011 – Modelos de Elección Binaria - 3 -
Un modelo de elección binaria (o de respuesta binaria) es un modelo de la probabilidad de
ocurrencia del evento denotado por Y, condicional en un conjunto de variables explicativas
incluidas en el vector X (kx1)
pi ≡ Prob(Yi=1|Xi)
para i = 1,…, N
Ejemplos:
• Probabilidad que un individuo esté empleado dado su nivel educativo y su experiencia laboral
previa.
• Probabilidad que un banco quiebre dada la composición de su cartera.
• Probabilidad que un chico deje la escuela dada su edad y las características socioeconómicas y
demográficas de su familia.
Econometría I – 2011 – Modelos de Elección Binaria - 4 -
Importante notar
•
Como Y toma sólo los valores 1 y 0, la distribución de Y condicional en X es Bernoulli.
•
Entonces, si denotamos Prob(Yi=1 | Xi) ≡ pi ⇒ Pr(Yi= 0 | Xi) ≡ 1 – pi
•
Y por lo tanto:
E[Yi | Xi]= 1× pi + 0 × (1 – pi) = pi
→ Esperanza condicional de Yi
V[Yi | Xi]= pi (1 – pi)
→ Varianza condicional de Yi
Econometría I – 2011 – Modelos de Elección Binaria - 5 -
El modelo lineal de probabilidad
¿Cómo especificamos la forma funcional de Pr(Yi=1 | Xi)?
Una alternativa sería adoptar una forma funcional lineal:
Prob(Yi=1 | Xi)= β1+β2 X2i +…+βK XKi = Xi’β
→ Modelo Lineal de Probabilidad (MLP)
Notar:
o E[Yi|Xi]= pi = Xi’β = β1+β2 X2i +…+βK XKi ⇒ Los parámetros β pueden ser estimados por
MCO, regresando Y en X.
o V[Yi|Xi]= pi (1 – pi ) = Xi’β (1- Xi’β)
⇒ Heterocedasticidad.
∂ Pr ob(Y = 1 | X )
= βk
o
∂X k
⇒ El coeficiente coincide con el efecto marginal.
Econometría I – 2011 – Modelos de Elección Binaria - 6 -
Limitaciones del MLP:
1- Genera predicciones incoherentes con una probabilidad:
• Vimos que si Y es una variable binaria la esperanza condicional de Y es una probabilidad
(E[Y|X]=p), entonces debería darse que 0≤ E[Y|X] ≤1.
• En el MLP, E[Y|X]= X’β.
• Los estimadores MC de β pueden tomar cualquier valor.
• Por lo general, para ciertos valores de X el MLP genera predicciones cuyos valores caen fuera
del rango admisible para una probabilidad (negativos o mayores que uno).
Econometría I – 2011 – Modelos de Elección Binaria - 7 -
2- Predice efectos marginales constantes
∂ Pr ob(Y = 1 | X )
= βk
∂X k
• El efecto marginal del regresor k-ésimo sobre la Prob(Y=1|X) viene dado por βk, que es una
magnitud constante independientemente del valor inicial de xk.
• Aumentos sucesivos de xk provocarían siempre el mismo cambio en la probabilidad, lo que
eventualmente llevaría a probabilidades negativas (si βk<0) o mayores que uno (si βk>0).
• Para un modelo coherente de la probabilidad de cierto fenómeno esperaríamos efectos
marginales que varíen con el valor de xk.
Econometría I – 2011 – Modelos de Elección Binaria - 8 -
Modelos no lineales de probabilidad: Logit y Probit
Ante estos problemas del MLP, proponemos el siguiente modelo no lineal
Prob(Yi | Xi) = pi = F (β1+β2 X2i +…+βK XKi) = F(Xi’β)
para i= 1, …, N
en donde F(.) satisface las siguientes propiedades:
ƒ F(-∞) = 0
ƒ F(∞) = 1
ƒ f(z)≡dF(z)/dz>0
Notar:
• estas propiedades son satisfechas por cualquier función de distribución acumulada.
• el MLP corresponde a F(Xi’β)= Xi’β, que no está acotada entre 0 y 1.
• Las variables X afectan la probabilidad sólo a través del índice lineal Xi’β.
Econometría I – 2011 – Modelos de Elección Binaria - 9 -
Dos modelos no lineales alternativos
PROBIT
LOGIT
F(.) es la dist. acumulada Normal estándar
F(.) es la distribución acumulada Logística
F ( X i ' β ) = Φ( X i ' β ) = ∫
X i 'β
−∞
1
e
2π
−
z2
2
dz
e X i 'β
F ( X i ' β ) = Λ( X i ' β ) =
1 + e X i 'β
Notar que las correspondientes funciones de densidad vienen dadas por
1 −
f (Xi ' β ) = φ(Xi ' β ) =
e
2π
( X i 'β ) 2
2
e X i 'β
= Λ (.)[1 − Λ (.)]
y f ( Xi ' β ) = λ( Xi ' β ) =
(1 + e X i ' β ) 2
Econometría I – 2011 – Modelos de Elección Binaria - 10 -
Gráficamente: la altura de las curvas mide la probabilidad que ocurra el evento correspondiente a
Y=1 para cada valor posible del índice lineal Xi’β.
0
.2
Prob(Y=1 | X'b)
.4
.6
.8
1
Probit vs. Logit
-4
-2
0
X'b
probit
2
4
logit
Econometría I – 2011 – Modelos de Elección Binaria - 11 -
¿Cómo interpretar los modelos no lineales de probabilidad?
El efecto marginal de la variable xk es el cambio en la probabilidad de Y=1 ante un cambio
marginal en la variable xk. Formalmente:
∂pi ∂F ( X i ' β )
=
= βk f (X i 'β )
∂xk
∂xk
• Dado que f (.) >0 siempre, el signo del efecto coincide con el del coeficiente βk, por lo tanto el
signo del coeficiente es interpretable pero no su magnitud. Al término f (.) se lo suele llamar
“factor de escala”.
• El efecto marginal de xk no es constante, depende del punto donde se la evalúe (del valor que
se fije para cada una de las variables explicativas X).
Econometría I – 2011 – Modelos de Elección Binaria - 12 -
Los efectos relativos comparan los efectos marginales de dos variables explicativas. Por
ejemplo, para las variables xk y xj, el efecto relativo viene dado por:
∂pi ∂xk β k f ( X i ' β ) β k
=
=
∂pi ∂x j β j f ( X i ' β ) β j
Notar:
• Los efectos relativos no dependen del valor de las X
• Los efectos relativos son constantes
Econometría I – 2011 – Modelos de Elección Binaria - 13 -
El efecto marginal de variables binarias no puede obtenerse derivando. Supongamos que el
modelo de probabilidad viene dado por:
Pr[Yi = 1 | X i , d i ] = F (β1 + β 2 X 2i + ... + β K X Ki + δ d i )
donde d toma únicamente los valores 0 y 1 (por ejemplo, d puede indicar el sexo del individuo)
El efecto de d sobre la probabilidad de Y se obtiene haciendo:
Pr[Y = 1 | X , d = 1] − Pr[Y = 1 | X , d = 0] = F ( β1 + β 2 X 2i + ... + β K X Ki + δ ) − F ( β1 + β 2 X 2i + ... + β K X Ki )
que también depende del valor que tomen todas las variables X.
Econometría I – 2011 – Modelos de Elección Binaria - 14 -
¿Qué valores de las X usamos para computar los efectos marginales?
→ Una posibilidad: evaluar la derivada en las medias muestrales de las variables.
→ Problema: la media de las variables explicativas binarias no tiene intuición.
→ Otra alternativa es evaluar el efecto marginal para la variable explicativa binaria = 1, por
ejemplo, y las demás variables en sus valores medios.
→ El valor que se fije para las variables dependerá del interés del analista y del problema
en cuestión.
Econometría I – 2011 – Modelos de Elección Binaria - 15 -
¿Logit o Probit?
• Si z es logística, V[z]=π2/3
• Definamos w = z / (π2/3)1/2. Luego, V[w]=1.
• Se puede mostrar que la distribución de w (logística reescalada) es muy similar a la normal
estándar. En general, los coeficientes que se estiman a partir del modelo Logit exceden a los del
Probit en (π2/3)1/2 ≈ 1.8, es decir: βL ≈ 1.8 βP
• Elegir cualquiera de las dos especificaciones
• Pero las comparaciones entre ambas serán válidas sólo si se reescalan los coeficientes.
Econometría I – 2011 – Modelos de Elección Binaria - 16 -
Gráficamente:
0
.2
Prob(Y=1 | X'b)
.4
.6
.8
1
Probit vs. Scaled-Logit
-4
-2
0
X'b
probit
2
4
scaled_logit
Econometría I – 2011 – Modelos de Elección Binaria - 17 -
Ejemplo: Evaluación de metodología de enseñanza
Motivación
Analizar si una nueva metodología didáctica resulta eficaz o no en la enseñanza de la economía.
Referencias:
• Ejemplo 19.1 del libro “Análisis Econométrico” Tercera edición de William H. Greene.
Muestra
Muestra de 32 alumnos de un estudio realizado por Spector and Mazzeo (1980). Ver archivo
green.dta
Econometría I – 2011 – Modelos de Elección Binaria - 18 -
El modelo
Variable dependiente binaria:
MEJORA: = 1 si el alumno mejoró la nota y 0 si no lo hizo.
Variables explicativas:
• CM: media de las calificaciones pasadas del alumno.
• NP: nota del alumno en un examen previo al periodo de aprendizaje.
• PSI: variable binaria que vale 1 si el alumno estudió con el nuevo método didáctico y 0 si
estudió con el método viejo.
Econometría I – 2011 – Modelos de Elección Binaria - 19 -
Datos:
Econometría I – 2011 – Modelos de Elección Binaria - 20 -
Estimación del Modelo Lineal de Probabilidad por MCO
. regress mejora cm np psi
Source |
SS
df
MS
-------------+-----------------------------Model | 3.00227631
3 1.00075877
Residual | 4.21647369
28 .150588346
-------------+-----------------------------Total |
7.21875
31 .232862903
Number of obs
F( 3,
28)
Prob > F
R-squared
Adj R-squared
Root MSE
=
=
=
=
=
=
32
6.65
0.0016
0.4159
0.3533
.38806
-----------------------------------------------------------------------------mejora |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------cm |
.4638517
.1619563
2.86
0.008
.1320992
.7956043
np |
.0104951
.0194829
0.54
0.594
-.0294137
.0504039
psi |
.3785548
.1391727
2.72
0.011
.0934724
.6636372
_cons | -1.498017
.5238886
-2.86
0.008
-2.571154
-.4248801
------------------------------------------------------------------------------
NOTA: no se pueden interpretar los estadísticos t porque el modelo es heterocedástico (se ve en
las siguientes clases).
Econometría I – 2011 – Modelos de Elección Binaria - 21 -
El efecto del pasado académico sobre la probabilidad de mejora, según el MLP
• Los alumnos con mayores calificaciones promedio en el pasado (CM) tienen mayor
probabilidad de mejorar con la nueva metodología de enseñanza.
• Dada la especificación lineal del modelo este efecto es constante: la probabilidad de
mejorar aumenta en 0.46 (aprox.) independientemente del tipo de alumno.
Econometría I – 2011 – Modelos de Elección Binaria - 22 -
Problema: predicciones incoherentes con una probabilidad
Predicción de probabilidad - MLP
1
-.068185
1
32
Observación
Econometría I – 2011 – Modelos de Elección Binaria - 23 -
Estimación del modelo Probit
. probit mejora cm np psi
Probit estimates
Log likelihood = -12.818803
Number of obs
LR chi2(3)
Prob > chi2
Pseudo R2
=
=
=
=
32
15.55
0.0014
0.3775
-----------------------------------------------------------------------------mejora |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------cm |
1.62581
.6938818
2.34
0.019
.2658269
2.985794
np |
.0517289
.0838901
0.62
0.537
-.1126927
.2161506
psi |
1.426332
.595037
2.40
0.017
.2600814
2.592583
_cons |
-7.45232
2.542467
-2.93
0.003
-12.43546
-2.469177
------------------------------------------------------------------------------
Econometría I – 2011 – Modelos de Elección Binaria - 24 -
Predicciones de probabilidad del Probit
Predicción de probabilidad - mod
1
0
32
1
Observación
Econometría I – 2011 – Modelos de Elección Binaria - 25 -
Probit: efectos marginales I
CM = media, NP = media, PSI = media:
CM
NP
PSI
Coeficientes Media X
B'X
1.6258
3.1172
5.0680
0.0517
21.9375
1.1348
1.4263
0.4375
0.6240
-7.4523
1.0000
-7.4523
-0.6255
Distribución normal estand
Factor de escala
Efectos marginales
0.5333
0.0170
0.4679
0.2658
0.3281
Ver archivo interpretacion_probit.xls
Econometría I – 2011 – Modelos de Elección Binaria - 26 -
Probit: efectos marginales II
(1) CM = media, NP = media, PSI = 0:
CM
NP
PSI
Coeficientes Media X
B'X
1.6258
3.1172
5.0680
0.0517
21.9375
1.1348
1.4263
0
0
-7.4523
1.0000
-7.4523
-1.2496
Distribución normal estand
Factor de escala
Efectos marginales
0.2971
0.0095
0.2607
0.1057
0.1827
(2) CM = media, NP = media, PSI = 1:
CM
NP
PSI
Coeficientes Media X
B'X
1.6258
3.1172
5.0680
0.0517
21.9375
1.1348
1.4263
1.0000
1.4263
-7.4523
1.0000
-7.4523
0.1768
Distribución normal estand
Factor de escala
Efectos marginales
0.6385
0.0203
0.5602
0.5702
0.3928
EFECTO MARGINAL PARA LA DUMMY PSI
0.4644
Econometría I – 2011 – Modelos de Elección Binaria - 27 -
Estimación del modelo Logit
. logit mejora cm np psi
Logit estimates
Log likelihood = -12.889633
Number of obs
LR chi2(3)
Prob > chi2
Pseudo R2
=
=
=
=
32
15.40
0.0015
0.3740
-----------------------------------------------------------------------------mejora |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------cm |
2.826113
1.262941
2.24
0.025
.3507938
5.301432
np |
.0951577
.1415542
0.67
0.501
-.1822835
.3725988
psi |
2.378688
1.064564
2.23
0.025
.29218
4.465195
_cons | -13.02135
4.931325
-2.64
0.008
-22.68657
-3.35613
------------------------------------------------------------------------------
Efectos marginales
¾ Mismo procedimiento que con modelo Probit.
¾ Ver archivo interpretacion_logit.xls
Econometría I – 2011 – Modelos de Elección Binaria - 28 -
El efecto del pasado académico sobre la probabilidad de mejora, según el modelo Probit
• El efecto es positivo y significativo al 5%, igual que lo era en el MLP
• Pero la magnitud del coeficiente no es interpretable. El efecto marginal depende del valor
de todas las variables explicativas.
• Para un alumno que en el pasado tuvo una calificación media de 3, que obtuvo nota 21.94
en el examen previo y que estudió con el nuevo método, la probabilidad predicha de
mejorar es de 0.494.
• ¿Cómo cambia esta probabilidad a medida que aumenta la calificación media (CM)?
- De 3.0 a 3.2 puntos →
+ 0.128
- De 3.2 a 3.4 puntos →
+ 0.116
- De 3.4 a 3.6 puntos →
+ 0.094
- De 3.6 a 3.8 puntos →
+ 0.069
- De 3.8 a 4.0 puntos →
+ 0.046
Econometría I – 2011 – Modelos de Elección Binaria - 29 -