Econometría: Álgebra Matricial, Estadística y Modelos de Regresión

Econometrı́a
Profesor: Juan Manuel Rivas Castillo1
Fecha: 2 de septiembre de 2025
1
Profesor de la Facultad de Ciencias Económicas de la UNMSM. Cualquier comunicación al correo:
[email protected]
2
Índice general
1. Algebra Matricial
7
1.1. Revisión de Conceptos de Álgebra Matricial . . . . . . . . . . . . . . . . . 8
1.1.1. Matrices y Operaciones Básicas . . . . . . . . . . . . . . . . . . . . 8
1.1.2. Sistemas de Ecuaciones Lineales y Conceptos Relacionados . . . . . 9
1.1.3. Formas Cuadráticas y Autovalores/Autovectores . . . . . . . . . . . 11
2. Estadı́stica
2.1. Revisión de Conceptos de Estadı́stica . . . . . . . . . . . . . . . . . . . . .
2.2. Variables Aleatorias (VA) . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3. Esperanza Matemática (E(x) ) . . . . . . . . . . . . . . . . . . . . . . . .
2.4. Varianza (σ 2 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5. Covarianza (Cov(x, y)) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6. Coeficiente de Correlación (ρ) . . . . . . . . . . . . . . . . . . . . . . . . .
2.7. Esperanza Condicional . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.8. Muestreo y Estimadores . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.9. Teorema del Lı́mite Central (TLC) . . . . . . . . . . . . . . . . . . . . . .
17
18
19
19
20
20
21
21
21
22
3. Modelo de Regresión Lineal
3.1. Mı́nimos Cuadrados Ordinarios (MCO) . . . . . . . . . . . . . . . . . . . .
3.1.1. Regresión Lineal Simple . . . . . . . . . . . . . . . . . . . . . . . .
3.1.2. Regresión Lineal Múltiple (Dos Variables Explicativas) . . . . . . .
3.1.3. Notación Matricial . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.4. Matrices Hacedoras de Desvı́os y de Proyección . . . . . . . . . . .
3.1.5. Matrices Particionadas y Teorema de Frisch-Waugh-Lovell . . . . .
25
26
26
26
27
28
29
4. Mı́nimos Cuadrados No Lineales
4.0.1. Descripción general . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.0.2. Desarrollo analı́tico con función de consumo no lineal . . . . . . . .
4.0.3. Ejemplo usando Gauss-Newton . . . . . . . . . . . . . . . . . . . .
33
34
34
35
5. Máxima Verosimilitud
37
5.1. Condiciones de regularidad . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.2. Propiedades de los estimadores de máxima verosimilitud . . . . . . . . . . 38
3
4
ÍNDICE GENERAL
5.3. Estimación por máxima verosimilitud de la distribución exponencial . . . .
5.3.1. Función de verosimilitud y log-verosimilitud . . . . . . . . . . . . .
5.3.2. Vector score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3.3. Matriz Hessiana . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3.4. Información de Fisher . . . . . . . . . . . . . . . . . . . . . . . . .
5.3.5. Cota de Cramér-Rao . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3.6. Ejemplo iterativo: estimación de λ con Newton-Raphson . . . . . .
5.4. Función de Verosimilitud en la Regresión Lineal Normal . . . . . . . . . . .
5.4.1. ¿Por qué se prefiere MCO a MV en regresión lineal normal? . . . .
5.4.2. Representación de la Función de Log-Verosimilitud . . . . . . . . .
39
39
39
40
40
40
40
41
43
43
6. Modelos de Elección Discreta
6.1. Modelo de Probabilidad Lineal (MPL) . . . . . . . . . . . . . . . . . . . .
6.2. Modelo Logit Binomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.3. Modelo Probit Binomial . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.4. Comparación y propiedades . . . . . . . . . . . . . . . . . . . . . . . . . .
49
49
51
53
55
ÍNDICE GENERAL
Especificaciones Técnicas
Bases de datos utilizadas
Para el desarrollo de los ejercicios del libro se emplean bases de
datos de diferentes fuentes, para ello consideremos el siguiente
código en python:
import numpy as np
import os
import pandas as pd
import statsmodels.api as sm
import wget
import requests
import zipfile
from scipy.optimize import minimize
np.set_printoptions(suppress=True)
pd.set_option('display.float_format', '{:.6f}'.format)
os.chdir('/workspaces/Econometria')
# ENAHO
# Modulo 34
url1 = 'https://proyectos.inei.gob.pe/iinei/srienaho/descarga/STATA/966-Modulo34.zip'
wget.download(url1)
# Modulo 100
url2 = 'https://proyectos.inei.gob.pe/iinei/srienaho/descarga/STATA/966-Modulo01.zip'
wget.download(url2)
# Modulo 200
url3 = 'https://proyectos.inei.gob.pe/iinei/srienaho/descarga/STATA/966-Modulo02.zip'
wget.download(url3)
# WTI
url = "https://www.eia.gov/dnav/pet/hist_xls/RWTCm.xls"
wget.download(url)
# Henry Hub
url = "https://www.eia.gov/dnav/ng/hist_xls/RNGWHHDm.xls"
wget.download(url)
url = "https://dataverse.nl/api/access/datafile/354095"
output_file = "pwt_data.csv" # Cambia el nombre si sabes el formato real
response = requests.get(url)
with open(output_file, "wb") as f:
f.write(response.content)
5
6
ÍNDICE GENERAL
Capı́tulo 1
Algebra Matricial
7
8
CAPÍTULO 1. ALGEBRA MATRICIAL
1.1.
Revisión de Conceptos de Álgebra Matricial
1.1.1.
Matrices y Operaciones Básicas
Definición de Matriz
Una matriz A es un arreglo rectangular de escalares ank o aij . Su dimensión está
representada por n (filas) y k (columnas) o m (columnas), como n × k o n × m. Los
vectores fila y columna son componentes fundamentales de una matriz.
Tipos de Matrices Clave
Matrices Cuadradas: Tienen igual número de filas y columnas (n = k o n = m).
Matriz Simétrica: Una matriz cuadrada A es simétrica si A = A′ (su transpuesta). Una propiedad importante es que si X es cualquier matriz n × k, entonces X′ X
siempre será una matriz simétrica.
Matriz Diagonal: Todos sus elementos fuera de la diagonal principal son cero.
Matriz Escalar: Una matriz diagonal donde todos los elementos de la diagonal
principal son iguales.
Matriz Identidad (I): Una matriz diagonal con unos en la diagonal principal y
ceros en el resto.
Matriz Nula (0): Todos sus elementos son ceros.
Matriz Triangular: Puede ser superior o inferior.
Operaciones con Matrices
Igualdad de Matrices: Las matrices A y B son iguales si tienen la misma dimensión y cada elemento de A es igual a su correspondiente en B.
Matriz Transpuesta (A′ o At ): Se crea al convertir las filas de la matriz original
en sus columnas (o viceversa).
• Propiedades de la Transposición:
◦ (A′ )′ = A.
◦ (αA)′ = αA′ para un escalar α.
◦ (A + B)′ = A′ + B′ .
◦ (AB)′ = B′ A′ .
1.1. REVISIÓN DE CONCEPTOS DE ÁLGEBRA MATRICIAL
9
Suma y Resta de Matrices: Se definen elemento a elemento. Para que dos matrices puedan sumarse o restarse, es necesario que tengan la misma dimensión; en
ese caso, se dice que son conformables para la suma. La suma con una matriz
nula no altera la matriz: A + 0 = A.
Producto de Matrices: Se define a partir del producto interno de vectores. Para
multiplicar dos matrices, el número de columnas de la primera matriz debe coincidir
con el número de filas de la segunda matriz; cuando esto ocurre, se dice que son
conformables para el producto.
• Producto Interno de Vectores: Para vectores a y b, es un escalar: a′ b =
a1 b 1 + a2 b 2 + · · · + an b n .
• Leyes del Producto de Matrices:
◦ Asociativa: (AB)C = A(BC).
◦ Distributiva: A(B + C) = AB + AC.
◦ El producto de matrices no es conmutativo en general (AB ̸= BA).
◦ AB = 0 no implica que A = 0 o B = 0.
Suma de Elementos Usando Notación Matricial:
P
• La suma de los elementos de un vector x: ni=1 xi = i′ x, donde i es un vector
columna de unos.
P
• La media aritmética: x̄ = n1 ni=1 xi = n1 i′ x.
P
• La suma de cuadrados: ni=1 x2i = x′ x.
P
• La suma de productos cruzados de dos vectores x e y: ni=1 xi yi = x′ y [13].
• Una matriz idempotente útil M0 = I − n1 ii′ se usa para transformar datos
en desviaciones respecto a la media. La suma de cuadrados de las desviaciones
se expresa como (x − x̄i)′ (x − x̄i) = x′ M0 x [13].
1.1.2.
Sistemas de Ecuaciones Lineales y Conceptos Relacionados
Sistemas de Ecuaciones Lineales
Se representan comúnmente en forma matricial como AX = b, donde A es la matriz
de coeficientes, X el vector de incógnitas y b el vector de valores especı́ficos. Se busca
determinar si existe una solución y, en caso afirmativo, cómo obtenerla y si es única.
Eliminación Gaussiana: Un método para resolver estos sistemas.
Tipos de Soluciones: Un sistema lineal puede no tener soluciones, tener una única
solución o tener infinitas soluciones.
10
CAPÍTULO 1. ALGEBRA MATRICIAL
Condición de Solución: Un sistema de ecuaciones lineales tiene solución si y solo
si el rango de la matriz aumentada (rank(Aa )) es igual al rango de la matriz de
coeficientes (rank(A)).
Si la matriz A es inversible, el sistema AX = b tiene una única solución.
Espacio Columna (o Imágen)
El espacio columna o imagen de A (im(A)) es el conjunto de todas las combinaciones
lineales de las columnas de A. El sistema AX = b tiene solución si y solo si b pertenece
al im(A). La dimensión de im(A) se denomina rango columna de A.
Núcleo (o Kernel)
El núcleo de A, denotado como Nu(A) o Ker(A), es el espacio de todos los vectores
X para los cuales AX = 0.
Teoremas Fundamentales del Álgebra Lineal
Teorema Fundamental del Álgebra Lineal I: La suma de la dimensión del
núcleo de A y la dimensión de la imagen de A es igual al número de columnas de
A (Dim Nu(A) + Dim Im(A) = n).
Teorema Fundamental del Álgebra Lineal II: El rango fila de A es igual al
rango columna de A.
Inversibilidad e Implicaciones: Si una matriz A es inversible, esto implica que
rank(A) = n ⇔ im(A) = Rn ⇔ Nu(A) = {0} (el conjunto que contiene solo el
vector cero).
Determinantes
El determinante (det(A) o |A|) es un escalar asociado a matrices cuadradas.
Test de Inversibilidad: Es una prueba fundamental; una matriz es inversible si y
solo si su determinante es diferente de cero.
!
a b
Para una matriz 2 × 2, A =
⇒ det(A) = ad − bc.
c d
El determinante de una matriz es igual al producto de sus autovalores.
La Regla de Cramer es un método para encontrar la solución de un sistema de
det(A )
ecuaciones lineales AX = b cuando A es inversible: xj = det(A)j , donde Aj es la
matriz A con la j-ésima columna reemplazada por b.
1.1. REVISIÓN DE CONCEPTOS DE ÁLGEBRA MATRICIAL
11
Inversa de una Matriz
Una matriz es singular si y solo si su inversa no existe. La inversa de una matriz A,
si existe, se denota como A−1 .
Propiedades de la Inversa:
• |A−1 | = 1/|A|.
• (A−1 )−1 = A.
• (A−1 )′ = (A′ )−1 [21]. Si A es simétrica, entonces (A′ )−1 también es simétrica.
• (AB)−1 = B−1 A−1 [15].
• (ABC)−1 = C−1 B−1 A−1 .
• La inversa de matrices triangulares (superiores o inferiores) y diagonales son
matrices del mismo tipo, respectivamente.
1.1.3.
Formas Cuadráticas y Autovalores/Autovectores
Formas Cuadráticas
Una forma cuadrática Q(x) es una función que puede representarse como xt Ax,
donde A es una matriz simétrica [24].
Clasificación de Formas Cuadráticas [24-26]:
• Definida Positiva: Si Q(x) = xt Ax > 0 para todo x ̸= 0.
• Definida Negativa: Si Q(x) = xt Ax < 0 para todo x ̸= 0.
• Indefinida: Si Q(x) toma valores positivos para algunos x y negativos para
otros x.
Matrices Definidas Simétricas
Una matriz simétrica se clasifica como definida positiva, negativa o indefinida de acuerdo con la clasificación de la forma cuadrática Q(x) = xt Ax que representa.
Menores Principales de una Matriz
Los menores principales son los determinantes de las submatrices cuadradas formadas por los elementos de la esquina superior izquierda de la matriz.
Teorema para Matrices Simétricas:
• Una matriz simétrica A es definida positiva si y solo si sus menores principales más grandes son todos positivos.
12
CAPÍTULO 1. ALGEBRA MATRICIAL
• Una matriz simétrica A es definida negativa si y solo si sus menores principales alternan los signos: el primero es negativo, el segundo positivo, el tercero
negativo, y ası́ sucesivamente (|A1 | < 0, |A2 | > 0, |A3 | < 0, etc.).
• En cualquier otro caso, la matriz se considera indefinida.
Autovalores y Autovectores
Un autovalor (r) de una matriz cuadrada A es un número (escalar) que, al restarse
de los elementos de la diagonal de A (A−rI), transforma a A en una matriz singular
(es decir, det(A − rI) = 0).
Un autovector (v) correspondiente a un autovalor r es un vector no nulo que
satisface la ecuación (A − rI)v = 0, lo que es equivalente a Av = rv.
El Polinomio Caracterı́stico es la ecuación det(A − rI) = 0. Las raı́ces de este
polinomio son los autovalores de la matriz.
Los elementos de la diagonal de una matriz diagonal son sus autovalores.
Una matriz cuadrada A es singular si y solo si 0 (cero) es un autovalor de A.
Propiedades de Autovalores:
• La suma de los autovalores de una matriz es igual a su traza (tr(A), la suma
de los elementos de su diagonal principal).
• El producto de los autovalores de una matriz es igual a su determinante
(det(A)).
Diagonalización de Matrices
Si una matriz cuadrada A tiene un conjunto de autovalores r1 , r2 , . . . , rk y sus correspondientes autovectores v1 , v2 , . . . , vk , se puede formar una matriz P cuyas columnas son
estos autovectores: P = [v1 v2 . . . vk ]. Si P es inversible, entonces P−1 AP es una matriz
diagonal D, donde los elementos de la diagonal son precisamente los autovalores de A.
Esto implica que A = PDP−1 .
Matrices Simétricas y Autovalores
Las matrices simétricas poseen propiedades distintivas en relación con sus autovalores
y autovectores:
Todos sus autovalores son números reales (nunca ocurren autovalores complejos).
Siempre tienen suficientes autovectores independientes para permitir la diagonalización de la matriz.
1.1. REVISIÓN DE CONCEPTOS DE ÁLGEBRA MATRICIAL
13
Los autovectores de matrices simétricas son naturalmente ortogonales entre sı́.
La matriz P formada por los autovectores de una matriz simétrica es una matriz
ortogonal, lo que significa que su transpuesta es igual a su inversa (P′ = P−1 ) o,
equivalentemente, P′ P = I.
Relación entre Autovalores y Definitud:
• Una matriz simétrica A es definida positiva si y solo si todos sus autovalores
son mayores a cero.
• Una matriz simétrica A es definida negativa si y solo si todos sus autovalores
son menores a cero.
• Una matriz simétrica A es indefinida si tiene al menos un autovalor positivo
y al menos un autovalor negativo.
14
CAPÍTULO 1. ALGEBRA MATRICIAL
Ejercicios Propuestos
1. B1.dta es una base de datos que contiene los porcentajes de empleo de los distintos
sectores económicos para un grupo de paı́ses europeos. Los sectores son: (Agricultura), (Minerı́a), (Industria), (Energı́a), (Construcción), (Servicios Industriales),
(Finanzas), (Servicios), S9 (Transporte y Telecomunicaciones). Se pide:
- Calcule la matriz de varianzas y covarianzas
- Demuestre que la suma de autovalores es igual a la traza de la matriz y que la
multiplicación de los autovalores es igual al determinante de la matriz.
2. Uno de los problemas de emplear la matriz S es la interpretación de los resultados
debido a las unidades de medida.
Esto puede llevar a confusiones al comparar los resultados entre diferentes sectores
o paı́ses, ya que las magnitudes de los porcentajes pueden variar significativamente.
Además, la matriz S puede no capturar adecuadamente las relaciones no lineales
entre los sectores, lo que podrı́a afectar la validez de las conclusiones.
Tomando en cuenta ello, calcule la siguiente matriz
1
1
R = D− 2 SD− 2
donde D es la matriz diagonal que contiene las varianzas de cada sector en la diagonal
principal. Esta matriz R es conocida como la matriz de correlaciones.
3. Dadas las siguientes matrices:

1 −4


A = −2 1 
2
0

B=
2 −3 4
−1 0 3
!
Obtenga lo siguiente: A′ , B ′ , (AB)′ y B ′ A′ .
4. Considere las siguientes matrices:


3
0
2


A = −3 −3 −3
α
0
4


4
 
b= 0 
−4
1.1. REVISIÓN DE CONCEPTOS DE ÁLGEBRA MATRICIAL
15
Encontrar el valor de α para los cuales el sistema Ax = 6x + b, tiene más de una
soución. Para estos valores resolver el sistema.
5. Encontrar el valor de X, según corresponda:
!
2 −1
X=
0 1
5 1
0 2
!

 

−2 1
1 3

 

X  3 4 = 2 −4
2 5
3 7
6. Sean:


1 1
2


A = 0 −1 −4
1 1
1
!
1 0 1
B=
0 −1 0
!
0 2 1
C=
1 1 1
- Calcular (A − B ′ C)−1
- Encontrar X, tal que
 
3
 
′
AX = B CX + 2
1
7. Encontrar la matriz X:
1
AX + 2X = B ′ X + C
2
Donde:
!
0 −1
A=
−1 1
!
1 0
B=
1 2
!
−2 4
C=
−1 6
16
CAPÍTULO 1. ALGEBRA MATRICIAL
8. Sea:


7b −a 0
0
7d −c 0
0 


A=

0 0 3
1 
0 0 0 α+2
Hallar α tal que det A = 1 tomando en cuenta que:
!
a b
det
=5
c d
9. Sea:


α−2 0
0


A= 2
0 α − 2
3
1
1
y B una matriz de 3x3 tal que |B| = −2 encontrar los valores de α para los cuales
el sistema BA2 x = BAx tiene solucion.
10. Sean las matrices:


a b c


A = 5 0 10
1 1 1


5a −50b 5c


B=1
0
2
1 −10 1
Se sabe que det(A) = 2.
Calcular det(3A′ B)
11. Si A y B son matrices de dimensiòn 4x4 y det(A) = 2, det(B −1 ) = 4 entonces
det(2AB)
12. Si A es una matriz simetrica y definida positiva mostrar que puede podemos obtener
una matriz P no singular tal que A = P P ′
Capı́tulo 2
Estadı́stica
17
18
CAPÍTULO 2. ESTADÍSTICA
2.1.
Revisión de Conceptos de Estadı́stica
Experimentos no predecibles: Se refieren a aquellos experimentos cuyos resultados no se pueden predecir, aunque el conjunto de todos los posibles resultados es
conocido.
Espacio Muestral (S o Ω): Es el conjunto de todos los resultados posibles de un
experimento.
• Por ejemplo, si se arrojan dos monedas, Ω tiene 22 = 4 resultados posibles. Si
se arrojan tres monedas, Ω tiene 23 = 8 resultados posibles. Para 20 monedas,
son 220 = 1, 048, 576 resultados posibles.
• Para tres semáforos con dos opciones cada uno (parar o continuar), el espacio
muestral Ω tiene 23 = 8 posibles resultados: (PPP, PPC, PCP, PCC, CCC, CCP, CPC, CPP).
Evento o Suceso: Cualquier subconjunto de elementos del espacio muestral.
• Siguiendo el ejemplo de los semáforos, si el evento A es que el auto se detiene
con el primer semáforo:


PPP






 PPC 
A=

PCP 






PCC
• Si el evento B es que el auto se detiene en la tercera intersección:


PPP 





 PCP 
B=


 CCP 




CPP
• La unión de A y B es:


PPP 









PPC





 PCP 

A∪B =

PCC 





 CCP 









CPP
• La intersección de A y B es:
(
A∩B =
PPP
PCP
)
2.2. VARIABLES ALEATORIAS (VA)
19
Medida de Probabilidad (P ): Es una función que asigna un número real a los
resultados del espacio muestral Ω, satisfaciendo los siguientes axiomas:
1. P (Ω) = 1.
2. Si A ∈ Ω → P (A) ≥ 0.
3. Si A1 y A2 son dos eventos disjuntos, entonces P (A1 ∪ A2 ) = P (A1 ) + P (A2 ).
2.2.
Variables Aleatorias (VA)
Una variable aleatoria X puede definirse, por ejemplo, como la suma de los números cuando se tiran dos dados.
Las variables aleatorias pueden ser discretas o continuas.
• Variables Aleatorias Discretas: Toman un número finito o infinito numerable de resultados.
◦ Ejemplos de distribuciones de VA discretas mencionadas son Bernoulli,
Binomial, Geométrica y Poisson.
• Variables Aleatorias Continuas: Pueden tomar cualquier valor infinitesimal
en un rango. Para estas variables, solo se puede hablar de la probabilidad de
que se encuentren dentro de un rango de valores, ya que la probabilidad de ser
igual a un valor especı́fico es infinitesimal.
◦ Se describen mediante una función de densidad (f (X)). La integral de
f (x) sobre todo el espacio muestral es 1.
◦ La función de distribución acumulada (F (X)) para una VA continua
Rx
se define como F (X) = P (X ≤ x) = −∞ f (u)du.
◦ La derivada de la función de distribución acumulada es la función de dend
sidad: dx
F (x) = f (x).
◦ La probabilidad de que X tome valores en un intervalo (a, b) se calcula
como
P (a ≤ X ≤ b) = F (b) − F (a)
◦ Ejemplos de distribuciones de VA continuas mencionadas son la Uniforme,
Exponencial y Normal.
2.3.
Esperanza Matemática (E(x) )
Para una variable aleatoria discreta:
E(x) =
X
i:p(xi )>0
xi p(xi )
20
CAPÍTULO 2. ESTADÍSTICA
Para una variable aleatoria continua:
Z +∞
E(x) =
xf (x)dx
−∞
Propiedad: Sean a y b dos constantes,
E(ax + b) = aE(x) + b
2.4.
Varianza (σ 2)
La varianza de una variable aleatoria representa el grado de variabilidad de
sus resultados posibles con respecto a su valor esperado (media).
Se define como el valor esperado del cuadrado de las desviaciones de x respecto a
su media:
Var(x) = E (x − E(x))2
Var(x) = E [(x − E(x))2 ]
Var(x) = E(x2 ) − [E(x)]2
Una forma alternativa de cálculo es [22, 23]:
Var(x) = E(x2 ) − [E(x)]2
Propiedad: Sea a un escalar y x una variable aleatoria, Var(ax) = a2 Var(x).
La desviación estándar es la raı́z cuadrada de la varianza poblacional.
Ejemplos de varianzas calculadas:
2
.
• Distribución Uniforme en [a, b]: Var(X) = (b−a)
12
• Distribución Exponencial: Var(X) = λ12 .
2.5.
Covarianza (Cov(x, y))
La covarianza entre x e y mide la asociación entre dos variables aleatorias
distribuidas de manera conjunta.
Se define como:
Cov(x, y) = E [(x − µx )(y − µy )]
donde µx y µy son las esperanzas de x e y respectivamente.
2.6. COEFICIENTE DE CORRELACIÓN (ρ)
21
Una forma alternativa de calcularla es:
Cov(x, y) = E(xy) − E(x)E(y)
Si x e y son independientes, entonces Cov(x, y) = 0.
La covarianza es una medida de asociación que depende de las unidades de
medida de X e Y, lo que la hace una medida insatisfactoria por sı́ sola.
2.6.
Coeficiente de Correlación (ρ)
Es una medida de asociación mejor que la covarianza porque no es dimensional.
Se define como:
Cov(x, y)
p
ρ= p
Var(x) Var(y)
Verifica que su valor siempre se encuentra entre -1 y 1 (−1 ≤ ρ ≤ 1).
Si x e y son independientes, el coeficiente de correlación (rXY ) será cero.
Si hay una relación lineal positiva exacta, rXY toma su valor máximo de 1. Si hay
una relación lineal negativa exacta, rXY toma su valor mı́nimo de -1.
2.7.
Esperanza Condicional
Se presentan dos teoremas importantes relacionados con la esperanza condicional:
• Ley de Expectativas Iteradas: E(y) = E(E(y|x)) [25].
• Varianza de y: Var(y) = Var(E(y|x)) + E(Var(y|x)).
2.8.
Muestreo y Estimadores
Muestreo: Se refiere a la obtención de un conjunto de observaciones (X1 , . . . , Xn )
de una variable aleatoria X para estimar su media poblacional desconocida (µX ).
Estimador: Una fórmula matemática utilizada para estimar un parámetro poblacional desconocido. La media muestral (X̄) es un estimador tı́pico [27]. Un estimador también es una variable aleatoria porque depende de los valores aleatorios
de la muestra.
Eficiencia: El estimador más eficiente es aquel con la varianza más pequeña, lo
que implica que tiende a ser más acertado.
22
CAPÍTULO 2. ESTADÍSTICA
Sesgo: Un estimador es insesgado si su valor esperado es igual al verdadero parámetro poblacional. Es posible que un estimador esté sesgado en una muestra finita, pero
el sesgo disminuye conforme el tamaño de la muestra aumenta.
Consistencia: Un estimador es consistente si cumple dos condiciones:
1. Posee un lı́mite probabilı́stico (plim), de modo que su distribución se vuelve
un pico conforme el tamaño de la muestra tiende a infinito.
2. El pico de esta distribución se localiza en el verdadero valor del parámetro
poblacional.
Una condición suficiente para la consistencia es que el estimador sea insesgado y su
varianza tienda a cero conforme el tamaño de la muestra (n) se incrementa.
Media del Error Cuadrado (MSE): Una medida utilizada para evaluar un estimador, definida como el valor esperado del cuadrado de las desviaciones del estimador respecto al verdadero parámetro de la población. Es útil para elegir entre un
estimador insesgado y otro sesgado pero con menor varianza.
2.9.
Teorema del Lı́mite Central (TLC)
Es un teorema fundamental que establece que si las observaciones Xi de una muestra
se obtienen de manera independiente de la misma distribución, y si esta distribución tiene una media y varianza poblacional finita, la distribución de la media
muestral convergerá hacia una distribución normal.
Esto implica que, aunque la distribución de la variable original (X) sea desconocida,
la distribución de sus estimadores muestrales tenderá a ser normal conforme el
tamaño de la muestra (N ) aumente.
Es crucial porque permite que los estadı́sticos t y los intervalos de confianza sean
aproximadamente válidos, siempre que la muestra sea lo suficientemente grande.
2.9. TEOREMA DEL LÍMITE CENTRAL (TLC)
23
Ejercicios Propuestos
1. Encuentre las siguientes probabilidades:
P (z < 1.23)
P (−0.67 < z < 0)
P (z > 2.30)
P (−0.33 < z < 1.45)
P (z > −2.1)
P (z < −3.5)
2. Los scores de un cierto test se encuentran normalmente distribuidos con µ = 100 y
σ = 15. Se pide encontrar la probabilidad de que los scores cumplan:
120 ≤ X ≤ 130
3. Si x se encuentra uniformemente distribuido sobre (0, 10), calcule las siguientes
probabilidades:
P (X < 3)
P (X > 6)
P (3 < X < 8)
4. Suponga que la duración de una llamada telefónica es una variable aleatoria con
distribución exponencial y parámetro λ = 1. Suponga que existe un solo teléfono
para llamar y existe un familiar suyo que está empleando el teléfono, encuentre
la probabilidad que se tenga que esperar: a) más de 10 minutos, b) entre 10 y 20
minutos.
5. Si X es una varable aleatoria con funciòn de densidad dada por:
f (x) = cx2 − 0.5c, 0 ≤ x ≤ 1
- Encuentre el valor de la constante c
6. La producciòn de pantallas para computadoras es un proceso difı́cil que resulta en
una proporción importante de pantallas defectuosas. En una compañı́a, la proporción diaria de pantallas defectuosas de 16 y 20 pulgadas es el resultado de un vector
aleatorio bivariado (Z, Y) donde Z es la proporción de pantallazas de 16 pulgadas y
Y es la proporciòn de pantallas defectuosas de 20 pulgadas. Suponga que la propor-
24
CAPÍTULO 2. ESTADÍSTICA
ción de pantallas defectuosas esta distribuida de acuerdo a la siguiente distrbuciòn
conjunta:
f (y, z) = [θz + (2 − θ)y], 0 ≤ y ≤ 1, 0 ≤ z ≤ 1
- Encuentre E[Z]
- Encuentre E[Y ]
7. Sean X e Y dos variables aleatorias con la siguiente función de densidad conjunta,
encuentre el coeficiente correlación:
2
f (x, y) = (x + y)e−x ,
3
0 ≤ x ≤ 1, 0 ≤ y ≤ 1
8. Doce refrigeradoras han sido devueltas al vendedor debido a que presentan un ruido
al momento de funcionar. Suponga que 4 de estos 12 refrigeradores presentan defectos. Si se examinan 6 refrigeradoras y se define X como una variable que captura si
la refrigeradora tiene un defecto. Dado ello se pide calcular P (X = 1)
9. Sea X una variable aleatoria del número de pantallas defectuosas en una fábrica de
una muestra elegida al azar de tamaño 20. La probabilidad que una pantalla resulte
defectuosa es del 5 %. Con estos datos encuentre la probabilidad de que al menos 5
pantallas resulten defectuosas.
10. Si se lanza una moneda 10 veces, compare los resultados de emplear una distribución
de tipo Binomial con una Poisson de la probabilidad de obtener 2 caras.
11. La probabilidad que una persona desarrolle una infección es de 0.03. En una muestra
aleatoria de 200 personas, ¿Cuál es la probabilidad de que a lo más 6 personas se
encuentren infectadas?. Aproxime esta probabilidad mediante una Poisson.
12. La duración de un juego en la NBA se encuentra uniformemente distribuido entre 120
y 170 minutos. ¿Cuál es la probabilidad que un juego seleccionado aleatoriamente
dure más de 150 minutos?
13. Se lanza una moneda con probabilidad de 2/3 que el resultado sea cara. Si aparece
una cara, se extrae una pelota, aleatoriamente, de una urna que contiene dos pelotas
rojas y tres verdes. Si el resultado es sello se extrae una pelota, de otra urna, que
contiene dos rojas y dos verdes. ¿Cuál es la probabilidad de extraer una pelota roja?
14. Si x se encuentra uniformemente distribuido sobre (0,100), calcule la siguiente probabilidad: 30 ≤ X ≤ 80
Capı́tulo 3
Modelo de Regresión Lineal
25
26
CAPÍTULO 3. MODELO DE REGRESIÓN LINEAL
3.1.
Mı́nimos Cuadrados Ordinarios (MCO)
3.1.1.
Regresión Lineal Simple
Considera el modelo:
yi = α + βxi + µi
El objetivo es encontrar los estimadores α̂ y β̂ que minimizan la suma de los cuadrados
de los residuos:
n
X
S=
(yi − α − βxi )2
i=1
Las ecuaciones normales (primeras derivadas) son:
n
X
∂S
= −2
(yi − α − βxi ) = 0
∂α
i=1
n
X
∂S
= −2
xi (yi − α − βxi ) = 0
∂β
i=1
Resolviendo, se obtiene:
P
(xi − x̄)(yi − ȳ)
P
β̂ =
(xi − x̄)2
α̂ = ȳ − β̂ x̄
Las segundas derivadas forman la matriz Hessiana:
P !
n
xi
H=2 P
P 2
xi
xi
La matriz de varianzas y covarianzas de los estimadores es:
Var(α̂, β̂) = σ̂ 2
1
donde σ̂ 2 = n−2
3.1.2.
P 2
xi
P
2
n (x
Pi −x̄)
x
i
− P(xi −x̄)2
P
xi
− P(xi −x̄)
2
P
!
1
(xi −x̄)2
Pn
2
i=1 (yi − α̂ − β̂xi ) .
Regresión Lineal Múltiple (Dos Variables Explicativas)
Considera el modelo:
yi = β0 + β1 x1i + β2 x2i + µi
La suma de cuadrados de los residuos es:
n
X
S=
(yi − β0 − β1 x1i − β2 x2i )2
i=1
3.1. MÍNIMOS CUADRADOS ORDINARIOS (MCO)
27
Las ecuaciones normales son:

P
P
P


β1 x1i + β2 x2i

P yi = nβ0 +P
P
P
x1i yi = β0 x1i + β1 x21i + β2 x1i x2i



P x2i yi = β0 P x2i + β1 P x1i x2i + β2 P x2
2i
Los estimadores se obtienen resolviendo el sistema anterior:
  
−1  P

P
P
β̂0
yi
n
x1i
x2i
P
P 2
  P
 P

x1i x2i   x1i yi 
x1i
β̂1  =  x1i
P
P
P 2
P
β̂2
x2i
x1i x2i
x2i
x2i yi
La matriz Hessiana de segundas derivadas es:


P
P
n
x1i
x2i
P 2
P
P

H = 2  x1i
x1i
x1i x2i 
P
P
P 2
x2i
x1i x2i
x2i
Esta matriz es definida positiva si las variables explicativas no son linealmente dependientes (no hay multicolinealidad perfecta).
La matriz de varianzas y covarianzas de los estimadores es:
Var(β̂) = σ̂ 2 (X′ X)−1
1
donde σ̂ 2 = n−3
3.1.3.
Pn
2
i=1 (yi − ŷi ) .
Notación Matricial
Para el modelo general:
y = Xβ + µ
donde y es el vector de observaciones, X la matriz de variables explicativas y β el vector
de parámetros.
La suma de cuadrados de los residuos es:
S = (y − Xβ)′ (y − Xβ)
La derivada de S respecto a β es:
∂S
= −2X′ (y − Xβ)
∂β
28
CAPÍTULO 3. MODELO DE REGRESIÓN LINEAL
La segunda derivada (matriz Hessiana) es:
∂ 2S
= 2X′ X
∂β∂β ′
El estimador matricial de mı́nimos cuadrados ordinarios es:
β̂ = (X′ X)−1 X′ y
La matriz de varianzas y covarianzas de los estimadores es:
Var(β̂) = σ̂ 2 (X′ X)−1
1
donde σ̂ 2 = n−k
(y − Xβ̂)′ (y − Xβ̂) y k es el número de parámetros estimados.
3.1.4.
Matrices Hacedoras de Desvı́os y de Proyección
Considera el modelo general en notación matricial:
y = Xβ + µ
donde y es el vector de observaciones, X la matriz de variables explicativas y β el vector
de parámetros.
Matriz de Proyección
La matriz de proyección P proyecta cualquier vector sobre el espacio columna de X:
P = X(X′ X)−1 X′
Propiedades:
P es idempotente: P2 = P
P es simétrica: P′ = P
Py es el vector de valores ajustados ŷ
Matriz Hacedora de Desvı́os (Matriz de Residuos)
La matriz hacedora de desvı́os, o matriz de residuos, se define como:
M = I − P = I − X(X′ X)−1 X′
Propiedades:
M es idempotente: M2 = M
3.1. MÍNIMOS CUADRADOS ORDINARIOS (MCO)
29
M es simétrica: M′ = M
My es el vector de residuos y − ŷ
3.1.5.
Matrices Particionadas y Teorema de Frisch-Waugh-Lovell
Supón que la matriz de diseño se puede dividir en dos bloques:
X = [X1 X2 ]
donde X1 es de dimensión n × k1 y X2 de dimensión n × k2 .
La matriz de proyección sobre X1 es:
P1 = X1 (X′1 X1 )−1 X′1
La matriz hacedora de desvı́os respecto a X1 es:
M1 = I − P1 = I − X1 (X′1 X1 )−1 X′1
El estimador de mı́nimos cuadrados para los coeficientes de X2 puede escribirse como:
−1
β̂ 2 = (X′2 M1 X2 )
X′2 M1 y
Teorema de Frisch-Waugh-Lovell
El teorema establece que el coeficiente de X2 en la regresión múltiple de y sobre
[X1 , X2 ] es igual al coeficiente obtenido al:
1. Regresar y sobre X1 y obtener los residuos M1 y.
2. Regresar cada columna de X2 sobre X1 y obtener los residuos M1 X2 .
3. Regresar los residuos de y sobre los residuos de X2 .
Formalmente:
−1
β̂ 2 = ((M1 X2 )′ (M1 X2 ))
(M1 X2 )′ (M1 y)
Este resultado muestra la equivalencia entre la regresión múltiple y la regresión de
residuos, y es fundamental para la interpretación de los resultados en modelos de regresión
múltiple.
30
CAPÍTULO 3. MODELO DE REGRESIÓN LINEAL
Ejercicios Propuestos
1. Considerando la siguiente información, obtenga β1 y β2 :
µ1 = 3 − β1 − β2
µ2 = 5 − β1 − 2β2
µ3 = 6 − β1 − 3β2
2. Partiendo una muestra de 200 observaciones se obtuvieron los siguientes
resultados:
P
P
P 2
P 2
P
X = 11.34,
Y = 20.72,
X = 12.16,
Y = 84.96,
XY = 22.13.
Estimar los coeficientes del modelo ası́ como su varianza.
3. En una muestra de leche de un cierto número de vacas lecheras correspondiente a dos rebaños se midió el porcentaje de grasas (X) y el porcentaje
de elementos sólidos no grasos (Y). Calcular la ecuación de regresión
lineal dada la siguiente información para cada rebaño:
Rebaño 1:
P
P
P 2
P 2
P
X = 51.13,
Y = 117.25,
x = 1.27,
y = 4.78,
xy = 1.84
Número de vacas = 16
Rebaño 2:
P
P
P 2
P 2
P
X = 37.20,
Y = 78.75,
x = 1.03,
y = 2.48,
xy = 1.10
Número de vacas = 10
4. Los datos de producción de 22 empresas de una determinada industria
dan lugar a los siguientes resultados:
Promedio de y = 20
Promedio de x = 10
Varianza de y = 100
Varianza de x = 60
Covarianza de y y x = 30
Donde: y = ln(producción) y x = ln(horas de trabajo).
Con esta información se pide calcular α y β a partir de la siguiente especificación
y = α + βx + ϵ, usando las fórmulas:
β=
Cov(y, x)
Var(x)
α = ȳ − β x̄
3.1. MÍNIMOS CUADRADOS ORDINARIOS (MCO)
31
5. Sea la siguiente tabla que muestra información de una función de demanda. Se pide que con dicha información calcule los coeficientes del
modelo con intercepto y sin intercepto. La especificación con intercepto
es: Q = α + βP + ϵ.
Q
3
3
7
6
10
15
16
13
9
15
P
18
16
17
12
15
15
4
13
11
6
6. A partir de los siguientes pares ordenados: (1, 2), (3, 6), (8, 2.5), (4, 1.3) y
(0.5, 1.6) obtenga los estimadores de un modelo de regresión simple.
7. Se quiere estimar la relación entre el rendimiento de un vehı́culo y el
peso del mismo, a partir de la siguiente especificación:
Rendimiento = α + βP eso + ϵ.
Para este proceso se cuenta con 74 observaciones y los siguientes datos:
P
P
P
P
P eso = 223.44, P eso2 = 718.76, Rendimiento = 1576, RendimientoxP eso =
4493.72
8. Empleando la base de datos ’TableF2-2.txt’ realice lo siguiente:
a) Estime el modelo de regresión múltiple con las variables ’Pop’ e ’Income’ y
como variable dependiente ’GasExp’
b) Empleando la matriz de proyecciones obtenga una predicción de la variable
dependiente
c) Empleando la matriz de residuos obtenga una predicción de los residuos
d ) Empleando la idea de Matrices Particionadas y Teorema de Frisch-WaughLovell obtenga los coeficientes individuales del modelo
32
CAPÍTULO 3. MODELO DE REGRESIÓN LINEAL
Capı́tulo 4
Mı́nimos Cuadrados No Lineales
33
34
CAPÍTULO 4. MÍNIMOS CUADRADOS NO LINEALES
4.0.1.
Descripción general
El método de Mı́nimos Cuadrados No Lineales (MCNL) se utiliza para estimar
parámetros en modelos donde la relación entre la variable dependiente y los parámetros es no lineal. A diferencia del MCO clásico, no existe una solución analı́tica
directa, por lo que se emplean métodos iterativos como Gauss-Newton.
4.0.2.
Desarrollo analı́tico con función de consumo no lineal
Consideremos el modelo de consumo:
Ci = α + βYiγ + εi
(4.1)
donde Ci es el consumo, Yi el ingreso, y los parámetros a estimar son α, β, γ.
La suma de cuadrados de los residuos es:
S(α, β, γ) =
n
X
[Ci − (α + βYiγ )]2
(4.2)
i=1
Para estimar los parámetros, se linealiza la función alrededor de valores actuales
(α(k) , β (k) , γ (k) ) usando el desarrollo de Taylor de primer orden. La matriz Jacobiana
J tiene filas:
i
h
(k)
(k)
(4.3)
Ji = 1, Yiγ , β (k) Yiγ ln Yi
Los residuos actuales son:
(k)
ri = Ci − (α(k) + β (k) Yiγ )
(4.4)
La actualización Gauss-Newton es:
∆θ = (J⊤ J)−1 J⊤ r
(4.5)
θ (k+1) = θ (k) + ∆θ
(4.6)
y se actualizan los parámetros:
Derivadas analı́ticas de Mı́nimos Cuadrados No Lineales
Para el modelo general yi = f (xi , θ) + εi , la función objetivo es:
S(θ) =
n
X
i=1
[yi − f (xi , θ)]2
(4.7)
35
La derivada (gradiente) respecto a cada parámetro θj es:
n
X
∂S
∂f (xi , θ)
= −2
[yi − f (xi , θ)]
∂θj
∂θj
i=1
(4.8)
La matriz Hessiana (segunda derivada) respecto a los parámetros θj y θk es:
n X
∂ 2S
∂f (xi , θ) ∂f (xi , θ)
∂ 2 f (xi , θ)
=2
− [yi − f (xi , θ)]
∂θj ∂θk
∂θ
∂θ
∂θj ∂θk
j
k
i=1
(4.9)
En el método de Gauss-Newton, se suele aproximar la Hessiana ignorando el segundo
término, usando solo el producto de las derivadas de primer orden:
H ≈ 2J⊤ J
(4.10)
donde J es la matriz Jacobiana de derivadas parciales de f respecto a los parámetros.
4.0.3.
Ejemplo usando Gauss-Newton
Supongamos los siguientes datos de consumo e ingreso:
i
1
2
3
4
Yi
1.0
2.0
3.0
4.0
Ci
2.1
2.9
3.7
4.5
Supongamos valores iniciales: α(0) = 1.0, β (0) = 1.0, γ (0) = 0.5.
Para cada iteración:
Calcula Yiγ
(k)
y β (k) Yiγ
(k)
ln Yi para cada i.
Calcula los residuos ri .
Forma la matriz Jacobiana J.
Calcula ∆θ y actualiza los parámetros.
extbfIteración 1:
Y10.5 = 1.0, Y20.5 = 1.414, Y30.5 = 1.732, Y40.5 = 2.0
β (0) Yi0.5 ln Yi : 0, 1.414 × ln 2 = 0.980, 1.732 × ln 3 = 1.903, 2.0 × ln 4 = 2.772
Residuos: r1 = 2.1 − (1.0 + 1.0) = 0.1, r2 = 2.9 − (1.0 + 1.414) = 0.486,
r3 = 3.7 − (1.0 + 1.732) = 0.968, r4 = 4.5 − (1.0 + 2.0) = 1.5
36
CAPÍTULO 4. MÍNIMOS CUADRADOS NO LINEALES
Jacobiana:
1
1
1
1
1.0
0
1.414 0.980
1.732 1.903
2.0 2.772
Calcula ∆θ y actualiza los parámetros.
El proceso se repite hasta la convergencia de los parámetros. Este ejemplo muestra
cómo se aplica Gauss-Newton en la práctica para modelos no lineales.
Capı́tulo 5
Máxima Verosimilitud
37
38
CAPÍTULO 5. MÁXIMA VEROSIMILITUD
5.1.
Condiciones de regularidad
Las condiciones de regularidad son requisitos matemáticos que deben cumplir el
modelo y la función de verosimilitud para garantizar la validez de los resultados obtenidos mediante el método de máxima verosimilitud. Estas condiciones permiten
asegurar que los estimadores obtenidos sean consistentes, eficientes y asintóticamente normales. A continuación se describen las principales condiciones:
Identificabilidad: El modelo debe estar correctamente especificado, de modo
que diferentes valores de los parámetros generen distribuciones distintas para
los datos observados.
Derivabilidad: La función de verosimilitud debe ser derivable respecto a los
parámetros, al menos hasta el segundo orden, para poder aplicar el método y
analizar sus propiedades.
Intercambio de derivadas e integración: Es posible intercambiar el orden de derivación e integración en la función de verosimilitud, lo que permite
calcular momentos y propiedades asintóticas.
Existencia de momentos: Los momentos necesarios (por ejemplo, la esperanza y la varianza de la información de Fisher) deben existir y ser finitos.
Condición de regularidad en los extremos: La función de verosimilitud y
sus derivadas deben comportarse adecuadamente en los extremos del espacio
paramétrico, evitando problemas de convergencia.
Estas condiciones son fundamentales para demostrar los teoremas que justifican el
uso de la máxima verosimilitud, como la consistencia y la normalidad asintótica de
los estimadores. En la práctica, es importante verificar que el modelo y los datos
cumplen con estas condiciones antes de interpretar los resultados.
5.2.
Propiedades de los estimadores de máxima
verosimilitud
Los estimadores obtenidos mediante el método de máxima verosimilitud presentan
varias propiedades importantes, siempre que se cumplan las condiciones de regularidad:
Consistencia: Los estimadores convergen en probabilidad al valor verdadero
del parámetro cuando el tamaño de la muestra tiende a infinito.
5.3. ESTIMACIÓN POR MÁXIMA VEROSIMILITUD DE LA DISTRIBUCIÓN EXPONENCIAL39
Eficiencia asintótica: Los estimadores alcanzan la menor varianza posible
entre los estimadores insesgados, es decir, cumplen la cota de Cramér-Rao
asintóticamente.
Normalidad asintótica: La distribución de los estimadores, debidamente normalizados, tiende a una normal conforme el tamaño muestral crece.
Invarianza: Si θ̂ es el estimador de máxima verosimilitud de θ, entonces para
cualquier función diferenciable g(θ), el estimador de máxima verosimilitud de
g(θ) es g(θ̂).
Estas propiedades hacen que el método de máxima verosimilitud sea ampliamente
utilizado en estadı́stica y econometrı́a para la estimación de parámetros en modelos
probabilı́sticos.
5.3.
Estimación por máxima verosimilitud de la
distribución exponencial
Consideremos una muestra y1 , y2 , . . . , yn de variables independientes e idénticamente
distribuidas según una distribución exponencial con parámetro λ > 0:
f (y; λ) = λe−λy ,
5.3.1.
y≥0
(5.1)
Función de verosimilitud y log-verosimilitud
La función de verosimilitud para la muestra es:
L(λ) =
n
Y
λe−λyi = λn e−λ
Pn
i=1 yi
(5.2)
i=1
La log-verosimilitud es:
ℓ(λ) = n ln λ − λ
n
X
yi
(5.3)
i=1
5.3.2.
Vector score
El score es la derivada de la log-verosimilitud respecto a λ:
n
n X
∂ℓ
= −
yi
∂λ
λ i=1
(5.4)
40
CAPÍTULO 5. MÁXIMA VEROSIMILITUD
5.3.3.
Matriz Hessiana
La segunda derivada (Hessiana) es:
n
∂ 2ℓ
=− 2
2
∂λ
λ
5.3.4.
(5.5)
Información de Fisher
La información de Fisher es el valor esperado negativo de la Hessiana:
n
∂ 2ℓ
= 2
I(λ) = −E
2
∂λ
λ
5.3.5.
(5.6)
Cota de Cramér-Rao
La varianza mı́nima de un estimador insesgado de λ es 1/I(λ) = λ2 /n. El estimador
de máxima verosimilitud es:
n
(5.7)
λ̂M LE = Pn
i=1 yi
Este estimador es insesgado y alcanza la cota de Cramér-Rao asintóticamente.
5.3.6.
Ejemplo iterativo: estimación de λ con Newton-Raphson
Supongamos que tenemos los siguientes 4 datos: y = {2.0, 1.5, 3.0, 2.5}. La logverosimilitud es:
ℓ(λ) = 4 ln λ − λ(2.0 + 1.5 + 3.0 + 2.5) = 4 ln λ − 9.0λ
El score:
S(λ) =
4
− 9.0
λ
(5.8)
(5.9)
La Hessiana:
4
H(λ) = − 2
λ
El método de Newton-Raphson para encontrar el máximo es:
λk+1 = λk −
S(λk )
H(λk )
(5.10)
(5.11)
Supongamos que iniciamos con λ0 = 0.5:
Iteración 1: S(0.5) = 8 − 9 = −1, H(0.5) = −16, λ1 = 0.5 − (−1)/(−16) =
0.4375
5.4. FUNCIÓN DE VEROSIMILITUD EN LA REGRESIÓN LINEAL NORMAL
41
Iteración 2: S(0.4375) ≈ 9.1429 − 9 = 0.1429, H(0.4375) ≈ −20.902, λ2 =
0.4375 − 0.1429/(−20.902) ≈ 0.4443
Iteración 3: S(0.4443) ≈ 9.008−9 = 0.008, H(0.4443) ≈ −20.27, λ3 = 0.4443−
0.008/(−20.27) ≈ 0.4447
Iteración 4: S(0.4447) ≈ 9.000−9 = 0.000, H(0.4447) ≈ −20.22, λ4 = 0.4447−
0.000/(−20.22) ≈ 0.4447
El valor converge rápidamente a λ̂ ≈ 0.4447, que coincide con el estimador analı́tico
λ̂M LE = 4/9 ≈ 0.4444.
Figura 5.1: Convergencia del método de Newton-Raphson y forma de la log-verosimilitud
para la estimación del parámetro λ en la exponencial. Los puntos rojos muestran las
iteraciones.
5.4.
Función de Verosimilitud en la Regresión Li-
neal Normal
Para el modelo de Regresión Lineal Normal, a continuación se presenta el desarrollo
analı́tico de su función de verosimilitud.
La función de verosimilitud para una observación individual j es:
1
(yj − µj )2
f (yj |µj , σ) = √
exp −
2σ 2
2πσ
Donde µj = xj β y σ es la desviación estándar de los errores.
(5.12)
42
CAPÍTULO 5. MÁXIMA VEROSIMILITUD
La log-verosimilitud para N observaciones es:
N X
1
(yj − xj β)2
ln L(β, ln σ) =
− ln(2π) − ln σ −
2
2 exp(2 ln σ)
j=1
(5.13)
Para garantizar que la desviación estándar σ sea siempre positiva (ya que es una
varianza), es una práctica común parametrizarla en el espacio logarı́tmico. Ası́, en
lugar de estimar σ directamente, se estima ln σ, y luego σ = exp(ln σ). Denotaremos
el parámetro en el espacio logarı́tmico como ln σ.
La contribución de la log-verosimilitud para la observación j, ln Lj , es el logaritmo
de la función de densidad de probabilidad evaluada en yj :
ln Lj (β, ln σ) = ln f (yj |µj , exp(ln σ))
(5.14)
Para N observaciones independientes, la función de log-verosimilitud total (ln L) es
la suma de las contribuciones de log-verosimilitud individuales:
ln L(β, ln σ) =
N
X
ln Lj (β, ln σ)
(5.15)
j=1
Vector Score y Matriz Hessiana
El vector score es el gradiente de la función de log-verosimilitud respecto a los
parámetros. Para el modelo de regresión lineal normal, la log-verosimilitud para N
observaciones es:
N X
(yj − xj β)2
1
− ln(2π) − ln σ −
ln L(θ) =
2
2 exp(2 ln σ)
j=1
(5.16)
Definimos θ = (β, ln σ).
Score respecto a β:
N
∂ ln L X (yj − xj β)
=
xj
∂β
exp(2
ln
σ)
j=1
(5.17)
N ∂ ln L X
(yj − xj β)2
=
−1 +
∂ ln σ
exp(2 ln σ)
j=1
(5.18)
Score respecto a ln σ:
Matriz Hessiana: La matriz hessiana es la matriz de segundas derivadas de la
log-verosimilitud respecto a los parámetros. Para el modelo lineal normal, la matriz
5.4. FUNCIÓN DE VEROSIMILITUD EN LA REGRESIÓN LINEAL NORMAL
43
hessiana H(θ) tiene la siguiente estructura:
H(θ) =
∂ 2 ln L
∂β∂β ′
∂ 2 ln L
∂ ln σ∂β ′
∂ 2 ln L
∂β∂ ln σ
∂ 2 ln L
∂(ln σ)2
!
(5.19)
Donde:
N
X
xj x′j
∂ 2 ln L
=
−
exp(2 ln σ)
∂β∂β ′
j=1
N
X
∂ 2 ln L
(yj − xj β)2
=
−2
∂(ln σ)2
exp(2 ln σ)
j=1
N
X
∂ 2 ln L
(yj − xj β)
= −2
xj
∂β∂ ln σ
exp(2
ln
σ)
j=1
5.4.1.
¿Por qué se prefiere MCO a MV en regresión lineal
normal?
En el modelo de regresión lineal normal clásico, los estimadores de Mı́nimos Cuadrados Ordinarios (MCO) y Máxima Verosimilitud (MV) para los coeficientes β
coinciden exactamente bajo los supuestos de normalidad e independencia de los
errores. Sin embargo, MCO es preferido en la práctica porque:
Es más sencillo computacionalmente y no requiere suponer normalidad estricta,
solo que los errores tengan media cero y varianza constante.
Es robusto a desviaciones de la normalidad (por ejemplo, errores no normales).
La estimación de la varianza por MCO es insesgada, mientras que por MV
puede estar sesgada en muestras pequeñas.
MCO es el método estándar en la mayorı́a de aplicaciones y software estadı́stico.
Por lo tanto, aunque ambos métodos son equivalentes bajo normalidad, MCO es
más general y práctico para la regresión lineal.
5.4.2.
Representación de la Función de Log-Verosimilitud
Considerando un modelo de regresión lineal normal con errores homoscedásticos,
donde yj es la variable dependiente y xj es el vector de variables independientes
para la observación j:
El modelo de regresión es:
yj = xj β + ϵj
(5.20)
44
CAPÍTULO 5. MÁXIMA VEROSIMILITUD
Donde ϵj ∼ N (0, σ 2 ).
La media condicional de yj es µj = xj β. La desviación estándar σ se parametriza
como σ = exp(ln σ). El vector de parámetros a estimar es θ = (β, ln σ).
La función de densidad de probabilidad para yj es:
(yj − µj )2
1
exp −
f (yj |µj , σ) = √
2σ 2
2πσ
(5.21)
La contribución de la log-verosimilitud para una sola observación j es:
1
(yj − µj )2
ln Lj (θ) = − ln(2π) − ln σ −
2
2σ 2
(5.22)
Sustituyendo µj = xj β y σ = exp(ln σ):
(yj − xj β)2
1
ln Lj (θ) = − ln(2π) − ln(exp(ln σ)) −
2
2(exp(ln σ))2
(5.23)
(yj − xj β)2
1
ln Lj (θ) = − ln(2π) − ln σ −
2
2 exp(2 ln σ)
(5.24)
La función de log-verosimilitud total para N observaciones independientes es:
N X
1
(yj − xj β)2
ln L(θ) =
− ln(2π) − ln σ −
2
2 exp(2 ln σ)
j=1
(5.25)
Cota de Cramér-Rao
La cota de Cramér-Rao establece un lı́mite inferior para la varianza de los estimadores insesgados de un parámetro en un modelo estadı́stico. Es fundamental en
inferencia porque indica la mejor precisión posible que puede alcanzar cualquier
estimador insesgado, dado el modelo y los datos.
Para un parámetro θ, la cota de Cramér-Rao dice que:
Var(θ̂) ≥
1
I(θ)
(5.26)
donde I(θ) es la información de Fisher, definida como:
2
∂ ln L(θ)
I(θ) = −E
∂θ2
(5.27)
En el caso de la regresión lineal normal, los estimadores de MCO/MV para los coeficientes β y la varianza σ 2 alcanzan la cota de Cramér-Rao bajo los supuestos
5.4. FUNCIÓN DE VEROSIMILITUD EN LA REGRESIÓN LINEAL NORMAL
45
clásicos (normalidad, independencia y homocedasticidad de los errores). Esto significa que son eficientes: tienen la menor varianza posible entre todos los estimadores
insesgados. Si los supuestos se cumplen, el estimador de MCO/MV es insesgado y
eficiente, y su varianza coincide con la cota de Cramér-Rao.
La cota de Cramér-Rao es útil para comparar estimadores y para saber cuándo un
estimador es óptimo en términos de varianza. Si los supuestos no se cumplen (por
ejemplo, errores no normales o heterocedasticidad), el estimador puede no alcanzar
la cota y no ser eficiente.
Matriz Hessiana y Matriz de Información de Fisher
La matriz Hessiana H(θ) es la matriz de segundas derivadas de la log-verosimilitud
respecto a los parámetros. Para el modelo lineal normal, con θ = (β, ln σ):
H(θ) =
∂ 2 ln L
∂β∂β ′
∂ 2 ln L
∂ ln σ∂β ′
∂ 2 ln L
∂β∂ ln σ
∂ 2 ln L
∂(ln σ)2
!
(5.28)
Donde:
N
X
xj x′j
∂ 2 ln L
=
−
exp(2 ln σ)
∂β∂β ′
j=1
N
X
∂ 2 ln L
(yj − xj β)2
=
−2
∂(ln σ)2
exp(2 ln σ)
j=1
N
X
(yj − xj β)
∂ 2 ln L
= −2
xj
∂β∂ ln σ
exp(2
ln
σ)
j=1
La matriz de información de Fisher I(θ) se define como el valor esperado negativo
de la matriz Hessiana:
I(θ) = −E [H(θ)]
(5.29)
Para el modelo lineal normal, bajo los supuestos clásicos, se tiene:
2
N
∂ ln L
1 X
E
=− 2
xj x′j
σ j=1
∂β∂β ′
2
∂ ln L
E
= −2N
∂(ln σ)2
2
∂ ln L
E
=0
∂β∂ ln σ
46
CAPÍTULO 5. MÁXIMA VEROSIMILITUD
Desarrollo de Máxima Verosimilitud en Forma Matricial
Considerando el modelo lineal en forma matricial:
y = Xβ + ϵ
(5.30)
donde y es el vector de observaciones (N × 1), X es la matriz de regresores (N × K),
β es el vector de parámetros (K × 1) y ϵ es el vector de errores.
Se asume ϵ ∼ N (0, σ 2 I), por lo que y ∼ N (Xβ, σ 2 I).
La función de densidad conjunta es:
1
1
′
exp − 2 (y − Xβ) (y − Xβ)
f (y|X, β, σ ) =
(2πσ 2 )N/2
2σ
2
(5.31)
La log-verosimilitud es:
ln L(β, σ 2 ) = −
N
1
N
ln(2π) − ln σ 2 − 2 (y − Xβ)′ (y − Xβ)
2
2
2σ
(5.32)
Derivadas Matriciales en Máxima Verosimilitud
Para obtener los estimadores de máxima verosimilitud en el modelo lineal normal en
forma matricial, se utilizan derivadas matriciales. Considerando la log-verosimilitud:
ln L(β, σ 2 ) = −
N
N
1
ln(2π) − ln σ 2 − 2 (y − Xβ)′ (y − Xβ)
2
2
2σ
(5.33)
Derivada respecto a β:
∂ ln L
1
= 2 X ′ (y − Xβ)
∂β
σ
(5.34)
Igualando a cero y despejando β:
X ′ X β̂ = X ′ y =⇒ β̂ M V = (X ′ X)−1 X ′ y
(5.35)
Este es el estimador de máxima verosimilitud para β, que coincide con el estimador
de MCO.
Derivada respecto a σ 2 :
∂ ln L
N
1
=− 2 +
(y − Xβ)′ (y − Xβ)
2
∂σ
2σ
2(σ 2 )2
(5.36)
5.4. FUNCIÓN DE VEROSIMILITUD EN LA REGRESIÓN LINEAL NORMAL
47
Igualando a cero y despejando σ 2 :
2
σ̂M
V =
1
(y − X β̂)′ (y − X β̂)
N
(5.37)
Este estimador de la varianza es el de máxima verosimilitud. Nota: difiere del estimador insesgado de MCO, que divide por N − K en vez de N .
Resumen:
Estimador MV de los coeficientes: β̂ M V = (X ′ X)−1 X ′ y
1
′
2
Estimador MV de la varianza: σ̂M
V = N (y − X β̂) (y − X β̂)
Ejercicio: Estimación de Parámetros por NewtonRaphson y Gauss-Newton
Consideremos el modelo lineal normal en forma matricial:
y = Xβ + ϵ
(5.38)
Supongamos que queremos estimar β usando métodos iterativos como NewtonRaphson y Gauss-Newton.
Método de Newton-Raphson
El método de Newton-Raphson para encontrar el máximo de la log-verosimilitud
consiste en iterar:
(5.39)
β (k+1) = β (k) − H −1 (β (k) )∇ ln L(β (k) )
donde H es la matriz Hessiana y ∇ ln L el gradiente (score).
Para el modelo lineal normal:
1 ′
X (y − Xβ)
σ2
1
H(β) = − 2 X ′ X
σ
∇ ln L(β) =
La actualización es:
β (k+1) = β (k) + (X ′ X)−1 X ′ (y − Xβ (k) )
(5.40)
48
CAPÍTULO 5. MÁXIMA VEROSIMILITUD
Método de Gauss-Newton
El método de Gauss-Newton es una simplificación de Newton-Raphson para modelos
no lineales, pero en el caso lineal coincide con la actualización anterior:
β (k+1) = β (k) + (X ′ X)−1 X ′ (y − Xβ (k) )
(5.41)
Ejemplo sencillo: Suponga que X y y son:


1 2


X = 1 3 
1 4
 
5
 
y = 6
7
Partimos de una estimación inicial β (0) =
!
0
y aplicamos la actualización:
0
β (1) = β (0) + (X ′ X)−1 X ′ (y − Xβ (0) )
(5.42)
Calculando X ′ X, X ′ y y realizando la iteración, obtenemos los parámetros estimados. En el caso lineal, ambos métodos convergen en una sola iteración al estimador
de MCO/MV.
5.4. FUNCIÓN DE VEROSIMILITUD EN LA REGRESIÓN LINEAL NORMAL
5.4.3.
49
Ejercicios Propuestos
1. Empleando la base de datos auto.dta, estime un modelo de regresión lineal por MV
del mpg respecto a price y weight. Compare sus resultados con la misma estimación
del modelo empleando MCC.
2. Sea la función de densidad tipo Bernoulli p(x) = θx (1 − θ)1−x y sea x̄ = n1
Pn
i=1 xi :
a) ¿Es insesgado el estimador x̄?
b) ¿Es consistente el estimador x̄?
c) Un estadı́stico propone el siguiente estimador bj =
este estimador?
Pn
i=1 xi +10
n+20
. ¿Es insesgado
d ) ¿Es consistente el estimador bj ?
3. Sea la siguiente función de densidad:

θz θ−1 , si 0 ≤ z ≤ 1
f (z; θ) =
0,
de otro modo
donde θ > 0. Se define B1 (θ) = E(z) y B2 (θ) = Pr(z > 0.97):
a) Calcule B1 (θ) y B2 (θ).
b) Calcule los estimadores de MV de B1 (θ) y B2 (θ). Llame a esos estimadores B̂1
y B̂2 .
4. Dada la siguiente distribución:
1
f (x) = e−x/θ
θ
a) Encontrar el estimador de MV θ̂.
b) Determine si la varianza del estimador insesgado alcanza la Cota de CramerRao.
5. Obtenga la condición de segundo orden del problema de Máxima Verosimilitud en
el Modelo Lineal Normal.
6. Sea f (θ, λ) = [θ + (2λ)] donde I(0 < θ < 3) y I(0 < λ < 1):
a) Estimar E(θ) y E(λ).
b) Encontrar el estimador de MV.
50
CAPÍTULO 5. MÁXIMA VEROSIMILITUD
Capı́tulo 6
Modelos de Elección Discreta
51
52
CAPÍTULO 6. MODELOS DE ELECCIÓN DISCRETA
6.1.
Modelo de Probabilidad Lineal (MPL)
El modelo de probabilidad lineal asume que la probabilidad de éxito es una función
lineal de los regresores:
(6.1)
P (yi = 1|xi ) = x′i β
donde xi es el vector de regresores y β el vector de parámetros. Se estima por MCO, pero
tiene limitaciones: puede predecir probabilidades fuera del rango [0,1] y los errores no son
homocedásticos.
Problemas asociados a la estimación por MCO
Predicción fuera de rango: El modelo puede producir valores estimados de probabilidad menores que 0 o mayores que 1, lo cual no tiene sentido probabilı́stico.
Heterocedasticidad: La varianza de los errores ui = yi − x′i β depende de x′i β, por
lo que los supuestos clásicos de MCO no se cumplen y los errores estándar pueden
ser incorrectos.
No normalidad de los errores: Los errores no son normales, ya que yi es binaria
y sólo toma valores 0 o 1.
Inferencia inválida: Las pruebas de hipótesis y los intervalos de confianza basados
en MCO pueden ser inválidos debido a la heterocedasticidad y no normalidad.
Interpretación limitada: La interpretación de los coeficientes como cambios marginales en la probabilidad puede ser incorrecta si la predicción está fuera de [0,1].
Acote de las predicciones fuera de [0,1]
Una solución práctica propuesta en la literatura (por ejemplo, Wooldridge) es acotar
las probabilidades estimadas que quedan fuera del rango [0,1]:
Si P̂ (yi = 1|xi ) < 0, se reporta como 0.
Si P̂ (yi = 1|xi ) > 1, se reporta como 1.
Esto evita interpretaciones absurdas, pero no resuelve los problemas fundamentales del
modelo: la heterocedasticidad, la no normalidad de los errores y la validez estadı́stica
de la inferencia. Además, distorsiona la interpretación de los coeficientes y los efectos
marginales.
6.1. MODELO DE PROBABILIDAD LINEAL (MPL)
53
Efectos marginales constantes
En el MPL, el efecto marginal de un regresor xj sobre la probabilidad estimada es
simplemente el coeficiente βj :
∂P (y = 1|x)
= βj
(6.2)
∂xj
Esto implica que el efecto marginal es constante para cualquier valor de x, lo cual es poco
razonable en la mayorı́a de aplicaciones, ya que en la práctica el impacto de un cambio
en x sobre la probabilidad suele depender del nivel de x y de los demás regresores. Los
modelos logit y probit permiten efectos marginales variables y más realistas.
Explicación matricial del estimador MCO en el MPL
En notación matricial, el modelo se escribe como:
y = Xβ + u
(6.3)
donde y es un vector de n observaciones binarias (0 o 1), X es la matriz de regresores y
β el vector de parámetros.
El estimador de mı́nimos cuadrados ordinarios es:
β̂M CO = (X′ X)−1 X′ y
(6.4)
Cuando y es binaria, β̂M CO sigue siendo la solución que minimiza la suma de los
residuos al cuadrado, pero ahora cada elemento de y es 0 o 1. Esto significa que el
estimador busca ajustar la media condicional de y dado X, interpretando E[y|X] como
la probabilidad de éxito.
Sin embargo, como y sólo toma valores 0 o 1, la interpretación de β̂ como probabilidades puede ser problemática fuera del rango [0,1], y los supuestos clásicos de MCO
(normalidad y homocedasticidad de los errores) no se cumplen.
Interpretación de X′ y cuando y es binaria
El producto X′ y tiene una interpretación especial en este contexto:
Cada elemento de X′ y es la suma de los valores del regresor correspondiente, pero
solo para las observaciones donde y = 1.
Por ejemplo, si una columna de X es el ingreso, el elemento correspondiente en X′ y
será la suma de los ingresos de los individuos para los que y = 1.
Esto significa que el estimador MCO está influenciado principalmente por las observaciones donde el evento ocurre (y = 1), lo que puede afectar la interpretación y
robustez del modelo.
54
6.2.
CAPÍTULO 6. MODELOS DE ELECCIÓN DISCRETA
Modelo Logit Binomial
El modelo logit utiliza la función logı́stica para asegurar que las probabilidades estén
en [0,1]:
exp(x′i β)
P (yi = 1|xi ) = Λ(x′i β) =
(6.5)
1 + exp(x′i β)
La función de verosimilitud para una muestra es:
n
Y
L(β) =
[Λ(x′i β)]yi [1 − Λ(x′i β)]1−yi
(6.6)
i=1
La estimación se realiza por máxima verosimilitud, resolviendo:
ℓ(β) =
n
X
[yi ln Λ(x′i β) + (1 − yi ) ln(1 − Λ(x′i β))]
(6.7)
i=1
Estimación numérica en el modelo logit
La función de verosimilitud del modelo logit binomial no tiene una solución analı́tica
cerrada para los parámetros β. Por esta razón, la estimación por máxima verosimilitud
requiere el uso de métodos numéricos iterativos, como el algoritmo de Newton-Raphson,
el método de Fisher scoring o algoritmos de optimización general. Estos métodos buscan el valor de β que maximiza la función de log-verosimilitud, calculando derivadas y
actualizando los parámetros hasta la convergencia.
Estimación de parámetros y el método de Newton-Raphson
En el modelo logit binomial, los parámetros β se estiman maximizando la función de
log-verosimilitud:
ℓ(β) =
n
X
[yi ln Λ(x′i β) + (1 − yi ) ln(1 − Λ(x′i β))]
(6.8)
i=1
El método de Newton-Raphson es un algoritmo iterativo que actualiza los valores de β
usando la derivada (score) y la segunda derivada (Hessiana) de la log-verosimilitud:
−1
β (k+1) = β (k) − H(β (k) )
S(β (k) )
(6.9)
donde S(β) es el vector score (gradiente de la log-verosimilitud) y H(β) es la matriz
Hessiana (segunda derivada). El proceso se repite hasta que los cambios en β sean suficientemente pequeños (convergencia).
6.2. MODELO LOGIT BINOMIAL
55
Test de razón de verosimilitud
Para evaluar la significancia global del modelo logit, se utiliza el test de razón de
verosimilitud. Se compara la log-verosimilitud del modelo estimado (ℓf ull ) con la logverosimilitud del modelo restringido (solo intercepto, ℓnull ):
LR = −2 [ℓnull − ℓf ull ]
(6.10)
Bajo la hipótesis nula, LR sigue una distribución chi-cuadrado con grados de libertad
igual al número de regresores. Un valor alto indica que el modelo con regresores explica
mejor los datos que el modelo solo con intercepto.
Pseudo R2
En modelos logit y probit, el R2 clásico no es aplicable. Se utiliza el pseudo R2 de
McFadden, basado en la log-verosimilitud:
2
RM
cF adden = 1 −
ℓf ull
ℓnull
(6.11)
Este indicador mide la mejora relativa del modelo respecto al modelo solo con intercepto.
Valores cercanos a 1 indican mejor ajuste, aunque en práctica valores entre 0.2 y 0.4 ya
se consideran buenos en modelos de elección binaria.
Criterios de información: Akaike (AIC) y Schwarz (BIC)
Para comparar modelos y penalizar la complejidad, se emplean los criterios de información:
Akaike (AIC): AIC = −2ℓf ull +2k, donde k es el número de parámetros estimados.
Schwarz (BIC): BIC = −2ℓf ull + k ln(n), donde n es el número de observaciones.
Valores más bajos de AIC y BIC indican mejor ajuste penalizando la complejidad del
modelo.
R2 de conteo
El R2 de conteo mide la proporción de observaciones correctamente clasificadas por el
modelo. Se calcula como:
2
Rconteo
=
número de casos correctamente predichos
n
(6.12)
Para cada observación, se predice y = 1 si la probabilidad estimada es mayor a 0.5, y
y = 0 en caso contrario. Este indicador es útil para evaluar la capacidad predictiva del
modelo, aunque puede ser sensible al desbalance de clases.
56
CAPÍTULO 6. MODELOS DE ELECCIÓN DISCRETA
Interpretación de coeficientes, efectos marginales, elasticidades y
odds ratio
En el modelo logit binomial, los coeficientes β no se interpretan directamente como
cambios en la probabilidad. La relación entre los regresores y la probabilidad es no lineal:
P (y = 1|x) = Λ(x′ β)
(6.13)
Por eso, para interpretar el impacto de un regresor se utilizan:
Efectos marginales: Miden el cambio en la probabilidad ante un cambio pequeño
en el regresor, y dependen del valor de x. Se calculan como:
∂P (y = 1|x)
= Λ(x′ β)[1 − Λ(x′ β)]βj
∂xj
(6.14)
Elasticidades: Miden el cambio porcentual en la probabilidad ante un cambio
porcentual en el regresor. La elasticidad de la probabilidad respecto a xj se calcula
como:
∂P (y = 1|x)
xj
εj =
·
= [1 − Λ(x′ β)]βj xj
(6.15)
∂xj
P (y = 1|x)
Odds ratio: En el logit, exp(βj ) representa el cambio multiplicativo en el odds
(razón de probabilidades) por un cambio unitario en xj .
La interpretación debe hacerse con cuidado, considerando el valor de los regresores y la
no linealidad del modelo. Los coeficientes no son efectos marginales ni elasticidades, y el
odds ratio solo tiene sentido en el contexto de la función logı́stica.
6.3.
Modelo Probit Binomial
El modelo probit utiliza la función de distribución acumulada de la normal estándar:
P (yi = 1|xi ) = Φ(x′i β)
(6.16)
donde Φ es la CDF de la normal estándar. La función de verosimilitud es:
n
Y
L(β) =
[Φ(x′i β)]yi [1 − Φ(x′i β)]1−yi
(6.17)
i=1
La estimación también se realiza por máxima verosimilitud:
ℓ(β) =
n
X
i=1
[yi ln Φ(x′i β) + (1 − yi ) ln(1 − Φ(x′i β))]
(6.18)
6.3. MODELO PROBIT BINOMIAL
57
Estimación numérica en el modelo probit
La función de verosimilitud del modelo probit binomial tampoco tiene una solución
analı́tica cerrada para los parámetros β. Por ello, la estimación por máxima verosimilitud
requiere métodos numéricos iterativos, como Newton-Raphson o Fisher scoring, similares
a los usados en el logit.
Test de razón de verosimilitud y pseudo R2
Se aplican los mismos criterios que en el logit: el test de razón de verosimilitud compara
la log-verosimilitud del modelo completo y el restringido, y el pseudo R2 de McFadden se
calcula igual:
ℓf ull
2
(6.19)
RM
cF adden = 1 −
ℓnull
Criterios de información y R2 de conteo
Se emplean los criterios de Akaike (AIC), Schwarz (BIC) y el R2 de conteo de la misma
forma que en el logit.
Interpretación de coeficientes, efectos marginales y elasticidades
En el modelo probit binomial, los coeficientes β tampoco se interpretan directamente
como cambios en la probabilidad. La relación entre los regresores y la probabilidad es:
P (y = 1|x) = Φ(x′ β)
(6.20)
Los efectos marginales se calculan como:
∂P (y = 1|x)
= ϕ(x′ β)βj
∂xj
(6.21)
donde ϕ es la función de densidad de la normal estándar. La elasticidad se calcula como:
εj =
∂P (y = 1|x)
xj
ϕ(x′ β)βj xj
·
=
∂xj
P (y = 1|x)
Φ(x′ β)
(6.22)
La interpretación debe hacerse considerando la no linealidad y el valor de los regresores.
Elasticidad cruzada
La elasticidad cruzada mide el cambio porcentual en la probabilidad respecto a un
cambio porcentual en otro regresor xk :
En el modelo logit:
εlogit
=
jk
∂P (y = 1|x)
xk
·
= [1 − Λ(x′ β)]βk xk
∂xk
P (y = 1|x)
(6.23)
58
CAPÍTULO 6. MODELOS DE ELECCIÓN DISCRETA
En el modelo probit:
εprobit
=
jk
ϕ(x′ β)βk xk
Φ(x′ β)
(6.24)
La elasticidad cruzada se interpreta como el efecto porcentual de un cambio en xk sobre
la probabilidad estimada, manteniendo los demás regresores constantes.
6.4.
Comparación y propiedades
El MPL es sencillo pero puede predecir probabilidades fuera de [0,1].
Logit y probit garantizan probabilidades válidas y tienen mejores propiedades estadı́sticas.
Logit tiene una interpretación en términos de odds ratio; probit en términos de la
normal estándar.
Todos se estiman por máxima verosimilitud (excepto MPL, que usa MCO).
Iteraciones de Newton-Raphson en el modelo logit
En la estimación del modelo logit, el algoritmo de Newton-Raphson actualiza los
parámetros en cada iteración hasta la convergencia. Un ejemplo tı́pico de las iteraciones es:
Optimization terminated successfully.
Current function value: 0.601000
Iterations 5
Esto indica que el algoritmo alcanzó la solución óptima en 5 iteraciones.
Ejemplo en Python: estimación de MPL, logit y probit
import numpy as np
import pandas as pd
import statsmodels.api as sm
# Datos simulados
np.random.seed(1)
x = np.random.normal(size=100)
X = sm.add_constant(x)
beta_true = [0.5, 1.2]
lin_pred = X @ beta_true
6.4. COMPARACIÓN Y PROPIEDADES
59
prob = 1/(1 + np.exp(-lin_pred))
y = np.random.binomial(1, prob)
# Modelo de probabilidad lineal (MPL)
mpl = sm.OLS(y, X).fit()
print(mpl.summary())
# Modelo logit
logit = sm.Logit(y, X).fit()
print(logit.summary())
# Modelo probit
probit = sm.Probit(y, X).fit()
print(probit.summary())
Resultados comparativos de los tres modelos
Modelo Constante x1 R2 /Pseudo R2 LogLik ini. AIC BIC ℓ(β) Prueba Estad. p-val
MPL
0.55
0.22
0.156
-69.31
130.8 136.0 -63.39
F
18.09 0.0037
Logit
0.22
1.07
0.133
-69.31
124.2 129.4 -60.10 LR
18.42 0.0001
Probit
0.14
0.65
0.134
-69.31
124.2 129.4 -60.09 LR
18.44 0.0001
Cuadro 6.1: Comparación de resultados y estadı́sticos de MPL, logit y probit. El log
likelihood inicial corresponde al modelo sólo con constante.
Nota: Para el MPL, la suma total de cuadrados (SST) es 24.64 y la suma explicada de cuadrados (SSR) es 3.84. El R2
reportado corresponde a SSR/SST = 0.156.
Interpretación: Los modelos logit y probit presentan mejores medidas de ajuste
(menor AIC/BIC) y coeficientes más grandes que el MPL. El MPL puede subestimar el
efecto de los regresores y sus medidas de ajuste son menos confiables. Los modelos no
lineales son preferibles para variables dependientes binarias.
Probabilidades promedio y efectos en el punto medio
Interpretación:
Probabilidad promedio: Los tres modelos (MPL, logit y probit) predicen una
probabilidad de éxito muy similar para el individuo promedio (x1 promedio), en
torno a 0.56–0.57. Esto muestra que, para valores centrales de los regresores, las
diferencias prácticas entre modelos son mı́nimas.
Efecto marginal: En el MPL, el efecto marginal es constante e igual al coeficiente
de x1 (0.22). En el logit, el efecto marginal depende de la probabilidad estimada y
es mayor (0.26), reflejando la no linealidad y mayor sensibilidad del modelo en el
punto medio.
60
CAPÍTULO 6. MODELOS DE ELECCIÓN DISCRETA
Elasticidad: La elasticidad mide el cambio porcentual en la probabilidad ante un
cambio porcentual en x1 . Es baja en ambos modelos, lo que indica que la probabilidad promedio es poco sensible a variaciones en x1 .
Odds ratio (logit): El odds ratio de 2.93 en el logit indica que, por cada unidad adicional en x1 , la razón de probabilidades de éxito se multiplica por casi 3,
manteniendo los demás regresores constantes.
Probit: El modelo probit predice una probabilidad promedio prácticamente igual a
logit, lo que confirma la robustez de ambos enfoques para datos binarios. El efecto
marginal y elasticidad en probit requieren cálculo adicional, pero suelen ser similares
en magnitud al logit en el punto medio.
Modelo Prob. promedio Efecto marginal Elasticidad Odds ratio
MPL
0.5600
0.22
0.0238
–
Logit
0.5717
0.2631
0.0279
2.93
Probit
0.5706
0.2546
0.0270
–
Cuadro 6.2: Estimación de probabilidades promedio, efecto marginal, elasticidad y odds
ratio (cuando corresponde) en el punto medio (x1 promedio = 0.0606).
extbfFórmulas:
Probabilidad MPL: P = Xmean β̂
Probabilidad Logit: P =
1
1+exp(−Xmean β̂)
Probabilidad Probit: P = Φ(Xmean β̂)
Efecto marginal Logit: β̂1 · P · (1 − P )
Efecto marginal Probit: β̂1 · ϕ(Xmean β̂)
Elasticidad Logit: Efecto marginal · x1 /P
Elasticidad Probit: Efecto marginal · x1 /P
Odds ratio Logit: exp(β̂1 )
Matriz de confusión para MPL, Logit y Probit
La matriz de confusión permite evaluar la capacidad de clasificación de los modelos
binarios. Para cada modelo, se predice y = 1 si la probabilidad estimada es mayor a 0.5,
y y = 0 en caso contrario. Los resultados tı́picos (simulados) son:
Modelo
MPL
Logit
Probit
Verdaderos Positivos
29
30
30
Falsos Positivos
13
12
12
Verdaderos Negativos
49
50
50
Falsos Negativos
9
8
8
R2 conteo
0.78
0.80
0.80
Cuadro 6.3: Ejemplo de matriz de confusión para los tres modelos (simulación).
6.4. COMPARACIÓN Y PROPIEDADES
61
Interpretación: Logit y probit suelen clasificar mejor que MPL, con menos falsos
positivos y negativos. La matriz de confusión permite calcular indicadores como precisión,
sensibilidad y especificidad.
Regresión Lasso y Ridge para modelos binarios
Las regresiones Lasso, Ridge y redes elásticas son técnicas de regularización que pueden
aplicarse a modelos binarios (como logit y probit) para mejorar la selección de variables
y evitar el sobreajuste.
Lasso (Least Absolute Shrinkage and Selection Operator): Agrega una penaP
lización λ |βj | a la función de verosimilitud. Puede llevar a que algunos coeficientes
se reduzcan exactamente a cero, realizando selección automática de variables.
P
Ridge: Agrega una penalización λ βj2 a la función de verosimilitud. Reduce la
magnitud de los coeficientes pero no los elimina, ayudando a controlar la multicolinealidad y el sobreajuste.
P
Redes elásticas (Elastic Net): Combinan ambas penalizaciones: λ1 |βj | +
P
λ2 βj2 . Permiten selección de variables y control de multicolinealidad, siendo útiles
cuando hay muchas variables correlacionadas.
Aplicación: En modelos logit y probit, la regularización se implementa modificando
la función de verosimilitud para incluir el término de penalización. Los parámetros
λ se seleccionan mediante validación cruzada.
Comparación de ventajas y desventajas:
Lasso: Selecciona automáticamente variables relevantes, útil para modelos dispersos. Puede ser inestable si hay alta correlación entre variables.
Ridge: No elimina variables, pero estabiliza los coeficientes y es robusto ante multicolinealidad. No realiza selección automática.
Redes elásticas: Combinan lo mejor de Lasso y Ridge, seleccionando variables y
estabilizando coeficientes en presencia de multicolinealidad. Requieren ajustar dos
parámetros (λ1 , λ2 ).