Estimación Puntual de Parámetros

Comisión Económica para América Latina y el Caribe (CEPAL)
División de Estadísticas y Proyecciones Económicas (DEPE)
Centro de Proyecciones Económicas (CPE)
Estimación Puntual de Parámetros
Christian A. Hurtado Navarro
Mayo, 2006
Estimación Puntual.
Introducción
En un problema estadístico, donde los datos fueron generados a partir de
una
distribución
Inferencia
de
probabilidad
Estadística
permiten
F(x)
desconocida,
señalar
algo
los
métodos
respecto
de
de
esta
distribución.
En presencia de una muestra, se supone que la distribución de donde
proviene no es totalmente desconocida - por ejemplo pertenece a una
determinada familia de distribuciones teóricas - entonces solamente uno o
varios
parámetros
que
definen
la
familia
de
distribuciones
son
desconocidos. En este caso, la teoría de estimación, tiene por objetivo
dar valores a estos parámetros a partir de los valores muestrales.
La
elección
de
consideraciones
la
familia
teóricas
o
de
bien
distribuciones
de
la
se
hace
distribución
a
de
partir
de
frecuencias
empírica.
Los
parámetros
desconocidos
son
constantes
que
toman
valores
espacio Ω llamado espacio de parámetros, por ejemplo:
N (μ ,1)
(
N μ,σ 2
Exp(β )
Ω=ℜ
)
Ω = ℜ × ]0,+∞[
Ω = ]0,+∞[
Material de docente de uso exclusivo de los alumnos del curso de Econometría Básica, CEPAL.
en
un
Ω = [0,1]
B(10, p )
Sean x1,x2,…,xn valores muestrales obtenidos sobre una muestra aleatoria
simple
de
una
v.a.
x
de
función
de
f (x θ ) ,
densidad
en
θ
que
es
desconocido. La estimación puntual, busca elegir un valor para θ a partir
de los valores muestrales. Es decir se tiene que definir una función
δ : ℜ → Ω , que es un estadístico llamado estimador de θ. El valor tomado
por
esta
función
sobre
una
muestra
particular
de
tamaño
n
es
una
estimación. Otra forma de estimar un parámetro consiste en buscar no un
sólo valor para θ, sino un conjunto de valores, un intervalo en general,
en el cual se tiene alta probabilidad de encontrar. Es el método de
estimación por intervalo. Procediendo así, tratamos de estimar el valor
de los parámetros, que son considerados como constantes, a partir de
estadísticos que son aleatorios.
Para
elegir
definir
entre
varios
criterios
de
estimadores
comparación.
de
Los
un
mismo
métodos
de
parámetro
estimación
hay
son:
que
el
método de los momentos y el método de máxima verosimilitud.
1. Método de los Momentos.
Recordemos que el momento no centrado de orden k de una v.a. x, se
define como
mk = E [x k ] , y el momento centrado de orden k de dicha
v.a. se define como
[
]
μ k = E x − E (x )k . Para definir estimadores para
estos parámetros se sigue el siguiente procedimiento:
9
Dado que la información que tenemos acerca de la v.a. x procede
de una muestra aleatoria simple x1,x2,…,xn, se supone entonces
que x es una v.a. discreta que toma únicamente dichos valores
con una probabilidad igual a la frecuencia relativa observada
(evidentemente se trata sólo de una aproximación que será mejor
o
peor
en
función
del
tamaño
de
la
muestra
y
de
las
características de x).
9
Para estimar un momento de x se calcula el momento teórico
correspondiente a la v.a. discreta definida en el paso anterior.
A los estimadores de los momentos que resultan de aplicar este
procedimiento los denominaremos momentos muestrales. De este modo,
los
momentos
muestrales
correspondientes
a
los
momentos
centrados se definen de acuerdo con la siguiente expresión:
Material de docente de uso exclusivo de los alumnos del curso de Econometría Básica, CEPAL.
no
Momentos de orden k respecto al origen, mk.
+∞
[ ]= ∫ x
mk = E x
k
k
f (x )dx
−∞
Momentos de orden k respecto a la media.
[
+∞
] ∫ (x − μ )
mk = E (x − μ ) =
k
k
f (x )dx
−∞
2. Método de Máxima Verosimilitud.
Sean
x1,x2,…,xn
los
valores
muestrales
de
una
muestra
aleatoria
simple de una v.a. de densidad o función de probabilidad
f (x θ ) en
que θ ∈ Ω , el espacio de parámetros.
Se llama función de verosimilitud a la densidad conjunta o función
de
probabilidad
del
vector
aleatorio
formado
de
los
valores
muestrales (x1,x2,…,xn), se denota f n (x1 , x 2 , K , x n θ ) .
Como
los
valores
f n (x1 , x 2 , K , x n θ )
muestrales
son
independientes,
se
tiene,
n
∏ f (x θ ) .
n
i
i 1
Un estimador del parámetro θ basado en una muestra de tamaño n es
una función δ de los valores muestrales x1,x2,…,xn a valores en el
espacio de parámetro Ω. El valor que toma el estimador δ sobre una
muestra
estimador
x1,x2,…,xn
de
se
Máxima
llama
estimación
Verosimilitud
función de verosimilitud
es
el
o
valor
estimador
estimado.
que
hace
El
la
f n (x1 , x 2 , K , x n θ ) máxima. Tal estimador puede
entonces no ser único, o bien no existir.
Propiedades del Estimador de Máxima Verosimilitud
No es fácil encontrar buenos estimadores - insesgados, de varianza
minimal; de hecho estas dos propiedades pueden ser antagónicas en
Material de docente de uso exclusivo de los alumnos del curso de Econometría Básica, CEPAL.
el sentido que a buscar eliminar el sesgo se aumenta la varianza.
Por
otro
varianza
lado
es
la
búsqueda
relacionada
de
estimadores
con
la
insesgados
existencia
de
de
mínima
estadísticos
suficientes.
Cuando existe, el estimador de Máxima Verosimilitud tiene algunas
propiedades interesantes:
9
Generalmente es consistente;
9
Es asintóticamente normal;
9
No es siempre insesgado, pero lo es asintóticamente;
9
Es función de un estadístico suficiente, cuando existe uno;
9
Entre todos los estimadores asintóticamente insesgados, tiene
la varianza asintóticamente más pequeña (es eficiente).
9
Si el E.M.V. es un estadístico suficiente, entonces es un
estadístico suficiente minimal.
Tiene la propiedad de invarianza: Si θˆ
9
Máxima
Verosimilitud
biyectiva,
del
entonces
parámetro
()
g θˆ
es
el
θ
es el Estimador de
y
si
Estimador
g :Ω → Ω
de
es
Máxima
Verosimilitud de g(θ).
En resumen, al considerar x distribuida de acuerdo a f(x;θ) donde
es θ un parámetro (o vector de parámetros) desconocido. El método
de máxima verosimilitud es una técnica para estimar los valores de
θ dada una muestra finita de datos. Supongamos n medidas de x, x1,
x2,…,xn. Puesto que las medidas son independientes, la probabilidad
de que x1 esté en [x1,x1+Δx1], x2 en [x2,x2+Δx2], si la pdf y el (los)
parámetro(s)
probabilidad
describen
para
los
realmente
datos
que
los
hemos
datos,
esperamos
alta
medido.
Análogamente
un
parámetro cuyo valor se desvíe mucho del auténtico resultará en
baja
probabilidad
para
las
medidas
observadas.
La
probabilidad
máxima para la pdf y parámetros correctos, es:
L(θ ) =
n
∏ f (x ;θ )
i
i =1
Se
definen
los
estimadores
de
máxima
verosimilitud
de
los
parámetros como aquellos que maximizan la función de verosimilitud:
∂L
=0
∂θ i
Material de docente de uso exclusivo de los alumnos del curso de Econometría Básica, CEPAL.
La definición no garantiza que los estimadores MV sean “óptimos” en
absoluto! En general, sin embargo, suelen ser la aproximación más
aceptable al problema de estimar parámetros.
Ejemplo 1.
El número(X) de grietas que presentan los tensores de concreto se
distribuye Poisson, con parámetro θ . Se toma una muestra aleatoria
de 40 tensores de concreto y se registra el número de grietas que
presenta cada tensor, obteniendo la siguiente información:
N° de grietas
0
Cantidad de tensores
4
9 Determine el EMV de θ.
9
1
10
2
11
3
8
4
4
5
2
6
1
Calcule la estimación máxima verosímil con los datos de la
tabla.
Solución:
9
Para calcular el estimador máximo verosímil debemos calcular
la
función
de
verosimilitud.
verosimilitud
verosimilitud
Para
es
el
L(θ ) =
verosimilitud es l (θ ) =
modelo
θ∑
i =1
Xi
enθ
n
∏ X i!
i =1
n
∑X
y
i
,
la
función
Poisson
la
y
la
de
log-
función
función
de
de
log-
n
ln(θ ) + nθ − ln( ∏ X i !) . Se puede mostrar
i =1
n
que el estimador de máxima verosimilitud es θˆMV =
9
∑X
i =1
n
i
=X.
La estimación máximo verosímil es θˆMV = 2.2
Ejemplo 1.
Calcular los Estimadores de Máxima Verosimilitud de la media y
varianza de una distribución normal.
Solución.
La función de distribución normal tiene la forma:
(
f x, μ , σ
2
)=
1
2πσ 2
−
e
1 ( xi − μ )2
2 σ2
La función de verosimilitud es por tanto igual a:
Material de docente de uso exclusivo de los alumnos del curso de Econometría Básica, CEPAL.
(
Lf x, μ , σ
)= ∏
n
2
i =1
(
Lf x, μ , σ
⎛
⎜
2
⎜ 2πσ
⎜
⎝
)= ∏ (
n
2
1 ( xi − μ )2
⎛
−
1
⎜
2
e 2 σ
⎜
2
⎜ 2πσ
⎝
i =1
)
−
⎞
⎟
⎟
⎟
⎠
2
1 − 1 ( xi − μ )
2
2
σ
2e
⎞
⎟
⎟
⎟
⎠
n
(
) (
Lf x, μ , σ 2 = 2πσ 2
)
−
n
2
−
e
∑ ( xi − μ )2
1
i =1
σ2
2
donde el logaritmo de la función de verosimilitud es:
2
∑ (xi − μ )
n
(
)
( )
1
n
n
Lf x, μ , σ 2 = − ln (2π ) − ln σ 2 −
2
2
2
i =1
σ2
Derivando con respecto a μ e igualando a cero se tiene:
(
∂Lf x, μ , σ
∂μ
2
)=
∑ (xi − μ )
n
i =1
σ2
=0
∑ ( x i ) − nμ = 0
n
i =1
∑ ( xi )
n
μ=
i =1
n
=x
Derivando con respecto a σ2 e igualando a cero se tiene:
(
∂Lf x, μ , σ
∂σ
2
2
)=−
2
∑ (xi − μ )
n
n
2σ
2
+
i =1
2σ 4
=0
2
∑ (xi − μ )
n
σ2 =
i =1
n
3. Método de Mínimos Cuadrados.
Supongamos que hemos medido un conjunto de pares de datos (xi,yi) en
una experiencia, por ejemplo, la posición de un móvil en ciertos
instantes de tiempo.
Queremos obtener una función y=f(x) que se ajuste lo mejor posible
a los valores experimentales. Se pueden ensayar muchas funciones,
rectas, polinomios, funciones potenciales o logarítmicas.
Una
vez
establecido
la
función
a
ajustar
se
determina
sus
parámetros, en el caso de un polinomio, serán los coeficientes del
Material de docente de uso exclusivo de los alumnos del curso de Econometría Básica, CEPAL.
polinomio de modo que los datos experimentales se desvíen lo menos
posible de la fórmula empírica.
La función más sencilla es
la función lineal y=ax+b que hemos
tratado en la página anterior. El procedimiento de ajustar los
datos
experimentales
a
una
línea
recta
se
denomina
regresión
lineal.
Polinomio aproximador.
Queremos aproximar un polinomio de grado n, a un conjunto de m
pares de datos (xi,yi) de modo que n ≤ m.
Sea el polinomio
P(x)=a0+a1x1+a2x2+…+anxn
Se calcula la cantidad:
Para
obtener
aproximador
los
se
valores
tienen
de
que
los
coeficientes
determinar
los
del
valores
polinomio
de
los
coeficientes a0,a1,a2,…,an de forma que la cantidad S tome un valor
mínimo.
Tomando derivadas parciales de S respecto de a0,a1,a2,…,an iguales a
cero:
(1)
Segundo grado y=a0+a1x+a2x2
x
x0
x1
x2
x3
y
y0
y1
y2
y3
Las ecuaciones (1) se escribirán
Material de docente de uso exclusivo de los alumnos del curso de Econometría Básica, CEPAL.
Agrupando términos
Introduzcamos las expresiones
(2)
Se obtiene el siguiente sistema de n ecuaciones con n incógnitas
(3)
Si todos los puntos son distintos, el sistema de ecuaciones tiene
una solución única.
Material de docente de uso exclusivo de los alumnos del curso de Econometría Básica, CEPAL.