Métodos Estad´ısticos de la Ingenier´ıa Tema 9: Inferencia Estad

Métodos Estadı́sticos de la Ingenierı́a
Tema 9: Inferencia Estadı́stica,
Estimación de Parámetros
Grupo B
Área de Estadı́stica e Investigación Operativa
Licesio J. Rodrı́guez-Aragón
Abril 2010
Contenidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Inferencia y Estimación
3
Inferencia Estadı́stica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Propiedades de los Estimadores
Estimadores Centrados . . . . . . .
Estimadores Consistentes . . . . .
Eficiencia . . . . . . . . . . . . . . . .
Suficiencia . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Estimación Puntual
Estimación Puntual . . . . .
Método de los Momentos .
Ejemplos . . . . . . . . . . . .
Máxima Verosimilitud . . .
Ejemplo . . . . . . . . . . . . .
Estimación por Intervalos .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
.
.
.
.
5
6
7
8
9
10
11
12
13
14
15
16
Contenidos
Inferencia y Estimación.
Propiedades de los Buenos Estimadores.
Métodos de Estimación Puntual: Momentos, Máxima Verosimilitud, (Moments and Maximum
Likelihood).
Estimación por Intervalos.
Iniciamos en este punto el estudio estadı́stico de Poblaciones, mediante la elección de una
Muestra, de la que inferiremos caracterı́sticas de toda la Población.
The mathematical study of the likelihood and probability of events occurring based on known
information and inferred by taking a limited number of samples.
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 2 / 16
3 / 16
Inferencia y Estimación
Inferencia Estadı́stica
Sea una Variable Aleatoria o Carácter observable X, con Funciones de Probabilidad o Densidad f
según sea Discreta o Contı́nua, y Función de Distribución F .
Estas funciones dependen en general de uno o más parámetros: λ, n, p, µ, σ, n, m, etc.
La Inferencia Estadı́stica consiste en obtener información sobre estos parámetros a partir de los
valores X1 , X2 , . . . , Xn obtenidos de observar la Variable Aleatoria X en una muestra de tamaño n.
Una Muestra Aleatoria Simple (m.a.s.), Sample, es la formada por X1 , X2 , . . . , Xn , Variables
Aleatorias Independientes e Idénticamente Distribuidas.
Se llama Estadı́stico a cualquier función de las observaciones muestrales T = T (X1 , X2 , . . . , Xn ). La
distribución de la Variable Aleatoria T dependerá, en general, de los parámetros de la población.
Un ejemplo de Estadı́stico es la media muestral x.
Los Estimadores, Estimators, son Estadı́sticos, y por lo tanto Variables Aleatorias, utilizados para
estimar parámetros de las poblaciones.
Por ejemplo estimar la media µ de una distribución normal a través de la media muestral x.
Los Estimadores que proporcionan un único valor para el parámetro se denominan Estimadores
Puntuales, mientras que los que proporcionan un intervalo de valores se denominan Estimadores por
Intervalos.
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 4 / 16
2
5 / 16
Propiedades de los Estimadores
Estimadores Centrados
Sea θ̂ un Estadı́stico que usaremos para estimar el parámetro poblacional θ.
Se dice que θ̂ es un estimador Centrado o Insesgado, Unbiased, de θ si se verifica que E(θ̂) = θ.
Por el contrario se dice que el estimador es Sesgado, Biased, si E(θ̂) = θ + b(θ), denominándose
Sesgo del Estimador a la cantidad b(θ), Bias.
Ejemplo:
E(S 2 ) =
(n − 1) 2
σ ,
n
mientras que
E(Sc2 ) = σ 2 .
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 6 / 16
Estimadores Consistentes
Un Estadı́stico θ̂ utilizado para estimar θ es Consistente, Consistent, si para n tendiendo a infinito
(tamaño muestral), se verifica que θ̂ −→ θ en probabilidad, para lo que es suficiente:
Que sea asintóticamente centrado, E(θ̂) −→ θ.
Que la varianza tienda a cero, Var(θ̂) −→ 0.
Sirva como ejemplo:
n−1 2
σ −→ σ 2 , cuando n −→ ∞
n
2(n − 1) 4
σ −→ 0, cuando n −→ ∞
Var(S 2 ) =
n2
E(S 2 ) =
Por lo que la Varianza Muestral es un Estimador Consistente de la Varianza Poblacional σ 2 , también
lo es la Cuasivarianza Muestral.
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 7 / 16
3
Eficiencia
Si para estimar el mismo parámetro θ disponemos de varios estimadores θ̂1 y θ̂2 , diremos que θ̂2 es
más Eficiente, Efficient, que θ̂1 , si la varianza del primero es menor que la varianza del segundo:
Var(θ̂2 ) < Var(θ̂1 ).
La Eficiencia Relativa de θ̂2 respecto de θ̂1 , se define como el cociente entre ambas Varianzas:
eff(θ2 |θ1 ) =
Var(θ̂1 )
Var(θ̂2 )
Para estimar σ 2 , podemos usar S 2 o Sc2 :
Var(S 2 ) =
2(n − 1) 4
σ ,
n2
Var(Sc2 ) =
2
σ4
(n − 1)
eff(S 2 |Sc2 ) = n2 /(n − 1)2
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 8 / 16
Suficiencia
Un Estimador θ̂ del parámetro θ es Suficiente, Sufficiency, si contiene tanta información como la
contenida en la propia muestra, de forma que ningún otro estimador pueda proporcionar información
adicional sobre el parámetro desconocido de la población.
Se dice que un Estadı́stico T (X1 , X2 , . . . , Xn ) es Suficiente para θ si la distribución de
X1 , X2 , . . . , Xn dado T es independiente del valor del parámetro θ.
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 9 / 16
4
10 / 16
Estimación Puntual
Estimación Puntual
La Estimación Puntual es el método más elemental, basado en asignar los valores obtenidos de la
muestra (estadı́sticos) a toda la población (parámetros).
Esta teorı́a fue desarrollada por R. A. Fisher (1890-1962).
Los métodos de Estimación Puntual buscan un estimados, en base a los datos muestrales, que
proporcione un único valor del valor del parámetro.
Estimar un parámetro θ no es más que dar una función de las observaciones que no dependa del
parámetro desconocido,
θ̂ = θ̂(X1 , X2 , . . . , Xn ).
Cada valor de la muestra asigna un valor al parámetro θ. La función se denomina Estimador y cada
valor proporcionado Estimaciones del parámetro.
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 11 / 16
Método de los Momentos
Este método fue propuesto por Pearson (1857-1936) y consiste en igualar un determinado número de
momentos teóricos de la distribución de la población con los correspondientes momentos muestrales,
para obtener una o varias ecuaciones que, resueltas, permitan estimar los parámetros desconocidos de
la distribución poblacional, Generalized Method of Moments.
Sea X1 , X2 , . . . , Xn una m.a.s. de una distribución con función de densidad f (x; θ1 , θ2 ).
Como tenemos 2 parámetros, tomemos los dos primeros momentos respecto al origen,
n
1X
Xi =
n
i=1
Z
n
∞
1X 2
Xi =
n
xf (x; θ1 , θ2 )dx,
−∞
i=1
Licesio J. Rodrı́guez-Aragón
Z
∞
x2 f (x; θ1 , θ2 )dx
−∞
Tema 9, M.E.I. – 12 / 16
5
Ejemplos
Población Binomial, X ≡ B(m, p), siendo E(X) = mp.
p̂ =
1
1 1X
·
X=
Xi .
m
m n
Población de Poisson, X ≡ P(λ), siendo E(X) = λ.
λ̂ = X =
1X
Xi .
n
Población Normal, X ≡ N (µ, σ), siendo E(X) = µ y Var(X) = σ 2 .
µ̂ = X =
2
σ̂ 2 = S 2 = X 2 − X , ó
1X
Xi .
n
σ̂ 2 = Sc2 =
n
2
(X 2 − X )
n−1
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 13 / 16
Máxima Verosimilitud
El método de Máxima Verosimilitud, Maximum Likelihood, tiene la propiedad de seleccionar como
estimación, el valor del parámetro que maximiza el valor de la probabilidad de la muestra aleatoria
observada.
El método consiste en encontrar el valor del parámetro que maximiza el valor de la función de
verosimilitud.
Para una muestra aleatoria simple X1 , X2 , . . . , Xn de una distribución con función de probabilidad o
de densidad f (x; θ), la función L, se denomina Función de Verosimilitud de la Muestra:
L(θ; X1 , X2 , . . . , Xn ) =
n
Y
f (Xi ; θ)
i=1
El Estimador Máximo Verosı́mil, θ̂, debe satisfacer la ecuación,
L(θ̂; X1 , X2 , . . . , Xn ) = max L(θ; X1 , X2 , . . . , Xn ),
θ∈Θ
siendo θ ∈ Θ el Espacio Paramétrico, conjunto de posibles valores de θ.
El Método de Máxima Verosimilitud tiene la propiedad de proporcionar estimadores que son funciones
de estadı́sticos suficientes, si y sólo si el Estimador de Máxima Verosimilitud es único.
Debido a la naturaleza de la función L, suele ser más fácil maximizar log(L).
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 14 / 16
6
Ejemplo
Supongamos que X1 , X2 , . . . , Xn constituye una m.a.s. de una distribución normal, N (µ, σ), de la
que se desconocen su media y varianza.
Obtendremos mediante el Método de Máxima Verosimilitud estimadores de la media y la varianza.
La función de densidad de una distribución N (µ, σ), es
1
(x − µ)2
f (x; µ, σ) = √ exp −
,
2σ 2
σ 2π
y por lo tanto la Función de Máxima Verosimilitud de la m.a.s. dada será,
L(µ, σ; X1 , X2 , . . . , Xn ) =
n
Y
f (Xi ; µ, σ) =
i=1
Pn
(Xi − µ)2
1
= √
exp − i=1 2
2σ
(σ 2π)n
Tomando logaritmos y operando, tendremos,
n
n
log(L(µ, σ)) = − log(σ 2 ) − log(2π) −
2
2
Pn
i=1 (Xi −
2σ 2
µ)2
Deseamos obtener los estimadores µ̂ y σ̂ 2 que maximicen log(L):
∂ log(L(µ, σ))
= 0,
∂µ
∂ log(L(µ, σ))
= 0.
∂σ 2
Operando, se obtiene:
n
µ̂ = X, y
σ̂ 2 =
1X
(Xi − X)2 .
n
i=1
Con lo que los Estimadores Máximo Verosı́miles son la media y la varianza muestrales.
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 15 / 16
Estimación por Intervalos
El estimador más eficiente, es improbable que estime con exactitud el valor del parámetro de la
población.
Una estimación por intervalos, de un parámetro θ, es un intervalo de la forma θ̂I < θ < θ̂S tal que se
verifique,
P(θ̂I < θ < θ̂S ) = γ
con γ suficientemente próximo a 1.
Los valores θ̂I y θ̂S se denominan Lı́mites de Confianza.
Mientras que γ es el Coeficiente de Confianza.
Licesio J. Rodrı́guez-Aragón
Tema 9, M.E.I. – 16 / 16
7