5. Estimación puntual

5. Estimación puntual
Curso 2011-2012
Estadística
Probabilidad
¿Conocido p
cuanto vale X ?
Población
p
% DEFECTUOSA
Muestra n
X ≡Nº Defectuosa
¿Conocido X
cuanto vale p ?
Inferencia
Estimación puntual
2
X
σ
MUESTRA n
µ
X → N (µ ,σ )
X 1 , X 2 ,..., X n
Parámetros
¿ µ ,σ ?
Datos Conocidos
?
Estimación puntual
3
Espesores de 150 obleas de Silicio (micras)
X
240
243
250
253
248
238
242
245
251
247
239
242
246
250
248
Estimación puntual
235
237
246
249
246
240
241
246
247
249
240
243
244
248
245
240
243
244
249
246
245
250
250
247
248
238
240
245
248
246
240
242
246
249
248
240
243
246
250
248
241
245
243
247
245
247
245
255
250
249
237
239
243
247
246
242
244
245
248
245
237
239
242
247
245
242
244
246
251
248
243
245
247
252
249
243
245
248
251
250
244
246
246
250
246
241
239
244
250
246
242
245
248
251
249
242
245
248
243
246
241
244
245
249
247
236
239
241
246
242
243
246
247
252
247
241
243
245
248
246
239
240
242
243
244
239
240
250
252
250
241
243
249
255
253
4
Histograma para Espesor
frecuencia
40
30
20
10
0
230
235
240
245
250
255
260
Espesor
Estimación puntual
5
Distintos problemas de inferencia
Dado un modelo para los datos:
X 1 , X 2 ,..., X n
σ
µ
Estimar µ y σ
Dar un intervalo de confianza para µ y σ
Elegir entre (contraste de hipótesis):
µ ≥ 250 o µ < 250
Comprobar la validez del modelo (contraste
de bondad de ajuste).
Estimación puntual
6
Métodos de Estimación
X → f X ( x,θ1 ,θ 2 ,..., θ r )
fX
conocida
Parámetros desconocid os
θ1 ,θ 2 ,..., θ r
Dada una muestra aleatoria simple de X
x1 , x2 , … , xn
→
¿θ1 ,θ 2 ,...,θ r ?
1. Método de los momentos
2. Método de máxima verosimilitud
Estimación puntual
7
Métodos de los momentos
DATOS
x1, x2 , … , xn
a1 =
a2 =
∑
n
x
i =1 i
∑
n
n
2
x
i
i =1
n
r
x
∑
i
= i =1
VAR. ALEATORIA
f X ( x,θ1 ,θ 2 ,...,θ r )
α1 = E[ X ] = g1 (θ1,θ 2 ,...,θ r )
α 2 = E[ X 2 ] = g 2 (θ1,θ 2 ,...,θ r )
n
ar
n
α r = E[ X r ] = g r (θ1 ,θ 2 ,...,θ r )
 g1 (θˆ1,θˆ2 , … ,θˆr ) = a1

Estimadores  g 2 (θˆ1,θˆ2 , … ,θˆr ) = a2
→
ˆ
ˆ
ˆ
θ1 ,θ 2 , …,θ r

 g (θˆ ,θˆ , … ,θˆ ) = a
r
r
 r 1 2
Estimación puntual
8
Método de los momentos: Distribución normal
σ
f X ( x) =
 1  x − µ  2 
1
exp  − 
 ,
2π σ
 2  σ  
Parámetros : ¿ µ , σ ?
µ
x1 , x2 , … , xn
a1 =
a2
∑
n
x
i =1 i
∑
=
n
n
2
x
i =1 i
n
Estimación puntual
x∈ℜ
f X ( x, µ , σ )
α1 = E[ X ] = µ
α 2 = E[ X 2 ] = σ 2 + µ 2
µˆ = x
n
1
σˆ 2 = ∑xi2 − x2 = s2
n i=1
9
Método de máxima verosimilitud
(Introducción)
Una fuente radiactiva emite partículas según un proceso
de Poisson con media λ desconocida. Durante 10 minutos
se han contado el número de partículas emitidas:
12, 6, 11, 3, 8, 5, 3, 9, 7, 5
P( X 1 = 12, X 2 = 6,..., X 10 = 5) = e
−λ
=e
12!
×e
−λ
λ6
6!
× × e
λ12+6++5
−10λ
l (λ ) = e
Estimación puntual
λ12
12!×6!×× 5!
−10λ
=e
−λ
−10λ
λ5
5!
λ69
12!×6!×× 5!
λ69
12!×6!×× 5!
10
Función de verosimilitud
l (λ ) = e −10λ
2
4
6
6,9
8
10
λ69
12!×6!× × 5!
λ
Estimador máximo-verosímil: λˆ = 6,9
Estimación puntual
11
Función de verosimilitud
0
1,6E-11
-5
1,4E-11
-10
1,2E-11
-15
1E-11
-20
8E-12
-25
6E-12
lambda
6,9
λ69
12!×6!× × 5!
L(λ) = log l(λ)
10
9,4
8,8
8,2
7,6
-40
7
0
6,4
-35
5,8
2E-12
5,2
-30
4,6
4E-12
l (λ ) = e −10λ
log probabilidad
1,8E-11
4
probabilidad
verosimilitud
Estimador máximo-verosímil: λˆ = 6,9
Estimación puntual
12
Estimación por máxima verosimilitud
X → f X ( x,θ1 ,θ 2 ,...,θ r )
fX
conocida
Parámetros desconocidos : θ1 ,θ 2 ,...,θ r
Muestra aleatoria simple : X 1, X 2 ,..., X n
Distribución conjunta :
f ( x1 , x2 ,..., xn ;θ1 ,...,θ r ) =
= f X ( x1 ,θ1 ,θ 2 ,...,θ r ) f X ( x2 ,θ1,θ 2 ,...,θ r ) f X ( xn ,θ1,θ 2 ,...,θ r )
n
log f ( x1 , x2 ,..., xn ) = ∑ log f X ( xi ,θ1 ,θ 2 ,...,θ r ) = L(θ1,θ 2 ,...,θ r )
i =1
θˆ1 ,θˆ2 ,...,θˆr
Estimación puntual
⇒ L(θˆ1 ,θˆ2 ,...,θˆr ) = max L(θ1 ,θ 2 ,...,θ r )
13
Máx. verosimilitud: Distribución normal
 1  x − µ  2 
1
f X ( x) =
exp− 
 , x ∈ ℜ
2π σ
 2  σ  
Parámetros : ¿ µ , σ ?
X 1 , X 2 ,..., X n : muestra aleatoria simple
f ( x1 , x2 ,..., xn ) =
=
−
1
1
e 2σ
2π σ
( 2π )
(x −µ )
σ
n
2
1
−
1
n/2
2
1
e 2σ
∑in=1
2
−
1
1
e 2σ
2π σ
( x −µ )
2
(x −µ )
2
2
1
( x −µ )
1
2
σ
e
2π σ
−
2
2
n
2
i
L ( µ , σ 2 ) = log f ( x1 , x2 ,..., xn )
n
n
1
n ( x − µ )2
= − log( 2π ) − log σ 2 −
∑
=1 i
i
2
2
2σ 2
1 n
∂L


=
(
x
−
)
=
0
µ
∑
ˆ
i


∂µ σ 2 i =1

  µˆ = x
max L : 
⇒  2
σˆ = s 2

 ∂L

1
n 1
n ( x − µ )2 = 0
∑
ˆ
 2 = −2 2 +

i
=1 i
σˆ
2σˆ 4
 ∂σ

Estimación puntual
14
Máx. Verosimilitud: Poisson
P( X = x) = e
−λ
λx
x!
Muestra aleatoria simple : x1 , x2 ,..., xn
, x = 0,1,2,... → Parámetro λ
p ( x1 , x2 ,..., xn ) = P( X 1 = x1 , X 2 = x2 , , X n = xn )
=e
−λ
λx
1
x1!
e
−λ
λx
2
x2 !
e
−λ
λx
n
xn !
=e
−λn
λΣ x
i
x1! x2! xn !
L(λ ) = −λn + (Σ xi ) log λ − ∑ log xi !
max L(λ ) :
Estimación puntual
Σx
dL(λ )
= −n + i = 0 ⇒ λˆ = x
dλ
λˆ
15
Máx. verosimilitud: Binomial(n,p)
Proporción defectuosas = ¿ p ?
Muestra (Bernoulli ) :
x1 , x 2 ,..., x n
n
 0 si es Aceptable
xi = 
1 si es Defectuosa
p( x1 , x 2 ,..., x n ) = P( X 1 = x1 , X 2 = x 2 ,..., X n = x n )
= P( X 1 = x1 ) P ( X 2 = x 2 ) P ( X n = x n )
x
n− x
= p ∑ i (1 − p ) ∑ i
= p r (1 − p ) n−r
donde r = ∑ xi es el nº de defectuosas
L(p) = r log p + (n − r ) log(1 − p )
dL( p ) r n − r
r
= −
= 0 → pˆ =
dp
pˆ 1 − pˆ
n
Estimación puntual
16
Distribución de media (normal)
σ
µ
X → N (µ ,σ )
X 1 , X 2 ,..., X n
X1 + X 2 + + X n
X =
n
E[ X 1 ] + E[ X 2 ] + + E[ X n ] µ + µ + + µ
=µ
=
n
n
Var[ X 1 ] + Var[ X 2 ] + + Var[ X n ] σ 2 + σ 2 + + σ 2 σ 2
=
=
Var[ X ] =
2
2
n
n
n
E[ X ] =
X → N (µ ,
Estimación puntual
σ
n
)
17
Histograma de Espesores
1000
frecuencia
800
600
400
200
0
230
235
240
245
250
255
260
Espesores
Frecuencia/Probabilidad
Distribución de la Media de 5 observaciones
1200
1000
800
600
400
200
0
230
235
240
245
250
255
260
Media
Estimación puntual
18
Distribución de S2 (Normal)
σ
µ
X → N (µ ,σ )
S2 =
X 1 , X 2 ,..., X n
( X1 − X )2 + ( X 2 − X )2 + + ( X n − X )2
S =
n
2
1 n
1 n 2
2
2
X
X
X
X
(
−
)
=
−
∑
∑
i
i
n 1
n 1
σ2
1
1
n −1 2
2
2
2
2
E[ S ] = Σ E[ X i ] − E[ X ] = Σ (σ + µ ) − (
+ µ2) =
σ
n
n
n
n
2
( X1 − X )2 + ( X 2 − X ) 2 + + ( X n − X ) 2
2
ˆ
S =
n −1
n 2
Sˆ 2 =
S
⇒ E[ Sˆ 2 ] = σ 2
n −1
Estimación puntual
19
Distribución χ2
Z1 , Z 2 ,..., Z n → N (0,1) independientes
Z12 + Z 22 + + Z n2 → χ n2
Propiedades
⊗ E[χ n2 ] = n
⊗ Var[χ n2 ] = 2n
⊗ χ n2 + χ m2 = χ n2+ m
Estimación puntual
( χ n2 y χ m2 indep.)
20
Distribución Chi-cuadrado con 4 g.l.
0.2
densidad
0.16
0.12
0.08
0.04
0
0
Estimación puntual
4
8
12
16
20
21
Tabla χ2
α
χν,1-α
ν: grados de libertad (g.l.)
EJEMPLO
P(χ9 ≥ 19,02) = 0,025
Estimación puntual
g.l.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
50
60
70
80
90
100
120
0,995
,00004
,01002
,0717
0,207
0,412
0,676
0,989
1,344
1,735
2,156
2,603
3,074
3,565
4,075
4,601
5,142
5,697
6,265
6,844
7,434
8,034
8,643
9,260
9,886
10,520
11,160
11,808
12,461
13,121
13,787
20,707
27,991
35,534
43,275
51,172
59,196
67,328
83,852
0,990
,00016
,0201
0,115
0,297
0,554
0,872
1,239
1,647
2,088
2,558
3,053
3,571
4,107
4,660
5,229
5,812
6,408
7,015
7,633
8,260
8,897
9,542
10,196
10,856
11,524
12,198
12,878
13,565
14,256
14,953
22,164
29,707
37,485
45,442
53,540
61,754
70,065
86,923
0,975
,00098
0,051
0,216
0,484
0,831
1,237
1,690
2,180
2,700
3,247
3,816
4,404
5,009
5,629
6,262
6,908
7,564
8,231
8,907
9,591
10,283
10,982
11,689
12,401
13,120
13,844
14,573
15,308
16,047
16,791
24,433
32,357
40,482
48,758
57,153
65,647
74,222
91,573
0,950
,00393
0,103
0,352
0,711
1,145
1,635
2,167
2,733
3,325
3,940
4,575
5,226
5,892
6,571
7,261
7,962
8,672
9,390
10,117
10,851
11,591
12,338
13,091
13,848
14,611
15,379
16,151
16,928
17,708
18,493
26,509
34,764
43,188
51,739
60,391
69,126
77,929
95,705
0,500
0,455
1,386
2,366
3,357
4,351
5,348
6,346
7,344
8,343
9,342
10,341
11,340
12,340
13,339
14,339
15,338
16,338
17,338
18,338
19,337
20,337
21,337
22,337
23,337
24,337
25,336
26,336
27,336
28,336
29,336
39,335
49,335
59,335
69,334
79,334
89,334
99,334
119,334
0,050
3,841
5,991
7,815
9,488
11,07
12,59
14,07
15,51
16,92
18,31
19,68
21,03
22,36
23,68
25,00
26,30
27,59
28,87
30,14
31,41
32,67
33,92
35,17
36,42
37,65
38,89
40,11
41,34
42,56
43,77
55,76
67,50
79,08
90,53
101,88
113,15
124,34
146,57
0,025
5,024
7,378
9,348
11,14
12,83
14,45
16,01
17,53
19,02
20,48
21,92
23,34
24,74
26,12
27,49
28,85
30,19
31,53
32,85
34,17
35,48
36,78
38,08
39,36
40,65
41,92
43,19
44,46
45,72
46,98
59,34
71,42
83,30
95,02
106,63
118,14
129,56
152,21
0,010
6,635
9,210
11,34
13,28
15,09
16,81
18,48
20,09
21,67
23,21
24,73
26,22
27,69
29,14
30,58
32,00
33,41
34,81
36,19
37,57
38,93
40,29
41,64
42,98
44,31
45,64
46,96
48,28
49,59
50,89
63,69
76,15
88,38
100,43
112,33
124,12
135,81
158,95
0,005
7,879
10,60
12,84
14,86
16,75
18,55
20,28
21,95
23,59
25,19
26,76
28,30
29,82
31,32
32,80
34,27
35,72
37,16
38,58
40,00
41,40
42,80
44,18
45,56
46,93
48,29
49,65
50,99
52,34
53,67
66,77
79,49
91,95
104,21
116,32
128,30
140,17
163,65
22
Distribución de S2 (Normal)
n
∑
Xi − μ
σ
2
→ χ 2n
i=1
n
n
i=1
i=1
∑Xi − μ2 =∑Xi − X + X − μ2
n
n
n
i=1
i=1
i=1
= ∑Xi − X2 + ∑X − μ2 + 2 ∑Xi − XX − μ
n
= ∑Xi − X2 + nX − μ2
i=1
n
n
∑X i − μ 2
i=1
σ
∑X i − X 2
=
2
χ 2n
Estimación puntual
i=1
σ2
χ 2n−1
X − μ 2
+
σ 2 /n
χ 21
23
Distribución de S2 (Normal)
nS
2
σ2
 Xi − X
= ∑ 
σ
i =1 
n
(n − 1) Sˆ 2
σ2
Estimación puntual
2

dist
 
→ χ n2−1

 Xi − X
= ∑ 
σ
i =1 
n
2

 dist

→ χ n2−1

24
Histograma de Espesores
1000
frecuencia
800
600
400
200
0
230
235
240
245
250
255
260
Espesores
Histograma para Varianzas
500
frecuencia
400
300
200
100
0
0
20
40
60
80
varianza muestral
Estimación puntual
25
Distribución de la media (general)
X i → f ( x,θ ) : Var[ X i ] < ∞
X = ( X 1 , X 2 ,..., X n )T , → Vector de n variables aleatorias independientes
X1 + X 2 + + X n
n
E[ X 1 ] + E[ X 2 ] + + E[ X n ]
E[ X ] =
n
Var[ X 1 ] + Var[ X 2 ] + + Var[ X n ]
Var[ X ] =
n2
Si las variables tienen la misma media y varianza
X=
µ = E[X i ] ∀i
σ 2 = Var[X i ] ∀i
n→∞
 E[ X ] = µ
X + X2 ++ Xn

2 ⇒ X → N (µ , σ )
⇒
X= 1
σ
n
Var
[
X
]
=
n

n
Estimación puntual
26
Binomial
Binomial : X 1 , X 2 ,..., X n
E[ X i ] = p
0 si es Aceptable
Xi = 
⇒
Var[ X i ] = p (1 − p )
1 si es Defectuosa
X1 + X 2 + + X n
pˆ =
n
pˆ → N ( p,
n →∞
Estimación puntual
E[ pˆ ] = p

p (1 − p )
→
ˆ
Var[ p ] =

n
p (1 − p )
)
n
27
Poisson
Poisson : X 1 , X 2 ,..., X n
 E[ X i ] = λ
⇒
P( X i = k ) = e
k!
 Var[ X i ] = λ
 E[λˆ ] = λ
X1 + X 2 + + X n

ˆ
→
λ=
ˆ] = λ
[
Var
λ
n

n
−λ
λk
λ
ˆ
)
λ → N (λ ,
n →∞
n
Estimación puntual
28
Propiedades de los estimadores
X 1 , X 2 ,..., X n m.a.s de f ( x,θ ) : θˆ ≡ θˆ ( X 1 , X 2 ,..., X n )
(Sesgo[θˆ] = E[θˆ] − θ )
Centrados: E[θˆ] = θ
Varianza mínima: ∀θˆ': Var[θˆ] ≤ Var[θˆ' ]
Error cuadrático medio mínimo
ECM[θˆ] = E[(θˆ − θ ) 2 ]
= Sesgo 2 (θˆ) + Var(θˆ)
Consistentes
lim E[θˆ] = θ
n →∞
Estimación puntual
y
lim Var[θˆ] = 0
n →∞
29
Ejemplo 1
1 n
X 1 , X 2 ,..., X n m.a.s de N ( µ , σ ) : X = ∑ X i
n i =1
Es centrado : E[ X ] = µ
Es de varianza mínima
Es consistente :
lim E[ X ] = µ y
n →∞
Estimación puntual
lim Var[ X ] = 0
n →∞
30
Ejemplo 2
1 n
X 1 , X 2 ,..., X n m.a.s de N ( µ , σ ) : S = ∑ ( X i − X ) 2
n i =1
n −1 2
2
σ
No es centrado : E [ S ] =
n
2
2
Sesgo ( S ) = −
σ2
n
Varianza :
 nS 2 
2 ( n − 1) 4
2
2
σ
Var  2  = Var χ n −1 = 2( n − 1) ⇒ Var [ S ] =
2
n
 σ 
Es consistent e :
[
lim
E[ S 2 ] = σ 2
n→∞
Estimación puntual
]
y
lim
Var[ S 2 ] = 0
n→∞
31