Contraste no paramétrico

14. Contrastes no paramétricos
1
Contrastes no paramétricos
En la lección anterior nos hemos ocupado de contrastes
paramétricos. Determinábamos la plausibilidad de ciertas
hipótesis sobre los valores de parámetros poblacionales.
Los contrastes no paramétricos hacen referencia a la
distribución poblacional en su conjunto:
(1) Cómo podemos decidir a partir de una muestra si
la población sigue (“ajusta”) a una determinada
distribución dada (problema de bondad de ajuste).
(2) ¿Estas muestras provienen de poblaciones con la
misma distribución? (problema de la homogeneidad).
(3) ¿Son independientes o dependientes varias
características poblacionales?
2
Prueba de bondad de ajuste χ2
Supongamos una muestra aleatoria simple de tamaño n.
Desconocemos que la distribución de probabilidad f de la
población.
Contrastaremos la hipótesis:
H0: f = f0 y H1: f ≠ f0
Es decir: queremos contrastar si la distribución desconocida f de
la población es f0, que conocemos completamente (por ejemplo,
una distribución de Poisson determinada).
Usaremos la distribución chi-cuadrado para determinar la
bondad de ajuste entre las frecuencias observadas de los datos
de la muestra, frecuencias muestrales, y las frecuencias
esperadas (teóricas) según la distribución que sospechamos es
3
la de la población.
Procedimiento:
(1) Dividimos el dominio completo de la distribución teórica
f0 en k clases o intervalos disjuntos. Calculamos el
número de datos esperados, según la distribución
teórica a contrastar f0 , que deberían haber caído
en cada clase. Para ello basta multiplicar la
probabilidad que asigna f0 a cada clase por n,
el tamaño muestral.
Hemos de construir las clases de modo que cada una
contenga al menos 5 datos muestrales. Tenemos pues:
A1, A2, ... ,Ak clases con n1esp, n2esp, ... ,nkesp datos
muestrales en cada clase, donde todos valores tienen
que ser mayores o iguales a 5.
4
Ejemplo: Durante 200 días se han recogido el número de
accidentes de tráfico diarios:
Número de accidentes
0
1
2
3
4
5 6 7
Número de días
22 53 58 39 20 5 2 1
(1) Creemos que el número de accidentes se distribuye
como una Poisson de media 2 (hipótesis nula).
Núm. de accidentes 0
1
2
3
4
≥5
N. esperado de días 27,06 54,14 54,14 36,08 18,04 10,54
Calculamos los valores esperados a través de la Poisson.
P( x = 6) = e − 2
26
= 0.012;
6!
Aquí la probabilidad
será de 5 a infinito.
200 × 0.012 = 2.41
5
Procedimiento:
(2) Ahora construimos las mismas k clases o
intervalos disjuntos para los datos muestrales.
Tendremos también: A1, A2, ... ,Ak clases con
n1, n2, ... ,nk datos muestrales en cada clase.
Estos son los datos originales:
Número de accidentes
0
1
2
3
4
5 6 7
Número de días
22 53 58 39 20 5 2 1
Ajustamos al número de clases que nos determinó la distribución a contrastar.
1
2
3
4
≥5
Número de accidentes
0
Número de días
22 53 58 39 20 8
6
Realizaremos el test de constraste utilizando
el estadístico chi-cuadrado siguiente:
χ
(
n − Eˆ )
=∑
2
k
2
Frecuencias
muestrales
i
i =1
i
Eˆ i
Frecuencias
esperadas
que sigue una distribución chi-cuadrado con k-1 grados
de libertad.
En nuestro ejemplo tenemos k = 6 clases. Luego:
2
2
2
ˆ
n
E
(
−
)
(
22
−
27
.
06
)
(
8
−
10
.
54
)
i
χ2 = ∑ i
=
+ ... +
= 2.307
27.06
10.54
Eˆ i
i =1
6
7
Nuestro estimador chi-cuadrado vale: χ 2 = 2.307
El estimador se distribuye como:
Supongamos que queremos:
0.05
χ
2
5, 0.05
χ
2
k −1
=χ
2
6 −1
=χ
2
5
α = 0.05
En las tablas encontramos:
2
5, 0.05
χ
= 11.07
= 11.07
χ 2 = 2.307 < 11.07 ⇒ No podemos rechazar H 0
8
Hipótesis compuesta
Primero estimaremos por el método de máxima verosimilitud
el valor del parámetro θ:
1
n
−
xi
θ
1
n
i
n
i =1
L(x ,...,x , θ ) = ∏ f ( x , θ ) =
Ln L(x1,...,xn , θ ) = −nLnθ −
1
θ
1
∑
e
n
x
∑
θ
i =1
i
13
∂Ln L(x1,...,xn , θ )
n 1
=− + 2
∂θ
θ θ
n
∑x
i =1
i
=0
n
1
⇒ θˆ = ∑ xi
n i =1
∂ Ln L(x1,...,xn , θ )
2 n
n
= 2 − 3 ∑ xi
2
∂θ
θ
θ
i =1
ˆ
θ =θˆ
θ =θ
2
n 2nθˆ
= 2 − 3 <0
θˆ
θˆ
14
Duración
0-200 200-300 300-400 400-500 500-600
# bombillas ni
40
15
8
6
100
250
350
450
xi
6
550
El valor estimado de θ será:
n
x
∑
θˆ =
∑n
i i
= 220.67
i
15
Ahora calculamos las probabilidades esperadas:
b 1
− x / θˆ
− a / θˆ
−b / θˆ
pˆ i = P(a < x < b) = ∫ e dx = e
−e
a ˆ
θ
Por ejemplo :
1
− x / 220.67
ˆp1 = P (0 < x < 200) = ∫
e
dx =
0
220.67
Aquí la probabilidad
− 0 / 220.67
− 200 / 220.67
será de 500 a infinito.
e
−e
= 0.59
200
Duración
0-200 200-300 300-400 400-500 500-600
# bombillas ni
40
15
8
6
xi
100
150
350
450
550
p̂i
0.59
0.15
0.09
0.06
0.04
6
16
Y a partir de ellas podemos calcular los valores
esperados de las muestras:
Por ejemplo :
Eˆ i = npˆ i
Eˆ1 = npˆ 1 = (40 + 15 + 8 + 6 + 6) ⋅ 0.59 = 44.70
Duración
0-200 200-300 300-400 400-500 500-600
# bombillas ni
40
15
8
6
xi
100
150
350
450
550
p̂i
0.59
0.15
0.09
0.06
0.04
Eˆ i = npˆ i
44.70
11.04
7.02
4.46
2.84
6
17
Como la penúltima categoría da un valor menor
que 5, unimos las dos últimas:
12
Duración
0-200 200-300 300-400 400-500 500-600
# bombillas ni
40
15
8
6
xi
100
150
350
450
550
p̂i
0.59
0.15
0.09
0.06
0.04
Eˆ i = npˆ i
44.70
11.04
7.02
4.46
2.84
6
7.30
2
2
2
ˆ
(
n
−
E
)
(
12
7
.
30
)
(
40
−
44
.
70
)
−
i
χ2 = ∑ i
=
+ ... +
= 185.08
44.70
7.30
Eˆ i
i =1
4
Nuestro estimador chi-cuadrado vale: χ 2 = 5.08
El estimador se distribuye como: χ
2
k −1−ν
=χ
2
4 −1−1
=χ
2
2
χ 22,0.05 = 5.99
0.05
χ
2
2 , 0.05
= 5.99
Esta es la diferencia
fundamental con el caso
anterior. Al número de
clases k hay que restarle 1
y el número de parámetros
que previamente hemos
estimado. En este caso:
ν = 1.
χ = 5.08 < 5.99 ⇒ No podemos rechazar H 0
2
19
20
21
Inteligencia colectiva
Los Borg en Star Trek
El público presente corre los 100 metros lisos.
Habrá una mejor marca. Ahora, el promedio, ¿estará por encima o por debajo?
La nota media, el salario medio, la altura media,... parece,
que en general, promedio es igual a mediocridad. Sin
embargo, en la toma de decisiones o en las estimaciones,
a veces, el promedio colectivo puede ser excelente.
Veamos un ejemplo:
“¿Quién quiere ser millonario?”
Opción de llamada
Opción del público
Aciertan el 65% de las veces.
Aciertan el 90% de las veces.
Un experimento clásico de inteligencia de grupo
“¿Cuántos caramelos hay en el tarro?”
En el tarro había 153 caramelos.
Grupo de 53 estudiantes.
La media fue de 143, un error de un 6 por ciento.
Estimar el peso y la edad de tres de nuestros
colaboradores solamente por su voz en antena
Nieves Concostrina
45 años
Pancracio Celdrán
65 años
Jose Manuel Sánchez 56 años
media: 50.
media: 58.
media: 52.
Nieves 69 kilos estimaron 66 kilos
Pancracio 69 kilos estimaron 75 kilos
Jose Manuel 83 kilos estimaron 82 kilos.
Hubo nueve personas que hicieron mejor
estimación, en valor absoluto que la media del
grupo.
Estimar el peso y la edad de tres de nuestros
colaboradores solamente por su voz en antena
Si sumamos los pesos de Nieves, Pancracio y el
comisario, tenemos 221 kilos y la media es 223: ¡sólo 2
kilos de más!
Y si sumamos las edades, el resultado es de 166, cuando
el grupo estimó 160: 6 años de menos.
Tomando así las cosas, nadie en particular se acercó más
que la media.
Y si nos inventamos los kilo-años, el total sería de 387
kilo-años y el grupo dijo 383: ¡solo 4 kilo-años menos!
En cierto modo, cada miembro del
colectivo contribuye con información fetén
+ error, y en el promedio, los errores se
compensan. De modo que, dadas las
circunstancias adecuadas, los grupos
manifiestan una inteligencia notable, con
frecuencia superando a sus miembros
más inteligentes o informados.
¿Se está usando este conocimiento para
mejorar los resultados en alguna
actividad?
Todos conocemos los sondeos de intención de voto a pie de urna.
A partir de esa muestra se hace una predicción del resultado de
las elecciones.
Existe una alternativa que utiliza la
sabiduría colectiva: consiste en
preguntar a un conjunto de
personas, no qué van a votar, sino
que predigan qué votará el conjunto
del país. En Internet pueden
encontrar los resultados de algunos
experimentos. Tienen que buscar por
IEM, Iowa Electronic Markets. Y
comprobarán que
sorprendentemente las predicciones
del colectivo son mejores que las
clásicas encuestas.
¿Existirá algo así como creatividad artística colectiva?
Karaoke
¿Existirá algo así como creatividad artística colectiva?
Karaoke
“Experto en cocina marítima” de
los “No me pises que llevo chanclas”.
Ana
Sergio
Pablo
Grupo
... con Kevin McCourt
(1) Cuadros colectivos
(2) Relatos colectivos
A
C
B
Prueba de homogeneidad
Supongamos que disponemos de los datos de
m muestras aleatorias y deseamos saber si podemos
decidir si provienen de la misma distribución poblacional.
Tamaño
total de todas
las muestras.
n = n1 + n2 + ... + nm
Tamaño de
la muestra m.
Nuevamente hemos de dividir el conjunto de
observaciones en k clases: A1, A2, ... ,Ak clases
determinadas por los valores esperados (en cada
clase, todos valores mayores o iguales a 5). Pero
ahora lo haremos m veces.
35
El estadístico de contraste será ahora:
Número total de
elementos de la muestra i
Frecuencia muestral de
la clase j de la muestra i

Eˆ i Eˆ
 nij −
m k 
n

2
χ = ∑∑
total
ˆ
ˆ
Ei Ei
i =1 j =1
n
total
i
Suma de las frecuencias
muestrales de todas las
clases número i




2
El estadístico
seguirá una
distribución
chi-cuadrado de
(m-1)(k-1) grados
de libertad. 36
37
Prueba de independencia
Supongamos que de n elementos de una población
se han observado dos características X e Y. Es decir:
disponemos de los datos de una muestra aleatoria
simple bidimensional:
( x1 , y1 ), ( x2 , y2 ),..., ( xn , yn )
Deseamos contrastar si las características poblacionales
X e Y son independientes o no.
Nuevamente hemos de dividir el conjunto de
observaciones en k clases: A1, A2, ... ,Ak clases
determinadas por los valores esperados de X y
en r clases: B1, B2, ... ,br para Y. (De nuevo en cada
clase, todos valores mayores o iguales a 5)
38
El estadístico de contraste será ahora:
Número total de
elementos de la clase j
de Y con el resto de clases
de X
Frecuencia muestral de
la clase (i, j) (X,Y).

Eˆ Eˆ
 nij −
k
r 
n

2
χ = ∑∑
total ˆ total
ˆ
Ei E j
i =1 j =1
total
i
n
Número total de
elementos de la clase i
de X con el resto de clases
de Y
total
j




2
El estadístico
seguirá una
distribución
chi-cuadrado de
(k-1)(r-1) grados
de libertad. 39
40
Contraste de Kolmogorov-Smirnov
El contraste K-S de bondad de ajuste es válido solo
para distribuciones continuas.
(1) Se ordenan los n valores muestrales:
x1 ≤ x2 ≤ ... ≤ xn
(2) Se calcula la distribución empírica de la muestra:
 0

Fn ( x) = r / n
 1

x < x1
xr ≤ x ≤ xr + 1
x ≥ xn
41
Se calcula la discrepancia máxima, que será el
estimador que usaremos, entre la función de
distribución empírica que acabamos de calcular
y la distribución teórica F0 que estamos contrastando:
∆ n = máx | Fn ( x) − F0 ( x) |
cuya distribución es conocida y tenemos tabulada
según los valores de n.
42
50
51
52
53
54
55