Índice 7 Contrastes de hipótesis estadı́sticas. Contrastes paramétricos 7.1 7.1 Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1 7.2 Conceptos básicos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2 7.3 Contrastes paramétricos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.6 7.4 El concepto de p-valor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.8 6.0 Tema 7 Contrastes de hipótesis estadı́sticas. Contrastes paramétricos 7.1 Introducción Hasta ahora hemos visto una parte de la Inferencia Estadı́stica, en la que se estimaban parámetros desconocidos cuando la forma distribucional era conocida. Una de las técnicas estadı́sticas más utilizadas en la Inferencia Estadı́stica es la de los contrastes de hipótesis. A veces hacemos suposiciones sobre el tipo de distribución de una variable, sobre sus parámetros o sobre sus propiedades. Para hacer un afirmación de este tipo debemos asegurarnos lo máximo posible de que es cierta, con ayuda de los datos observados en una muestra, es decir, debemos hacer una comprobación empı́rica. Por lo tanto, nuestro objetivo ahora será el siguiente: planteamos hipótesis sobre alguna caracterı́stica de la población, como: • ¿Es la probabilidad de éxito 0.8, para cierta distribución B (n, p)? • ¿Sigue una distribución normal la variable aleatoria X? • ¿Es simétrica la distribución de X? Tras plantear la hipótesis, intentamos determinar si es cierta o no, a partir de una serie de resultados experimentales. Para ello será necesario extraer una muestra aleatoria simple (m.a.s.) (X1 , X2 , . . . , Xn ) de la o las variables aleatorias bajo estudio y estudiaremos si existen evidencias significativas para rechazar la hipótesis propuesta. Un problema de este tipo se denomina problema de contrastes de hipótesis. Aunque la comparación no es del todo exacta, para entender la filosofı́a de los contrastes de hipótesis se puede comparar con un juicio: Un individuo, del que se supone inicialmente inocencia va a juicio donde se presentan pruebas en su contra. Si hay evidencias de culpa, al individuo se le declara culpable. Si no hay evidencias, se declara al individuo inocente por falta de pruebas. Ası́, nosotros consideraremos una variable aleatoria (individuo) y supondremos que verifica alguna propiedad (presunción de inocencia). Mediante una m.a.s. (pruebas) contrastaremos con la realidad y veremos si hay evidencias de que no se verifique la propiedad. En tal caso se rechazará tal hipótesis 7.1 Tema 7. Contrastes de hipótesis estadı́sticas. Contrastes paramétricos (culpable) y en caso contrario se aceptará por no haber evidencias de lo contrario (inocente por falta de pruebas). Ejemplo 7.1 Se quiere saber si se puede suponer que el tiempo medio de respuesta de un microprocesador es de 5 milésimas de segundo. Para ello, lo lógico es que utilicemos el microprocesador un número determinado de veces y midamos el tiempo de respuesta en cada una de las ocasiones y calculemos la media muestral. Si la media muestral difiere de forma significativa de 5, rechazaremos tal hipótesis. En caso contrario, supondremos que es cierta (por no haber evidencias de lo contrario, como se verá posteriormente). Pero la duda lógica que nos debe surgir es: ¿a partir de qué valor debo rechazar la hipótesis planteada? A esta pregunta se le dará solución en este tema. En definitiva, una vez definida la hipótesis a contrastar, se hallará una medida de la discrepancia entre los datos resultantes de la experimentación y la hipótesis, de modo que si la discrepancia es muy grande se rechazará tal hipótesis, y en caso contrario se tomará como válida. Introduzcamos ahora los conceptos básicos para estudiar los problemas de contrastes de hipótesis. 7.2 Conceptos básicos Una hipótesis estadı́stica es una afirmación o conjetura sobre la distribución de una o varias variables aleatorias o algún aspecto de ella. Ası́, son hipótesis: • µ = 5. • p = 0.8 en X ∼ B (n, p) . • X ∼ N ormal • X es simétrica. En este tipo de problemas vamos a plantear dos hipótesis: Hipótesis nula, H0 , es aquélla que se somete a comprobación y que se toma como referencia. Hipótesis alternativa, H1 , es aquélla que se sitúa frente a la nula, de forma que si la nula se rechaza, se aceptará la alternativa. Ejemplo 7.2 Nos planteamos si cierta moneda es perfecta, es decir, si existe la misma tendencia a salir cara y cruz. Si p = P [cara], H0 : p = 0.5 H1 : p 6= 0.5 Ejemplo 7.3 Si X es una variable aleatoria continua, nos planteamos si la distribución es normal o no. H0 : X ∼ N ormal H1 : X ≁ N ormal Incluso no tienen porqué ser exhaustivas 7.2 2o Ing. Informática 7.2. Conceptos básicos Ejemplo 7.4 Se estudia si un medicamento es efectivo para reducir la fiebre. Suponiendo que la variable aleatoria es X: “reducción de la temperatura”, de la que se sabe que sigue una distribución N µ, σ 2 , las hipótesis planteadas serán: H0 : µ = 0 H1 : µ > 0 Ejemplo 7.5 Sea X una variable aleatoria simétrica y dudamos entre si la distribución es normal o sigue una t de Student. En tal caso, planteamos las hipótesis: H0 : X ∼ N ormal H1 : X ∼ t − Student Se pretende decidir cuál de las dos hipótesis propuestas es la que más se adapta a las evidencias que nos dan los datos. Para ello, necesitamos una regla de decisión o procedimiento para rechazar o aceptar una hipótesis estadı́stica. A esta regla se le llama test o contraste de hipótesis. Un contraste de hipótesis se elabora a partir de la muestra. Si la muestra contradice la hipótesis nula, H0 , rechazaremos tal hipótesis. En caso contrario, diremos que no existen evidencias significativas para rechazar la hipótesis nula (“aceptamos H0 ”). Ası́, cuando nosotros tomemos una muestra, nos llevará a “aceptar” o rechazar H0 . Por lo tanto, las muestras las podemos dividir en dos grupos: con las que se rechaza H0 y con las que se “acepta” tal hipótesis. Si ℵ es el conjunto de todas las muestras: Se llama región crı́tica RC = {(X1 , X2 , ..., Xn ) ∈ ℵ/H0 es rechazada} . Se llama región de aceptación a RA = {(X1 , X2 , ..., Xn ) ∈ ℵ/H0 es ”aceptada”} . ℵ = RC ∪ RA. Es decir, el espacio de todas las muestras se puede dividir en dos partes: Región crı́tica: el conjunto de muestras que conducen al rechazo de la hipótesis nula en favor de la hipótesis alternativa. Región de aceptación: el conjunto de muestras que conducen a aceptar la hipótesis nula. Ejemplo 7.6 En el ejemplo 7.1 (tiempo de respuesta), la región de aceptación será aquélla en la que la media muestral es relativamente próxima al valor 5 (valores en un cierto intervalo (5 − a, 5 + b)) RA = (X1 , X2 , ..., Xn ) ∈ Rn /X ∈ (5 − a, 5 + b) / (5 − a, 5 + b) RC = (X1 , X2 , ..., Xn ) ∈ Rn /X ∈ Los valores de a y b deben de ser determinados y nos darán la regla de decisión o contraste de hipótesis. Cuando tomamos una decisión puede ocurrir que esta decisión sea correcta o no. Es decir, aunque no lo conozcamos, H0 es cierta o falsa. Entonces, las situaciones que se pueden dar vienen registradas en la siguiente tabla: Rechazar H0 Aceptar H0 H0 cierta Error de tipo I Decisión correcta Estadı́stica H0 falsa Decisión correcta Error de tipo II 7.3 Tema 7. Contrastes de hipótesis estadı́sticas. Contrastes paramétricos Según viene en la tabla, error de tipo I se define como aquel error que se comete cuando se rechaza H0 , siendo H0 cierta. Se define error de tipo II como aquél que se comete cuando se acepta H0 , siendo H0 falsa. Ejemplo 7.7 Suponemos que se está estudiando si una moneda se puede considerar perfecta. Para ello se lanza la moneda 20 veces y se observa el número de caras obtenidas. Si en estos 20 lanzamientos se obtienen 18 caras, sospecharemos que la moneda no es perfecta y por lo tanto p 6= 0.5. Pero, aún siendo p = 0.5, el hecho anterior puede ocurrir aunque sea poco probable. De este modo se cometerı́a un error de tipo I. De igual forma, si obtuviéramos 10 caras, lo más lógico es pensar que la moneda es perfecta, pero siendo p 6= 0.5, también puede darse esta situación. En este caso cometerı́amos un error de tipo II. Estos errores se deben a que las decisiones se toman a partir de m.a.s., que están constituidas por variables aleatorias. Tales errores se pueden cuantificar con probabilidades. Nuestro objetivo, lógicamente, es intentar equivocarnos lo menos posible, es decir, que la probabilidad de equivocarnos sea lo menor posible. Se define, entonces, α = P [Error de tipo I] = P [Rechazar H0 |H0 cierta] = = riesgo de tipo I = nivel de significación β = P [Error de tipo II] = P [Aceptar H0 |H0 falsa] = riesgo de tipo II 1 − β = P [Rechazar H0 |H0 falsa] = potencia del test Y, por tanto, nuestro objetivo ideal serı́a intentar que α y β sean lo mı́nimo posible. Aunque ambas probabilidades no son complementarias, en general cuando α −→ 0, β −→ 1, por lo que no es fácil conseguir que las dos sean pequeñas simultáneamente. La estrategia que se sigue es: se fija una de ellas, generalmente el nivel de significación, con un valor pequeño (α = 0.01, α = 0.05 ó α = 0.1) y dentro de todos los posibles tests, tomar el de mayor potencia, es decir, el de menor β. A la hora de extraer conclusiones se hará de la siguiente forma: • Si se rechaza H0 , lo haremos firmemente. Pero si se “acepta” H0 , simplemente diremos que no existen evidencias significativas para rechazar H0 . Esta forma de expresar las conclusiones se debe a que • Si H0 es cierta: – Se rechaza H0 con probabilidad α, valor pequeño y por lo tanto es difı́cil que ocurra. – Se acepta H0 con probabilidad 1 − α, valor elevado y por lo tanto bastante probable que ocurra. En este caso la decisión serı́a correcta. • Si H0 es falsa: – Se acepta H0 con probabilidad β, valor relativamente elevado. – Se rechaza H0 con probabilidad 1 − β. En este caso la decisión serı́a correcta. 7.4 2o Ing. Informática 7.2. Conceptos básicos Luego, si rechazamos H0 , o bien acertamos, o la probabilidad de equivocarnos es pequeña. En cambio, si aceptamos, puede que acertemos en la decisión o nos equivoquemos, teniendo en cuenta que la probabilidad de equivocarse es relativamente alta (β) . Éste es el motivo por el que no se debe decir que se acepta la hipótesis nula: cuando H0 es cierta, la probabilidad de equivocarnos (rechazar) es muy pequeña (α), pero cuando H0 es falsa la probabilidad de equivocarnos (aceptar) es elevada y no la podemos controlar, en general. Ası́, será más correcto decir que no existen evidencias significativas para rechazar H0 , mejor que aceptamos tal hipótesis. Cuando aceptemos, será porque no hay evidencias de que se dé lo contrario, no porque tengamos una gran seguridad de ello. Ejemplo 7.8 Sea X ∼ N (µ, 9) y X1 , X2 , ..., X9 una m.a.s. de X. Planteamos las hipótesis H0 : µ = 6 H1 : µ = 8 Para poder decidir si H0 debe ser rechazada, tendremos que establecer una regla de decisión. Al proponer una valor para µ en H1 mayor que el propuesto en H0 , es lógico considerar un contraste de hipótesis del tipo: Rechazar H0 ⇐⇒ X > c para cierto valor de c que debemos determinar. Contestemos a los siguientes apartados: 1. Determinar c de modo que el test tenga un nivel de significación α = 0.05. 2. Calcular la potencia del test. 1. Si α = 0.05, entonces, 0.05 = P [Rechazar H0 |H0 cierta] = P X > c|µ = 6 = 1 − PH0 X ≤ c , donde PHi representa la probabilidad cuando la hipótesis Hi es cierta. 2 Como X ∼ N µ, σn = N µ, 99 = N (µ, 1) , si µ = 6, entonces X ∼ N (6, 1) . Tipificando: 0.05 = 1 − PH0 c−6 X −6 = 1 − Φ (c − 6) . ≤ 1 1 De lo que se tiene Φ (c − 6) = 0.95 =⇒ z0.95 = c − 6 =⇒ c = z0.95 + 6 = 1.645 + 6 = 7.645. Por lo tanto, el contraste de hipótesis será Rechazar H0 ⇐⇒ X > 7.645. 2. A partir de lo anterior, 1 − β = P [Rechazar H0 |H0 falsa] = PH1 X > 7.645 = 1 − PH1 X ≤ 7.645 Ahora, si H1 fuera cierto, entonces, X ∼ N (8, 1), por lo que tipificando con esta distribución: Estadı́stica 7.5 Tema 7. Contrastes de hipótesis estadı́sticas. Contrastes paramétricos 1 − β = 1 − PH1 7.645 − 8 X −8 = −0.36 = 0.6406 ≤ 1 1 Y por lo tanto β = 1 − 0.6406 = 0.3594, valor relativamente elevado. 7.3 Contrastes paramétricos Existen dos tipos de problemas de contrates de hipótesis, según el tipo de hipótesis que se planteen: • Contrastes paramétricos: aquéllos en los que las hipótesis versan sobre el valor de los parámetros desconocidos de la distribución de la v.a. bajo estudio. • Contrastes no paramétricos: aquéllos en los que las hipótesis versan sobre otros aspectos de la distribución de la v.a. bajo estudio. Ejemplo 7.9 Cuando nos planteamos si cierta moneda es perfecta, es decir, si H0 : p = 0.5 H1 : p 6= 0.5 tenemos un contraste paramétrico. Ejemplo 7.10 Si X es una variable aleatoria continua y nos planteamos H0 : X ∼ N ormal H1 : X ≁ N ormal entonces, tenemos un contraste no paramétrico. En los contrastes paramétricos podemos distinguir entre unilaterales y bilaterales. Si θ es el parámetro estudiado, los pares de hipótesis ( H 0 : θ = θ0 (1) H1 : θ 6= θ0 ( H 0 : θ = θ0 (2) H1 : θ > θ 0 ( H 0 : θ = θ0 (3) H1 : θ < θ 0 proporcionan contrastes unilaterales (2, 3) y bilaterales (1) . Una forma de obtener el contraste de hipótesis para el caso bilateral se basa en los intervalos de confianza. Suponemos que vamos a utilizar un nivel de significación α. La forma es la siguiente: 1. Se construye un intervalo de confianza con nivel 1 − α para θ. 2. Se comprueba si θ0 pertenece al intervalo de confianza: 7.6 2o Ing. Informática 7.3. Contrastes paramétricos • Si θ0 ∈ / IC (θ; 1 − α) rechazaremos H0 ya que tenemos evidencias significativas para pensar que es falso. • Si θ0 ∈ IC (θ; 1 − α) sólo diremos que no rechazamos H0 . La muestra no proporciona evidencias significativas para contradecir la hipótesis nula. Ejemplo 7.11 Sea X ∼ N (µ, 1) y planteamos las hipótesis H0 : µ = 0 H1 : µ 6= 0 Construyamos un contraste de hipótesis con un nivel de significación α = 0.05. Sabemos que para esta distribución, IC (µ; 0.95) = X ∓ z1− α2 √σn = X ∓ z0.975 √1n = X ∓ 1.96 √ . n 1.96 = (4.3802, 5.6198), intervalo que no • Si n = 10 y x = 5, entonces IC (µ; 0.95) = 5 ∓ √ 10 contiene el valor 0, por lo que se rechaza la hipótesis nula, es decir, podemos suponer que µ es significativamente diferente de 0. 1.96 = (−0.1198, 1.1198), intervalo • En cambio, si n = 10 y x = 0.5, entonces IC (µ; 0.95) = 0.5 ∓ √ 10 que contiene el valor 0, por lo que no se rechaza la hipótesis nula por no haber evidencias significativas para ello, es decir, podemos suponer que µ no es significativamente diferente de 0. Esta forma de tomar decisiones no es la única. Además, los problemas paramétricos también pueden ir referidos a más de una población o variable aleatoria. Para estos últimos será indispensable saber distinguir entre poblaciones independientes y relacionadas. Las poblaciones independientes son aquéllas que vienen determinadas por variables independientes. En poblaciones relacionadas generalmente se mide la misma variable en dos instantes diferentes (antes y después de un cierto acontecimiento) o en dos lugares diferentes (al norte y al sur; o a la derecha y a la izquierda), etc. La forma de actuar en poblaciones relacionadas es restar las dos variables correspondientes y estudiar la diferencia de ambas variables. Generalmente, se proporciona la región crı́tica fijando el nivel de significación, mediante algún método. En la tabla anexa se proporcionan las regiones crı́ticas para problemas unilaterales y bilaterales, para una población y dos poblaciones, tanto independientes como relacionadas. En los problemas y aplicaciones prácticas se verán detalles sobre cómo proceder en ambos casos. Veamos con un ejemplo el uso de la tabla anexa en la que se han recogido los contrastes más relevantes. Ejemplo 7.12 Sea X ∼ N (µ, 100) , X1 , X2 , ..., Xn una m.a.s. de X, con n = 144 y x = 160. (a) Planteamos las hipótesis H0 : µ = 150 H1 : µ 6= 150 y queremos estudiarlas para un nivel de significación α = 0.05. Según la tabla de contrastes de hipótesis, el estadı́stico a utilizar es Z = estudiada, se obtiene el llamado valor experimental del estadı́stico Z : Estadı́stica X−µ0 √ n. σ Para la muestra 7.7 Tema 7. Contrastes de hipótesis estadı́sticas. Contrastes paramétricos zexp = 160 − 150 √ 144 = 12. 10 La región crı́tica es o n RC = (X1 , X2 , ..., Xn ) ∈ Rn /Z ≤ −z1− α2 ó Z ≥ z1− α2 o, por simplicidad, lo representaremos de la forma o n RC = Z ≤ −z1− α2 ó Z ≥ z1− α2 = {Z ≤ −1.96 ó Z ≥ 1.96} . Como zexp cumple la condición descrita en la región crı́tica (por simplicidad diremos zexp ∈ RC), entonces se rechaza la hipótesis nula, es decir, la media poblacional se puede suponer que es significativamente diferente de 150. (b) Si planteáramos H0 : µ = 158.5 H1 : µ 6= 158.5, con el mismo nivel de significación, (α = 0.05), el valor experimental serı́a zexp = 160 − 158.5 √ 144 = 1.8. 10 La región crı́tica serı́a la misma que la del apartado (a), y por lo tanto, ahora zexp ∈ / RC, por lo que no existen evidencias significativas para rechazar H0 . Parece que µ podrı́a valer 158.5 ya que no hay evidencias de lo contrario. (c) En cambio, si para el contraste planteado en (b), tomamos α = 0.1, la región crı́tica variarı́a (aumentamos el riesgo de tipo I): RC = {Z ≤ −1.645 ó Z ≥ 1.645} . Y ahora zexp = 1.8 ∈ RC, por lo que se rechaza la hipótesis nula. En este segundo caso estamos permitiendo mayor probabilidad de error de tipo I que con α = 0.05. Vemos también que el resultado de un test puede variar según el nivel de significación elegido. Para evitar este posible conflicto introducimos en la siguiente sección el concepto de p-valor. 7.4 El concepto de p-valor Veamos otra forma de obtener conclusiones en un problema de contrastes de hipótesis que en la práctica es más rápida de interpretar y lo incorporan la mayorı́a de los paquetes estadı́sticos. El p-valor proporciona el nivel de significación más pequeño que nos hubiera llevado a rechazar la hipótesis nula con los datos experimentales del problema concreto que se esté estudiando. Si el p-valor es inferior al nivel de significación prefijado, se rechazará la hipótesis nula planteada. Si es igual o superior no se rechazará la hipótesis nula y, si fuera necesario, se aceptará la hipótesis alternativa por no tener evidencias de que no sea cierta. Veamos, con un ejemplo, cómo se obtiene el p-valor. 7.8 2o Ing. Informática 7.4. El concepto de p-valor Ejemplo 7.13 Supongamos una v.a. normal y planteamos las hipótesis H0 : σ = 1.6 H1 : σ > 1.6. Para su estudio se extrae una m.a.s de tamaño 90 observándose una varianza de 2.78. Según la tabla anexa, el estadı́stico que debemos utilizar es T = nS 2 ∼ χ2 , σ02 H0 n−1 es decir, bajo H0 (suponiendo que H0 es cierta), T sigue una distribución χ2n−1 . La región crı́tica a utilizar es RC = T ≥ χ2n−1,1−α . Para la muestra obtenida, el valor experimental de T es texp = ns2 1.62 = 97.7344. PH0 [T ≥ texp ] = p (p-valor) proporciona el menor valor de α con el que se rechazarı́a H0 . Nos fijamos en los puntos crı́ticos de la distribución χ2 con n − 1 = 89 grados de libertad y observamos que 97.7344 ≃ χ289,0.75 . Por lo que PH0 [T ≤ 97.7344] ≃ 0.75 =⇒ PH0 [T > 97.7344] = P χ289 > 97.7344 ≃ 0.25 Con el valor habitual α = 0.05 se tiene α = 0.05 < 0.25, por lo que no se rechaza que σ = 1.6. Si el contraste es bilateral, la región crı́tica, RC, consta de dos partes. Si T es el estadı́stico utilizado en el contraste, entonces α α Se rechazará H0 ⇐⇒ PH0 [T ≤ texp ] ≤ ó PH0 [T ≥ texp ] ≤ ⇐⇒ 2 2 α ⇐⇒ min {PH0 [T ≤ texp ] , PH0 [T ≥ texp ]} ≤ ⇐⇒ 2 ⇐⇒ 2 min {PH0 [T ≤ texp ] , PH0 [T ≥ texp ]} ≤ α Entonces el p-valor es p = 2 min {PH0 [T ≤ texp ] , PH0 [T ≥ texp ]} En la práctica, tras introducir las observaciones que se obtienen de la muestra y tras indicar el estudio deseado, los paquetes estadı́sticos proporcionan el p-valor asociado. A partir de éste se realizarán las interpretaciones correspondientes. Ejemplo 7.14 Suponemos que para resolver el problema planteado en el ejemplo 7.1, introducimos en un paquete estadı́stico los tiempos de respuesta obtenidos en 50 ejecuciones. En tal caso, pediremos que el paquete estudie la hipótesis: el tiempo medio de respuesta es 5. Debemos de fijar el nivel de significación a utilizar en el problema, por ejemplo α = 0.05. Si el p-valor obtenido por el paquete estadı́stico es p = 0.386, al ser p > α = 0.05, no se rechaza la hipótesis nula, es decir, el tiempo medio de respuesta podemos suponer que no es significativamente diferente de 5. En cambio, si el p-valor fuera 0.013 < 0.05, se rechazarı́a la hipótesis nula, es decir, podrı́amos afirmar que se puede suponer que el tiempo medio de respuesta es significativamente diferente de 5. Estadı́stica 7.9 - Tablas: - Tabla de contrastes en poblaciones normales - Tabla de contrastes sobre proporciones