SIGNIFICACIÓN ESTADISTICA Y POTENCIA DE UN ESTUDIO APUNTES DE INVESTIGACION DOCENCIA RAFALAFENA SIGNIFICACIÓN ESTADÍSTICA La realización de cualquier estudio clínico-epidemiológico pretende poner de manifiesto al final del mismo si existe o no asociación entre diferentes variables. Esta asociación puede ser resultado de que realmente exista la asociación indicada, pero esta asociación también puede ser producto del azar, de la presencia de sesgos o de la presencia de variables de confusión. En estadística, un resultado se denomina estadísticamente significativo cuando no es probable que haya sido debido al azar. Una "diferencia estadísticamente significativa" solamente significa que hay evidencias estadísticas de que hay una diferencia entre las variables estudiadas. No significa que la diferencia sea grande, importante, o significativa en el sentido estricto de la palabra, sólo indica que hay diferencias. Una de las aplicaciones de la estadística es hacer inferencias a poblaciones, a partir de muestras. En la realización de este proceso, siempre existe el riesgo de error o imprecisión ya sea por el azar o la variabilidad biológica del fenómeno a estudiar. DEFINICION El nivel de significación de un test es un concepto estadístico asociado a la verificación de una hipótesis. En pocas palabras, se define como la probabilidad de tomar la decisión de rechazar la hipótesis nula (H 0) cuando ésta es verdadera (decisión conocida como Error tipo I, o "falso positivo"). La decisión se toma a menudo utilizando el valor P (o p-valor): si el valor P es inferior al nivel de significación, entonces la hipótesis nula es rechazada. Cuanto menor sea el valor P, más significativo será el resultado. La Ho (hipótesis nula) representa la afirmación de que no hay asociación entre las dos variables estudiadas y la H1 (hipótesis alternativa) afirma que hay algún grado de relación o asociación entre las dos variables. Realidad (Población) No existe Existe diferencia o diferencia o asociación asociación (H0 falsa) Diferencia o asociación significativa Resultado de la prueba (muestra) (rechazo H0) Diferencia o asociación no significativa (H0 cierta) No error Error tipo I (1-β) Error α Error tipo II No error Error β (1-α) (No rechazo H0) Ho (hipótesis nula) = No hay diferencia entre ambos tratamientos. H1 (hipótesis alternativa) = Sí existe diferencia. El nivel de significación se estableció siguiendo los comentarios del estadístico Fisher que señaló "...es conveniente trazar una línea de demarcación a partir de la cual podamos decir: o bien hay algo en el tratamiento...". El valor de "p" que indica que la asociación es estadísticamente significativa ha sido arbitrariamente seleccionado y por consenso se considera en 0.05. Una seguridad del 95% lleva implícito una p < de 0.05. Una seguridad del 99% lleva implícita una p < 0.01. Cuando rechazamos la Ho (hipótesis nula) y aceptamos la H1 (hipótesis alternativa) como probablemente cierta afirmando que hay una asociación, o que hay diferencia, estamos diciendo en otras palabras que es muy poco probable que el azar fuese responsable de dicha asociación. Del mismo modo si la p>0.05 decimos que el azar no puede ser excluido como explicación de dicho hallazgo y no rechazamos la Ho (hipótesis nula) que afirma que ambas variables no están asociadas o correlacionadas. La significación estadística depende de 2 componentes fundamentales: - Magnitud de la diferencia Cuanto más grande sea la diferencia entre 2 variables, más fácil es demostrar que la diferencia es significativa. - Tamaño muestral A mayor tamaño muestral, más fácil es detectar diferencias. Lo hace a través de del error estándar: “a mas pacientes menor error estándar”. Error de tipo I (α) El error tipo I, conocido también como erro tipo alfa, se comete cuando el investigador rechaza la hipótesis nula (H0), siendo ésta verdadera en la población. Es equivalente a encontrar un resultado falso positivo, ya que el investigador concluye que hay diferencia, cuando en realidad no existe. La "p" no es un indicador de fuerza de la asociación ni de su importancia. La significación estadística es por tanto una condición resultante del rechazo de una hipótesis nula mediante la aplicación de una prueba estadística de significación. El nivel de significación es el riesgo o la probabilidad que voluntariamente asume el investigador de equivocarse al rechazar la hipótesis nula, cuando en realidad es cierta. Este riesgo se establece normalmente en 0.05 (95%)ó 0.01 (99%). Si p < 0.05 se considera significativo, en cuyo caso se rechaza la hipótesis nula Si p> 0.05 se considera no significativo en cuyo caso no se rechaza la hipótesis nula. Error de tipo II (β) El error tipo II o beta se comete en la situación contraria: cuando el investigador NO rechaza la hipótesis nula (H0), siendo ésta FALSA en la población. Es equivalente a un resultado falso negativo, ya que el investigador concluye que ha sido incapaz de encontrar una diferencia que existe en la realidad. Su complemento, (1-β), conocido como PODER o POTENCIA ESTADÍSTICA, representa la probabilidad de observar en la muestra una determinada diferencia o un efecto, si existen en la población. El error de tipo I, es por lo tanto rechazar la Ho cuando en realidad es verdadera. Se podría considerar que para evitar este tipo de error deberíamos de elegir un nivel de confianza más elevado, sin embargo al aumentar el nivel de confianza aumenta la probabilidad de cometer el error de tipo II. Recomendaciones para disminuir el error de tipo I: Disponer de una teoría que guíe la investigación, evitando el "salir de pesca" con el ordenador buscando asociaciones entre variables. Disminuir el número de test estadísticos llevados a cabo en el estudio. Depurar la base de datos para evitar errores de valores extremos que puedan producir hallazgos significativos. Utilizar valores de alfa más reducidos (0.01 ó 0.001). Reproducir el estudio. Si al reproducir el estudio se obtienen resultados similares, estaremos más seguros de no estar cometiendo el error de tipo I. Recomendaciones para disminuir el error de tipo II: Incrementar el tamaño de la muestra. Estimar el poder estadístico (potencia) del estudio. Incrementar el tamaño del efecto a detectar. Incrementar el valor de alfa. Utilizar test paramétricos (más potentes) en lugar de test no paramétricos. POTENCIA DE UN ESTUDIO DEFINICION DE POTENCIA Los estudios cuyos resultados no son estadísticamente significativos suelen denominarse “estudios negativo”. Sin embargo, la usencia de significación no implica necesariamente que no exista en la realidad una asociación relevante entre el factor de estudio y la respuesta. La probabilidad de cometer este error se conoce como β, y su complemento 1β corresponde a la potencia estadística, que cuantifica la capacidad de un estudio para detectar como estadísticamente significativo una determinada diferencia o asociación que existe en la realidad. El poder estadístico de un estudio depende de diferentes factores, como: 1. El tamaño del efecto a detectar, es decir, la magnitud mínima de la diferencia o asociación entre los grupos que se considera clínicamente relevante Cuanto mayor sea el tamaño del efecto que se desea detectar, mayor será la probabilidad de obtener hallazgos significativos y, por lo tanto, mayor será el poder estadístico. 2. La variabilidad de la respuesta estudiada. A mayor variabilidad en la respuesta, más difícil será detectar diferencias entre los grupos que se comparan y menor será el poder estadístico de la investigación. De ahí que sea recomendable estudiar grupos lo más homogéneos posibles. 3. El tamaño de la muestra a estudiar. A mayor tamaño muestral, mayor será la potencia estadística de un estudio. 4. El nivel de significación estadística. Si se disminuye el valor de α también se disminuye el poder de la prueba. Habitualmente se trabaja con un nivel de significación del 95% ( α = 0,05), por lo que el equilibrio hay que en encontrarlo finalmente entre el tamaño de la muestra que es posible estudiar y el poder que se quiere para el estudio. Los cuatro factores anteriores, junto con el poder estadístico, forman un sistema cerrado. De este modo, una vez fijados tres de ellos, el cuarto queda completamente determinado. CÁLCULO DE LA POTENCIA Generalmente, se suele trabajar con un poder en torno al 80% o al 90%. Con frecuencia, las condiciones en las que se lleva a cabo una investigación son diferentes de las que se habían previsto en un principio. En consecuencia, y a la vista de hallazgos no significativos, es recomendable evaluar de nuevo a posteriori su potencia con el fin de discernir si el estudio carece del poder necesario para detectar una diferencia relevante o bien si realmente puede no existir tal diferencia. Existen fórmulas que calculan el poder estadístico en función de la naturaleza de la investigación. Con estas fórmulas obtienes un valor, a partir del cual se determina la potencia recurriendo a unas tablas de la distribución normal. Sin embargo, y aunque dichas fórmulas nos permitirían analizar el poder estadístico en diferentes tipos de diseño, puede resultar más sencillo disponer de algún software específico con el que poder realizar dichos cálculos. Tabla 3. Valores de , y más frecuentemente utilizados. Test unilateral Test bilateral 0,200 0,150 0,100 0,050 0,025 0,010 0,842 1,036 1,282 1,645 1,960 2,326 1,282 1,440 1,645 1,960 2,240 2,576 0,99 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 0,55 0,50 0,01 0,05 0,10 0,15 0,20 0,25 0,30 0,35 0,40 0,45 0,50 2,326 1,645 1,282 1,036 0,842 0,674 0,524 0,385 0,253 0,126 0,000 Seguridad α 80 % 85 % 90 % 95 % 97,5 % 99 % Poder estadístico 99 % 95 % 90 % 85 % 80 % 75 % 70 % 65 % 60 % 55 % 50 % Tanto si los hallazgos son estadísticamente significativos como si no lo son, la estimación de intervalos de confianza pueden también facilitar la interpretación de los resultados en términos de magnitud y relevancia clínica, proporcionándonos una idea de la precisión con la que se ha efectuado al estimación, de la magnitud y de la dirección del efecto. De este modo, los intervalos de confianza nos permiten tener una idea acerca del poder estadístico de un estudio y, por tanto, de la credibilidad de la ausencia de hallazgos significativos.
