¿Estadísticamente significativo o clínicamente relevante?

Adolfo Figueiras Guzmán
Prof. Titular de Medicina Preventiva e Saúde Pública (USC)
¿Estadísticamente significativo o clínicamente relevante?
Índice
1.
1. Introducción
Introducción
2.
Objetivos
2. Objetivos
3.
3. Desarrollo
Desarrollo
–– Conceptos
Conceptos
–– Cálculo del tamaño de la muestra
Cálculo del tamaño de la muestra
–– Análisis de datos
Análisis de datos
–– Interpretación de los resultados
Interpretación de los resultados
4.
Conclusión/Resumen
4. Conclusión/Resumen
5.
5. Bibliografía
Bibliografía
3
1. Introdución
•En prácticamente todas las contribuciones originales en revistas se utilizan pruebas estadísticas
•Un lector poco experto en estadística solo reparará en que resultados presentan p<0.05.
p<0.05.
•¿Es tan complicado la interpretación? 4
2. Objetivos
OBJETIVO
Proporcionar una aproximación intuitiva a la interpretación de los resultados estadísticos y epidemiológicos, sin necesidad de profundizar en cuestiones estadísticas
5
3. Conceptos
Al plantearnos una pregunta de investigación, siempre subyace una población diana a la que pretende extrapolar los resultados de un estudio
6
3. Conceptos
Pregunta de investigación
Población diana
¿Es eficaz un nuevo betabloqueante para la disminución de la tensión arterial?
Pacientes con hipertensión (sin especificar lugar ni periodo).
7
3. Conceptos
IMPOSIBLE REALIZAR UNA
MUESTRA PROBABILISTICA DE
LA POBLACION DIANA
Tampoco es necesario:
1. Estudiar la relación en la
población accesible al investigador
(población de estudio)
2. Discutir su posible aplicación a
una población diana, más amplia y
distinta a las anteriores
8
3. Conceptos
Por tanto…. de una población se
pueden extraer infinitas muestras,
por procedimientos aleatorios o no
aleatorios !!
¿?
9
3. Conceptos
Población
P
M
P
M
P
M
P
M
P
P
P
M
P
P
P
M
P
P
M
P
P
M
P
M
M
M
M
P
M
P
M
P
M
P
M
M
P
M
M
P
M
M
P
M
M
P
M
M
P
M
M
P
P
M
P
M
M
M
M=P: (50%M, %=% P)
P
M<P
Muestra 1
M>P
Muestra 2
Múltiples muestras… ¡¡¡ distintas entre ellas
y con respecto a la Población!!
10
P
M
P
M
M=P
Muestra n
3. Conceptos
Una pregunta de investigación lleva implícita una hipótesis que se pude formular de dos maneras:
Hipótesis nula
(Ho)
NO existencia de diferencias entre los grupos
Hipótesis Alternativa
(Ha)
Una vez contrastado los datos, podemos rechazar Ho por lo que aceptamos la Ha
Ho=El fármaco A es igual de eficaz que P
Ha=El fármaco A es más eficaz que el placebo
11
3. Conceptos
Realidad en la población
Diferentes
Diferencias (Ha)
Conclusiones
de estudio
P
M
P
M
P
M
P
P
M
M
M
M=P: (50%M, %=% P)
12
P
P
M
M
P
M
P
M
P
M
M
P
M
P
M
P
M
P
M
P
M
P
M
M
P
M
P
M
No diferencias (H0)
P
M
No diferentes
M
M
P
M
P
M
M>P
Muestra k
3. Conceptos
Realidad en la población
Diferentes
Diferencias (Ha)
Conclusiones
de estudio
P
M
P
M
P
M
P
P
M
P
M
M
P
M
P
M
P
M
M
P
M
P
M
P
M
P
M
P
M
P
M
M
P
M
P
M
No diferencias (H0)
P
M
No diferentes
P
M
M
M
M
M>P
P
M=P: (50%M, %=% P)
M
P
M
Muestra k
13
3. Conceptos
Realidad en la población
Diferentes
Conclusiones
de estudio
14
Diferencias (Ha)
No diferencias (H0)
No diferentes
OK
OK
3. Conceptos
Realidad en la población
Conclusiones
de estudio
Diferencias (Ha)
Diferentes
No diferentes
OK
Error I
No diferencias (H0)
OK
Error tipo I
Concluir que existen diferencias entre los tratamientos, cuando en realidad no existen.
15
3. Conceptos
Realidad en la población
Conclusiones
de estudio
Diferentes
No diferentes
Diferencias (Ha)
OK
Error I
No diferencias (H0)
Error II
OK
Error tipo II
Concluir que NO existen diferencias entre los tratamientos, cuando en realidad SI existen.
16
3. Conceptos
Realidad en la población
Conclusiones
de estudio
Diferentes
No diferentes
Diferencias (Ha)
OK
Error I
No diferencias (H0)
Error II
OK
Pero… ¿En que casilla estamos?
¡¡¡¡No lo sabemos porque
no sabemos lo que pasa en
la población !!!!
17
3. Conceptos
Realidad en la población
Conclusiones
de estudio
P
M
P
M
M
P
Error I
No diferencias (H0)
Error II
OK
P
P
M
P
M
M
M
M=P: (50%M, %=% P)
18
P
P
M
M
P
M
M
M
P
P
M
P
M
P
M
P
M
OK
P
M
P
M
Diferencias (Ha)
M
P
M
No diferentes
P
M
P
M
Diferentes
M
M
P
M
P
M
M>P
Muestra k
3. Conceptos
Realidad en la población
Conclusiones
de estudio
Diferentes
No diferentes
Diferencias (Ha)
OK
Error I
No diferencias (H0)
Error II
OK
La estadística nos dice cual es la probabilidad de cometer el error tipo I…
TEST de contraste de hipótesis
‐X2
‐T‐Student
‐ANOVA
….Y si esta probabilidad es
baja o muy baja concluir que en la población también hay diferencias.
Valor de ‐P
‐Regresión
‐….
19
3. Conceptos
Realidad en la población
Conclusiones
de estudio
Diferentes
No diferentes
Diferencias (Ha)
OK
Error I
No diferencias (H0)
Error II
OK
La estadística nos dice cual es la probabilidad de cometer el error tipo I…
….Y si esta probabilidad es
esta probabilidad es
baja o muy baja concluir que en la población también hay diferencias.
20
Por convención se fija en el 5%
ANTES de iniciarse el estudio se debe fijar la probabilidad de cometer el error tipo I (riesgo α )
3. Conceptos
Realidad en la población
Conclusiones
de estudio
Diferentes
No diferentes
Diferencias (Ha)
OK
Error I
No diferencias (H0)
Error II
OK
Si p < riesgo α ⇒ Rechazo de Ho (M>P)
21
3. Conceptos
Realidad en la población
Conclusiones
de estudio
Diferentes
No diferentes
Diferencias (Ha)
OK
Error I
No diferencias (H0)
Error II
OK
P
M
P
M
M
P
M=P
22
P
M
3. Conceptos
Realidad en la población
Conclusiones
de estudio
Diferentes
No diferentes
Diferencias (Ha)
OK
Error I
No diferencias (H0)
Error II
OK
• Para el error tipo II
error tipo II, se suele fijar en el 20%, aunque puede variar dependiendo del objetivo del estudio. • Riesgo β
Riesgo β es la probabilidad de cometer el error tipo II.
• Poder estadístico = 1—β .
• Poder (o potencia) estad
estadíístico como la capacidad del estudio para detectar diferencias cuando existen en la realidad.
23
4. Cálculo del tamaño de la muestra
Factores que influyen en el tamaño de la muestra:
•Riesgo Alfa
•Riesgo Beta •Diferencia a detectar
•Variabilidad en la respuesta
24
Generalmente del 5%
Generalmente del 5%
del 10%, 20%...
del 10%, 20%...
4. Cálculo del tamaño de la muestra
Factores que influyen en el tamaño de la muestra:
•Riesgo Alfa
•Riesgo Beta •Diferencia a detectar
•Variabilidad en la respuesta
•• Es la diferencia más Es la diferencia más pequeña
pequeñaentre dos entre dos tratamientos que se tratamientos que se considere cl
clíínicamente considere clínicamente relevante para cambiar
relevante para cambiar
un tratamiento por otro
un tratamiento por otro
•• A menor diferencia, A menor diferencia, mayor tamaño de la mayor tamaño de la muestra
muestra
25
4. Cálculo del tamaño de la muestra
Factores que influyen en el tamaño de la muestra:
•Riesgo Alfa
•Riesgo Beta •Diferencia a detectar
•Variabilidad en la respuesta
26
↑↑variabilidad en la variabilidad en la respuesta ⇒
respuesta ⇒↑↑tamaño de tamaño de la muestra la muestra 5. Análisis de datos
l de
o
señ as
i
d
el otr
d
y
s bas u
o
t
da prue
e
d
o nas p
i
t
u
el os d
m
o
nd plica
e
i
d
a
en udio
p
De e s t
Solo son un Solo son un medio
mediopara calcular el valor de la “p”
para calcular el valor de la “p”
27
5. Análisis de datos
1. Esa “p” es la probabilidad de que la diferencia encontrada en la muestra se deba a un error aleatorio al extraer la muestra de la población en la que no existen diferencias
2. Si esa probabilidad es menor de la fijada “a priori”
como asumible podremos rechazar la Ho.
3. Se dice entonces que hay diferencias estadísticamente significativas.
28
6. Interpretación de los resultados
Factores que influyen en la significación estadística
FACTOR
Valor de p
↑ Tamaño de la muestra
↓
↑ Magnitud del efecto
↓
↑ Variabilidad en la respuesta
↑
Puede haber significación estadística y no magnitud del
efecto relevante y al revés…
29
6. Interpretación de los resultados
Estadísticamente
Estadísticamente
significativo
significativo
P< 0.05
30
vs
Clínicamente Clínicamente relevante
relevante
Es la diferencia más pequeña
entre dos tratamientos que se considera cl
clíínicamente relevante para cambiar un tratamiento por otro
6. Interpretación de los resultados
Estadísticamente significativa
DIFERENCIA
SI
Clínicamente
relevante
NO
SI
X
NO
Ensayo clínico de un hipoglucemiante oral:
111 mg/dl
50 tratamiento A
100 pacientes
P>0.05
50 tratamiento B
110 mg/dl
31
6. Interpretación de los resultados
Estadísticamente significativa
DIFERENCIA
SI
Clínicamente
relevante
SI
NO
X
NO
Ensayo clínico de un hipoglucemiante oral:
50 tratamiento A
100 pacientes
P<0.05
50 tratamiento B
32
140 mg/dl
110 mg/dl
6. Interpretación de los resultados
Estadísticamente significativa
DIFERENCIA
SI
Clínicamente
relevante
NO
SI
X
NO
Ensayo clínico de un hipoglucemiante oral:
111 mg/dl
500 tratamiento A
1000 pacientes
P<0.05
500 tratamiento B
110 mg/dl
33
6. Interpretación de los resultados
Estadísticamente significativa
DIFERENCIA
SI
Clínicamente
relevante
SI
NO
X
NO
Ensayo clínico de un hipoglucemiante oral:
5 tratamiento A
140 mg/dl
10 pacientes
P>0.05
5 tratamiento B
34
110 mg/dl
6. Interpretación de los resultados
P a r a d o j a
Tamaño de la muestra grande
grande
Tamaño de la muestra grande
Diferencia peque
pequeñ
ña
Diferencia pequeña
p<0.05 !!!
Tamaño de la muestra peque
pequeñ
ña
Tamaño de la muestra pequeña
Diferencia grande
grande
Diferencia grande
35
6. Interpretación de los resultados
¿Alternativas al valor
de p?
Calcular una medida de efecto
medida de efecto (riesgo relativo, riesgo atribuible….) que mide el impacto clínico
sus intervalos de confianza
intervalos de confianza que permite valorar la precisión de las estimaciones en la población, y contrastar la hipótesis nula
36
6. Interpretación de los resultados
37
Conclusiones
• El nivel de rechazo de la Ho debe fijarse a priori
• Que sea estadísticamente significativo no indica que la relación sea causal.
• Que los resultados no sean estadísticamente significativos no indica que la hipótesis nula sea cierta.
• La significación estadística depende del tamaño de la muestra.
• Un resultado puede ser estadísticamente significativo y no clínicamente relevante.
• Las medidas de efecto (con sus intervalos de confianza) nos indican la magnitud del efecto y la significación estadística.
38
5. Referencias
39
Bibliografía
• Boletín de Información Terapéutica SERGAS. Interpretación de los resultados de los estudios clínicos: de la "P" a las medidas de efecto y los intervalos de confianza. SERGAS, Santiago de Compostela 1996.
• Porta Serra M, Plasencia A, Sanz F. La calidad de la información clínica: ¿estadísticamente significativo o clínicamente importante? Med Clin (Barc) 1988; 90: 463‐8.
• Pita Fernández S., Pértega Díaz S. Significancia estadística y relevancia clínica. Fisterra. Disponible en: http://www.fisterra.com/mbe/investiga/signi_estadi/signi_
estadisti2.pdf
40