Document

La evaluación de pruebas
diagnosticas
David Epstein
Universidad de York,
Inglaterra
[email protected]
1
Indice
z
z
Introducción
Parte 1
–
z
Parte 2
–
–
z
z
2
z
El criterio de positivismo óptimo para una prueba
Caso Práctico 1
Parte 5
–
z
La curva de rendimiento diagnóstico (ROC)
Parte 4
–
z
La probabilidad de enfermedad
La fórmula de Rvdo. Dr. Bayes
Parte 3
–
z
La sensibilidad y especificidad
El meta
meta-análisis
análisis
Caso práctico 2
Resumen, preguntas y conclusiones
Bibliografía
g
z
z
z
z
3
Deeks JJ. Systematic reviews in health care:
systematic reviews of evaluations of diagnostic and
screening tests. BMJ. 2001;323:157-62.
Hennekens C, Buring J. Epidemiology in medicine.
Philadelphia: Lippincott; 1987.
W i t i M,
Weinstein
M Fi
Fineberg
b
H
H. Cli
Clinical
i lD
Decision
i i A
Analysis.
l i
Philadelphia: W B Saunders; 1980.
Jaimes Fabián.
Jaimes,
Fabián Diagnostic tests: use and
interpretation. Acta Med Colomb, Jan./Mar. 2007,
vol.32, no.1, p.29-33
Una p
prueba es un separador
p
z
La prueba
–
–
z
Los resultados de la prueba
–
4
Un método para buscar más datos de un paciente
Hi ó i
Histórico,
fí
físico,
i
químico,
í i
radiográfico…
di áfi
Separar pacientes en grupos con diferentes
probabilidades de tener una enfermedad
Características de una prueba
p
z
z
Normalmente una prueba tiene 2
características
Una variable de medición
–
z
Un criterio de positivismo
–
–
5
Por ejemplo, la presión diastólica de sangre
El valor p
para separar
p
el “normal” de la
“enfermedad”
Por qué hacemos una dicotomización?
Resultados de un estudio de la relación
entre el nivel de la enzima “SGOT” y una
infarto de miocardio reciente
Prop
porción d
de pacien
ntes
6
Con IM
N=48
25%
25%
12/48
23%
11/48
17%
19%
8%
8%
9/48
4/48
4/48
8/48
0%
50
25%
50%
150
100
80%
11%
9%
37/46
5/46
4/46
200
250
600
SGOT
unidades/litro
Sin IM
N=46
75%
SGOT: Glutamic oxaloacetic transaminase
La prueba “SGOT” para el infarto de
miocardio
z
z
z
Variación en los valores de SGOT en
pacientes con y sin IM
Los valores en los grupos se solapan
Elegir un criterio de positivismo para separar
los pacientes
–
z
7
Por ejemplo
j
SGOT ≥100 unidades /litro
Tabla 2 x 2
Los resultados en una tabla 2x2 con un
positivismo de SGOT≥100
criterio de p
8
Con IM
Sin IM
Total
SGOT≥100
VP
FN
P+
SGOT<100
FP
VN
P-
Total
E+= 48
E- = 46
N= 94
Los resultados en una tabla 2x2 con un
positivismo de SGOT≥100
criterio de p
9
Con IM
Sin IM
Total
SGOT≥100
VP 25
VP=25
FN 4
FN=4
P+ =29
29
SGOT<100
FP=23
VN=42
P- =65
Total
E+= 48
E- = 46
N= 94
Definiciones
z
Sensibilidad
–
z
Especificidad
–
10
= “sensitivity” = tasa de verdadero positivos=
Pr[P+|E+] = VP / E+
= “specificity” = tasa de verdadero negativos=
Pr[P-|E-] = VN / E-
Cociente de verosimilitud :
“Likelihood ratio”
z
Definiciones
–
–
–
z
11
Cocientes de verosimilitud; “Likelihood ratio”
LR = sensibilidad/(1-especificidad)
LR+
ibilid d/(1
ifi id d)
LR- = (1-sensibilidad)/ especificidad
=“Razon de probabilidades”
p
Ejercicio. Calcular sensibilidad y
p
especificidad
z
Cálculo
–
–
–
–
z
Interpretación
–
–
12
Sensibilidad
E
Especificidad
ifi id d
LR +
LR Exactidud o precisión de la prueba
Insuficiente para tomar una decisión
Parte 2
z
13
La revisión de la probabilidad de la
enfermedad
Ejercicio. Probabilidad de una
enfermedad
z
Una prueba tiene
–
–
z
z
z
z
14
Una sensibilidad de 99%
Una especificidad de 90%
La prevalencia (frecuencia de la enfermedad en la
población de interés)) es 10%
p
Le diste la prueba a un paciente y resultó P+.
¿Cuál es la probabilidad
¿
p
de q
que el p
paciente tiene la
enfermedad?
A. 10% B. 50% C. Entre 90 y 99% D. 100%
La revisión de la probabilidad
p
z
z
Imaginad un cohorte de 1
1.000
000 personas
De ellos, 100 tiene la enfermedad, 900 no la
tiene
Sensibilidad
99%
99 P+, 1 P-
90 P+, 810 P-
Especificidad
90%
En el cohorte de 1
1.000
000 personas
99 + 90 = 189 P+
15
1+ 810 = 811 P-
Pr(E+ |P+) = 99/189 = 51% Pr(E-|P-) = 810/811
Rev. Thomas Bayes
y ((c.1702 – 1761))
16
Teorema de Bayes
y (skip)
( p)
z
Pr(P+) Pr(P+|E+)*Pr(E+) + Pr(P+|E-)*Pr(E-)
Pr(P+)=
Pr(P+|E )*Pr(E )
Sensibilidad
z
Prevalencia
1-Prevalencia
Pr(E+ | P+ ) = Pr(P + | E + )* Pr(E+) / Pr( P+)
Probabilidad posterior
17
1-Especificidad
Ejercicio. Revisar la probabilidad de un
paciente que
p
q tuvo un IM (skip)
( p)
z
SGOT ≥ 50
–
z
Prevalencia .
–
–
z
18
Sensibilidad 75%, especificidad 80%
A. Supone que es 50%
B. Supone que es 20%
Usar ambos métodos : el método “cohorte” y
la formula de Bayes
Cálculo (skip)
( p)
z
Prevalencia (probabilidad prior)
–
P(P+) = 0.475
z
Probabilidad posterior = 0.375/0.475= 79%
z
Prevalencia
–
z
19
=50%
50%
=20%
P(P+) = 0.31
0 31
Probabilidad posterior = 0.15/0.31=48%
Formula de Bayes
y
z
z
z
20
Difícil calcular rápidamente
No es muy intuitiva
Afortunadamente hay una forma más
sencilla
Odds
z
z
21
Definiciónes
Odds
–
Odds = Probabilidad / (1-probabilidad)
–
Probabilidad = odds / (1 + odds)
Cociente de verosimilitud :
“Likelihood ratio”
z
Definiciones
–
–
–
22
Cocientes de verosimilitud; “Likelihood ratio”
LR = sensibilidad/(1-especificidad)
LR+
ibilid d/(1
ifi id d)
LR- = (1-sensibilidad)/ especificidad
Fórmula de Bayes:
y
más sencillo
Pr(( E + | P + ) P
P
Pr(( E + ) P
Pr(( P + | E + )
=
*
Pr( E − | P + ) Pr( E −) Pr( P + | E −)
Odds posterior = Odds prior x likelihood ratio(+)
LR+ . Cambiar (aumentar) la probabilidad de la
enfermedad en pacientes con un resultado positivo
LR-. Cambiar (disminuir) la probabilidad de la
enfermedad
f
d d en pacientes
i t con un resultado
lt d negativo
ti
23
Calculad la p
probabilidad de la
enfermedad en un paciente con un
p
resultado positivo
z
Umbral de SGOT = 50
–
z
Prevalencia = probabilidad prior de que la paciente tuvo un IM
–
Supone que es 50%
z
odds prior = 0.5 / 0.5 = 1
z
LR+ = 0.75 / 0.2 = 3.75
z
odds posterior = 1 x 3.75 = 3.75
probabilidad posterior P(E+| P+) = 3.75 / 4.75 ≈ 0.80
z
z
z
24
Sensibilidad 75%, especificidad 80%
Calculad la probabilidad de la enfermedad en un paciente con un
resultado positivo si P(E+)=20%
Calculad la probabilidad de la enfermedad en un paciente con un
resultado NEGATIVO si P(E+)=20%
Ejercicio
j
z
25
JAIMES, Fabián.
JAIMES
Fabián Diagnostic tests: use and
interpretation. Acta Med Colomb, Jan./Mar.
2007 vol
2007,
vol.32,
32 no
no.1,
1 p
p.29-33.
29 33
Odds posterior
p
26
z
En el análisis anterior calculamos el odds
posterior dado un resultado positivo de la
prueba (P+)
z
También se puede calcular el odds posterior
de la enfermedad dado un valor “X” de
SGOT eg X= 75
“Likelihood
Likelihood ratios
ratios”. Cocientes de
verosimilitud.
Calcular dentro de cada rango
g de SGOT
27
SGOT “x”
x
E+
E
E-
LR(x)
0-49
0
49
12
37
(12/48)/(37/46)=0,31
(12/48)/(37/46)
0,31
50-99
11
5
100-149
9
4
150+
16
0
Total
48
46
“Likelihood ratios”
28
SGOT
“x”
0 49
0-49
E+
E
E-
LR(x)
12
37
0 31
0,31
50-99
11
5
2,11
,
100-149 9
4
2,16
150+
16
0
Inf.
Total
48
46
LR <1 Æ disminuir la
probabilidad de la
enfermedad (dado el
resultado de la prueba)
LR >1 Æ aumentar la
probabilidad de la
enfermedad (dado el
resultado de la prueba)
La fórmula de Bayes
y p
para calcular el
odds posterior dado un valor “X” de
SGOT
Pr( E + | X ) Pr( E +) Pr( X | E + )
=
*
Pr( E − | X ) Pr( E −) Pr( X | E −)
29
Odds p
posterior de IM
30
SGOT
“X”
E+
E
E-
LR(X)
0-49
0
49
12
37
0 31
0,31
50-99
11
5
2,11
100-149
9
4
2,16
150+
16
0
Inf.
Total
48
46
Odds
posterior
Probabilidad
posterior
Cálculo de odds posterior cuando
prevalencia = 20%
SGOT=75 y la p
z
z
LR | (50<SGOT<100) = 2,11
2 11
Prevalencia = 20%
–
z
Odds p
posterior = Pr(E+|
( | X)) / Pr(E( | X))
–
–
31
Odds prior de la enfermedad= Pr(E+)/P(E-)= 0,25
= 0,25 x 2,11= 0,53
Probabilidad p
posterior = 0,53/1,53
,
, = 35%
Odds posterior de IM cuando la
prevalencia = 20%
p
32
SGOT
X
E+
E
E-
LR(X)
0-49
0
49
12
37
0 31
0,31
50-99
11
5
2,11
100-149
9
4
2,16
150+
16
0
Inf.
Total
48
46
Odds
posterior
Probabilidad
posterior
0,53
0,35
Odds posterior de IM cuando la
prevalencia = 20%
p
33
SGOT “x”
x
E+ EE
LR(x) Odds
posterior
Probabilidad
posterior
0-49
0
49
12
37
0,31
0,08
0,07
50-99
11
5
2,11
0,53
0,35
100-149
9
4
2,16
0,54
0,35
150+
16
0
Inf.
Inf.
≈1,00
Total
48
46
Parte 3
z
z
34
La relación entre sensibilidad y especificidad
La curva de ROC
Relación entre sensibilidad y
p
especificidad
z
z
z
z
z
z
35
Sensibilidad está medida en pacientes con la
enfermedad
Especificidad está medida en pacientes sin la
enfermedad
Por tanto, son independientes DADO UN CRITERIO
DE POSITIVISMO
Una prueba tendría una sensibilidad alta y
especificidad alta,
o sensibilidad baja y especificidad baja
o sensibilidad baja y especificidad alta. etc
Cambiar el criterio de positivismo
p
z
z
z
36
En SGOT,
SGOT la elección de un criterio de
positivismo más alto, reduciría la sensibilidad
y mejoraría la especificidad
Cambiar el criterio de positivismo Æ vincular
sensibilidad y especificidad: “a trade-off”
Ejercicio. Calcular sensibilidad y
especificidad para SGOT ≥50 & SGOT ≥150
SGOT ≥ 50
SGOT≥50
SGOT 50
SGOT<50
Total
z
z
37
Con IM
36
12
48
Sin IM
9
37
46
Sensibilidad. 36/48 = 0,75
Especificidad. 37/46 = 0,804
SGOT ≥100
SGOT≥100
SGOT 100
SGOT<100
Total
z
z
38
Con IM
25
23
48
Sin IM
4
42
46
Sensibilidad. 25/48=0,521
Especificidad. 42/46=0,913
SGOT ≥150
SGOT≥150
SGOT 150
SGOT<150
Total
z
z
39
Con IM
32
16
48
Sin IM
0
46
46
Sensibilidad. 32/48 = 0,333
Especificidad. 46/46 = 1
Resumen de resultados en función del
p
criterio de positivismo
40
Criterio
Sensibilidad
Especificidad
SGOT ≥50
50
0 75
0,75
0 80
0,80
SGOT ≥100
0,52
0,91
SGOT ≥150
0,33
1,00
La curva de rendimiento diagnóstico
(
(ROC)
)
1
Tasa de VP
(sensibilidad)
0.8
Umbral = 50
0.6
0.4
Umbral = 100
0.2
Umbral = 150
0
0
41
0.2
0.4
0.6
0.8
1
Tasa de falsos positivos (1-especificidad)
Ejercicio. Dibujar e interpretar la curva
para cada prueba
p
A,, B,, C
de ROC p
E
+
E
+
Resultado de
la prueba A
E-
E-
E
+
42
E-
Resultado de
la prueba B
Resultado de
la prueba C
Interpretación
p
de curva de ROC
1
sensibilidad
Área bajo
la curva
((AUC)) =
0,5
45º
43
0
1
1- especificidad
Interpretación
p
de curva de ROC
1
sensibilidad
Área = 1
45º
44
0
1
1- especificidad
Interpretación
p
de curva de ROC
1
0,5 < Área < 1
sensibilidad
Área = Probabilidad
de hacer un buen
diagnóstico de 2
personas, una con
la enfermedad y otra
sin
i lla enfermedad
f
d d
45º
45
0
1
1- especificidad
Interpretación
p
de curva de ROC
1
sensibilidad
Gradiente de la curva
de ROC = LR a esta
coordinada
45º
46
0
McNeil et al (1975)
NEJM 293:211-215
1
1- especificidad
“Likelihood
Likelihood ratios
ratios”. Cocientes de
verosimilitud.
Calcular dentro de cada rango
g de SGOT
47
SGOT x
E+
E
E-
LR (x)
0-49
0
49
12
37
(12/48)/(37/46)=0,31
(12/48)/(37/46)
0,31
50-99
11
5
100-149
9
4
150+
16
0
Total
48
46
“Likelihood ratios”
48
SGOT
E+
E
E-
LR(x)
0-49
0
49
12
37
0,31
50-99
11
5
2,11
100-149 9
4
2,16
150+
16
0
Inf.
Total
48
46
LR <1 Æ disminuir la
probabilidad de la
enfermedad (dado el
resultado de la prueba)
LR >1 Æ aumentar la
probabilidad de la
enfermedad (dado el
resultado de la prueba)
La relación entre la curva de ROC y el
LR
1
Tasa de VP
(sensibilidad)
0.8
Umbral = 50
0.6
0.4
LR = 0,31
Umbral = 100
0.2
Umbral = 150
0
0
49
0.2
0.4
0.6
0.8
1
Tasa de falsos positivos (1-especificidad)
Ejercicio
j
z
50
Dibujar una curva ROC para la prueba de
presión ocular (“Schiotz tonometría”) para
identificar pacientes con glaucoma
Presión ocular
0.3
E+
Probabilidad
0.25
0.2
0.15
0.1
0.05
00
-0.05
-0.1
-0.15
E_
-0.2
-0.25
-0.3
51
-0.35
-0.4
-0.45
0-1
0-1
1-2
1-2
2-3
2-3
3-4
3-4
4-5
4-5
5-6
5-6
6-7
6-7
7-8
7-8
8-9
8-9
9-10
9-10
10-11
10-11
11-12
11-12
Presión intraocular más
baja (menos
riesgo de
ceguera)
Presión ocular
52
Resultado de la prueba
E+ (%)
E- (%)
0-1
0.018
0
12
1-2
0 016
0.016
0
2-3
0.023
0
3-4
0.073
0.001
45
4-5
0 181
0.181
0 005
0.005
5-6
0.277
0.042
6-7
0.166
0.14
7-8
0.246
0.394
8-9
0
0.247
9-10
0
0.119
10-11
0
0.042
11-12
0
0.01
Total
1
1
Presión ocular
53
Resultado de la
prueba
E+
E-
FP
VP
0-1
0.018
0
0
0.018
12
1-2
0 016
0.016
0
0
0 034
0.034
2-3
0.023
0
0
0.057
3-4
0.073
0.001
0.001
0.13
73.00
4-5
0.181
0.005
0.006
0.311
36.20
5-6
0.277
0.042
0.048
0.588
6.60
6-7
0.166
0.14
0.188
0.754
1.19
7-8
0.246
0.394
0.582
1
0.62
8-9
0
0.247
0.829
1
0.00
9-10
0
0.119
0.948
1
0.00
10-11
0
0.042
0.99
1
0.00
11-12
0
0.01
1
1
0.00
LR
Curva ROC
Curva ROC
1
0.9
0.8
0.7
Valo
or VP
0.6
0.5
0.4
8<Criterio<9
7<Criterio<8
Sensibilidad=0,75
Especificidad=1 0 19=0 81
Especificidad=1-0,19=0,81
0.3
0.2
Sensibilidad=1
Especificidad=1-0,58=0,42
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Valor FP
54
0.6
0.7
0.8
0.9
1
Parte 4. El criterio de positivismo
p
para
p
una prueba
p
óptimo
z
z
z
z
z
z
z
z
z
55
Por ejemplo.
ejemplo Pacientes sospechosos de IM
Tu hospital tiene una prueba para IM
El hospital usa la prueba con un LR+ = 2
Se trata el paciente según el resultado de la prueba
Supón que la probabilidad previa = 20%
D
Después
é d
de una prueba
b P+
P+, la
l probabilidad
b bilid d posterior
t i
E+| P+ Æ 33%
El hospital
p
q
quiere q
que revises su p
política
¿ Es correcto su criterio de positivismo?
¿ De que factores depende tu decisión?
La elección del criterio de positivismo
p
optimo
E+
FN
Resultado de la prueba
E-
56
FP
Resultado X1
La elección del criterio de positivismo
p
optimo
E+
FN
Resultado de la prueba
E-
57
FP
X2 es un separador más especifico que X1
La elección del criterio de positivismo
p
optimo
E+
FN
LR(X2)
mayor que
LR(X1)
Resultado de la prueba
E-
58
FP
X2 es un separador más especifico que X1
Factores relevantes p
para la decisión
z
z
Prevalencia de la enfermedad (rara o
común)
Consecuencias de errores: falsos positivos y
falsos negativos
–
–
–
59
Efectividad de tratamientos
Riesgos de tratamientos
¿Costes de los tratamientos?
Ejercicio:
j
Consecuencias de error
z
¿Qué criterio de postivismo (más especifico /
más sensible) elegirías si
–
–
–
–
–
60
El ttratamiento
t i t titiene más
á riesgo?
i
?
Las consecuencias sin tratamiento son más
graves?
La prevalencia disminuye?
L prevalencia
La
l
i aumenta?
t ?
El tratamiento es más caro?
Consecuencias de error
z
¿Qué X elegirías si
–
El tratamiento es arriesgado?
z
–
Las consecuencias sin tratamiento son graves?
z
–
FP más probableÆ X más especifico para evitar FP
L prevalencia
La
l
i aumenta?
t ?
z
61
Para evitar FN Æ X más sensible
La prevalencia disminuye?
z
–
Consecuencias peores para un FP Æ X más especifico
FN más probableÆ X más sensible para evitar FN
Ejemplo: Criterio de positivismo
p
de un prueba
p
para
p
encontrar IM
óptimo
z
Consecuencias
–
–
VN : Buena salud
FP : Adversos efectos de fármacos (hemorragia)
z
–
VP : Prognosis
g
bastante buena
z
–
62
Tasa de mortalidad 20 por 100 personas
FN : Riesgo alto de mortalidad
z
z
Tasa de mortalidad 3 por 100 personas
Tasa de mortalidad 50 por 100 personas
Objetivo: Minimizar la tasa de mortalidad
Análisis de la decisión para la elección
positivismo óptimo
p
del criterio de p
Designación
de X como
una P+
P
Resultado
d lla
de
prueba =
X
E+
P(E+|X)
EP(E-|X)
Consecuencias
de FP
Decisión
E+
P(E+|X)
( | )
Designación
de X como
una P-
EP(E-|X)
63
Consecuencias
de VP
Consecuencias
d FN
de
Consecuencias
de VN
Probabilidad posterior de IM cuando la
prevalencia = 20%
p
SGOT
X
E+
E
E-
LR(X)
0-49
0
49
12
37
0 31
0,31
50-99
11
5
2,11
Odds
posterior
Probabilidad
posterior
0,53
0,35
=(11/48)/ =(0,2/0,8)*2,11
(5/46)
64
100-149
100
149
9
4
2,16
150+
16
0
Inf.
Total
48
46
=0,53/1,53
Análisis de la decisión para la elección
positivismo optimo
p
del criterio de p
Prevalencia
20%
E+
Designación
P+
0,35
EResultado
d lla
de
prueba
SGOT =
75
0.03
0,65
Decisión
E+
0,35
Designación
P-
E0,65
65
0 20
0.20
0.50
0
Análisis de la decisión para la elección
positivismo optimo
p
del criterio de p
Prevalencia 20%
Designación
P+
Tasa media
T
di de
d
mortalidad = 0,09
Resultado
d lla
de
prueba
SGOT =
75
0 20
0.20
0,35
E-
0.03
0,65
Decisión
Tasa media de
mortalidad
t lid d = 0,17
0 17
66
E+
E+
0,35
Designación
P-
E0,65
0.50
0
Análisis de la decisión para la elección
positivismo optimo
p
del criterio de p
z
z
50< SGOT <100 debe designar una
resultado positivo
Ejercicio
–
67
Comparar las tasas de mortalidad si determinas
un valor de SGOT < 50 como “negativo” frente a
la opción de determinar un valor de SGOT < 50
como “positivo”
positivo
Criterio de positivismo óptimo.
Prevalencia = 20%
68
SGOT
X
LR(X)
Probabilidad Mortalidad
posterior de si XÆP+
la
enfermedad
f
d d
Mortalidad
si XÆP-
0-49
0,31
0,07
0.042
0.036
50-99
2,11
0,35
0,089
0,173
100-149
2,16
0,35
0,090
0,175
150+
Inf.
≈1,00
0.200
0.500
La fórmula de Bayes para calcular el
p
Likelihood Ratio óptimo
Pr( X | E + ) ⎛ Pr( E −) ⎞ ⎛ CVN − CFP ⎞
=⎜
⎟ *⎜
⎟
Pr( X | E −) ⎝ Pr( E +) ⎠ ⎝ CVP − CFN ⎠
LR óptimo
=
( 1/ Odds prior ) * “consecuencias”
consecuencias
Por ejemplo:
69
LR óptimo
=
LR óptimo
=
0.8/0.2 * (0-0,03) / (0,2 – 0,5)
4
x 0,1
= 0,4
Weinstein M, Fineberg H. Clinical Decision Analysis. Philadelphia:
W B Saunders; 1980.
Likelihood Ratio y el criterio de
positivismo óptimo
p
p
z
¿Cómo cambiaría sus conclusiones en el
caso de que:
–
–
z
70
La ttasa de
L
d prevalencia
l
i d
de IM es más
á b
baja
j
El prognosis después el tratamiento de un IM sea
mejor?
¿Qué otros factores son importantes en la
d i ió ?
decisión?
Caso Practico 1
z
71
Apendectomía
Parte 5
z
Meta análisis
Meta-análisis
–
z
4 Métodos
–
–
–
–
72
Síntesis de los resultados de varios estudios
Unir los datos
Análisis de sensibilidad y especificidad
independientemente
Análisis de Likelihood Ratios
Análisis de Diagnostic Odds Ratio
¿
¿Unir
los datos? Calcular sensibilidad
y especificidad para cada estudio y los
g p
Comentar.
datos agrupados.
E+
E
E-
Estudio1 P+
100
10
P
P-
300
90
Total
400
100
Estudio2 P
P+
30
100
P-
10
100
Total
40
200
P+
130
110
P-
310
190
Total
440
300
Total
73
Sens
Espec
¿
¿Unir
los datos? Calcular sensibilidad
y especificidad para cada estudio y los
g p
Comentar.
datos agrupados.
E+
E
E-
Estudio1 P+
100
10
P
P-
300
90
Total
400
100
Estudio2 P
P+
30
100
P-
10
100
Total
40
200
P+
130
110
P-
310
190
Total
440
300
Total
74
Sens
Espec
0,25
0,9
0,75
0,5
0,29
0,63
Método 1. Problema con datos
g p
agrupados.
1
Estudio 2
sensibilidad
Datos agrupados
45º
75
0
Estudio 1
1
1- especificidad
Datos de sensibilidad y especificidad
de 20 estudios. Deeks 2001
76
Estimates from 20 studies of sensitivity and specificity of measurement of endometrial thicknesses of more than
5 mm using endovaginal ultrasonography for detecting endometrial cancer..
Desafíos de un meta-análisis
z
Variabilidad en los resultados
–
–
De carácter aleatorio
D carácter
De
á
sistemático
i
ái
z
z
77
Debido a diferencias entre los estudios (p.e
características de los pacientes)
Debido a diferencias en el criterio de positivismo entre
los estudios
Heterogenidad
g
entre los estudios
Tasa de
VP
1
0.8
0.6
0.4
0.2
0
0
78
0.2
0.4
0.6
0.8
Tasa de FP
1
Método 2
z
z
Meta-análisis
Meta
análisis independientes de los datos de
sensibilidad y los datos de especificidad
Resultados
–
–
–
–
79
Sensibilidad 0,96
( 95% intervalo de confianza 0,93 a 0,99)
Especificidad 0,61
( 95% intervalo de confianza 0,55 a 0,66)
Heterogenidad
g
entre los estudios
Tasa de
VP
1
0.8
0.6
0.4
0.2
0
0
80
0.2
0.4
0.6
0.8
Tasa de FP
1
Problemas del meta-análisis de
sensitividad y especificidad por
p
separado
z
81
No se tuvo en cuenta la heterogeneidad
sistemática entre los estudios
Método 3. Promedios de los Likelihood
positivos y negativos
g
ratios p
z
z
Supone que los Likelihood Ratios son
similares entre los estudios
Resultados
–
–
–
–
82
Likelihood Ratio positivo 2,54
( 95% intervalo de confianza 2,16 a 2,98)
Likelihood Ratio negativo 0,09
( 95% intervalo de confianza 0,06 a 0,13)
Meta-análisis con Likelihood Ratios
constante. ((Sensibilidad estimado))
Tasa de
VP
1
0.8
LR- constante = 0,09
0.6
LR+ constante = 2,54
0.4
0.2
0
0
83
0.2
0.4
0.6
0.8
Tasa de FP
1
Interpretar
p
los resultados de LR+ y LRz
z
z
84
Supone que la prevalencia de cáncer endometrial
en esta populación es 13%
Calcular el odds posterior de la enfermedad de un
paciente quien resultó P+
Calcular el odds posterior de la enfermedad de un
paciente quien resultó P-
Odds posterior
p
Pr(( E + | P + ) Pr(
P
P ( E +) P
Pr(( P + | E + )
=
*
Pr( E − | P + ) Pr( E −) Pr( P + | E −)
Si resultó
ltó P+
Odds posterior de enfermedad = (0,13/0,87)*2,54 = 0,38
Probabilidad posterior = 0
0,38
38 / 1
1,38
38 = 28%
Si resultó POdds posterior de enfermedad = (0
(0,13/0,87)
13/0 87)*0
0,09
09 = 0
0,014
014
85
Probabilidad posterior = 0,014 / 1,014 = 1,3%
Meta-análisis de Likelihood ratios
z
z
La interpretación de LR+ y LR
LR- es intuitiva y
útil en la práctica clínica
Problemas en el meta-análisis
–
–
86
¿Cómo elegiría entre LR+ constante o LRconstante?
Otra vez el análisis no tuvo en cuenta la
dif
diferencia
i en ell criterio
it i d
de positivismo
iti i
entre
t llos
estudios
Método 4. Odds ratio diagnostico
((Diagnostic
g
odds ratio))
z
z
Supone que los odds ratio diagnositicos son
similares entre los estudios
Definición
–
–
–
–
87
DOR = LR + / LR –
= sensibilidad / (1- sensibilidad)
_________________________
especificidad / (1- especificidad)
Diagnostic
g
odds ratio
z
z
z
z
88
Es poco probable que el LR no varia entre estudios
estudios,
porque el LR varia en función del criterio de
positivismo
Es más probable que el DOR no varia en función del
criterio de p
positivismo yya q
que es una característica
de la tecnología
Pero resulta difícil aplicar el DOR a la practica
clínica
La fórmula para calcular el SROC
Relación entre DOR y la curva de
y ROC))
SROC ((Summary
z
z
z
Si el DOR es constante en los estudios (o todo la
variación en el DOR es aleatoria):
Podemos calcular la sensibilidad en función de
especificidad y DOR
Odds(TVP) = DOR * odds(TFP)
–
–
–
–
89
Donde
TVP = tasa de verdadero positivo = sensibilidad
TFP = tasa de falso positivo = 1-especificidad
Odds(x) = x/(1-x)
Summary
y ROC. Sensibilidad p
prevista
Tasa de
VP
1
DOR constante = 28
((95% IC 18,2 a 43,2))
0.8
El criterio de positivismo
variaría entre estudios
0.6
0.4
El análisis supone que
otra variabilidad es
aleatoria
0.2
0
0
90
0.2
0.4
0.6
0.8
Tasa de FP
1
Conclusión
z
Meta análisis
Meta-análisis
–
–
–
–
91
Síntesis de los resultados de varios estudios
L supuestos son iinevitables
Los
i bl
Es importante explorar factores que resultan en la
variabilidad
ariabilidad entre est
estudios
dios
Un factor sería el criterio de positivismo, por
ejemplo debido a diferencias en la calibración de
ejemplo,
las máquinas
Comparación
p
entre dos opciones
p
z
Diseño del estudio
–
Ensayo clínico aleatorio
z
z
z
–
Estudio de modelización
z
z
z
92
Validez interna alta
Caro y difícil
Validez externa puede ser baja
Utilizar datos de prevalencia, sensibilidad, especificidad
Tener en cuenta que las diferencias en sens y espec
pueden ser por diferencias en el criterio de positivismo
Modelizar las consecuencias de FP, FN etc.
Ensayo
y clínico aleatorio: la angina
g
Overall,
O
ll death
d h or MI was
reduced in the routine
invasive group [compared
[
d
with the selective group ;
Odd ratio 0.82,
Odds
0 82 95% CI
0.72-0.93]
93
Caso práctico 2: Evaluación de
(
)
Telemedicina (modelización)
z
z
Pacientes con lesiones de la piel sospechosas de
melanoma maligno
Opciones para el cribado
–
–
z
94
Telemedicina en atención primaria con una cámara digital y
conexión electrónica para enviar las imágenes a un
especialista
Atención especializada con una cámara digital
(dermatoscopia)
Evaluar las opciones y hacer recomendaciones para
el sistema sanitario
Datos de eficacia
Telemedicina
Atención
Especialista
95
Estudio
VP
Total E+
FP
Total EE
Browns
83
85
98
171
Moreno Ramirez
14
14
10
47
Cristofolini
29
33
40
187
Soyer
61
65
17
94
Benelli
e e
48
8
60
38
341
3
Carli
3
4
1
11
Krahn
35
39
3
41
Stanganelli
51
55
13
207
Lorentzen
40
49
11
183
Drummer
22
23
17
801
Otros datos
z
z
Prevalencia de melanoma maligno en esta
populación es 22%
Consecuencias
–
–
–
–
96
Tasa de mortalidad con tratamiento correcto 2%
Tasa de mortalidad sin tratamiento precoz 3,6%
Tasa de mortalidad con tratamiento innecesaria ?
Qué otros factores sería importantes?