Documento 8382477

Trabajo fin de master (estadistica aplicada)
[ UNIVERSIDAD DE GRANADA]
Cálculo del umbral (GRACE
score) en el síndrome
coronario agudo mediante
curva ROC
Manuel Passas Martínez
19/09/2012
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Agradecimientos
A mis tutores del master D. Pedro A. García López y Dª. Mª. Dolores Huete
Morales por su generosa disponibilidad y apoyo.
En general a todos los facultativos de la Unidad de Cuidados Intensivos y del
Servicio de Cardiología del H.U.V.N por su constancia desinteresada en recoger la
información que conforma el registro ARIAM y en especial a D. Antonio Reina Toral
Jefe de Sección de la U.C.I del H.U.V.N por permitirme acceder al registro y poder
realizar este trabajo.
2
INDICE
1. Introducción................................................................................... 2
2. Sensibilidad y Especificidad......................................................... 6
2.1 Intervalos de Confianza ...................................................................10
2.1.1. Intervalo de Confianza (aproximación a una Normal) .................... 11
2.1.2. Intervalo de Confianza de Clopper-Pearson .................................... 12
2.1.3 Intervalo de confianza (Wilson) ........................................................ 14
3. Razones de verosimilitud............................................................ 15
4. Valores predictivos...................................................................... 16
4.1 Intervalos de Confianza ..................................................................18
4.2 Relación entre valores predictivos y razones de verosimilitud. ......20
5. Otros índices relacionados.......................................................... 23
6. Curvas ROC (receiver-operating characteristic)) ................... 26
7. Área bajo la curva ROC (AUC) ................................................ 28
7.1 Cálculo por el método no paramétrico ............................................30
7.2 Cálculo por el método paramétrico .................................................31
8. Elección del punto de corte óptimo ........................................... 35
9. Pruebas diagnósticas y SCA (síndrome coronario agudo)...... 39
10. Predictores de riesgo (GRACE)............................................... 42
11. A.R.I.A.M................................................................................... 45
12. G.R.A.C.E. en el S.C.A. de la U.C.I. del H.U.V.N................ 466
12.1 Cálculo del punto de corte óptimo.................................................50
12.1.1 Método de Zweig @ Campbell........................................................ 50
12.1.2 Método propuesto en este trabajo .................................................... 51
Conclusiones .................................................................................... 56
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
1.
Introducción
El análisis ROC (Receiver-Operating Characteristic) inició su desarrollo en la 2ª
guerra mundial gracias al problema que se planteaba con las señales recogidas por el
radar que no discriminaban si eran aviones o ruido.
Esto dio inicio al desarrollo de la Teoría de Detección de Señales.
Hacia los años 60 empezó a utilizarse en una amplia variedad de estudios
experimentales de psicología-psicofísica por el supuesto de que la energía emitida por
humanos era reconocible y distinguible de otras señales.
La utilidad potencial del análisis ROC en estudios de decisión médica fue
sugerida por Lusted (1), esta metodología ha sido adaptada a diversas áreas clínicas con
gran dependencia de las pruebas diagnósticas, como puedan ser: Laboratorio,
Epidemiología, Radiología (diagnóstico por imagen), Bioinformática y otras disciplinas
médicas.
En este sentido es de destacar su aplicación, relativamente reciente, al campo de
la histopatología para definir estados de patologías que se mueven dentro de un espectro
continuo con límites solapados.
Dentro del campo de las pruebas diagnósticas, se introduce el término de validez
o grado en el que sus resultados corresponden al fenómeno real que se mide el cual se
representa por medio de un estándar debidamente aceptado (gold standard).
Dicho estándar puede ser el resultado o bien, de un seguimiento clínico o de una
verificación quirúrgica o de una autopsia, en algunos casos se hace necesaria la
intervención de un comité de expertos.
2
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Con la selección de este estándar puede haber algunos problemas como el sesgo
de verificación que ocurre cuando se evalúa la exactitud de la prueba solamente en
sujetos enfermos y el sesgo de medición que ocurre cuando o bien no se dispone de
“dicho estándar o bien este no es adecuado.
El análisis ROC es una herramienta para estimar la validez de una prueba
diagnóstica y de forma mas general permite evaluar la precisión de algunos modelos
estadísticos (regresión logística, análisis discriminante) con la característica de que
clasifican a los sujetos en 2 categorías, como por ejemplo, enfermos y no enfermos,
Para aclarar conceptos, utilizaremos el término enfermo como una condición
especifica que la prueba diagnóstica va a detectar, independientemente de que la
persona “no enferma” pueda tener otro tipo de problemas de salud.
Como comentábamos, la principal cualidad clínica de una prueba diagnóstica es
la exactitud o fiabilidad para clasificar de manera correcta a los individuos en subgrupos
clínicamente relevantes.
La exactitud de este tipo de pruebas se puede calcular en términos de
probabilidad de que la prueba clasifique correctamente un <no enfermo> como negativo
es lo que se llama especificidad o TNF (True negative fraction) (razón de verdaderos
negativos) y la probabilidad de que la prueba clasifique a un <enfermo> como positivo
que es lo que se denomina sensibilidad TPF (razón de verdaderos positivo).
Los errores que se comente al realizar la prueba diagnóstica son
complementarios de los anteriores, así tenemos FNF=1- TPF (False negative fraction) y
FPF=1- TNF (razón de falsos positivos) como se puede apreciar en la Figura 1.
3
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Figura 1
Un modelo de clasificación (por ejemplo el diagnóstico) es una función que
permite decidir qué conjunto de sucesos están relacionados o no por pertenecer a un
mismo tipo o clase.
En otros clasificadores, como un clasificador de tipo bayesiano o una Red
neuronal artificial, la unidad de medida son valores de probabilidad que representan
hasta qué punto una instancia pertenece a una de las dos clases.
Muchos clasificadores, como los árboles de decisión o los sistemas de reglas,
etiquetan de forma binaria resultados de valores numéricos, de tal modo que el resultado
del clasificador o del diagnóstico es un número real (valor continuo), en cuyo caso el
límite del clasificador entre cada clase debe determinarse por un valor umbral (por
ejemplo para determinar si una persona tiene hipertensión arterial basándonos en un
valor concreto de la presión arterial).
Con este valor (umbral) podremos realizar una tabla de contingencia (también
llamada matriz de confusión) y a medida que desplazamos ese valor umbral, la cantidad
de verdaderos positivos (TP) y falsos positivos (FP) también se desplaza.
4
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Llamamos “positivo” y “negativo” al resultado de la prueba diagnóstica al
predecir un estado determinado (por ejemplo la presencia o ausencia de una
determinada enfermedad).
Figura 2
En la Figura 2, tomada de (2), se representan 2 poblaciones de frecuencias
(Healthy, Sick) sobre el eje de abscisas que bien podría ser el resultado de una variable
continua de una prueba diagnóstica.
En la Figura A se observa que la prueba realizada es bastante aceptable ya que se
acerca a la discriminación “perfecta” entre los estados de salud y enfermedad aunque
sigue habiendo cierta proporción de falsos (positivos/negativos).
5
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Más real en la vida diaria es la Figura B donde hay un considerable
solapamiento entre ambos estados reduciéndose la capacidad de la prueba.
Se puede apreciar que la sensibilidad puede aumentar a costa de disminuir la
especificidad moviendo el punto de corte hacia la izquierda y viceversa, existiendo una
relación inversa entre la sensibilidad y la especificidad.
Sacrificar especificidad a costa de aumentar la sensibilidad conlleva un aumento
proporcional de los falsos positivos de la prueba y viceversa pasa con los falsos
negativos al disminuir la sensibilidad.
2. Sensibilidad y Especificidad
Clásicamente, la exactitud de una prueba diagnóstica se apoya en la sensibilidad
y en la especificidad, obteniéndose estas mediante la creación de una tabla de
contingencia 2x2 similar a la siguiente tabla.
(enfermo)
(sano)
(prueba
positiva)
(prueba
negativa)
Tabla 1
: Personas enfermas y prueba positiva.
6
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
: Personas no enfermas con prueba positiva.
: Personas enfermas con prueba diagnostica negativa.
: Personas no enfermas y prueba negativa
: Prevalencia de la enfermedad=
: Prevalencia de “no enfermedad”=
: Probabilidad de que una prueba resulte positiva =
: Probabilidad de que la prueba sea negativa.=
Es de gran ayuda la representación gráfica de los distintos valores de
sensibilidad y especificidad que se obtienen al ir variando el punto de corte (umbral) de
la prueba diagnóstica.
7
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Los puntos de coordenadas (1-Sp; Se) conforman lo que se llama una curva
ROC, en donde el eje de abscisas es la fracción de falsos positivos (1-Sp) y de eje de
ordenadas la fracción de verdaderos positivos (sensibilidad).
En el Gráfico 1, los puntos adyacentes se van uniendo mediante líneas
horizontales y verticales. Al cambiar el nivel de decisión, la inclusión de un resultado
verdadero positivo produce una línea vertical y cuando es un falso positivo se produce
una línea horizontal.
El gráfico va tomando apariencia de escalera que puede alisarse o bien
aumentando el tamaño muestral o bien asumiendo que se ajusta de manera adecuada a
una determinada distribución paramétrica.
Gráfico 1
La distribución paramétrica más utilizada es la distribución binormal donde
tanto la población de <enfermos> como de <no enfermos> se distribuyen según una
distribución Normal.
8
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Figura 3
Lo que caracteriza a la sensibilidad es su capacidad para detectar el proceso, por
ello es preferible una prueba con alta sensibilidad cuando la enfermedad es grave y
tratable como puedan ser las pruebas que se aplican para la detección precoz de
enfermedades (cribados o screening) en donde los falsos negativos pueden llegar a ser
graves.
El objetivo de la especificidad es poder confirmar que no se tiene una
enfermedad y se desea que sea alta cuando dicha enfermedad es seria pero difícilmente
tratable y los falsos positivos puedan ser traumatizantes para los sujetos examinados.
Tanto la sensibilidad como la especificidad no deberían variar al realizar
diferentes ensayos en condiciones similares pero esto no es así porque hay una serie de
variables, descartando el error aleatorio, que producen cierta heterogeneidad, nos
referimos fundamentalmente a las características de los enfermos y no enfermos.
La sensibilidad se relaciona de manera directa con el estadio de la enfermedad,
en el sentido de que cuanto más avanzado es, mayor será la sensibilidad para detectarla.
9
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
La especificidad se mide en el grupo de no enfermos y en ella influye su
procedencia, es decir, si se incluyen individuos sanos, donde es más probable que la
prueba dé un resultado negativo, la especificidad será mayor que si en el grupo hay
pacientes enfermos.
En los libros de clínica es frecuente encontrar cuadros en los que se presenta el
porcentaje de pacientes con una enfermedad que tienen diferentes síntomas (por
ejemplo: en la enfermedad de Addison, el 99% de los pacientes tiene debilidad, el 98%
pigmentación de la piel, el 87% hipotensión y el 82% pigmentación de mucosas).
Obsérvese que estas son cifras de sensibilidad, nunca se presentan cuadros
similares con la especificidad es decir de los pacientes que no tienen la enfermedad de
Addison, cuantos no tienen debilidad, ni pigmentación de la piel, hipotensión o
pigmentación de mucosas).
Esto hace que la utilidad práctica real de tales cuadros sea muy limitada.
2.1 Intervalos de Confianza
Debido a que los experimentos están limitados por la realidad heterogénea y
habitual, estos son difícilmente reproducibles y cada punto en la curva ROC
esta sujeto a error estadístico.
Las desviaciones estándar de las variaciones que pueden esperarse en un punto
de la curva (si el experimento es repetido con diferentes sujetos pero con el mismo
número de casos) pueden realizarse mediante una estimación de su variabilidad por
expresiones ligadas al cálculo de la desviación estándar en proporciones.
10
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Tabla 2
La Tabla 2 nos va a servir de referencia para los siguientes cálculos
2.1.1. Intervalo de Confianza (aproximación a una Normal)
La formula más simple y mas comúnmente utilizada para determinar los
intervalos de confianza de una distribución binomial a través de una Normal,
aproximación justificada por el teorema central del límite es:
Siendo
la sensibilidad.
Esta ecuación se puede aplicar siempre que
y en cualquier caso funciona bien siempre que
De igual forma este I.C mejora de forma importante con corrección por
continuidad (c.p.c) convirtiéndose en
11
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
es decir la c.p.c amplia el intervalo
Funcionando bien para
de confianza de la sensibilidad.
Es decir::
2.1.2. Intervalo de Confianza de Clopper-Pearson
Se trata de un método exacto y se construye asi:
Sea r la sensibilidad y
sus intervalos de confianza.
Se trata de calcular 2 valores de forma exacta tales que:
Donde B es una distribución binomial de parámetros
Los 2 extremos no tienen por qué ser iguales (
lo que se debe de cumplir es que
y valer
,
, no obstante supongamos que
lo sean.
12
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
La solución de las ecuaciones anteriores se puede resolver de forma
iterativa (computacional) aunque hay una solución “elegante”, que no
requiere el uso de ordenador y que se basa en la propiedad que relaciona la
distribución Binomial con la distribución F de Snedecor:
Si
La demostración se basa en que una
mediante una distribución Beta incompleta (
se puede representar
Johnson & Koks “Discrete univariate
distributions” 1.985)
Para el cálculo de
Para el cálculo de
tenemos que:
13
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Debido a la propiedad de la F de Snedecor por la que
Por otra parte y como
Este intervalo es exacto y funciona independientemente del tamaño muestral, a
diferencia de los métodos aproximados, lo cual es bueno para la experimentación clínica
con muestras pequeñas.
El cálculo del intervalo de confianza para la especificidad se haría de forma
similar.
2.1.3 Intervalo de confianza (Wilson)
También se basa en la relación de la distribución binomial con la distribución
normal supongamos que
Con la siguiente regla de aproximación:
Se trata de una regla empírica comprobada por Cochram sin demostración.
Entonces
14
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
La solución de la ecuación cuadrática en r, sería:
Es conveniente realizar la corrección por continuidad (c.p.c):
ya
que se mejora de forma importante la estimación.
3. Razones de verosimilitud
En el contexto bayesiano la sensibilidad y la especificidad son probabilidades
condicionales, llamadas verosimilitudes, que miden la probabilidad de obtener con la
prueba un diagnostico positivo cuando se aplica, respectivamente a sujetos con y sin la
enfermedad.
Es importante destacar a nivel operativo la razón de verosimilitud (“likelihood
ratio”) que se define como:
15
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Hay que destacar la importancia de
ya que va a representar la
pendiente en cada punto de la curva ROC y que salvo algunas singularidades en donde
la prueba diagnóstica discrimina peor que un sistema aleatorio, es una pendiente no
decreciente (curva convexa) (3).
Estas singularidades están motivadas por la falta de continuidad de la escala
(GRACEs) en situaciones reales, corrigiéndose conforme aumenta el tamaño muestral.
Realmente el interés que tiene una prueba diagnóstica, es poder predecir el
estado del sujeto (enfermo, no enfermo) a partir de los resultados de la prueba
diagnóstica, esto nos lleva a la noción de los valores predictivos.
4. Valores predictivos
Para mayor comodidad conviene utilizar la Tabla 1.
Se define el valor predictivo positivo (PPV : Predictive positive value) como la
probabilidad que tiene una prueba de detectar enfermos cuando, dicha prueba, obtiene
un resultado positivo, es decir, la proporción de resultados verdaderos entre los
resultados positivos de la prueba ver Tabla 1.
16
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Nótese que por la propia formación o elección de los diferentes puntos de corte,
el primero de ellos incluye a todos los verdaderos positivos y al primer verdadero
negativo, mientras que el último punto de corte incluye a todos los verdaderos negativos
y al último verdadero positivo, esto implica que tanto la sensibilidad como la
especificidad en cualquier punto de corte sean distintas de 0.
Se aprecia que cuando la especificidad tiende 1, PPV tiende también hacia 1.
Cuando la sensibilidad tiende a 1 y la especificidad tiende a 0, cosa que suele
ocurrir en el primer punto de corte (coordenada (1; 1), PPV es similar al valor de la
prevalencia (p), siendo su recorrido desde [p hasta 1].
El valor predictivo negativo (PNV: Predictive negative value) se define como la
probabilidad que tiene una prueba de detectar sujetos <no enfermos> cuando hay un
resultado negativo, sería la proporción de resultados válidos entre los negativos:
Cuando la sensibilidad tiende a 1 el valor predictivo negativo también lo hace.
El valor superior del punto de corte suele tener una Sp ≈ 1 y Se ≈ 0 (vecino al
punto (0;0)) con lo que PNV ≈ (1-p) , y su recorrido es desde (1-p) hasta 1, esto implica
que en situaciones de escasa prevalencia como por ejemplo una prevalencia próxima al
17
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
5% (situación no infrecuente) , el PNV siempre se situará en una horquilla entre 95% y
100%, mientras que el PPV oscilará entre un 5% y 100%, independientemente de la
exactitud de la prueba.
Elegir un punto de corte que maximice los valores predictivos deja de tener
sentido porque, y siguiendo en el caso de una prevalencia del 5%, un punto de corte
con Sp=1 nos dará un PPV de 100% y como el PNV no puede ser inferior al 95%, se
obtendrían unos excelentes valores predictivos, independientemente de que la
sensibilidad fuese prácticamente nula (es decir, sin importarnos que prácticamente la
totalidad de los enfermos se consideren como falsos negativos) nos situaríamos en el
punto de coordenadas (0 ; 0)( “Always Neg”) ver Figura 4
4.1 Intervalos de Confianza
Tomemos 2 muestras independientes de
sanos (tamaño fijo) y estimamos
y
individuos enfermos y
individuos
y que de otra muestra de tamaño
independiente de las otras 2, obtenemos una estimación de la prevalencia
Donde
Se trata de una distribución con la cola a la derecha bastante larga y que para
suavizar y que ajuste mejor con una Normal se toman logaritmos.
18
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Aplicando el teorema básico y teniendo en cuenta que los 3 términos de la
ecuación son independientes con lo que
Como
tenemos que:
es un estimador insesgado de la especificidad, por el teorema delta:
En la ecuación anterior se pone
n vez de
ya que
función cuadrado de la derivada se valora en la media del parámetro
y la
.
ya que
De igual forma
y sustituyendo tenemos:
19
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
De igual manera:
4.2
Relación
entre
valores
predictivos
y
razones
de
verosimilitud.
Antes de ver las relaciones, se define lo siguiente:
Los valores predictivos y las razones de verosimilitud se relacionan ente si de la
siguiente manera:
20
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Como
De igual forma
21
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
De lo anterior se deduce una relación complementaria entre estos 2 valores
, también se puede apreciar la relación
predictivos ya que
de estos con la OR antes mencionada.
Se sabe que:
Este test es muy importante por la descomposición de estas Odds entre el aporte
poblacional y el aporte específico de la prueba para diagnosticar la enfermedad.
La razón de verosimilitud positiva relaciona la Odds preprueba de diagnosticar
la enfermedad con la Odds postprueba de un resultado positivo.
La razón de verosimilitud negativa
valora la contribución que realiza un
resultado negativo en la no confirmación de la enfermedad (cuanto menor sea mejor) se
trata de la conexión entre la odds preprueba de enfermedad y el inverso de la odds
postprueba del resultado negativo, lo cual es un poco complicado de entender además al
moverse en una escala inversa la de
los hace difícilmente comparables.
Hay autores (4) que prefieren solventar las desventajas anteriores introduciendo
un término inverso del anterior
22
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Ahora la relación entre la odds preprueba de no enfermedad y la Odds
postprueba del resultado negativo es mas fácil de entender ya que valora la contribución
de la prueba en la confirmación de que no se tiene la enfermedad, moviéndose en la
misma escala que
o que permite su comparación directa.
La OR aplicada a la sería:
5. Otros índices relacionados
Un índice que se define como la suma de la sensibilidad y especificidad es el
índice de Youden
, este índice que varia entre -1 y +1 y no es
recomendable presentarlo en lugar de la sensibilidad y especificidad porque al dar la
misma valoración, enmascara la posible presencia de valores asimétricos tanto de la
sensibilidad como de la especificidad.
Otro índice ya comentado y de interés es la razón de Odds
Cuanto mayor sea de la unidad mejor será la prueba diagnóstica ya que mayor
será la relación de aciertos frente a fallos.
Esta Odds ratio está relacionada con las razones de verosimilitud y Odds de
valores predictivos como se verá mas adelante.
23
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Hay situaciones en las que se desea calcular la aportación concreta de la prueba
diagnóstica independientemente de la prevalencia de la enfermedad, se trata de
encontrar un test que optimice las ganancias de forma que un test es bueno cuando a una
prevalencia determinada se obtiene una ganancia mayor que otro test, es por ello que se
habla de:
Otro índice que se utiliza es el valor predictivo global (accuracy) o probabilidad
de acierto, es la proporción de resultados verdaderos entre la totalidad de pruebas
efectuadas:
Esta expresión es interesante por sus características gráficas ya que “a” se puede
plantear como una función lineal de la prevalencia
origen vale
y la pendiente es
en donde la altura en el
.
24
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
En el eje de abscisas se encuentra la prevalencia y dependiendo de esta variará la
relación entre la sensibilidad y la especificidad. “a” será mayor cuando
, siendo el área que cubre la línea
(trapecio), la probabilidad de acierto.
Esta representación gráfica se utiliza bastante para comparar 2 métodos
diagnósticos,
En el punto cuya prevalencia vale
probabilidad de acertar, siendo mejor
los 2 métodos tienen la misma
para valores inferiores y viceversa.
En dicho punto ocurre que:
Entonces si la enfermedad tiene una prevalencia mayor que
caso contrario
se elige
y en
.
25
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
6. Curvas ROC (receiver-operating characteristic))
El espacio ROC es un sistema de coordenadas utilizado para visualizar el
rendimiento del clasificador definido por FPR y TPR como ejes x e y respectivamente,
y representa el espacio de los resultados positivos de la prueba (aciertos y fallos).
El mejor método posible de predicción se acercaría a la esquina superior
izquierda, o coordenada (0,1) del espacio ROC, representando un 100% de sensibilidad
(ningún falso negativo) y un 100% también de especificidad (ningún falso positivo). A
este punto (0,1) también se le llama una clasificación perfecta.
El punto (0,0) representa la estrategia de “nunca alarma” (“always neg”) es
decir no se equivoca cuando no haya alarma (ningún falso positivo) pero si cuando
ocurre (Se=0).
El punto (1,1) se llama por el contrario “siempre alarma” “Always pos” con lo
que no nos equivocamos cuando hay algún tipo de alarma (Se=1) pero si cuando no hay
alarma (falsos positivos).
La línea TPR=FPR
aleatoria, se
línea diagonal, representa una clasificación totalmente
llama también línea de no-discriminación, desde el extremo inferior
izquierdo hasta la esquina superior derecha (independientemente de los tipos de base
positivas y negativas), sería como lanzar una moneda al aire.
Esta línea diagonal divide el espacio ROC en 2 mitades, los puntos por encima
de la diagonal representan los buenos resultados de clasificación (mejor que el azar),
puntos por debajo de la línea, resultados pobres (peor que al azar). Nótese que la salida
de un predictor consistentemente pobre simplemente podría ser invertida para obtener
un buen predictor. (ver Figura 4extraída de “ICML`04 tutorial on ROC analysis (Flach,
P; 2004)
26
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Figura 4
A la línea que va desde (1;0) a (0;1) de ecuación
, se le llama
línea de discriminación, porque cualquier punto de la curva ROC (convexa) que se
cruce con ella, será óptimo.
En definitiva la curva ROC presenta varias utilidades:
• Ofrecer una representación gráfica de las relaciones que
mantienen entre si, la sensibilidad y la especificidad.
• Facilitar la elección de puntos de corte en los criterios
diagnósticos de una prueba.
• Conocer la capacidad diagnóstica global de una prueba
diagnóstica a lo largo de todo su espectro de valores.
• Comparar pruebas diagnósticas de manera gráfica y estadística
para decidir cual es la mejor.
27
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
La curva ROC genera estadísticos que resumen la efectividad del clasificador
siendo el más importante el área bajo la curva ROC, llamada comúnmente AUC (Área
Under Curve) también se le conoce como estadístico 'c' (c-statistic).
7. Área bajo la curva ROC (AUC)
Se trata de una medida global de exactitud de una prueba diagnóstica. Como
hemos dicho anteriormente se define como la probabilidad de clasificar correctamente
un par de individuos sano (0) y enfermo (1), seleccionados al azar de la población,
mediante los resultados obtenidos al aplicarles una prueba diagnóstica.
Este índice se puede interpretar como la probabilidad de que un clasificador
ordenará o puntuará una instancia positiva elegida aleatoriamente más alta que una
negativa.
Para poder diferenciarse del resultado de lanzar una moneda al aire,
debe
ser diferente de 0,5 y cuando mas se acerque a 1 mayor poder discriminatorio tendrá.
Valores entre 0,5 y 0,7 indican baja exactitud, entre 0,7 y 0,9 se consideran útiles y un
valor mayor de 0,9 indica exactitud alta (5).
Se ha demostrado su relación con el coeficiente de Gini, que toma valores en el
rango [-1; 1] con la siguiente fórmula:
Hay una forma básica de calcular AUC y es sumando una serie de
aproximaciones trapezoidales procedentes del producto de los intervalos del eje de
28
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
abscisas y los valores del eje de ordenadas añadiendo la media del producto de los
intervalos de los 2 ejes.
En ocasiones puede ser más útil mirar a una región específica de la curva ROC
más que a toda la curva, siendo posible calcular áreas parciales bajo la curva, o AUC
parciales. Por ejemplo, nos podríamos concentrar en la región de la curva con razones
de falsos positivos más bajas, que es a menudo el interés principal de las pruebas
de detección precoz ( screening) en la población.
Para la elección entre dos pruebas diagnósticas distintas, se recurre al AUC, ya
que es una medida global e independiente del punto de corte. Por esto, en el ámbito
sanitario, las curvas ROC también se denominan curvas de rendimiento diagnóstico.
Esta AUC posee un valor comprendido entre 0,5 y 1, donde 1 representa un
valor diagnóstico perfecto y 0,5 es una prueba sin capacidad discriminatoria
diagnóstica.
Si el AUC para una prueba diagnóstica es 0,8 significa que existe un 80% de
probabilidad de que el diagnóstico realizado a un enfermo sea más correcto que el de
una persona “no enferma” escogida al azar.
Verdadera (AUC) ROC=
Aparte de poder calcular el
con métodos no paramétricos obviando la
naturaleza de la distribución (simetría vs asimetría) es posible ajustar la curva ROC a
una determinada distribución (Gaussiana / exponencial negativa / gamma) y calcular el
área atendiendo a sus parámetros, presentando ventajas derivadas de las distribuciones
implicadas.
29
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
7.1 Cálculo por el método no paramétrico
Utilizando el método trapezoidal:
donde
los resultados del test diagnóstico para individuos con y sin la
Siendo
enfermedad de interés respectivamente.
La varianza se puede calcular utilizando el estadístico de Mann-Whitney (6):
La cantidad
es una estimación del área verdadera si se hubiese construido
con una muestra infinita y escala continua. En las situaciones habituales
tiende a
subestimar algo a AUC.
depende de 2 cantidades especificas que pertenecen al ámbito de la
función de distribución :
que se puede interpretar como la probabilidad de que al
elegir 2 enfermos al azar tengan, con gran sospecha, mayor puntuación en la prueba
diagnóstica que un individuo sano también elegido al azar y
que sería la
30
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
probabilidad de que al elegir al azar a un individuo enfermo tenga, con gran sospecha
mayor puntuación que 2 individuos sanos elegidos también al azar(6).
donde
es el número de verdaderos negativos en el punto de corte y.
es el número de verdaderos positivos con valor superior a y.
7.2 Cálculo por el método paramétrico
Si queremos suavizar la curva ROC con las propiedades que esto implica
debemos suponer que tanto el eje de ordenadas (sensibilidad) como el de abscisas
(fracción de falsos positivos) siguen una función de distribución Normal (modelo
paramétrico binormal).
A menos que exista evidencia de que se cumplen las condiciones de este
modelo, las áreas obtenidas estarán sesgadas (7), no obstante se ha comprobado de
forma empírica que esta distribución binormal produce ajustes satisfactorios en una
amplia variedad de situaciones (8)
Es posible especificar esta curva ROC por medio de 2 parámetros, usualmente
tomado uno como ordenada en le origen (a) y el otro como la pendiente (b) de la línea
recta dibujada sobre los ejes normalizados.
31
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Si una curva ROC se encuentra de forma empírica dibujada en una linea recta
sobre los ejes normalizados, las coordenadas horizontales y verticales de cada punto en
dicha línea se relacionan por
donde
es la función de distribución estándar-normal. Las coordenadas ROC
se relacionan de la siguiente forma:
Ahora consideremos la curva ROC que se produce por los resultados de una
variable x que procede de un par de distribuciones normales, con medias y desviaciones
estándar diferentes tanto para los resultados positivos como para los negativos.
Anotemos
para los positivos y
para los negativos, entonces
y
Sin perder generalidad, asumamos que
y c representa el punto de corte
de tal forma que el caso es considerado positivo si x>c y negativo en otro caso.
Entonces
32
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
y despejando
haciendo
Esta última es la ecuación de la curva ROC y como se puede ver no depende del
punto de corte.
El área bajo esta curva en el eje
será:
Haciendo
33
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Donde
es la función de distribución normal.
Por otro lado los estimadores de a, b y AUC (
, según (9) , las respectivas varianzas de
Donde
) se calculan utilizando
son:
son el número de “no enfermos” y de “enfermos”
respectivamente.
La varianza de
se deduce mediante el método delta.
34
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
8. Elección del punto de corte óptimo
La elección del punto de corte óptimo va a depender de los objetivos específicos
que se quieran obtener.
Si el objetivo es encontrar dicho punto que tenga una exactitud (a) determinada
elegiremos de todas aquellas líneas paralelas con idéntica exactitud aquella
perteneciente a la curva ROC más próxima a la línea de discriminación.
Estas líneas tienen la siguiente ecuación:
Se cumple que en la línea de discriminación
y que las líneas mas altas
son mejores ver Figura 5
35
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Figura 5
Metz (10) expone una fórmula para determinar el punto de corte óptimo en la
curva ROC, en este caso “óptimo” se refiere a minimizar “costes”.
El término “coste” puede referirse bien a costes económicos o bien a situaciones
de morbilidad y/o de mortalidad.
Sean
,
,
los costes correspondientes a los falsos positivos, negativos y
los beneficios de los verdaderos positivos y negativos y sea C el coste global
resultante.
El error cometido cunado se elige un punto de corte determinado es:
Entonces
36
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Incorporando los costes a este error, tenemos:
Incorporando los beneficios de los aciertos,
La pendiente m de la curva ROC en el punto de corte elegido es:
Una vez determinada la pendiente m el punto de corte óptimo (11) será aquel
cuya sensibilidad y especificidad maximice la función:
En el caso hipotético de que m=1 esta función sería equivalente al índice de
Youden
Por otra parte sabíamos que el punto de corte óptimo de una curva ROC debe
estar lo mas cercano posible a la línea de discriminación o también al punto de
coordenadas (0; 1) con lo que se maximizaría la sensibilidad y minimizaría el número
de falsos positivos.
37
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Podemos decir que entre todas las líneas que une cada uno de los puntos de la
curva ROC con el punto de coordenada (0;1), la óptima sería la que tuviese la distancia
euclidea mas corta, ver Figura 6
(1-Sp)
dp
(1- Se)
VPF
FPF
Figura 6
Dicha distancia sería:
El índice de Youden al maximizar también
minimiza de igual
forma a los falsos tanto positivos como negativos, pero no siempre ocurre así,
imaginemos
2
casos
hipotéticos
en
donde
el índice de Youden en ambos casos
coincide Y=0.51 sin embargo
con lo que el segundo
punto se encuentra más cerca del punto (0; 1) y por lo tanto es más óptimo que el
primero.
38
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Esta distancia minimiza tanto la fracción de falsos positivos como la de falsos
negativos y si se ponderan por los costes de los errores tenemos:
Lo que es igual que minimizar:
De esta forma se puede encontrar el punto de corte óptimo teniendo en cuenta el
coste de los errores.
9. Pruebas diagnósticas y SCA (síndrome coronario agudo)
Durante las últimas décadas, el número de pruebas médicas se ha incrementado
de manera rápida, no utilizándose solo para facilitar el diagnóstico, sino también para la
toma de decisiones respecto al tratamiento,
a la detección de posibles trastornos
subclínicos y de forma general para la determinación de la salud futura del paciente.
El proceso riguroso de evaluación de las pruebas diagnosticas antes de su
introducción no solo reduce el número de consecuencias clínicas no deseadas,
secundarias a las estimaciones erróneas de la precisión diagnostica de la prueba, sino
que también limita los costes sanitarios, al evitar la realización de pruebas clínicas
innecesarias.
En cardiología, las pruebas diagnosticas juegan un papel fundamental en la
práctica clínica diaria, son cada vez mas habituales no solo la utilización de marcadores
39
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
séricos en la isquemia miocárdica, las imágenes de ecocardiografías, sino el desarrollo
de modelos predictivos que estiman el resultado (eventos cardiacos adversos o muerte)
en base a la combinación (scores) de una serie de factores de riesgo (GRACE, TIMI,
PORSUIT,….).
El síndrome coronario agudo (SCA) representa la causa más común de muerte
en los países de occidente llamados del primer Mundo(12). Existe gran variabilidad en
el riesgo de eventos adversos dependiendo de los tipos que conforman el espectro del
SCA.
Diferentes sucesos acontecidos a lo largo de la historia, en gran parte
relacionadas con varios niveles de riesgo (diabetes, hipercolesterolemia, tabaquismo,
Hipertensión arterial…), han sido determinantes a la hora de decidir el nivel de cuidados
y la elección de la intervención o tratamiento médico.
Las guías de práctica clínica del American College of Cardiology/ American
Heart Association y la Sociedad Europea de Cardiología recomiendan que los
tratamientos farmacológicos y estrategias de intervención sean específicos en función
del riesgo de resultados adversos y no se utilicen de manera mas o menos indicriminada
(13).
La estimación precisa de este riesgo después de que los pacientes han sido
hospitalizados por SCA puede ayudar a los médicos a orientar el tipo y la intensidad de
la terapia.
Los modelos de predicción clínica pueden ser útiles para tomar decisiones
médicas en el sentido de que los pacientes considerados de alto riesgo pueden someterse
a una vigilancia más agresiva y tratamiento, mientras que los pacientes con menor
riesgo estimado pueden ser tratados de forma menos agresiva.
40
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Mediante el uso de cálculo de riesgo,
los médicos pueden orientar a los
pacientes acerca de la probabilidad de un evento, y esto se traduce en posibilitar
decisiones consensuadas de tratamiento.
El síndrome coronario agudo, comprende un espectro continuo de situaciones
con un rango que va desde la angina inestable hasta el infarto agudo de miocardio con y
sin elevación del segmento ST.
Existen varios modelos de predicción de riesgo para los diferentes tipos de
SCA. La mayoría de los modelos se han desarrollado a partir de numerosos ensayos
clínicos aleatorizados (14).
Sería interesante encontrar una herramienta útil y sencilla capaz de predecir el
riesgo y fuese aplicable a todos los tipos de SCA, además de ser extrapolable a
pacientes con características similares a los de la práctica clínica habitual.
Se estima que alrededor del 50% de los eventos cardiovasculares se presentan en
individuos que no presentan factores de riesgo conocidos como tabaco, HTA,
dislipemia… (15).
En España, en 2006 la enfermedad isquémica del corazón ocasionaba el mayor
número de muertes cardiovasculares (29,98% en total, un 37,28% en varones y un
23,79% en mujeres).
Dentro de la enfermedad isquémica del corazón, la rúbrica infarto agudo de
miocardio fue la más frecuente con un 48,01% (59,10% en los varones y 59,39% en las
mujeres). (INE, 2007).
41
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
10. Predictores de riesgo (GRACE)
La valoración GRACE (GRACE score) fue desarrollada a partir de un registro
multinacional (Global Registry of Acute Coronary Syndrome) de 11,389 pacientes con
SCA (16) durante 2 años en 94 hospitales localizados en 18 zonas geográficas y 14
países (Argentina, Australia, Austria, Belgica, Brasil, Canadá, Francia, Alemania, Italia,
Nueva Zelanda, Polonia, España, Reino Unido, y Estados Unidos).
A la hora de realizar el estudio se definieron una serie de criterios de inclusión
entre los que se encontraban, ser mayor de 18 años de edad, estar vivo al salir del
hospital además de tener síntomas compatibles con isquemia miocárdica aguda y al
menos uno de los signos/síntomas siguientes:
• Cambios electrocardiográficos compatibles con SCA.
• Elevación de la concentración en suero de biomarcadores cardiacos
• Historia previa de enfermedad coronaria.
Junto a esto y como criterios de no inclusión están:
• No
comorbilidad
con
enfermedades
extra-cardiovasculares
y
precipitantes del SCA como la anemia aguda o hipertiroidismo.
Durante 6 meses y tras salir del Hospital se les realizó un seguimiento para
comprobar su estado vital.
El estudio observacional se realizó tanto de forma retrospectiva como
prospectiva, mediante un análisis de supervivencia (modelo de regresión de riesgos
proporcionales de Cox), en donde se identificaron los factores de riesgo (variables
explicativas) que se relacionan con la tasa de incidencia (mortalidad) que ocurre en el
periodo entre la estancia hospitalaria y los 6 meses posteriores.
42
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Una vez localizadas las variables supuestamente implicadas se calculó su Odds
ratio y el valor obtenido sirvió de ponderación para su transformación en un valor.
(GRACE score).
Los factores de riesgo que resultaron implicados, ver
Tabla 3, incluyen variables hemodinámicas, de laboratorio, ECG, presencia
especifica de: Killip class (ver definición posteriormente), presión sistólica al inicio
(SBP), frecuencia cardiaca al inicio (HR), edad, nivel de creatinina, parada cardiaca de
entrada, desviación del segmento ST en el ECG y niveles elevados de enzimas cardiacas
en suero.
Cada variable tiene su propia puntuación teniendo un rango de 1 a 372.
GRACE (0-372) 2003
Edad (años)
Frecuencia cardiaca (lpm)
Para cardiaco en admisión
≤ 30
0
≤ 80
58
30-39
8
80-99
53
40-49
25
100-119
43
50-59
41
120-139
34
60-69
58
140-159
24
70-79
75
160-199
10
Presión sistolica (mmHg)
80-89
91
≥200
0
≥ 90
100
0,00-0,39
1
≤ 50
0
0,40-0,79
4
50-69
3
0,80-1,19
7
70-89
9
1,20-1,59
10
90-109
15
1,60-1,99
13
110-149
24
2,00-3,99
21
150-199
38
≥4,0
28
≥ 200
46
Class I
0
39
Class II
20
Creatinina (mg/dL)
Killip class
Desviación del segmento S-T
28
Class III
39
Marcadores cardiacos elevados
14
Class IV
59
Tabla 3
43
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
El poder discriminativo del modelo fue calculado por medio del área bajo la
curca ROC (c-statistic) que en los datos originales fue de 0.83, siendo esta puntuación
validada posteriormente por una cohorte de 3,792 pacientes incluidos en el GRACE y
otra de 12,142 pacientes adscritos al ensayo clínico GUSTO-IIb (Global Utilization of
Streptokinase and Tissue Plasminogen Activator for Occluded Coronary Arteries).
Dicha validación mostró resultados similares, c-statistic de 0,84 y 0,79
respectivamente (17). También ha sido validada en otras bases de datos (16) y se ha
contrastado con otros sistemas de puntuación en varios ensayos clínicos (18) (19).
Los factores de riesgo implicados en la puntuación GRACE resumían un 89,9%
de la información pronostica:
• Edad: Odds Ratio[OR]= 1.7 por cada 10 años cumplidos,
• Killip class: OR: 2.0 por clase
• Presión sistólica: OR= 1.4 por cada 20 mm.hg de descenso
• Desviación del segmento ST en el ECG: OR= 2.4,
• Parada cardiaco a la entrada al hospital: OR=4.3
• Niveles séricos de creatinina: OR= 1.2 por cada ∆ de 1 mgr/dL
• Detección de enzimas cardiacas al inicio: OR= 1.6
• Frecuencia cardiaca: OR= 1.3 por cada incremento de 30 l.p.m(20).
Algunas definiciones clínicas:
1. El llamado “Killip Class” valora el grado de insuficiencia cardiaca del
individuo y tiene 4 niveles:
•
Clase I: Ausencia de signos de insuficiencia cardiaca.
44
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
•
Clase II: Estertores pulmonares o distensión venosa yugular
•
Clase III: Presencia de edema pulmonar
•
Clase IV: Shock cardiogénico.
2. La detección de enzimas cardiacas se refiere a una serie de enzimas que
se vierten a la sangre cuando hay daño cardiaco (isquemia, infarto) hay
varias entre las que destacan la troponina, CPK-MB entre otras.
3. La desviación del segmento ST se refiere a la elevación o descenso del
segmento ST del electrocardiograma al menos de 1 mm en derivaciones
anteriores, inferiores o laterales, ondas Q superiores a un tercio de la
onda R o una amplitud superior a 0,04 seg., o a un bloqueo de rama
izquierda.
11. A.R.I.A.M.
El registro Análisis del Retraso en el Infarto Agudo de Miocardio (ARIAM), se
inicia en 1994 con los siguientes objetivos:
• Cuantificar el retraso en la administración del tratamiento fibrinolítico y
en qué fase del proceso de atención al SCA se producía.
• Comparar los datos obtenidos entre los distintos hospitales participantes.
• Implementar, a la vista de los datos obtenidos, medidas de mejora y el
diseño de actuaciones específicas para mejorar la asistencia.
• Diseñar un sistema común de evaluación del nivel de la calidad
asistencial que se presta al SCA.
45
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
En estos años, se han incorporado al proyecto, de forma voluntaria, más de 90
hospitales de la Red Pública Nacional.
ARIAM ha generado una Base de Datos con más de 100.000 casos de SCA, y
adaptándose a los cambios de terminología, nuevas tecnologías aplicadas al
tratamiento, y nuevos marcadores de necrosis miocárdica y de insuficiencia cardiaca
que han redefinido el concepto de infarto de miocardio, y revolucionado el diagnóstico
y seguimiento de la cardiopatía isquémica.
El software de recogida de datos y explotación automatizada de la información
obtenida ha evolucionado con él, pudiendo actualmente, disponer de un sistema
informático cooperativo, que permite no solo recoger los datos pertinentes del proceso
asistencial al SCA de forma actualizada, sino también facilitar al clínico implicado en la
asistencia directa, herramientas de control de calidad del proceso, gestión clínica
avanzada y estadística en el ámbito local y gestión clínica avanzada cooperativa. En la
actualidad, el registro de casos se realiza con un corte anual, durante 3 meses, si bien
hay muchos facultativos que realizan un registro continuo, de forma voluntaria.
Es preciso destacar la coherencia interna de los datos y la alta concordancia entre
los resultados de 2010 y 2011, que apoya fuertemente la calidad de los datos y avala la
utilización de la base de datos ARIAM-SEMICYUC para futuros estudios
epidemiológicos (21).
12. G.R.A.C.E. en el S.C.A. de la U.C.I. del H.U.V.N.
En la base de datos ARIAM hay, desde el año 1.994 hasta marzo de 2012, un
total de 6.625 registros procedentes de la Unidad de Cuidados Intensivos (UCI) del
Hospital Universitario Virgen de las Nieves (HUVN) con SCA.
46
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
En 1.103 de ellos se ha registrado la puntuación GRACE (empezó a realizarse
en el año 2008).
Tras realizar una depuración de datos se eliminaron 2 personas por repetición de
la inscripción (coincidencia en la fechas de ingreso del mismo paciente), hubo más de
un reingreso en 39 pacientes, 26 de los cuales lo hicieron antes de los 6 meses donde
hubo un solo éxitus, pasando de un promedio en el GRACEs desde 134.42 a 144, en
86 días de media en el reingreso.
Con los datos obtenidos, se establece el perfil del SCA:
• Hombre (73.2%)
• Edad: hombre= 62.7 y mujer=67.6 años.
• Tabaquismo (32.5%), Ex tabaquismo (18.8%)
• Antecedentes de obesidad (19.5%)
• Antecedentes de dislipemia (41.7%).
• Antecedentes de hipertensión arterial (HTA) (60.7%)
• Antecedentes de diabetes tipo I (13.5%) tipo II (22.1%)
• Elevación del segmento ST en el ECG (48.4%)
• Infarto agudo de miocardio (IAM) (76.2%)
• Angina inestable (16.1%).
• Estancia media en la UCI de 2.87 días.
• Killip: Clase I=84.2% Clase II y III: 5.1% Clase IV: 5.6%
• Rango del GRACEs en “no exitus” GRACE0 [25-269]
47
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
• Rango del GRACEs en “ exitus” GRACE1 [79-290] .
En la ¡Error! No se encuentra el origen de la referencia.4 aparece, junto con
las medias y desviaciones típicas de las 2 distribuciones, el resultado de algunos
cálculos correspondientes a la estimación paramétrica (binormal) y no paramétrica, con
las formulas expresadas anteriormente, del área bajo la curva ROC.
Paramétrico
media
n1
n0
µ1
µ0
â
b
AUC
57
1044
195,58
138,72
1,47
0,96
0,856
38,60
36,93
0,13
0,09
Q2
Q1
V(AUC)
IC inf
IC sup
AUC
1,177
0,118
0,0072
0,835
0,879
0,857
Desviación
estándar
No paramétrico
Tabla 4
Se aprecia que el cálculo de esta área con ambos métodos es bastante similar,
0.86 (I.C: [0.84-0.88]) superior al de otras publicaciones (22) anteriormente
referenciadas y cuyos valores oscilaban entre [0,79;0.83;0,84].
El hecho de que sea similar con ambos métodos no es de extrañar si vemos el
Gráfico 2 en donde se aprecia la forma Normal de la distribución de frecuencias de las 2
poblaciones estudiadas mediante al formación las líneas de tendencia y sus respectivos
48
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
coeficientes
de
determinación
(Atkinson,
1980).
Gráfico 2
Al establecer las líneas de tendencia se aprecia que el coeficiente de
determinación de la curva, o proporción de la varianza total explicada por la ecuación
de la línea, perteneciente a la población de “no éxitus” es de 97.93% lo cual explica
bastante bien la dispersión de los datos de dicha línea.
En la otra población aunque menor el coeficiente de determinación llega a
explicar casi el 87% de la variación.
Es probable que si aumentásemos la muestra en la población de “éxitus” el
coeficiente de determinación también lo haga.
49
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
12.1 Cálculo del punto de corte óptimo
12.1.1 Método de Zweig @ Campbell
Introduciendo los costes y siguiendo el esquema presentado por Zweig &
Campbell
(1983)
(11)
es
decir
maximizando
la
función
Donde dejando beneficios al margen, la pendiente es el inverso de una Odds de
prevalencia y una razón de costes
Se ha realizado una serie de intervalos de esta razón de costes y como
el punto de corte que coincide con el intervalo [17-19] proporciona m=1 y
equivale a maximizar el Indice de Youden
∆ CFN/CFP
[0,1-1]
[2-3]
[4-6]
[7-10]
[11-16]
[17-19]
[20-23]
[24-156]
[157-5000]
P.C
279,5
214
195,5
187,5
182,5
162,5
154,5
151,5
78,5
Se
0,018
0,368
0,579
0,649
0,684
0,842
0,912
0,930
1,000
.
Sp
1,000
0,970
0,936
0,913
0,892
0,752
0,676
0,652
0,052
m
183,5
9,2
4,6
2,6
1,7
1,1
0,9
0,8
0,1
PPV
1,000
0,404
0,330
0,289
0,257
0,156
0,133
0,127
0,054
PNV
0,949
0,966
0,976
0,979
0,981
0,989
0,993
0,994
1,000
Tabla 5
50
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Como ya comentábamos el maximizar la sensibilidad y la especificidad no
siempre es la mejor opción ya que pueden existir asimetrías distorsionadoras.
12.1.2 Método propuesto en este trabajo
Nuestro método consiste en minimizar la distancia euclídea entre la curva ROC
y el punto de coordenadas (0;1).
En el Gráfico 3, se aprecia dicho punto de coordenadas (0.25; 0.84) y que
corresponde a una puntuación GRACE, P.C= 162,5 idéntica a la obtenida con el
método anterior pero como ya vimos al hablar del índice de Yoiden que minimizar la
distancia euclídea equivale a maximizar dicho índice pero no viceversa.
A dicho punto le corresponde una sensibilidad de 0.842 [IC: 0.719-0.925]
(calculado por el método exacto),
confianza [0.726-0.915]
un poco mas conservador que el intervalo de
(obtenido con el método aproximado de Wilson) y una
especificidad de 0.75 [0.725-0.769].
51
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Gráfico 3
Debido a que la prevalencia de éxitus es de alrededor del 5%, el valor predictivo
positivo es bajo 0.16 [0,14- 0,18], no así el negativo que como ya se comentó tiene su
limite inferior en (1-p)=0,95, en concreto tiene un valor de 0.989 [0.978:0.994].
En la Tabla 5 se aprecia bien lo que se comentó de que el recorrido del PPV iba
desde p hasta 1 y el del PNV desde (1-p) hasta 1.
Es curioso resaltar la siguiente paradoja, aludida anteriormente, si tomásemos
por ejemplo el punto de corte (P.C) en 279.5 tendríamos un PPV=1 y PNV=0.949 lo
parecería concluyente a la hora de elegir un punto de corte.
No obstante la sensibilidad
sería de 0.018 lo cual indica que la
inmensa mayoría de los afectados serian falsos negativos, produciendo dicho punto de
corte, un punto en la curva ROC que es vecino del punto de coordenadas (0;0)
(“Always negativo”) en donde el error que se comete coincide con la prevalencia de la
enfermedad.
52
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Determinar el coste de una muerte es complicado y lleva implícita cierta
polémica, por eso es interesante establecer la razón de coste en forma de intervalos, a
titulo de orientación para que se pueda elegir el punto de corte adecuado.
Utilizando como base la distancia euclídea y adaptándola a los costes de los
errores que se comenten cuando se elige un punto de corte determinado, se trata de
minimizar:
es igual que minimizar:
En la siguiente tabla se ha optado, sin perdida de generalidad, por considerar
como complementarios de la unidad a
k
99
3
2,3
1,5
1,0
0,67
0,33
0,25
0,11
0,01
CFN
0,99
0,75
0,70
0,60
0,50
0,40
0,25
0,20
0,10
0,01
CFP
0,01
0,25
0,30
0,40
0,50
0,60
0,75
0,80
0,90
0,99
P.C
78,5
151,5
154,5
162,5
162,5
182,5
187,5
192,5
211,5
279,5
Se
1,000
0,930
0,912
0,842
0,842
0,684
0,649
0,614
0,386
0,018
.
Sp
0,052
0,652
0,676
0,752
0,752
0,892
0,913
0,924
0,967
1,000
LR+
1,054
2,672
2,815
3,401
3,40
6,333
7,461
8,029
11,535
-
LR-*
9,291
7,705
4,765
4,77
2,825
2,602
2,393
1,574
1,018
OR
24,83
21,69
16,21
16,21
17,89
19,41
19,21
18,16
-
PPV
0,054
0,127
0,133
0,156
0,16
0,257
0,289
0,304
0,386
1,000
PNV
1,000
0,994
0,993
0,989
0,99
0,981
0,979
0,978
0,967
0,949
Tabla 6
53
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Gráfico 4
En el Gráfico 4 se puede observar la disposición de algunos puntos de corte en
función del coste asignado a los errores (FN y FP) pudiéndose observar como hay 2
concavidades entre los 3 puntos señalados.
El primer punto (distancia euclídea), es mejorable si la línea ROC tuviese mas
datos y formase lo que se llama una envolvente convexa (convex hull) siendo la
distancia mas corta desde esta línea ROC empírica y el punto optimo con un coste
idéntico en ambos errores ver Figura 7.
En dicha Figura se ha estimado una línea de tendencia de la curva ROC , al
objeto de eliminar concavidades, obteniéndose una ecuación polinomica de grado 4 con
un coeficiente de determinación (R2=97.1%), entonces el punto optimo, en el caso de
que se asumieran costes iguales, sería la intersección de la esta curva y la línea diagonal
(1;0) (0;1) ecuación
54
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
El siguiente punto “coste FP 75%” significa que a los falsos positivos se les ha
dado un coste de 0,75 mientras que a los falsos negativos uno de 0,25 siendo la
proporción, k= CFN /CFP de 0,33, se ha elegido este punto porque es el que tiene la OR
(probabilidad de acierto) mayor en ese segmento ver Tabla 6.
El punto “coste FN 25%” igual que el anterior pero al contrario es decir k=CFN
/CFP de 3.
La ecuación de la línea de tendencia es
y el punto de
intersección (convex) con la línea
, es [0.1905; 0.80975]
Figura 7
La elección del punto de corte va a depender del objetivo y la toma de decisiones
va a depender de cuestiones éticas (falsos negativos) o económicas (falsos positivos)
siendo un debate que habría que abordar pues siempre es mas eficiente, el análisis de la
situación real, que las opiniones personales no necesariamente homogéneas.
55
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Conclusiones
El poder determinar el valor umbral de una prueba diagnóstica al objeto de poder
discriminar adecuadamente los diferentes grupos que compone la población a la que se
le realiza, es de gran interés tanto desde el punto de vista clínico como económico.
Hasta ahora el valor umbral mayoritariamente aceptado era el que procedía de
maximizar la función
siendo
que m=1 equivaldría a maximizar
, que en el caso de
.
Se propone como valor umbral al punto de la curva ROC que minimice su
distancia al punto de coordenada (0;1)
y ponderando por
una razón de coste:
Se comprueba que
pero no necesariamente
.
Poder utilizar este valor umbral de la puntuación GRACE en el SCA supone poder
distinguir desde la entrada al Hospital, a aquellos pacientes con alto riesgo de mortalidad y
proporcionarles una terapia adecuada a su estado.
En caso de que existiesen concavidades significativas y próximas al umbral elegido
sería interesante poder encontrar, a partir de los datos obtenidos y basándonos en la distribución
binormal o en distribuciones de frecuencias empíricas, la ecuación de la envolvente convexa de
la curva ROC.
Una vez hallada la ecuación de dicha envolvente habría que encontrar la intersección de
esta con la línea discriminatoria y de esta manera tendríamos una proyección del punto óptimo.
56
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
Referencias
(1) Lusted LB. Decision-making studies in patient management. N Engl J Med 1971
Feb 25;284(8):416-24.
(2) Soreide K. Receiver-operating characteristic curve analysis in diagnostic,
prognostic and predictive biomarker research. J Clin Pathol 2009 Jan;62(1):1-5.
(3) Bandos SI, Rockette HE, Gur D. Use of likelihood ratios for comparisons of binary
diagnostic tests: underlying ROC curves. Med Phys 2010 Nov;37(11):5821-30.
(4) Delgado-Rodriguez M, Almaraz A, Farinas-Alvarez C. Should the definition for the
negative likelihood ratio be changed? J Clin Epidemiol 1997 Jun;50(6):641-2.
(5) Swets JA. Measuring the accuracy of diagnostic systems. Science 1988 Jun
3;240(4857):1285-93.
(6) Hanley JA, McNeil BJ. The meaning and use of the area under a receiver
operating characteristic (ROC) curve. Radiology 1982 Apr;143(1):29-36.
(7) Metz CE. ROC methodology in radiologic imaging. Invest Radiol 1986
Sep;21(9):720-33.
(8) Swets JA. Form of empirical ROCs in discrimination and diagnostic tasks:
implications for theory and measurement of performance. Psychol Bull 1986
Mar;99(2):181-98.
(9) Colak E, Mutlu F, Bal C, Oner S, Ozdamar K, Gok B, et al. Comparison of
Semiparametric, Parametric, and Nonparametric ROC Analysis for Continuous
Diagnostic Tests Using a Simulation Study and Acute Coronary Syndrome Data.
Comput Math Methods Med 2012;2012:698320.
(10) Metz CE. Basic principles of ROC analysis. Semin Nucl Med 1978 Oct;8(4):28398.
(11) Zweig MH, Campbell G. Receiver-operating characteristic (ROC) plots: a
fundamental evaluation tool in clinical medicine. Clin Chem 1993 Apr;39(4):56177.
(12) Murray CJ, Lopez AD. Alternative projections of mortality and disability by cause
1990-2020: Global Burden of Disease Study. Lancet 1997 May
24;349(9064):1498-504.
(13) Braunwald E, Antman EM, Beasley JW, Califf RM, Cheitlin MD, Hochman JS, et
al. ACC/AHA guidelines for the management of patients with unstable angina and
non-ST-segment elevation myocardial infarction. A report of the American
College of Cardiology/American Heart Association Task Force on Practice
Guidelines (Committee on the Management of Patients With Unstable Angina). J
Am Coll Cardiol 2000 Sep;36(3):970-1062.
(14) Boersma E, Pieper KS, Steyerberg EW, Wilcox RG, Chang WC, Lee KL, et al.
Predictors of outcome in patients with acute coronary syndromes without
persistent ST-segment elevation. Results from an international trial of 9461
patients. The PURSUIT Investigators. Circulation 2000 Jun 6;101(22):2557-67.
57
Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC
(15) Hennekens CH. Increasing burden of cardiovascular disease: current knowledge
and future directions for research on risk factors. Circulation 1998 Mar
24;97(11):1095-102.
(16) Granger CB, Goldberg RJ, Dabbous O, Pieper KS, Eagle KA, Cannon CP, et al.
Predictors of hospital mortality in the global registry of acute coronary events.
Arch Intern Med 2003 Oct 27;163(19):2345-53.
(17) Armstrong PW, Fu Y, Chang WC, Topol EJ, Granger CB, Betriu A, et al. Acute
coronary syndromes in the GUSTO-IIb trial: prognostic insights and impact of
recurrent ischemia. The GUSTO-IIb Investigators. Circulation 1998 Nov
3;98(18):1860-8.
(18) Yan AT, Yan RT, Tan M, Casanova A, Labinaz M, Sridhar K, et al. Risk scores for
risk stratification in acute coronary syndromes: useful but simpler is not
necessarily better. Eur Heart J 2007 May;28(9):1072-8.
(19) Ramsay G, Podogrodzka M, McClure C, Fox KA. Risk prediction in patients
presenting with suspected cardiac pain: the GRACE and TIMI risk scores versus
clinical evaluation. QJM 2007 Jan;100(1):11-8.
(20) Granger CB, Goldberg RJ, Dabbous O, Pieper KS, Eagle KA, Cannon CP, et al.
Predictors of hospital mortality in the global registry of acute coronary events.
Arch Intern Med 2003 Oct 27;163(19):2345-53.
(21) Latour-Perez J, Fuset-Cabanes MP, Ruano MM, del Nogal SF, Felices Abad FJ,
Cunat dlH. [Early invasive strategy in non-ST-segment elevation acute coronary
syndrome. The paradox continues]. Med Intensiva 2012 Mar;36(2):95-102.
(22) Backus BE, Six AJ, Kelder JH, Gibler WB, Moll FL, Doevendans PA. Risk scores
for patients with chest pain: evaluation in the emergency department. Curr Cardiol
Rev 2011 Feb;7(1):2-8.
58