10 febrer 2016 1. Exactitud 2. 3. 4. 5. • Sensibilitat i especificitat Proves basades en variables contínues • Corbes ROC Valor predictiu Combinació de proves Quocients de probabilitat Dr. Lluís Armadans Hospital Universitari Vall d’Hebron. Facultat de Medicina. UAB • “Capacitat d’una prova diagnòstica per a classificar correctament els pacients” • Els resultats de la prova que s’avalua es comparen amb els d’un diagnòstic de referència o “Gold standard” • S’estima tant per als resultats positius de la prova com per als negatius Avaluació de proves diagnòstiques Mostra d’individus Prova que s’avalua Prova de referència “Gold standard” Resultat: Positiu / Negatiu Comparació Malaltia: Present / Absent Avaluació de proves diagnòstiques Resultat de la prova avaluada Malaltia (segons “Gold standard”) Present Absent Positiu Vertader Positiu (VP) Fals Positiu (FP) Negatiu Fals Negatiu (FN) Vertader Negatiu (VN) Total malalts Total sans Exactitud Resultat de la prova avaluada Malaltia (segons “Gold standard”) Present Absent Positiva VP FP VP+FP Negativa FN VN FN+VN VP+FN (Total malalts) FP+VN (Total sans) Sensibilitat = VP VP + FN Especificitat = VN VN + FP Sensibilitat i Especificitat • Sensibilitat. Probabilitat que, en individus malalts, el resultat de la prova sigui positiu • Especificitat. Probabilitat que, en no malalts, el resultat de la prova sigui negatiu Exactitud Malaltia Resultat de la prova estudiada Present Absent Positiva VP FP VP+FP Negativa FN VN FN+VN VP+FN (Total malalts) FP+VN (Total sans) VP = Sensibilitat Total malalts VN = Especificitat × Total sans Exactitud del perímetre de la cintura per al diagnòstic de resistència a la insulina Resistència a la insulina Perímetre cintura Sí No ≥ 100 cm 665 719 1384 < 100 cm 32 697 1232 1951 1264 2648 Sens = 665 697 = 95,4% 1232 Esp = 1951 = 63,1% VP = Sens Total malalts = 0,954 × 697 = 665 VN = Esp × Total sans = 0,631 × 1951 = 1232 Font: Wahrenberg H, Hertel K, Leijonhufvud B-M, et al. BMJ. 2005; 330(7504): 1363–4. Evaluación de la tira reactiva para el diagnóstico de infección urinaria en niños y adultos Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289 FUNDAMENTO: La tira reactiva se utiliza como primera prueba en la determinación de infección urinaria. MATERIAL Y MÉTODO: Se procesaron 1.087 orinas de pacientes pediátricos y adultos, realizándose en todas ellas tira reactiva, observación microscópica del sedimento en fresco y con tinción de Gram y urocultivo; este último se consideró como método de referencia para valorar las otras pruebas. RESULTADO: La sensibilidad de la tira reactiva y del Gram fue superior en las orinas obtenidas de adultos que en las de niños, pero el examen en fresco del sedimento urinario tuvo mejor sensibilidad en pediatría. La especificidad de las tres pruebas de cribado previas al urocultivo presentó pocas variaciones en los dos grupos de edad. El valor predictivo positivo de la tira reactiva y del fresco del sedimento fue algo superior en orinas de niños que en las de adultos, al contrario de lo que ocurrió con la tinción de Gram. El valor predictivo negativo fue similar para los tres parámetros. CONCLUSIONES: La tira reactiva es un buen método para descartar la infección urinaria en niños y adultos, aunque su positividad obliga a un seguimiento bacteriológico posterior para llegar al diagnóstico de certeza. En niños menores de 2 años; recomendamos, sin embargo, el urocultivo universal. Exactitud de la tira reactiva per al diagnòstic de la infecció urinària Urocultiu Tira reactiva Positiu Negatiu Positiva 86 433 519 Negativa 20 106 548 981 568 1087 = 81,13% 548 Esp = 981 = 55,86% Sens = 86 106 VP = Sens Total malalts = 0,8113 × 106 = 86 VN = Esp × Total sans = 0,5586 × 981 = 548 Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. Exactitud del Gram del sediment per al diagnòstic de la infecció urinària Urocultiu Tinció de Gram Positiu Negatiu Positiva 92 38 130 Negativa 14 106 943 981 957 1087 = 86,79% 943 Esp = 981 = 96,13% Sens = 92 106 VP = Sens Total malalts = 0,8679 × 106 = 92 VN = Esp × Total sans = 0,9613 × 981 = 943 Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. Interval de confiança Sensibilitat S * (1 - S) sensibilitat ± 1,96 * VP + FN Especificitat Sp * (1 - Sp) especificitat ± 1,96 * FP + VN Sensibilitat i Especificitat: exemple de proves Malaltia Prova S E Referència Infart de miocardi CK ≥ 80 ui 93% 88% ECG, curs clínic Càncer de próstata Fosfatasa ácida 56% 94% Biopsia transrectal Examen rectal 69% 89% Id. Citologia aspiració 55% 91% Id. Càncer de pàncreas Ultrasons 65% 82% Cirurgia Scanner 90% 82% Id. Trombosi profunda Pletismografia 92% 92% Venografia Defectes neurals Colinesterasa l.a. 99% 66% Examen directe • Moltes proves diagnòstiques es basen en una variable contínua • La distribució de la variable en pacients amb una malaltia es pot sobreposar a la dels pacients sense la malaltia • En utilitzar una variable contínua, cal decidir quin valor s’utilitzarà per a classificar els individus com sans o malalts (punt de tall) Comparison of hemocytometer leukocyte counts and standard urinalyses for predicting urinary tract infections in febrile infants Lin DS, Huang FY, Chiu NC, et al. Pediatric Infect Dis J. 2000; 19(3): 223-7 OBJECTIVES: To compare the accuracy of standard and hemocytometer white blood cell (WBC) counts and urinalyses for predicting urinary tract infection (UTI) in febrile infants. METHODS: Enrolled were 230 febrile infants < 12 months of age. All urine specimens were obtained by suprapubic bladder aspiration and microscopically analyzed by the standard urinalysis (UA) and by hemocytometer WBC counts simultaneously, and quantitative urine cultures were performed. Receiver-operating characteristic (ROC) curves were constructed for each method of UA. The optimal cutoff point of the UA test in predicting UTI was determined by ROC analysis. RESULTS: There were 37 positive urine cultures of at least 1,000 CFU/ml. Of these 37 patients, 9 females and 28 males, 1 had a positive blood culture (Escherichia coli). Thirty (81%) of the positive urine cultures had a bacterial colony count > or = 100,000 colony-forming units/ml, whereas the remaining had between 1,000 and 50,000 colony-forming units/ml. The area under the ROC curve for standard UA was 0.790 0.053, compared with 0.900 0.039 for hemocytometer WBC counts (P < 0.05). For hemocytometer WBC counts, the presence of < or =10 WBC/microl appeared to be the most useful cutoff point, yielding a high sensitivity (83.8%) and specificity (89.6%). Standard UA, with a cutoff point of 5 WBC/high power field, had a lower sensitivity (64.9%) and similar specificity (88.1%). [...]. CONCLUSION: Hemocytometer WBC counts provide more valid and precise prediction of UTI in febrile infants than standard UA. The presence of > or =10 WBC/microl in suprapubic aspiration specimens is the optimum cutoff value for identifying febrile infants for whom urine culture is warranted. Exactitud d’un punt de tall baix Punt de tall No infecció urinària Nº Infecció urinària Molts falsos positius Sensibilitat elevada Especificitat baixa Leucòcits en orina Falsos positius Exactitud d’un punt de tall alt Punt de tall No infecció urinària Nº Infecció urinària Molts falsos negatius Sensibilitat baixa Especificitat elevada Leucòcits en orina Falsos negatius Elecció del punt de tall • Est pot calcular la sensibilitat i especificitat de cada punt de tall • Exemple: perímetre de cintura i resistència a insulina: – Com més baix sigui el punt de tall: Augmenta la sensibilitat Disminueix l’especificitat – Com més alt sigui el punt de tall: Disminueix la sensibilitat Augmenta l’especificitat Exactitud d’un punt de tall Punt de tall Nº No infecció urinària Infecció urinària Leucòcits en orina Exactitud de l’anàlisi d’orina al microscopi per a diagnosticar la infecció urinària Urocultiu Recompte leucòcits Positiu Negatiu ≥5 leucòcits/camp 24 23 47 <5 leucòcits/camp 13 170 183 37 193 230 170 193 = 88,1% Sens = 24 37 = 64,9% Esp = Font: Lin DS. Pediatric Infect Dis J. 2000; 19: 223-7 Exactitud del recompte automàtic de leucòcits en orina per al diagnòstic de la infecció urinària Urocultiu Recompte de leucòcits Positiu Negatiu ≥10 leucòcits/µ µl 31 20 51 <10 leucòcits/µ µl 6 173 179 37 193 230 173 193 = 89,6% Sens = 31 37 = 83,8% Esp = Font: Lin DS. Pediatric Infect Dis J. 2000; 19: 223-7 Ús de proves sensibles • En les primeres etapes de l’estudi d’un malalt • Quan no detectar la malaltia pot comportar problemes importants Malalties greus però tractables: tuberculosi, sífilis, malaltia de Hodgkin i certs càncers • Si una prova té una sensibilitat alta, un resultat negatiu descarta el diagnòstic • Quan la probabilitat de la malaltia és baixa i l’objectiu és descobrir-la (cribratge) Ús de proves específiques • Si una prova té una especificitat alta, un resultat positiu confirma el diagnòstic • Seran útils quan els possibles falsos positius puguin ocasionar danys emocionals, físics o econòmics: Abans d’iniciar la quimioteràpia d’un càncer cal confirmar el diagnòstic amb un examen histològic Corba ROC • Una corba ROC és la representació gràfica de la sensibilitat i especificitat dels diferents punts de tall d’una prova diagnòstica basada en una variable contínua • En abscisses es representa la proporció de falsos positius (=1-especificitat) de cada punt i, en ordenades, la seva sensibilitat Comparison of hemocytometer leukocyte counts and standard urinalyses for predicting urinary tract infections in febrile infants Lin DS, Huang FY, Chiu NC, et al. Pediatric Infect Dis J. 2000; 19(3): 223-7 OBJECTIVES: To compare the accuracy of standard and hemocytometer white blood cell (WBC) counts and urinalyses for predicting urinary tract infection (UTI) in febrile infants. METHODS: Enrolled were 230 febrile infants < 12 months of age. All urine specimens were obtained by suprapubic bladder aspiration and microscopically analyzed by the standard urinalysis (UA) and by hemocytometer WBC counts simultaneously, and quantitative urine cultures were performed. Receiver-operating characteristic (ROC) curves were constructed for each method of UA. The optimal cutoff point of the UA test in predicting UTI was determined by ROC analysis. RESULTS: There were 37 positive urine cultures of at least 1,000 CFU/ml. Of these 37 patients, 9 females and 28 males, 1 had a positive blood culture (Escherichia coli). Thirty (81%) of the positive urine cultures had a bacterial colony count > or = 100,000 colony-forming units/ml, whereas the remaining had between 1,000 and 50,000 colony-forming units/ml. The area under the ROC curve for standard UA was 0.790 0.053, compared with 0.900 0.039 for hemocytometer WBC counts (P < 0.05). For hemocytometer WBC counts, the presence of < or =10 WBC/microl appeared to be the most useful cutoff point, yielding a high sensitivity (83.8%) and specificity (89.6%). Standard UA, with a cutoff point of 5 WBC/high power field, had a lower sensitivity (64.9%) and similar specificity (88.1%). [...]. CONCLUSION: Hemocytometer WBC counts provide more valid and precise prediction of UTI in febrile infants than standard UA. The presence of > or =10 WBC/microl in suprapubic aspiration specimens is the optimum cutoff value for identifying febrile infants for whom urine culture is warranted. Comparison of hemocytometer leukocyte counts and standard urinalyses for predicting urinary tract infections in febrile infants Lin DS, Huang FY, Chiu NC, et al. Pediatric Infect Dis J. 2000; 19(3): 223-7 (microscopi) (automàtic) Interpretació de la corba ROC • La corba ROC informa de la superposició de la variable en sans i malalts Com més s’acosta al vèrtex superior esquerre, millor els discrimina Com més s’acosta a la diagonal de la gràfica, pitjor els discrimina Com més elevada és l' àrea sota la corba ROC, millor els discrimina • L’àrea sota la corba ROC permet comparar dues proves per al diagnòstic d’una malaltia • Valor predictiu positiu. Probabilitat de tenir la malaltia quan el resultat de la prova diagnòstica ha estat positiu • Valor predictiu negatiu. Probabilitat de no tenir la malaltia quan el resultat de la prova diagnòstica ha estat negatiu Càlcul del valor predictiu Malaltia Resultat de la prova estudiada Present Absent Positiva VP FP VP+FP Negativa FN VN FN+VN VP+FN FP+VN Val pred + = VP VP + FP Val pred - = VN FN +VN Valor predictiu de la tira reactiva per al diagnòstic de la infecció urinària Urocultiu Tira reactiva Positiu Negatiu Positiva 86 20 106 433 548 981 Negativa VP + = 86 519 = 16,57% VP - = 548 568 519 568 1087 = 96,48% Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. Valor predictiu del Gram del sediment per al diagnòstic de la infecció urinària Urocultiu Tinció de Gram Positiu Negatiu Positiva 92 14 106 38 943 981 Negativa VP + = 92 130 = 70,77% VP - = 943 957 Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. 130 957 1087 = 98,54% Utilitat del valor predictiu • Per al metge clínic, té més interès pràctic el Valor Predictiu que la Sensibilitat i la Especificitat, ja que la seva preocupació és conèixer quina és la probabilitat que un individu amb la prova positiva tingui la malaltia • En canvi, conèixer amb quina probabilitat els individus malalts tenen la prova positiva, no li proporciona informació per al diagnòstic Signe Patognomònic (E=VP+=100%) Prova de referència Malalt Sa Total Present 10 0 10 Absent 90 100 190 100 100 200 Signe patognomònic Total • Un Signe Patognomònic es caracteritza per tenir una elevada Especificitat i un elevat Valor predictiu positiu • La Sensibilitat sol ser baixa: només una petita fracció dels malalts presenten el signe • Anterior taula: Especificitat = 100/100 = 1,00 ó 100% No hi ha falsos positius (FP= 0%) Valor predictiu positiu, VP+ = 10/10 = 1,00 ó 100% Sensibiltat = 10/100 = 0,10 ó 10% Prevalence of red ear syndrome (RES) in juvenile primary headaches (El síndrome de l’orella vermella és un signe altament específic de migranya). Raieli V et al. Cephalalgia 2010 Methods and results: A total of 226 children suffering from headache (aged 4–17 years) were enrolled. One hundred and seventy-two (76.4%) were affected by migraine, the remaining 54 (23.6%) by other primary headaches. RES was followed significantly more frequently by migraine (23.3%; p < 0.0001), and was characterized by high specificity and positive predictive value (96.3 and 95.3%, respectively). Migranya Sindrome Si No Total % RES 40 2 42 23,6 132 52 184 76,4 172 54 226 100,0 no RES Total • Especificitat = 52/54 = 96,3% • Valor predictiu positiu, VP+ = 40/42 = 95,3% • Sensibilitat = 40/172 = 23,3%; és baixa, ja que en els signes patognomòmics només una petita fracció dels malalts presenten el signe Valor predictiu positiu El valor predictiu positiu d’una prova depèn: De la prevalença de la malaltia De l’especificitat de la prova En menor grau, de la sensibilitat de la prova Valor predictiu positiu segons la prevalença de la malatia Pacients pediàtrics Tira reactiva Urocultiu + Urocultiu - + 57 211 - 17 74 Pacients adults Tira reactiva Urocultiu + Urocultiu - 268 + 29 222 251 262 279 - 3 286 289 473 547 32 508 540 Sens = 77,0% Esp = 55,4% Sens = 90,6% Esp = 56,3% VP + = 21,3% VP- = 93,9% VP + = 11,6% VP- = 99,0% Prevalença = 13,5% Prevalença = 5,9% Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. !" # $#% !& ' ( " % )# $#' "*$)+"*,+ -)!+ $# )% ' -!.+" Valor predictiu positiu 1 0,8 0,6 Tira Gram 0,4 0,2 0 0,0 0,2 0,4 0,6 0,8 1,0 Prevalença Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. Valor predictiu negatiu segons la prevalença de la malaltia 1,0 Valor predictiu negatiu 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0 0,00 0,20 0,40 0,60 0,80 1,00 Prevalença Sensibilitat = 0,8 Especificitat = 0,8 HIV. Positive Predictive Value of a single test depends on Specificity & varies with Prevalence Predictive Value, Positive Test HIV Prevalence 10% 5% 2% 1% 0.5% 0.3% 0.1% Test Specificity OraQuick Reveal 99% 98% 95% 91% 83% 75% 50% 92% 85% 69% 53% 36% 25% 10% 99.9% 99.1% Uni-Gold Single EIA 97% 95% 87% 77% 63% 50% 25% 98% 96% 91% 83% 71% 60% 33% 99.7% 99.8% CDC. Branson BM. Rapid HIV Testing. 2005 Update Efecte de la prevalença sobre el valor predictiu positiu, VP+ Per a una sensibilitat = 0,8 i una especificitat = 0,8 Prevalença de la malaltia 10% 20% 50% Resultat de la prova Malalts No malalts Totals Positiu 800 1800 2600 Negatiu 200 7200 7400 Totals 1.000 9.000 10.000 Positiu 1600 1600 3200 Negatiu 400 6400 6800 Totals 2.000 8.000 10.000 Positiu 4000 1000 5000 Negatiu 1000 4000 5000 Totals 5.000 5.000 10.000 Valor predictiu + 30,8% 50,0% 80,0% Efecte de la prevalença sobre el valor predictiu negatiu, VPPer a una sensibilitat = 0,8 i una especificitat = 0,8 Prevalença de la malaltia 10% 20% 50% Resultat de la prova Malalts No malalts Totals Positiu 800 1800 2600 Negatiu 200 7200 7400 Totals 1.000 9.000 10.000 Positiu 1600 1600 3200 Negatiu 400 6400 6800 Totals 2.000 8.000 10.000 Positiu 4000 1000 5000 Negatiu 1000 4000 5000 Totals 5.000 5.000 10.000 Valor predictiu - 97,3% 94,1% 80,00% / 0 • Combinació en paral·lel (simultànies) – Les dues proves s’apliquen a tots els pacients – La malaltia es diagnostica si el resultat de qualsevol de les dues és positiu • Combinació en sèrie (seqüencial) – Una prova s’aplica a tots els pacients. – La següent només s’aplica als individus amb resultat positiu a la primera prova Sensibilitat i especificitat dels paràmetres de la tira reactiva en orina Esterasa + - Urocultiu + 71 35 106 Urocultiu 242 739 981 313 774 1087 Sens = Esp = 66,98% 75,33% Sang oculta + - Urocultiu + 56 50 106 Urocultiu 264 717 981 320 767 1087 Sens = Esp = 52,8% 73,1% Proteïnes + - Urocultiu + 19 87 106 Urocultiu 35 946 981 54 1033 1087 Sens = Esp = 17,92% 96,43% Nitrits Urocultiu + 42 64 106 Urocultiu 10 971 981 52 1035 1087 Sens = Esp = 39,62% 98,98% + - Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. Exactitud de l’aplicació en paral·lel dels quatre paràmetres de la tira reactiva en orina Esterasa leucocitària Sang oculta Proteïnes Nitrits + + + + : : : : - + - - : : : : - - + - : : : : - - - + - - - - Sensibilitat = 81,3% Cultiu + Cultiu - 86 433 20 548 106 981 Especificitat = 55,86% Combinació de proves en paral·lel • Respecte a cada prova per separat, una combinació simultània de proves suposa: – Una sensibilitat superior – Una especificitat inferior Combinació de proves diagnòstiques en sèrie Diagnòstic de la infecció urinària Tira reactiva + Gram del sediment + Urocultiu Prova més sensible Prova més específica + Infecció urinària Combinació seqüencial de proves • Respecte a cada prova per separat, la combinació seqüencial de proves suposa: – Una sensibilitat inferior – Una especificitat superior Evaluación de la tira reactiva para el diagnóstico de infección urinaria en niños y adultos Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289 FUNDAMENTO: La tira reactiva se utiliza como primera prueba en la determinación de infección urinaria. MATERIAL Y MÉTODO: Se procesaron 1.087 orinas de pacientes pediátricos y adultos, realizándose en todas ellas tira reactiva, observación microscópica del sedimento en fresco y con tinción de Gram y urocultivo; este último se consideró como método de referencia para valorar las otras pruebas. RESULTADO: La sensibilidad de la tira reactiva y del Gram fue superior en las orinas obtenidas de adultos que en las de niños, pero el examen en fresco del sedimento urinario tuvo mejor sensibilidad en pediatría. La especificidad de las tres pruebas de cribado previas al urocultivo presentó pocas variaciones en los dos grupos de edad. El valor predictivo positivo de la tira reactiva y del fresco del sedimento fue algo superior en orinas de niños que en las de adultos, al contrario de lo que ocurrió con la tinción de Gram. El valor predictivo negativo fue similar para los tres parámetros. CONCLUSIONES: La tira reactiva es un buen método para descartar la infección urinaria en niños y adultos, aunque su positividad obliga a un seguimiento bacteriológico posterior para llegar al diagnóstico de certeza. En niños menores de 2 años; recomendamos, sin embargo, el urocultivo universal. Combinació de proves en paral·lel • Respecte a cada prova per separat, una combinació simultània de proves suposa: – Una sensibilitat superior – Una especificitat inferior 1 • Quocient de probabilitat d’un resultat positiu (Likelihood ratio +) – Sensibilitat / (1 – especificitat) • Quocient de probabilitat d’un resultat negatiu (Likelihood ratio -) – (1 – sensibilitat) / especificitat ó Tira Reactiva à Urocultiu Positiu Negatiu Positiva 86 433 86 106 0,811 LR + = = = 1,84 433 981 0,441 Negativa 20 548 LR - = 106 981 20 106 0,189 = = 0,34 548 981 0,559 Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. ó Tinció de Gram à Urocultiu Positiu Negatiu Positiva 92 38 92 106 0,868 LR + = = = 22,41 38 981 0,039 Negativa 14 943 LR - = 106 981 14 106 0,132 = = 0,14 943 981 0,961 Font: Latorre C, Noguero M, Mira A. Med Clin (Barc) 2001; 116: 286-289. Avaluació de proves diagnòstiques. Definicions • Sensibilitat. Probabilitat que, en individus malalts, el resultat de la prova sigui positiu • Especificitat. Probabilitat que, en no malalts, el resultat de la prova sigui negatiu • Valor predictiu positiu. Probabilitat de tenir la malaltia quan el resultat de la prova diagnòstica ha estat positiu • Valor predictiu negatiu. Probabilitat de no tenir la malaltia quan el resultat de la prova diagnòstica ha estat negatiu • Corba ROC: representació gràfica de la sensibilitat i especificitat dels punts de tall d’una prova basada en una variable contínua • Quocient de probabilitat positiu: sensibilitat/(1–especificitat) • Quocient de probabilitat negatiu: (1-sensibilitat)/especificitat Si us plau, preguntes i dubtes