originales Validación extrínseca de los Indicadores de Seguridad de Pacientes de la Agency for Healthcare Research and Quality del Río Mata J., Conejo Gómez C. y Martínez Reina A. Servicio de Documentación Clínica. Hospital Virgen de la Victoria de Málaga. Servicio Andaluz de Salud. Consejería de Salud. Junta de Andalucía. Correspondencia: José del Río Mata Servicio de Documentación Clínica. Hospital Virgen de la Victoria Campos de Teatinos s/n. 29010 Málaga. Teléfono: 951032283 [email protected] RESUMEN Objetivo El objetivo del presente trabajo es analizar la validez extrínseca de los Indicadores de Seguridad de Pacientes de la Agency for Healthcare Research and Quality entendiendo por validez extrínseca la derivada de fenómenos ajenos al diseño y estructura del indicador, centrándonos especialmente en la selección y codificación de diagnósticos. Material y métodos Se ha realizado un estudio retrospectivo de análisis de casos de los Indicadores de Seguridad de Pacientes correspondientes a las altas del Hospital Virgen de la Victoria de Málaga del período 2002-2006. Sobre los indicadores con valor predictivo positivo inferior al 90% se ha realizado una intervención de mejora, dirigida a los responsables de la codificación de diagnósticos, consistente en formación y análisis de errores. La comprobación de resultados postintervención se realizó sobre las altas del año 2007. papeles médicos 2009; VOL. 18 Núm. 2 Resultados En el análisis inicial el valor predictivo positivo para el conjunto del período estudiado y el total de Indicadores de Seguridad de Pacientes ha sido 95,11%, Sólo cuatro indicadores no alcanzaron un valor predictivo positivo superior al 90%. Sobre estos indicadores se realizó la intervención de mejora definida, alcanzando tres de ellos 100% de valor predictivo positivo en la revisión postintervención y superando el indicador restante el valor de 90%. Conclusiones Los resultados para cada indicador han sido robustos dada su estabilidad a lo largo del tiempo. Los resultados globales han sido satisfactorios para el conjunto de indicadores en el análisis inicial y para cada uno de ellos en el análisis postintervención. Estamos en condiciones de afirmar que cuando identificamos un efecto adverso el mismo realmente se ha producido con casi toda seguridad. Palabras clave Seguridad de pacientes, validez de indicadores, codificación de diagnósticos 32 originales Extrinsic validity of the Agency for Healthcare Research and Quality Patient Safety Indicators Servicio de Documentación Clínica. Hospital Virgen de la del Río Mata J., Conejo Gómez C. y Martínez Reina A. Victoria de Málaga. Servicio Andaluz de Salud. Consejería de Salud. Junta de Andalucía. Correspondencia: José del Río Mata Servicio de Documentación Clínica. Hospital Virgen de la Victoria Campos de Teatinos s/n. 29010 Málaga. Teléfono: 951032283 [email protected] ABSTRACT Objective To analyze the extrinsic validity of the Agency for Healthcare Research and Quality Patient Safety Indicators. The validity aspects considered are diagnosis selection and coding not indicator design or structure. Materials / Methods A case analysis retrospective study of the Patient Safety Indicators was carried out for inpatient discharges from Hospital Virgen de la Victoria (Málaga, Spain) for the period 2002 – 2006. Indicators with a Positive Predictive Value under 90% were selected for an improvement intervention for Diagnostic Coding technicians including education and error analysis. The postintervention verification of results was carried out with the discharges produced in 2007. ted to the stated improvement intervention. Three of these indicators achieved a 100% Positive Predictive Value in the postintervention revision and the fourth one exceeded the 90% value. Conclusions The results for each indicator are solid, with stable values throughout time. The global results are satisfactory for the set of indicators in the initial study and for each indicator in the postintervention analysis. We can, therefore, state that if an adverse event has been coded it has, to a very high extent, actually occurred. KEY WORDS Patient safety, indicator validity, diagnostic coding, Results The Positive Predictive Value for the set of Patient Safety Indicators the 2002 – 2006 period was 95.11%. Four indicators had a Positive Predictive Value under 90% and were submit- papeles médicos 2009; VOL. 18 Núm. 2 33 originales INTRODUCCIÓN El interés por los temas relacionados con la seguridad de pacientes se ha venido incrementando día a día en los diferentes Sistemas de Salud1-4., fundamentalmente desde la aparición del informe To err is human5 que establecía el error médico como la séptima causa de muerte en los Estados Unidos. La justificación de este interés es clara dada la magnitud del problema, su repercusión asistencial y su trascendencia social y económica. Los pacientes que sufren un evento adverso durante su hospitalización se estiman entre el 7,5%3 y el 12,7%4, con tasas de mortalidad de hasta un 20,8%, con un incremento medio de la estancia hospitalaria de 8,5 días y con unos sobrecostes estimados, en 1999, de 2.636 libras por paciente1. En nuestro país, según el Estudio Nacional de Efectos Adversos ligados a la hospitalización (ENEAS)6, la incidencia de efectos adversos en los hospitales españoles es del 9,3%, cifra que nos sitúa en el entorno de los estudios antes mencionados. La medición de un fenómeno como la seguridad de pacientes es difícil tanto por sus propias características como por la tendencia de los profesionales a no registrar efectos adversos. Se han utilizado mayoritariamente dos estrategias para medir la ocurrencia de eventos adversos: los sistemas de notificación por parte de los profesionales7-10 y la monitorización de indicadores de seguridad de pacientes basados en los sistemas de información comúnmente disponibles en los hospitales11-13. En esta última tendencia, la Agency for Healthcare Research and Quality (Agencia para la Investigación y la Calidad en Salud) (AHRQ), institución gubernamental de los Estados Unidos dedica a la calidad asistencial, ha desarrollado, entre sus grupos de indicadores, los Patient Safety Indicators (Indicadores de Seguridad de Pacientes) (ISP), enfocados a la medición de complicaciones o eventos iatrogénicos, potencialmente evitables, acaecidos a pacientes tratados en un hospital. Su primera versión fue publicada en 2003 y en la actualidad cuenta con 20 indicadores (tabla 1). papeles médicos 2009; VOL. 18 Núm. 2 El objetivo de nuestro trabajo es analizar la validez extrínseca de los ISP de la AHRQ en nuestro entorno, entendiendo por validez extrínseca la derivada de fenómenos ajenos al diseño y estructura del indicador, centrándonos en los aspectos relacionados con la selección y codificación de diagnósticos y procedimientos. MATERIAL Y MÉTODOS El trabajo de ha desarrollado entre marzo de 2006 y mayo de 2008 en el Hospital Virgen de la Victoria de Málaga. La fuente de datos empleada ha sido el Conjunto Mínimo Básico de Datos (CMBD) de dicho centro entre los años 2002-2006. La obtención del mismo se lleva a cabo mediante la revisión de la totalidad de la historia clínica, tras cada alta. Se identificaron los casos incluidos en alguno de los ISP de la AHRQ, utilizando para ello el software de dicha Agencia. Se procedió a la revisión de cada uno de los 2.782 casos en los que se había identificado un efecto adverso. Dicha revisión se efectuó sobre los registros informáticos, empleando para ello la aplicación de Seguridad de Pacientes de Clinos©, así como la propia del Sistema de Información del Hospital: Main@ke©. Cuando no bastó con esta información se recurrió a la revisión de la Historia Clínica. De esta forma se comprobaron todos los diagnósticos y procedimientos implicados en un efecto adverso, procediéndose a su corrección y recodificación en los casos oportunos. Tras esta corrección se volvieron a calcular los ISP y a estimar el valor predictivo positivo (VP+) para cada uno de los indicadores, entendiendo como tal la probabilidad de que un suceso adverso identificado por el indicador realmente haya ocurrido. Para aquellos ISP con un VP+ inferior al 90%, se planteó una intervención dirigida a los Técnicos de Documentación responsables de la 34 originales codificación de los episodios clínicos, mediante la formación sobre los ISP, información sobre los errores hallados, análisis de errores de interpretación y corrección de las anomalías encontradas en el tesauro empleado para la codificación. Para medir el efecto de la intervención, se calcularon los ISP a partir del CMBD de las altas correspondientes al año 2007. Se revisaron los 58 casos referidos a los cuatro ISP que no superaron, en el periodo 2002-2006, un 90% de VP+, utilizando para ambos procesos la misma metodología que en el proceso inicial. RESULTADOS De un total de 105.033 altas en el periodo 2002-2006, se detectaron 2.782 efectos adversos. Tras la revisión se identificaron 136 casos que, por errores de selección o interpretación en el proceso de codificación, habían sido catalogados como efectos adversos, cuando realmente no lo fueron, ello supone un VP+ global para el total del periodo e ISP del 95,11%. Los VP+ para cada ISP se encuentran en la Tabla 2. Cabe destacar que: • En un ISP, Alteraciones fisiológicas y metabólicas postoperatorias, no se registró ningún caso en el lustro estudiado. • En 10 indicadores se encontró un VP+ del 100%. • Cuatro indicadores no alcanzaron un VP+ del 90% Para estos cuatro últimos las causas de error que cabe destacar son las siguientes: ISP 2, Muertes en GRD de baja mortalidad: Por lo general los falsos positivos encontrados han sido consecuencia de información imprecisa o incompleta, en pacientes fallecidos en las horas/días inmediatos al ingreso. ISP 5, Cuerpo extraño dejado durante procedimiento: La práctica totalidad de los errores se concentran en dos causas: 1. Codificación de la peritonitis química, termino empleado en nuestro entorno para las debidas a perforación intestinal, con el código 998.7 “Reacción aguda a sustancia papeles médicos 2009; VOL. 18 Núm. 2 extraña dejada de forma accidental durante un procedimiento”. Es necesario hacer notar que siguiendo el procedimiento de codificación es a este código al que remite el alfabético con la entrada peritonitis química. 2. Codificar como “Cuerpo extraño dejado accidentalmente durante un procedimiento” (código 998.4) la “reacción granulomatosa a cuerpo extraño”, usando como fuente el informe de anatomía patológica, tratándose de suturas internas realizadas en intervenciones anteriores. ISP 11, Fallo respiratorio postoperatorio. Con frecuencia en informes de alta por procedimientos sobre tabique nasal aparece como diagnóstico secundario Insuficiencia Respiratoria. En realidad se trata de la dificultad respiratoria como consecuencia del defecto del tabique y de una insuficiencia respiratoria sensu estricto. ISP 15, Laceración y punción accidental. Los falsos positivos fueron debidos a errores conceptuales en el empleo de los códigos E, con tendencia a usar las categorías E870-E876 en cualquier complicación que ocurra durante un procedimiento, aunque la misma no sea fruto de accidente durante el mismo. Tras la intervención realizada, en el año 2007 el VP+ de estos últimos cuatro ISP se situó en un 100% para tres de ellos y superior al 90% en el restante. Ver tabla 3. DISCUSIÓN El trabajo se ha centrado en un aspecto crítico para la elaboración de los ISP: la implicación que la selección y codificación de diagnósticos tiene en la asignación de los ISP. Se ha comprobado la influencia del mismo sobre los resultados y por tanto de la exactitud y exahustividad del CMBD, bastante condicionada por la fuente de datos de obtención del mismo. Los datos obtenidos son robustos en tanto que estables a lo largo del periodo analizado. La intervención efectuada ha resultado fructífera ya que los cuatro ISP revisados tras la misma han superado el VP+ del 90% en 2007. 35 originales El trabajo presenta una serie de limitaciones: • La validación completa de los indicadores hubiera requerido un análisis de sensibilidad de cada uno de ellos. Desde este trabajo el abordaje de dicho análisis no ha sido posible dado que, al tratarse de sucesos con una frecuencia esperada muy baja hubiese implicado muestras de gran tamaño, incluso con población completa. • Los datos son limitados a un hospital y, por tanto, sus conclusiones limitadas al mismo. Consideramos que dado que los indicadores son bastantes sensibles a la calidad del CMBD, se debe ser bastante prudentes en su uso en modelos de comparación entre hospitales, ya que hospitales con mejores prácticas de registro podrían tener mayor tasas de eventos adversos que hospitales con mala calidad de registros. Por el contrario los ISP, resultan de bastante utilidad en los análisis de tendencia en un mismo entorno. En conclusión, con el presente trabajo no mejoramos la exteriorización de los eventos adversos ligados a la asistencia no recogidos en la historia clínica, o no codificados, pero sí estamos en condiciones de afirmar que cuando identificamos un efecto adverso, el mismo realmente se ha producido con casi toda seguridad. Propuestas Se deberá promover la realización de estudios enfocados a: • Incrementar el ámbito de estudio a otros entornos y fuentes de CMBD distintos. • Validación intrínseca, aquella derivada de la estructura y diseño del indicador • Análisis de sensibilidad en el uso de los ISP. • Analizar otros indicadores relacionados, tales como los de la OCDE13. • Evaluar la pertinencia, a partir de los estudios anteriores, de un panel de indicadores específicos de ámbito andaluz o estatal. REFERENCIAS 1. Vincent C, Neale G, Woshynowych M. Adverse events in British hospitals: preliminary retrospective record review. BMJ. 2001; 322:517-9. papeles médicos 2009; VOL. 18 Núm. 2 2. Runciman WB, Moller J. Iatrogenic injury in Australia. Report prepared by the Australian Patient Safety Foundation for the National Health Priorities and Quality Branch of the Department of Health and Aged Care of the Commonwealth Government of Australia. Adelaide: Australian Patient Safety Foundation; 2001. 3. Ross Baker G, Norton PG, Flintoft V, Blais R, Brown A, Cox J, et al. The Canadian Adverse Events Study: the incidence of adverse events among hospital patients in Canada. CAMJ. 2004; 170:1678-86. 4. Forster AJ, Asmis TR, Clark HD, Al Saied G, Code CC, Caughey SC, et al. Ottawa Hospital Patient Safety Study: incidence and timing of adverse events in patients admitted to a Canadian teaching hospital. CMAJ. 2004;170:1235-40. 5. Kohn L, Corrigan J, Donaldson M. To err is human. Building a safer health system. 1st ed. Washington: National Academy Press; 2000. 6. Estudio Nacional de Efectos Adversos ligados a la hospitalización. ENEAS 2005. Ministerio de Sanidad y Consumo. [en línea] 2006 [fecha de acceso 20 de agosto de 2006]. URL disponible en: http://www.msc.es/organizacion/sns/planCalidadSNS/home.htm. 7. Leape LL. Reporting of adverse events. N Engl J Med. 2002; 347:1633-8. 8. Runciman WB. Lessons from the Australian Patient Safety Foundation: setting up a national patient safety surveillance system. Is this the right model? Qual Saf Health Care. 2002; 11:246-51. 9. Bañeres J, et al. Los sistemas de registro y notificación de efectos adversos y de incidentes: una estrategia para aprender de los errores. Rev Calidad Asistencial. 2005;20(4):216-22 10. Bartolomé A, et al. Seguridad del paciente y sistemas de comunicación de incidentes. Rev Calidad Asistencial. 2005;20(4):228-34 11. Iezzoni LI , Daley J, Heeren T, Foley SM, Fisher ES, Duncan C et al. Identifying complications of care using administrative data. Med Care 1994; 32: 700-15. 36 originales 12. Miller M, Elixhauser A, Zhan C, Meyer G. Patient Safety Indicators: Using administrative data to identify potential patient safety concerns. Health Services Research 2001; 36 (Part II):110-132 AHRQ Quality Indicators. February 2006. Agency for Healthcare Research and Quality, Rockville, MD. [en línea] 2006 [fecha de acceso mayo de 2006]. URL disponible en: http:// www.qualityindicators.ahrq.gov/iqi_overview.htm 13. Millar J, Soeren M, and the members of the OECD patient safety panel. Selecting indicators for patient safety at the health system level in the OECD countries. OECD Health Technical Paper no. 18. [en línea] 2006 [fecha de acceso mayo de 2006] URL disponible en www.oecd.org/els/health/technicalpapers. 16. Patient Safety Indicators Overview. AHRQ Quality Indicators. February 2006. Agency for Healthcare Research and Quality, Rockville, MD. [en línea] 2006 [fecha de acceso mayo de 2006]. URL disponible en: http://www.qualityindicators.ahrq.gov/psi_overview.htm 14. Prevention Quality Indicators Overview. AHRQ Quality Indicators. July 2004. Agency for Healthcare Research and Quality, Rockville, MD. [en línea] 2006 [fecha de acceso mayo de 2006]. URL disponible en: http://www. qualityindicators.ahrq.gov/pqi_overview.htm 15. Inpatient Quality Indicators Overview. 17. Pediatric Quality Indicators Overview. AHRQ Quality Indicators. February 2006. Agency for Healthcare Research and Quality, Rockville, MD. [en línea] 2006 [fecha de acceso mayo de 2006]. URL disponible en: http:// www.qualityindicators.ahrq.gov/pdi_overview.htm ISP Descripción TABLA 1 1 Complicaciones de anestesia Indicadores de seguridad de pacientes de la AHRQ 2 Muertes en GRD de baja mortalidad 3 Úlceras de decúbito 4 Fallos de rescate 5 Cuerpo extraño dejado durante procedimiento 6 Neumotórax iatrogénico 7 Determinadas infecciones debidas a cuidados médicos 8 Fracturas de cadera postoperatorias 9 Hemorragia o hematoma postoperatorios 10 Alteraciones fisiológicas y metabólicas postoperatorias 11 Fallo respiratorio postoperatorio 12 Embolismo pulmonar y trombosis venosa profunda postoperatorios 13 Sepsis postoperatoria 14 Dehiscencia de herida postoperatoria 15 Laceración y punción accidental 16 Reacción transfusional 17 Lesión o traumatismo en el nacimiento 18 Traumatismo obstétrico en parto vaginal instrumentado 19 Traumatismo obstétrico en parto vaginal no instrumentado 20 Traumatismo obstétrico en parto por cesárea papeles médicos 2009; VOL. 18 Núm. 2 37 originales ISP Descripción 2002 2003 2004 2005 2006 2002-2006 1 Complicaciones de Anestesia - 100 100 100 100 100 2 Muertes en GRD de baja mortalidad 85,71 60 83,33 75 0 70,83 3 Úlceras de decúbito 100 100 100 100 100 100 4 Fallos de rescate 97,79 97,25 97,77 96,6 94,94 96,81 5 Cuerpo extraño dejado durante procedimiento 0 0 0 0 16,67 3,57 6 Neumotórax iatrogénico 100 94,44 100 100 100 98,88 7 Determinadas infecciones debidas a cuidados médicos 96,67 100 97,73 95 98,41 97,44 8 Fracturas de cadera postoperatorias 100 100 100 100 100 100 9 Hemorragia o hematoma postoperatorios 89,47 96,3 93,33 87,88 100 93,43 10 Alteraciones fisiológicas y metabólicas postoperatorias - - - - - 11 Fallo respiratorio postoperatorio 75 71,43 75 100 66,67 79,17 12 Embolismo pulmonar y trombosis venosa profunda postoperatorios 100 100 100 100 100 100 13 Sepsis postoperatoria 100 100 100 100 100 100 14 Dehiscencia de herida postoperatoria 70 100 100 100 100 91,67 15 Laceración y punción accidental 88,64 85,19 80 86,21 79,03 83,28 16 Reacción transfusional 100 100 100 100 100 100 17 Lesión o traumatismo en el nacimiento 100 100 100 100 100 100 18 Traumatismo obstétrico en parto vaginal instrumentado 100 100 100 100 100 100 19 Traumatismo obstétrico en parto vaginal no instrumentado 100 100 100 100 100 100 20 Traumatismo obstétrico en parto por cesárea 100 100 100 100 100 100 94,44 96,24 94,73 95,37 94,67 95,11 TABLA 2 Sombreado: Valor predictivo positivo < 90% Valores predictivos positivos ISP Descripción 2002-2006 2007 TABLA 3 2 Muertes en GRD de baja mortalidad 70,83 100 Valores predictivos positivos tras intervención 5 Cuerpo extraño dejado durante procedimiento 3,57 100 11 Fallo respiratorio postoperatorio 79,17 100 15 Laceración y punción accidental 83,28 90,62 papeles médicos 2009; VOL. 18 Núm. 2 38