Resultados - Hospital Italiano de Buenos Aires

Métodos y dimensiones de
evaluación de calidad de los
datos de la HCE
y su reutilización para la
Investigación Clínica
Ateneo 299
17 de Julio de 2013
14:30 hs (Buenos Aires - Argentina)
Dra. Sonia E. Benitez
[email protected]
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
El articulo
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Las autoras
Nicole Gray Weiskopf
Chunhua Weng
Department of Biomedical Informatics,
Columbia University, New York, New York, USA
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
La HCE facilita la Investigación Clínica
Beneficios
•acceso a los datos clínicos
•agregación de los datos clínicos
•facilita realización de estudios retrospectivos
•uso secundario de datos
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
La calidad de los datos como barrera
Beneficios
• disminuir los costos en
investigación
• aumentar la investigación
centrada en el paciente
• favorecer nuevos
descubrimientos
Barreras
• calidad de los datos
• idoneidad de los datos para
investigación
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Entra basura-sale basura
• Los datos debe(ría)n usarse sólo para el
propósito por el cual fueron recolectados
GIGO
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Oposición al uso secundario de datos
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
La calidad este en el ojo del que mira
• Los datos son de calidad cuando sirven a las
necesidades del usuario y permiten el logro de
objetivos específicos
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
La información no es comparable
• Medición de gran variabilidad
– Atributos
• Completitud
• Correctitud (exactitud)
– Sensibilidad de datos
– Calidad de conceptos inter-organizaciones
• Diferencias al registrar y en los sistemas de
información
C
a
l
i
d
a
d
V
a
r
i
a
b
l
e
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Objetivo
• Desarrollar un “entendimiento sistemático” de
los enfoques que pueden ser usados para
evaluar la idoneidad de los datos de la HCE
para un objetivo especifico de investigación
– Revisión de los métodos usados para evaluar la
calidad de los datos
– Revisión de los términos usados para evaluar la
calidad de los datos
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Estudio cualitativo
• Revisión de la literatura
• Enfoque inductivo
A general inductive approach for qualitative data analysis
David R. Thomas School of Population Health University of Auckland, New
Zealand
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Inductivo vs Deductivo
Enfoque
Deductivo Inductivo
framework/
si
no
estructura para
análisis de datos
Investigador
impone
explora
conocimiento acerca
mucho
poco
del fenómeno a
estudiar
Ventajas
rapido y facil flexible
Desventajas
inflexible
laborioso
Analysing and presenting qualitative data
P. Burnard,P. Gill,K. Stewart,E. Treasure and B. Chadwick
http://academia.edu/709185/Analysing_and_presenting_qualitative_data
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Resumen de la metodología
Búsqueda bibliográfica
Revisión de la literatura
Identificación de
artículos adicionales
Extracción de información
de los artículos
Creación de dimensiones/categorías
de evaluación de calidad de los datos
Categorización según
dimensiones
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Resumen de los resultados
Búsqueda bibliográfica
230
Revisión de la literatura
44
= 95
+
Identificación de artículos
adicionales
51
Categorización según dimensiones
Revisión de referencias
Criterios de inclusión:
(1) que incluya los métodos de evaluación de
calidad de datos
(2) que los datos sean derivados de una HCE o
sistema relacionado, y
(3) que se haya publicado en una revista
revisada por pares
Características de calidad de los datos examinados
1.métodos de evaluación utilizados
2.información descriptiva básica
2.1.tipo de datos estudiado
Extracción de información de los
artículos
Creación de dimensiones/categorías
de evaluación de calidad de los
datos
("data quality" OR "data accuracy" OR "data reliability" OR "data validity" OR
"data consistency" OR "data completeness" OR "data errors" OR "data error")
AND (EHR OR electronic medical record OR computerized medical record OR
medical records systems, computerized [mh])
AND English[lang]
5
27
1.
Dimensiones 2.
3.
4.
5.
términos
Completitud
Correctitud
Concordancia
Plausibilidad
Actualidad
7
1. Gold Standard
2. Acuerdo entre
elementos
3. Presencia de un
elemento
4. Acuerdo entre
Métodos
fuente de datos
de Evaluación 5. Comparación
de distribución
6. Control de la
validez
7. Revisión de
Logs
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Paso 1
Búsqueda bibliográfica
Revisión de la literatura
Identificación de artículos
adicionales
Extracción de información de los
artículos
Creación de
dimensiones/categorías de
evaluación de calidad de los datos
230
("data quality" OR "data accuracy" OR "data reliability"
OR "data validity" OR "data consistency" OR "data
completeness" OR "data errors" OR "data error")
AND
(EHR OR electronic medical record OR computerized
medical record OR medical records systems,
computerized [mh])
AND
English[lang]
Febrero 2012
Categorización según dimensiones
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Paso 2
Búsqueda bibliográfica
Revisión de la literatura
Identificación de artículos
adicionales
230
44
Criterios de inclusión:
(1) que incluya los métodos de evaluación de
calidad de datos
(2) que los datos sean derivados de una HCE o
sistema relacionado, y
(3) que se haya publicado en una revista
revisada por pares
Extracción de información de los
artículos
Creación de
dimensiones/categorías de
evaluación de calidad de los datos
Categorización según dimensiones
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Paso 3
Búsqueda bibliográfica
230
Revisión de la literatura
44
+
Identificación de artículos
adicionales
51
= 95
Revisión de referencias
5%
Extracción de información de los
artículos
Articulos revisados
estructurado
Creación de
dimensiones/categorías de
evaluación de calidad de los datos
22%
estructurado +
no estructurado
73%
no explicado
Categorización según dimensiones
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Paso 4
Búsqueda bibliográfica
230
Revisión de la literatura
44
+
Identificación de artículos
adicionales
Extracción de información de los
artículos
Creación de
dimensiones/categorías de
evaluación de calidad de los datos
= 95
51
Características de calidad de los datos
examinados
1.métodos de evaluación utilizados
2.información descriptiva básica
2.1.tipo de datos estudiado
Categorización según dimensiones
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Paso 5
Búsqueda bibliográfica
Revisión de la literatura
Identificación de artículos
adicionales
Extracción de información de los
artículos
Creación de
dimensiones/categorías de
evaluación de calidad de los datos
Categorización según dimensiones
1. Completitud
2. Correctitud
5 Dimensiones 3. Concordancia
4. Plausibilidad
5. Actualidad
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
5 Dimensiones
Evaluación de calidad de los datos
Completitud
Un elemento
verdadero del
paciente esta
presente en la
HCE
Correctitud
Un elemento
presente en la
HCE es
verdadero
Concordancia
Hay acuerdo entre
los elementos de la
HCE, o entre la HCE
y otra fuente de
datos
Plausibilidad Actualidad
El elemento Un elemento de
esta en
la HCE es una
acuerdo con representación
el
relevante del
conocimiento estado del
medico
paciente en un
punto dado en
el tiempo
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Paso 6
Búsqueda bibliográfica
230
Revisión de la literatura
44
+
Identificación de artículos
adicionales
= 95
51
Extracción de información de los
artículos
Creación de
dimensiones/categorías de
evaluación de calidad de los datos
Categorización según dimensiones
5
categorías
27
términos
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Términos y dimensiones de calidad
2
7
T
é
r
m
i
n
o
s
Completitud
Accesibilidad
Precisión
5 Dimensiones
Correctitud
Concordancia
Precisión
Acuerdo
Correcciones
Coherencia
hechas
Plausibilidad Actualidad
Precisión
Antigüedad
Credibilidad Oportunidad
Disponibilidad
Errores
Integridad
Ausencia
Omisión
Erróneo
Variacion
Valor predictivo
positivo
Presencia
Calidad
Tasa de registro
Sensibilidad
Validez
Calidad
Validez
Confiabilidad
Validez
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Superposición
2
7
T
é
r
m
i
n
o
s
Completitud
Accesibilidad
Precisión
5 Dimensiones
Correctitud
Concordancia
Precisión
Acuerdo
Correcciones
Coherencia
hechas
Plausibilidad Actualidad
Precisión
Antigüedad
Credibilidad Oportunidad
Disponibilidad
Errores
Integridad
Ausencia
Omisión
Erróneo
Variacion
Valor predictivo
positivo
Presencia
Calidad
Tasa de registro
Sensibilidad
Validez
Calidad
Validez
Confiabilidad
Validez
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Paso 5
Búsqueda bibliográfica
Revisión de la literatura
Identificación de artículos
adicionales
Extracción de información de los
artículos
Creación de
dimensiones/categorías de
evaluación de calidad de los datos
Categorización según dimensiones
1. Gold Standard
2. Acuerdo entre
elementos
3. Presencia de un
elemento
4. Acuerdo entre fuente
de datos
Métodos
7 de Evaluación 5. Comparación de
distribución
6. Control de la validez
7. Revisión de Logs
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Cómo se evalúan los datos
Acuerdo
Gold
entre
Standard elementos
Set de datos Dos o más
de uno o
elementos
mas fuentes dentro de
de datos
una HCE se
que sirve comparan
como GS
para ver si
(con o sin informan la
datos
misma (o
proveniente compatible)
s de la HCE) información.
Presencia
de un
elemento
Se
determina
si el
elemento
esperado
está
presente.
Acuerdo entre
fuente de
datos
Los datos de la
HCE se
comparan
con datos de
otra fuente
para
determinar si
están en
acuerdo.
Comparación Control de la
Revisión de
de distribución validez
Logs
Distribución
Los datos de la Se revisa la
de los datos
HCE se evalúan a información
agregados de la través de
sobre el
HCE se
diversos
proceso actual
comparan con técnicas que
de ingreso de
las
determinan si datos
distribuciones los valores 'tiene (fechas, horas,
esperadas de sentido'.
modificaciones)
los conceptos
clínicos de
interés.
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Dimensiones de calidad y métodos de
evaluación de calidad
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Dimensiones de calidad y métodos de
evaluación de calidad
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Resumen de los resultados
Búsqueda bibliográfica
230
Revisión de la literatura
44
= 95
+
Identificación de artículos
adicionales
51
Categorización según dimensiones
Revisión de referencias
Criterios de inclusión:
(1) que incluya los métodos de evaluación de
calidad de datos
(2) que los datos sean derivados de una HCE o
sistema relacionado, y
(3) que se haya publicado en una revista
revisada por pares
Características de calidad de los datos examinados
1.métodos de evaluación utilizados
2.información descriptiva básica
2.1.tipo de datos estudiado
Extracción de información de los
artículos
Creación de dimensiones/categorías
de evaluación de calidad de los
datos
("data quality" OR "data accuracy" OR "data reliability" OR "data validity" OR
"data consistency" OR "data completeness" OR "data errors" OR "data error")
AND (EHR OR electronic medical record OR computerized medical record OR
medical records systems, computerized [mh])
AND English[lang]
5
27
1.
Dimensiones 2.
3.
4.
5.
términos
Completitud
Correctitud
Concordancia
Plausibilidad
Actualidad
7
1. Gold Standard
2. Acuerdo entre
elementos
3. Presencia de un
elemento
4. Acuerdo entre
Métodos
fuente de datos
de Evaluación 5. Comparación
de distribución
6. Control de la
validez
7. Revisión de
Logs
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Discusión
• 5 dimensiones y 7 métodos de evaluación
• Terminología y dimensiones
– Terminología inconsistente
– Superposición de términos
– Inconsistencia de términos
Taxonomía de calidad de datos
• Dimensiones fundamentales
– Completitud
– Correctitud
– Actualidad
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Superposición de conceptos I
relacionada a la tarea
inherente al dato
Concordancia
Wang RY, Strong DM. Beyond accuracy: what data quality means to data consumers. J Manag Inform Syst
1996;12:5e34.
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Superposición de conceptos II
Committee on Improving the Patient Record Institute of Medicine.
The Computer-Based Patient Record: An Essential Technology for Health
Care, Revised Edition. Institute of Medicine. The National Academies Press,
1997.
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Evaluación de la calidad de los datos
• No hay Gold Standard real
• Sin metodología estándar para evaluar
• Subjetividad/Objetividad de las dimensiones
– Relacionado a la tarea
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Limitaciones
• Búsqueda limitada
• Categorización realizada por un autor
• Sub-registro
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Mucho por hacer
• 5 dimensiones y 7 métodos de evaluación
• Falta una taxonomía de calidad de datos
• Sin metodología estándar para evaluar
Ateneo 299: Métodos y dimensiones de evaluación de calidad de los datos de la HCE y su reutilización
para la IC. Sonia Benitez. DIS-HIBA. Julio 2013.
Introducción
Métodos
Resultados
Discusión
Conclusión
Comentarios Finales
Criterios de calidad
Significancia
4
Calidad del contenido cientifico
3
Originalidad e innovacion
2
Cobertura de la literatura
3
Organizacion y claridad de la presentacion
3
0
5
Métodos y dimensiones de evaluación de calidad de
los datos de la HCE
y su reutilización para la Investigación Clínica
¡Muchas Gracias!
Ateneo 299
17 de Julio de 2013
14:30 hs (Buenos Aires - Argentina)
Dra. Sonia E. Benitez
[email protected]