Las Guías ISPOR-SMDM de buenas prácticas en modelación
Anuncio
Las Guías ISPOR-SMDM de buenas prácticas en modelación 14 de septiembre de 2013 J. Jaime Caro, MDCM, FRCPC, FACP profesor en medicina, epidemiología y bioestadística, McGill, Montreal, Canadá Andrew Briggs, DPhil Health Economics & HTA, Institute of Health & Wellbeing, University of Glasgow, UK Karen Kuntz, ScD School of Public Health, University of Minneapolis, MN, Uwe Siebert, MD, MPH, MSc, ScD, UMIT-University of Health Sciences, Medical Informatics and Technology, Hall i.T. and Oncotyrol Center for Personalized Cancer Medicine , Innsbruck, Austria 1 La Comisión de Trabajo J. Jaime Caro MDCM FRCPC FACP Taller en la 4a Conferencia Latinoamericana 14 de septiembre, 2013 © 2013 Evidera. All Rights Reserved. ¿Por qué una nueva comisión de trabajo? Mucho desarrollo en el campo de modelaje – simulación individual – simulación discreta de eventos – simulación basada en agentes – valor de la información Interés creciente en – conceptualización formal – transparencia – validación. 3 Miembros Conceptualización: Mark Roberts (m) ; Murray Krahn , David Paltiel, Michael Chambers, Phil McEwan, Louise Russell Modelos estado-transición: Karen Kuntz(m) Uwe Siebert(m), Oguzhan Alagoz, Doug Owens, David Cohen, Beate Jahn, Ahmed Bayoumi Simulación de eventos discretos: James Stahl(m), Jonathan Karnon(m) Jörgen Möller; Javier Mar, Alan Brennan Modelos de transmisión dinámica: Richard Pitman (m), Maarten Postma, Greg Zaric, Marc Brisson, David Fisman, Mirjam Kretzschmar, John Edmunds Estimación de parámetros e incertidumbre: Andrew Briggs (m), Milton Weinstein, Mark Sculpher, Elisabeth Fenwick, David Paltiel, Jonathan Karnon Transparencia & validación: David Eddy(m), John Wong(m), Joel Tsevat, William Hollingworth, Kathy McDonald 4 Proceso de la comisión de trabajo Manuscritos a las revisitas Reunión en persona 2011 2012 Aug Mar Mar Borradores a los revisores Sep Publicación 5 Siete Manuscritos 1. Panorama, problemas, y mejores prácticas Modeling Good Research Practices ‐ Overview: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force‐1 2. Conceptualización Conceptualizing a Model: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐2 3. Modelos de estado-transición State‐Transition Modeling: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐3 4. Simulación de eventos discretos Modeling using Discrete Event Simulation: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐4 5. Modelos de transmisión dinámica Dynamic Transmission Modeling: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐5 6. Estimación de parámetros e incertidumbre Model Parameter Estimation and Uncertainty: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐6 7. Transparencia y validación Model Transparency and Validation: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐7 6 Conceptualización del modelo Manuscrito 2 Conceptualizing a Model: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐2 7 Proceso de modelaje Conceptualizar Evaluar Datos Buscar Nuevos Datos Conceptualización del modelo Debe de – ser suficientemente detallada para abordar el problema de forma apropiada – tener validez aparente (de fachada o cara – “face validity”) – Identificar incertidumbres en la estructura para análisis subsecuente. La simplicidad es deseable porque aporta transparencia , facilita la validación y el entendimiento del modelo, pero no se debe perseguir a cambio de validez. 9 Especificar el problema Consultar ampliamente con expertos clínicos y tomadores de decisión para asegurar que el modelo: – refleja la enfermedad apropiadamente – da cobertura adecuada al problema Producir especificaciones escritas que cubren: – – – – – – – objetivo detalles de la enfermedad si la perspectiva es mas estrecha que la social, hay perspectiva analítica que reportar cuales costos se excluyeron y porque población a captarle deben incluir el cuidado “normal” en uso habitual intervenciones a comparar resultados en salud y otros a calcular horizonte temporal suficientemente largo para cubrir los resultados que puedan diferir entre las intervenciones – puede llegar a ser de por vida Asegurar que el alcance es suficiente para informar la decisión y consistente con el contexto político/social Especificar claramente el ámbito patrocinio, desarrollador, audiencia, uso único o múltiple 10 Proceso formal Se debe seguir un proceso formal para conceptualizar la estructura del modelo: diagramas de influencias, mapas de concepto... Diagrama de influencia – Un bosquejo conceptual del problema – Contiene todas las características importantes de la enfermedad – Demuestra las relaciones entre ellas - No necesariamente causal. 11 Diagrama de influencias Tratamiento Sexo Hipertensión Infarto Muerte Otros Factores SAC anterior Edad Proceso de modelaje Evaluar Datos Conceptualizar Ecuaciones Buscar Nuevos Datos Escoger Técnica Implementar Análisis Validar 13 Técnicas de modelaje Uwe Seibert Manuscritos 3, 5 State‐Transition Modeling: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐3 Dynamic Transmission Modeling: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐5 14 Presented by: Uwe Siebert, MD, MPH, MSc, ScD UMIT & Oncotyrol Center for Personalized Cancer Medicine, Austria Harvard School of Public Health, USA Co‐Chair, ISPOR‐SMDM Modeling Good Research Practices Task Force Co‐Chair, State Transition Model Working Group Uwe Siebert, Oguzhan Alagoz, Ahmed M. Bayoumi, Beate Jahn, Douglas K. Owens, David J. Cohen, Karen M. Kuntz STM is an intuitive, flexible and transparent modeling approach Widespread modeling technique for clinical situations that can be described with health states and transitions Two forms: Markov cohort simulation Individual‐based STM microsimulation Cohort Simulation Microsimulation Well Dis Dead 1 0 0 Well Dis Dead at 1 year 0.65 0.30 0.05 Well Dis Dead at 2 years 0.42 0.38 0.20 Well Die Dead at 3 years 0.27 0.35 0.37 Well Dis Dead at x years … … ~0 … Well Dis Dead start Choosing type of state transition model. If the decision problem can be represented with a manageable number of health states incorporating all characteristics that are relevant to the decision problem, including the relevant history, a cohort simulation should be chosen because of its transparency, efficiency, ease of debugging, and ability to conduct specific value of information analyses. If, however, a valid representation of any aspect of the decision problem, the disease or the intervention would lead to an unmanageable number of states, then the use of an individual‐level state‐ transition model is recommended. Validity should not be sacrificed for simplicity. Defining states: Specification of states and transitions should generally reflect the biological/theoretical understanding of the disease or condition being modeled. Heterogeneity: States need to be homogeneous with respect to the observed and unobserved (i.e., not known by the decision maker) characteristics that affect transition probabilities. Cycle length: should be short enough to represent the frequency of clinical events and interventions. Intervention effects. Parameters relating to the intervention effectiveness derived from observational studies should be correctly controlled for confounding. Time‐varying confounding is of particular concern in estimating intervention effects. Analyzing distributions. Depending on the decision problem, it may be important to report not only the expected value but also the distribution of the outcomes of interest. Presenting the model. The report should communicate the key structural elements, assumptions and parameters of the state‐transition model to consumers using nontechnical language and clear figures that enhance the understanding of the model. Presenting model results. In addition to final outcomes, intermediate outcomes should be presented that enhance the understanding and transparency of the model results. Paper contains illustrative examples of both cohort & microsimulation Presented by: Uwe Siebert, MD, MPH, MSc, ScD UMIT & Oncotyrol Center for Personalized Cancer Medicine, Austria Harvard School of Public Health, USA Co‐Chair, ISPOR‐SMDM Modeling Good Research Practices Task Force On behalf of the Dynamic Transmission Model Working Group Richard Pitman David Fisman Gregory S. Zaric Maarten Postma Mirjam Kretzschmar John Edmunds Marc Brisson Dynamic transmission models (“dynamic models”) are capable of reproducing the direct and indirect effects that may arise from a communicable disease control program. Basic reproduction number (R0): disease’s ability to spread in a population. A dynamic model is needed when evaluating an intervention against an infectious disease that 1) has an impact on disease transmission in the target population or 2) alters the frequency distribution of strains (e.g., genotypes or serotypes). Example: large‐scale HPV vaccination program Depends on complexity of the interactions, size of the population, and role of chance. Can be deterministic or stochastic, population or individual‐based Differential‐equation models, agent‐based models Include time horizon and discount rate into sensitivity analyses. Structural uncertainty analysis e.g., risk groups, contact patterns, mixing nature, immunity durability, strain competition. Consideration of important epidemic thresholds is helpful when there is a possibility of the model exhibiting alternate behaviours. e.g., epidemic spread vs. extinction If using differential equations, provide these equations. Tabulate all parameters, including the mixing matrix and supply details of the type of mixing considered. If using an agent‐based model, thoroughly describe the rules governing the agents, the input parameter values, initial conditions and all submodels. Show the transmission dynamics over time (e.g., incidence and prevalence of infection and disease). When applicable, report changes in other infection‐specific outcomes such as strain replacement and the emergence of resistance. Técnicas de modelaje Manuscritos 4 Modeling using Discrete Event Simulation: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐4 31 ¿Qué es SED? Simulación basada en individuos – Cada individuo tiene un set de atributos (ej. edad, sexo, duración de la enfermedad, historia clínica, calidad de vida, etc.) – Los atributos son actualizados cuando ocurre un evento El modelo se estructura alrededor de los eventos que pueden ocurrir No utiliza ciclos en el tiempo – El tiempo transcurre hasta que ocurre un evento Puede representar los recursos limitados – ej. camas en cuidado intensivo. Dos tipos Los recursos son limitados – Optimizar la entrega de servicios – ej. Urgencias: cuantas camas, cuantas enfermeras? cuantas salas de reanimación? que tan larga llega a ser la lista de espera? No hay limitación en recursos – No se crean listas de espera – Puede representar riesgos que compiten – Tiene memoria – No hay problema con heterogeneidad. Parámetros Se prefiere usar ecuaciones que representan la distribución de ocurrencia de cada evento sobre el tiempo Cuando hay riesgos que compiten, hay que considerar si están correlados Cuando hay parámetros continuos (ej. glicemia), se deben manejar con eventos de actualización – ej. escoger (de una distribución) el valor del parámetro y después escoger el tiempo cuando se llegara a ese valor. Estructura & Diseño Si hay tiempos de espera en la realidad, y estos pueden afectar los resultados en salud o costos, hay que incluir limitaciones en los recursos (y por lo tanto listas de espera) Si hay decisiones subsecuentes que afectan los resultados (ej. cambio de dosis dependiendo de la respuesta inicial) hay que estructurar el modelo para permitir análisis donde varían estas decisiones. El diseño debe permitir la evaluación de la incertidumbre estructural Los modelos de optimización de entrega de servicios no debe limitarse solo a medidas de utilización, sino también incluir el impacto en la salud. Implementación de SED Hay que incorporar métodos que disminuyan la variación causada por los procesos aleatorios (“variance reduction”) SI el individuo esta expuesto a varios riesgos, hay que implementar el modelo de forma que un evento no aísle al individuo de los otros riesgos La implementación debe de permitir análisis de verificación y validación externa Para simplificar la verificación y actualización, se deben usar sub-modelos para estructurar cada aspecto Estructuras alternas deben ser incorporadas en una sola SED Las hojas de calculo no son adecuadas para SED. Análisis Se deben simular el mínimo numero de individuos para obtener resultados suficientemente precisos Si hay muchas estrategias a comparar, o muchas alternativas estructurales, se deben usar diseños factoriales o procesos para buscar la solución optima. el uso de meta-modelos puede facilitar los análisis de incertidumbre Si hay que comenzar la simulación dentro de un sistema que no esta “vacío” al comenzar, hay que emplear un periodo de “calentamiento” Es útil usar la animación para demostrar el trascurrir del modelo y como parte de la validación. Estimación de parámetros e incertidumbre Andy Briggs Manuscrito 6 Model Parameter Estimation and Uncertainty: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐6 38 Validación de modelos Manuscrito 7 Model Transparency and Validation: A Report of the ISPOR‐SMDM Modeling Good Research Practices Task Force Working Group‐7 39 Trasparencia y Validacion Poder confiar en un modelo y sus resultados es algo critico para su éxito 3 aspectos – Transparencia: se puede ver como fue construido el modelo – Validación: se puede ver que tanto se ajusta a la realidad – Reporte: se pueden ver todos los supuestos, datos, etc. Idealmente, todo se haría publico, pero: – Muchísimos detalles – Altamente técnicos – Requiere conocimientos especializados – Existe la necesidad de proteger los derechos intelectuales. 40 Validación Externa Verificación de Fachada 41 Validez Aparente (de cara) Validez aparente es importante en cuanto a – Conceptualización – Fuentes de datos y su manejo – Ecuaciones – Selección de la técnica de modelaje Debe de ser evaluada por – expertos en el área – que son imparciales Proceso debe ser descrito en detalle Si hay preguntas, hay que discutir los detalles No asegura validez! 42 Verificación Modelos deben ser sometidos a una verificación rigurosa – Verificar todo el código o Usar técnicas traídas de la informática Describir en el informe del modelo – Hacer públicos los resultados de la verificación Limitaciones – La verificación ayuda a establecer que el modelo esta correctamente programado pero no asegura validez – Es necesaria pero no suficiente. 43 Validación externa Proceso formal de validación externa que requiere comparar los resultados del modelo con observaciones reales Especifica para cada fuente de observaciones en cuanto a si es – dependiente (los datos que fueron usados en la construcción del modelo) – independiente (datos que no fueron usados) – parcialmente dependiente Describe que partes del modelo son evaluadas por cada fuente Simula cada fuente & se comparan los resultados Mide que tanto se resemblan los resultados del modelo a los observados en la realidad. 44 Ejemplo 6 Modelo 5 Registro ERL 4 3 2 1 0 0 10 20 30 40 50 60 Tiempo (meses) 45 Transparencia – informe no técnico Describe en terminología no técnica – el tipo de modelo y su aplicación – estructura del modelo – fuentes de datos – entradas, resultados – proceso de validación &resultados – limitaciones – fuentes de financiamiento. Cualquiera que esté interesado 46 Transparencia – informe técnico Suficientemente detallado para permitir que alguien con la pericia necesaria pueda – evaluar el modelo – reproducirlo Debe identificar componentes que no fueron validados Disponible – abiertamente, o – bajo acuerdo que proteja la propiedad intelectual 47
