Meta-análisis de comparaciones indirectas Multivariate Meta-Analysis Comparaciones de tratamientos mixtos Multiple-treatments meta-analysis Agustín Ciapponi 1 MA de comparaciones indirectas I I I I I +D I D D I D D Objetivo Comprender los fundamentos conceptuales, la necesidad, las aplicaciones y limitaciones de los metaanálisis de comparaciones indirectas fundamentalmente a partir de ejemplos prácticos 2 Jerarquía de la evidencia científica para intervenciones Calidad de la evidencia alta Revisiones sistemáticas / Meta-análisis Ensayos Clínicos Aleatorizados Revisiones sistemáticas de estudios observacionales Estudios controlados no aleatorizados Estudios de cohorte Casos-controles Serie de casos baja Estudios fisiológicos / Observaciones no sistemáticas 3 Jerarquía de la evidencia científica para intervenciones Sin evidencia directa Meta-análisis en Red Múltiples intervenciones Revisiones sistemáticas / Meta-análisis Ensayos Clínicos Aleatorizados Revisiones sistemáticas de estudios observacionales Estudios controlados no aleatorizados Estudios de cohorte 2 intervenciones Calidad de la evidencia alta Casos-controles Serie de casos baja Estudios fisiológicos / Observaciones no sistemáticas 4 Comparaciones Indirectas Interés en A vs B Datos disponibles A vs C, B vs C Bucle o “loop” de evidencia abierto ? Alendronato (A) ECAs ▼50% 2da NA Risedronato (B) ECAs ▼35% = Placebo (C) ? línea -Comparador es elegido por su efectividad relativa -Modificadores de efecto Violación de la asunción 1ra línea La credibilidad depende de la “la asunción de “similitud” o de “transitividad” Consistencia entre evidencia Directa e Indirecta (para todo el loop) Bucle o “loop” de evidencia cerrado ¿≠ estadísticamente significativa? [email protected] I D ¿≠ clínica o metodológicamente significativas? Chequear errores de extracción No sintetizar? Sintetizar agregando‘extra’ loop-specific random effect (Higgins et al. 2012, Lu & Ades 2006), más para reflejar la inconsistencia que para ajustar por ella. Subgrupos y meta-regresión 5 Comparar múltiples tratamientos Resulta impráctico comparar directamente cada una de múltiples alternativas Es posible la comparación simultanea de múltiples tratamientos Evidencia D + I I D D OR > 1 significa que la intervención de arriba es superior 6 Ranking de probabilidad para un resultado único 1 2 3 4 5 6 7 1 .2 .4 .6 .8 0 .2 .4 .6 .8 0 .2 .4 .6 .8 0 Cumulative Probabilities ANA 1 ADA 1 ABA 1 2 3 4 5 6 7 3 4 3 6 7 5 6 7 5 6 7 1 0 0 5 4 .2 .4 .6 .8 1 2 2 PLA .2 .4 .6 .8 .2 .4 .6 .8 0 78% 1 1 INF 1 ETA 1 2 3 4 5 6 7 1 2 3 4 .2 .4 .6 .8 1 RIT 0 84% 1 2 3 4 Graphs by Treatment 5 6 7 El área bajo las curvas de ranking acumulativo expresa el porcentaje de efectividad (o seguridad) de cada tratamiento comparado a un tratamiento "ideal"Rank clasificado siempre en primer lugar y sin incertidumbre (Salanti 2011) ¿Cuán seguras son las comparaciones indirectas? Song y col. buscaron meta-análisis hasta el año 2000 que permitieran hacer tanto comparaciones directas como indirectas. Para las comparaciones indirectas usaron el método de Bucher. Calcularon las discrepancias y su error estándar 7 Sólo 3 de 44 resultaron significativamente diferentes (sobre o subestimando) + Evidencia empírica • Song (2011) examinó 112 redes independientes de 3 tratamientos y detectó 16 casos (14%) de discrepancias estadísticamente significativas. • Veroniki (2013) examinó 315 bucles y hasta al 10% eran inconsistente → Depende el estimador de heterogeneidad → La inconsistencia es más probable en bucles con comparaciones de un solo estudio • Veroniki et al (2013) examinó 40 redes y 12,5% fueron estadísticamente incompatibles 8 ¿Cuán frecuentemente se reportan en la literatura médica? Network Meta-Analys*:ti,ab,kw Network Metaanalys*:ti,ab,kw Network Metanalys*:ti,ab,kw Indirect comparis*:ti,ab,kw Ranking de revistas que publican MAR # ref. 1. Value in Health 192 2. Cochrane Database of Systematic 34 Reviews 3. Health technology assessment 20 4. Cochrane Colloquium (Abstracts) 18 5. Current Medical Research and Opinion 16 6. The Lancet* 15 7. Journal of the American College of 14 Cardiology 8. Prescrire international 14 9. Annals of Oncology 13 10. European Heart Journal 12 * Los otros 4 “top journals” publicaron escasamente: NEJM (3), Annals of Internal Medicine (6), JAMA (4), and Plos Medicine (0). Utilizaremos un caso para ilustrar cómo se lleva a cabo metaanálisis de la red y sus limitaciones ¿Cuál es la mejor evidencia disponible sobre antihipertensivos de 1ra línea en términos de enfermedad CV mayor y mortalidad? Meta-análisis en red de antihipertensivos de 1ra línea que permite combinar comparaciones directas (cabeza a cabeza) + indirectas (con ensayos que tienen un tratamiento en común) 9 Fuente y selección de estudios Meta-análisis anteriores, MEDLINE, y revisiones del ´95 al 2002. ECA >400/personas-año (controles: placebo/no-tratados u otros tratamientos activos) a largo plazo que determinaron que evaluaran enfermedad CV > como resultado (incluyó estudios ≠ inglés y factoriales, excluyó estudios con: IAM o IC; cese tabáquico o hipolipemiantes). EXTRACCIÓN DE DATOS 2 revisores independientes Resultados evaluados IAM fatal, no fatal y muerte coronaria ACV fatal y no fatal IC fatal y no fatal Eventos Cardiovascular mayores (los 3 anteriores + mortalidad por otras enfermedades CV) Mortalidad CV Mortalidad Total 10 Network Meta-análisis de antihipertensivos de 1ra línea (192.478 pacientes seguidos en promedio 3-4 años) 12.5-25mgdía HCTZ o Clortalidona ( 50 mg/día de inicio = alta-dosis y no se presenta por estar en desuso) Diuréticos + BB vs Placebo fue como BB vs Placebo () No hubo Sig, Dihidrop. vs No-dihidrop. => analizadas juntas Ej.: COMPARACIÓN DIRECTA RR ACV 1,11 vs BC RR IC 0,46 INSIGHT: Diuréticos Comparación Indirecta SHEP: Diuréticos RR ACV 0,65 RR IC 0,53 vs Placebo SYS-EUR: Placebo RR ACV 1,69 vs BC RR IC 1,33 ACV 0,65 x1,69 = 1,10 1,11 IC 0,53 x1,69 = 0,70 0,46 Heterogeneidad (Incoherencia) importante para IC 11 Para combinar comparaciones directas e indirectas - Los mismos supuesto para directos e indirectos - Asunción de “consistencia" (o "coherencia“) Asunciones Homogeneidad Homogeneidad y similitud de ensayos Dos grupos de ensayos usados en la comparación indirecta ajustada Combinación de ensayos que comparan A con C Combinación de ensayos que comparan B con C Comparación de ensayos cabeza a cabeza Combinación de ensayos que comparan A con B Comparación indirecta ajustada de ensayos que comparan A con B usando C como comparador común Homogeneidad, similitud de ensayos y consistencia de la evidencia Comparación o combinación de las estimaciones directa e indirecta de la comparación A con B RR < 1 implica que los Diuréticos superan al comparador 3 fuentes combinables 12 * => mejor que Placebo Los diuréticos a bajas-dosis se asociaron a < TA que otros antihipertensivos (ninguna estadísticamente significativa) 13 Evidencia disponible sobre los tratamientos antitabáquicos: terapia de reemplazo nicotínico (NRT), antidepresivos, vareniclina y combinaciones Pero…. ¿Cuál es el mejor tratamiento? MAR: combinaciones directas e indirectas Placebo NRT Vareniclina Antidepresivos + NRT Antidepresivos 14 Con comparaciones directas Comparison with Vareniclina Varenicline Antidepresivos Antidepressants NRT Tratamientos Treatments NRT antidepressant NRT++Antidepresivos 1.54 (1.02-2.31) NRT++NRT NRT NRT 1.28 (0.82-1.99) 1.62 (1.00-2.63) NRT antidepressant NRT++Antidepresivos 1.70 (1.41-2.04) Vareniclina Varenicline 1.34 (0.71-2.56) Antidepressants Antidepresivos .5 .75 1 1.33 4 2 .5 .75 Odds ratio comparación Tratamientos 1 1.33 2 4 .5 .75 Odds ratio 1 1.33 .5 4 2 .75 Odds ratio Antidepressants Antidepresivos NRT + antdepressant Antidepresivos NRT + Varenicline Vareniclina NRT + NRT 1.35 (1.04 - 1.75) 1.34 (1.00 - 1.78) 1.16 (0.85 -1.58) NRT +Antidepresivos 1.30 (0.98 - 1.73) 1.29 (0.96 - 1.74) 1.12 (0.81 -1.55) Vareniclina 1.17 (0.98 - 1.39) 1.16 (0.97 - 1.38) Antidepresivos 1.01 (0.88 -1.15) .75 1 1.33 2 2 Con comparaciones indirectas cambian estimaciones + nuevas with NRT .5 1 1.33 Odds ratio 4 .5 Odds ratio .75 1 1.33 2 4 .5 Odds ratio .75 1 1.33 4 2 1.04 (0.71 -1.52) .5 .75 Odds ratio 1 1.33 2 Odds ratio Comparación directa: NRT vs Antidepresivos NRT+NRT buspirone 1.12 1 comparación 1.54, I2=46% 5 comparaciones 1.28, I2=0% 3 comparaciones 1.85, I2=13% 67 comparaciones 0.73, I2=0% 2 comparaciones rimonabant NRT 1.36, I2=0% 2 comparaciones control 1.63, I2=0% 4 comparaciones 1.14, I2=63% 6 comparaciones 4.85 1 comparación antidepressants +NRT Evidencia directa (3 ensayos) 1.34 (0.71, 2.56) I2=43.7% .5 1 1.5 2 2.5 NRT superior Antidepresivos superior 1.28 1 comparación I =82% 1.88, I2=19% 2.68, 5 comparaciones 29 comparaciones 2 Antidepressivos clonidine varenicline 1.70, I2=0% 3 comparaciones 15 Comparación indirecta 1: NRT vs Antidepresivos NRT+NRT buspirone 1.12 1 comparación 1.54, I2=46% 5 comparaciones 1.28, I2=0% 1.85, I2=13% 3 comparaciones 67 comparaciones 0.73, I2=0% 2 comparaciones rimonabant NRT 1.36, I2=0% 2 comparaciones control 1.63, I2=0% 4 comparaciones 1.14, I2=63% 6 comparaciones Evidencia indirecta 1.01 (0.81,1.27) 4.85 1 comparación antidepressants +NRT Evidencia directa (3 ensayos) 2 1.28 1 comparación 1.34 (0.71, 2.56) I2=43.7% clonidine 2.68, I =82% 1.88, I2=19% 5 comparaciones 29 comparaciones Antidepresivos varenicline 1.70, I2=0% 3 comparaciones .5 1 1.5 2 2.5 NRTsuperior Antidepresivos superior Comparación indirecta 2: NRT vs Antidepresivos NRT+NRT buspirone 1.12 1 comparación Bucle aún más indirecto 1.54, I2=46% 5 comparaciones 1.28, I2=0% I2=13% 0.73, I2=0% 2 comparaciones 1.85, 3 comparaciones 67 comparaciones rimonabant NRT 1.36, I2=0% 2 comparaciones control 1.63, I2=0% 4 comparaciones 1.14, I2=63% 6 comparaciones Evidencia indirecta 0.85 (0.38, 1.92) Evidencia directa (3 ensayos) 4.85 1 comparación antidepressants +NRT antidepressants +NRT 1.34 (0.71, 2.56) I2=43.7% .5 1 1.5 2 2.5 NRTsuperior Antidepresivos superior 1.28 1 comparación 1.88, I2=19% 29 comparaciones Antidepresivos 2.68, I2=82% clonidine 5 comparaciones Vareniclina 1.70, I2=0% 3 comparaciones 16 5 Vías para comparar indirectamente : NRT vs Antidepresivos 1 NRT + NRT 2 buspirona 1 comparación 3 4 2 comparaciones 5 comparaciones 3 comparaciones 5 NRT rimonabant 67 comparaciones 2 comparaciones placebo y control no placebo 3 comparaciones 4 comparaciones 6 comparaciones 1 comparación clonidina 5 comparaciones 29 comparaciones antidepresivos + NRT 1 comparación vareniclina antidepresivos 3 comparaciones 5 Vías para comparar indirectamente : NRT vs Antidepresivos 1 1.01 (0.81, 1.27) 2 0.85 (0.38, 1.92) 3 0.89 (0.29, 2.77) 4 1.56 (0.54, 4.49) 5 1.31 (0.25, 6.76) +D NRT + NRT buspirona 1 comparación 2 comparaciones 5 comparaciones 3 comparaciones NRT rimonabant 67 comparaciones placebo y control no placebo 2 comparaciones 3 comparaciones 4 comparaciones 6 comparaciones 1 comparación 5 comparaciones antidepresivos + NRT clonidina 29 comparaciones 1 comparación vareniclina antidepresivos 3 comparaciones 17 NRT vs. Antidepresivos para abstinencia ≥6 meses NRT+NRT Vía 1 Evidencia buspirone indirecta 1.12 1 comparación 1.01 (0.81, 1.27) I2=46% 1.54, 2 5 comparaciones 1.85, I2=13% 3 67 comparaciones 1.56 (0.54, 4.49) 5 .5 1.34, I2=44% 3 comparaciones 4.85 NRT 1 comparación 1.5 2 2.5 6.76) 1.63, I2=0% 4 comparaciones Antidepresivos superiores 2 2.68, I =82% 5 comparaciones clonidine 1.88, I2=19% 29 comparaciones 1.28 1 comparación Antidepresivos I2= 43.7% 1 1 superior 3 ensayos combinados .5 NRT superior 1.36, I2=0% 2 comparaciones 1.31 (0.25, control Evidencia directa 1.34 (0.71, 2.56) 0.89rimonabant (0.29, 2.77) 4 NRT 1.14, I2=63% 6 comparaciones 0.85 (0.38, 1.92) 0.73, I2=0% 2 comparaciones 1.28, I2=0% 3 comparaciones vareniclina 1.70, I2=0% 3 comparaciones 1.5 2 2.5 Antidepresivos superiores NRT vs. Antidepresivos para abstinencia ≥6 meses NRT+NRT Vía 1 1.54, I2=46% 2 5 comparaciones 1.85, I2=13% 3 67 comparaciones Evidencia buspirone indirecta 1.12 1 comparación 0.85 (0.38, 1.92) 0.73, 2 comparaciones 1.28, I2=0% 3 comparaciones 0.89rimonabant (0.29, 2.77) 1.56 (0.54, 4.49) 4 NRT 5 1.14, I2=63% 6 comparaciones 1.01 (0.81, 1.27) I2=0% 1.34, I2=44% 3 comparaciones 1.36, I2=0% 2 comparaciones 1.31 (0.25, control .5 4.85 NRT 1 comparación 1 superior 1.5 2 2.5 6.76) 1.63, I2=0% 4 comparaciones Antidepresivos superiores 2 2.68, I =82% 5 comparaciones 0.98 (IC95% 0.85-1.13) Evidencia directa 1.88, I2=19% 29 comparaciones 3 ensayos combinados 1.28 1 comparación 1.34 (0.71, 2.56) I2= 43.7% .5 NRT superior 1 1.5 2 2.5 Antidepresivos superiores Antidepresivos clonidine vareniclina 1.70, I2=0% 3 comparaciones 18 NRT vs. Antidepresivos para abstinencia ≥6 meses Estimación combinada 1.01 (95% 0.88-1.15) NRT+NRT Vía 1 Evidencia buspirone indirecta 1.12 1 comparación 1.01 (0.81, 1.27) I2=46% 1.54, 2 5 comparaciones 1.85, I2=13% 3 67 comparaciones 0.89rimonabant (0.29, 2.77) 1.56 (0.54, 4.49) 4 NRT 5 1.14, I2=63% 6 comparaciones 0.85 (0.38, 1.92) 0.73, I2=0% 2 comparaciones 1.28, I2=0% 3 comparaciones 1.36, I2=0% 2 comparaciones 1.31 (0.25, control .5 1.34, I2=44% 3 comparaciones 4.85 NRT 1 comparación 1 superior 1.5 2 2.5 6.76) 1.63, I2=0% 4 comparaciones Antidepresivos superiores 2 2.68, I =82% 5 comparaciones 0.98 (IC95% 0.85-1.13) Evidencia directa 1.88, I2=19% 29 comparaciones 3 ensayos combinados 1.28 1 comparación 1.34 (0.71, 2.56) I2= 43.7% .5 NRT superior 1 Antidepresivos 1.5 2 2.5 Antidepresivos superiores clonidine vareniclina 1.70, I2=0% 3 comparaciones Condiciones para realizar inferencias válidas sobre múltiples tratamientos Meta/análisis En Red Convencional Sí Sí Sí Sí (▼heterogeneidad =▲combinabilidad) Sí Sí Buen ajuste del modelo estadístico (Considera inconsistencias Sí Sí Alta validez interna / bajo riesgo de sesgo Bajo riesgo de sesgo de reporte Baja diversidad clínica entre diferentes tipos de evidencia) 19 ¿Qué hemos aprendido de los meta-análisis en red? Los Meta-análisis en Red se aprovechan todas las posibles comparaciones indirectas ante la ausencia de las directas o ante la presencia de múltiples comparaciones. Su uso complementa pero no sustituye las comparaciones directas Algunas comparaciones indirectas pueden ser relativamente directas y otras muy indirectas Si las comparaciones indirectas con bucles cerrados proveen muchos más datos, éstas pueden dominar comparación combinada final Cuánto más indirecto sea el bucle, menor será el peso en el análisis combinado Se requiere apoyo estadístico experto y experiencia para realizar MAR Los Meta-análisis en Red pueden ser informativos y útiles, pero dadas las asunciones, la confianza de la estimación global no siempre es alta Meta-análisis Bayesiano Agustín Ciapponi – Director del Centro Cochrane Argentino IECS 20 Objetivos Comprender los fundamentos del abordaje Bayesiano y las diferencias con los abordaje clásicos (frecuentistas) Señalar las aplicaciones más útiles del abordaje Bayesiano Métodos bayesianos • El método o abordaje bayesiano no se basa en pruebas de significación e intervalos de confianza sino en una distribución previa de una medida de efecto (OR, DM) y una probabilidad que resume datos y las suposiciones respecto a cómo se generaron. • La distribución posterior se obtiene combinando la distribución previa y la probabilidad. • La distribución posterior se expresa con estimaciones puntuales e intervalos creíbles (muy parecidos a los intervalos de confianza clásicos). • El análisis bayesiano se puede realizar mediante WinBUGS 21 Métodos bayesianos • En el contexto de un MA la distribución previa puede expresar la creencia subjetiva acerca del tamaño del efecto, o puede provenir de evidencias no incluidas en el meta-análisis (Ej: estudios no aleatorizados). • La amplitud de la distribución previa refleja el grado de incertidumbre. • Cuando existe poca o ninguna información, es posible utilizar una distribución previa “no informativa”, en la cual todos los del posible rango son igualmente probables (bastante común). • La probabilidad resume los datos de los estudios incluidos en el MA (tablas 2x2) y del modelo utilizado (efectos fijos o aleatorios). Abordaje Frecuentista Usualmente basado en algoritmos con fórmulas explícitas. Asunciones del modelo Resultados de los estudios Transformación de los datos ingresados Resultados del Meta-análisis 22 Abordaje Bayesiano Utiliza un amplio rango de métodos flexibles basados en la teoría de la probabilidad condicional: Construcción: Computación: Asunciones principales, estableciendo variables y relación entre ellos Correr el modelo (serie de simulaciones aleatorias) Establecer las distribuciones previas (pudiendo ser no informativa) Obtención de resultados del metaanálisis Imputación de la probabilidad, Ej: los valores obtenidos en las observaciones Abordaje Bayesiano vs frecuentista Filosofía Interpretación Abordaje Bayesiano Abordaje frecuentista 1ro asunciones y construcción 2do imputar resultados de los estudios Construcción basada en el resultados de los estudios Creencia (Ej Intervalo creíble 95% de un OR) Frecuencia (El Intervalo de confianza representa la frecuencia con la que aparecería el valor real en sucesivos muestreos) SI (Ej: permite calcular la probabilidad de que el OR tenga NO un rango particular de valores Makov, simulaciones de Monte Computación fórmulas Carlo Especiales, Ej: WinBUGS Software Sin requerimientos especiales NetMetaXL Flexibilidad http://www.netmetaxl.com/ 23 Abordaje Bayesiano vs frecuentista Efecto tto. vs A (Distribución posterior) Efecto (IC 95%) Efecto tto. Interpretación de la probabilidad posterior en el abordaje Bayesiano Distribuciones posteriores Prob. de que B sea mejor que A Prob. de que C sea mejor que B 24 Probabilidad de que cada tto. esté en un ranking específico Elección del método estadístico óptimo • • • El método estadístico más creíble y preciso para el MA se debe elegir dependiendo del conjunto de datos (tamaño de la muestra, las tasas de eventos, heterogeneidad, etc.). Por lo general en la comparación directa de dos tratamientos no hay ventajas sustanciales del abordaje bayesiano pero suele ser muy útil (y frecuentemente utilizado) para comparaciones indirectas (Ej: modelo Bayesiano jerárquico de MAR que calcula el rango de probabilidades), Un caso de abordaje Bayesiano indirecto (vs el directo) de la farmacoterapia de la EPOC mostró > precisión de las estimaciones, y más probablemente resultados más bajos de valor esperado de información (EVI). La diferencia fue sustancial y podría afectar las evaluaciones económicas y la decisión de llevar a cabo la investigación y el diseño de futuras investigaciones (Zafari 2014, Thorlund 2014). 25 Ventajas o aplicaciones adicionales del abordaje Bayesiano • Incluir de información adicional (previa) • Evaluar la significancia clínica de los resultados • Combinación de evidencia directas e indirecta para el análisis de tratamientos múltiples • Incorporación de la información o la opinión externa en la naturaleza de un sesgo potencial en estudio (todavía bajo investigación) • Aplicar el MA a los contextos de toma de decisión incorporando la utilidad de varios estados de resultados clínicos • Investigar la relación entre el riesgo subyacente y el beneficio del tratamiento Inclusión de información adicional (previa) Asunciones del modelo Establecer distribuciones en base a: Datos extra Ej: de ensayos no aleatorizados , observaciones históricas, etc. Ajuste del grado de convicción a estos datos Resultados de ensayos aleatorizados * Simulaciones Resultados del Meta-análisis 26 Ejemplo T. Huynh et. al., 2009, Comparison of Primary Percutaneous Coronary Intervention and Fibrinolytic Therapy in STSegment-Elevation Myocardial Infarction. Primary PCI Fibrinolytic Therapy ECAs (24) 4068 4072 Estudios observacionales (30) 57124 123753 ¿Qué hacer con los datos de los estudios no aleatorizados? Evaluación de significancia clínica Distribuciones previas no informativas Asunciones del modelo Resultados de los estudios Establecer la significancia clínica del resultado (Ej, RR> 1,2) Simulaciones Resultados del Meta-análisis * Responde a la pregunta: ¿Cuán probable es que el resultado sea clínicamente significativo? Es posible de obtener debido al conocimiento de toda la distribución 27 Comparación de Múltiples Tratamientos Asunciones del modelo Distribuciones previas no informativas Resultados de los estudios Establecer la estructura de las comparaciones * Simulaciones Resultados del Meta-análisis Ejemplo Woo et. al, 2010, Tenofovir and Entecavir Are the Most Effective Antiviral Agents for Chronic Hepatitis B • 10 tratamientos a comparar • 20 ECAs (comaparando diferentes pares de tratamientos) Para cada tratamiento se obtiene: • Tasa estimada de eventos • Probabilidad de que el tratamiento es más eficaz • Orden en el grupo (ranking) 28 References 1. 2. A.J. Sutton, K.R. Abrams, Bayesian methods in metaanalysis and evidence synthesis, Statistical Methods in Medical Research 2001; 10: 277-303. Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org. 29