INFORME CIENTÍFICO Cómo realizar comparaciones

VALUE IN HEALTH 14(2011)4 29–437
Disponible en www.sciencedirect.com
Página web de la publicación: www.elsevier.com/locate/jval
_____________________________________________
INFORME CIENTÍFICO
Cómo realizar comparaciones indirectas de tratamientos y meta-análisis en red: Informe del Grupo de
Trabajo de ISPOR sobre Buenas Prácticas para la Comparación Indirecta de Tratamientos: Parte 2
David C. Hoaglin, PhD1,*, Neil Hawkins, PhD2, Jeroen P. Jansen, PhD3, David A. Scott, MA2, Robbin Itzler, PhD4, Joseph C. Cappelleri, PhD, MPH5,
Cornelis Boersma, PhD, MSc6, David Thompson, PhD7, Kay M. Larholt, ScD8, Mireya Diaz, PhD9, Annabel Barrett10
1Independent
consultant, Sudbury, MA, USA; 2Oxford Outcomes Ltd., Oxford, UK; 3Mapi Values, Boston, MA, USA; 4Merck Research Laboratories, North Wales, PA, USA; 5Pfizer Inc., New London, CT, USA;
of Groningen/HECTA, Groningen, The Netherlands; 7i3 Innovus, Medford, MA, USA; 8HealthCore, Inc., Andover,MA, USA; 9Henry Ford Health System, Detroit, MI, USA; 10Eli Lilly and Company Ltd.,
Windlesham, Surrey, UK
6University
Traducción validada por: Javier Eslava-Scmalbach, PhD, MD, MSc, Director, Instituto de Investigaciones Clínicas, Profesor Titular, Departamento de Cirugía, Facultad de Medicina, Universidad Nacional de
Colombia y Editor, Revista Colombiana de Anestesiología, Bogotá, Colombia
Joaquin F. Mould, PhD, Economía de la Salud Mundial y Investigación de Resultados, Jefe de Proyecto – Atención Especializada, Eequipo de Acceso de Mercado Global, Bayer Healthcare, Berlin, Alemania
Herman Soto Molina, Experto en Farmacoeconomía, HS estudios farmacoeconomicos S A de CV, Mexico D.F., Mexico
La citación para este reporte es: Hoaglin DC, Hawkins N, Jansen JP,. et al. Conducting Indirect-Treatment-Comparison and Network-Meta-Analysis Studies: Report of the ISPOR Task Force on Indirect
Treatment Comparisons Good Research Practices—Part 2. Value Health 2011;14:429-37
RESUMEN
La toma de decisiones para el cuidado de la salud basada en la
evidencia requiere de la comparación de las intervenciones
competitivas relevantes.
En la ausencia de estudios clínicos
aleatorizados y controlados que impliquen una comparación directa
de todos los tratamientos de interés, las comparaciones indirectas y
los meta-análisis en red brindan evidencia útil para seleccionar con
criterio la o las mejores opciones de tratamiento. Las comparaciones
mixtas de tratamientos, un caso especial de meta-análisis en red,
combinan la evidencia directa e indirecta para la realización de
comparaciones por pares, sintetizando así una mayor parte de la
evidencia disponible que un meta-análisis tradicional. Este informe
realizado por el Grupo de Trabajo de Buenas Prácticas para la
Comparación Indirecta de Tratamientos de ISPOR brinda orientación
sobre los aspectos técnicos para la realización de meta-análisis en
línea (nuestro uso de este término incluye la mayoría de los métodos
que implican un meta-análisis en red en el contexto de una red de
evidencias). Comenzaremos con un debate de las estrategias para
desarrollar redes de evidencia. Luego, revisaremos brevemente los
Antecedentes del grupo de trabajo
La Junta Directiva de International Society of Phramarcoeconomy
and Outcomes Research (ISPOR) aprobó la formación de un Grupo
de Trabajo sobre Buenas Prácticas en Comparación Indirecta de
Tratamientos para desarrollar documento(s) de buenas prácticas
para las comparaciones indirectas de tratamientos en enero de
2009. Se invitó a los investigadores con experiencia en revisiones
sistemáticas, meta-análisis en red, síntesis de evidencia y métodos
estadísticos relacionados, quienes trabajaban en entornos
académicos, organizaciones de investigación, la industria
farmacéutica o en los gobiernos de Estados Unidos, Canadá y
Europa, a participar en el Liderazgo del Grupo de Trabajo.
.También se invitó a diversos encargados de la toma de decisiones
que utilizan la comparación directa/indirecta como evidencia para
evaluar los tratamientos en el cuidado de la salud. El grupo de
trabajo se reunió, en primer lugar por teleconferencia, con una
comunicación continua por correo electrónico, y personalmente
en abril de 2010 para desarrollar los temas a tratar, acordar una
planificación y definir la estructura de un informe. El grupo de
liderazgo determinó que, para tratar correctamente las buenas
prácticas de investigación para las comparaciones indirectas de
tratamientos y el uso de estas comparaciones en la toma de
decisiones para el cuidado de la salud, el Grupo de Trabajo debía
tener al menos dos informes:
supuestos del meta-análisis en red. Posteriormente, hablaremos sobre
el análisis estadístico de datos: objetivos, modelos (de efectos fijos y
de efectos aleatorios), enfoques frecuentistas versus Bayesianos, y
validación de los modelos. Una lista de verificación destaca los
componentes principales de un meta-análisis en red y los ejemplos
ilustran las comparaciones indirectas de tratamientos (bajo los
enfoques frecuentistas y Bayesianos) y el meta-análisis en red. Una
sección posterior debate sobre ocho áreas clave para la investigación
a futuro.
Palabras clave: meta-análisis Bayesiano, comparación directa de
tratamientos, red de evidencias, meta-análisis frecuentista,
heterogeneidad,
inconsistencia,
comparación
indirecta
de
tratamientos, comparación mixta de tratamientos.
Copyright © 2011, International Society for Pharmacoeconomics and
Outcomes Research (ISPOR). Publicado por Elsevier Inc.
Uno sobre “Cómo interpretar comparaciones indirectas de
tratamientos y de meta-análisis en red en la toma de decisiones para
el cuidado de la salud: informe del Grupo de Trabajo de ISPOR sobre
Buenas Prácticas en la Comparación Indirecta de Tratamientos:
Parte 1” y otro sobre “Cómo realizar comparaciones indirectas de
tratamientos y estudios de meta-análisis en red: Informe del grupo
de trabajo de ISPOR sobre buenas prácticas para la comparación
indirecta de tratamientos: Parte 2". Los resúmenes de los informes
fueron presentados para recibir comentarios en la 15° Reunión
Internacional Anual del ISPOR llevada a cabo en Atlanta, Georgia,
EE.UU, en mayo de 2010. Los borradores de los dos informes fueron
enviados para recibir comentarios al Grupo Revisor de Trabajo de
ISPOR (103 personas invitadas y auto-seleccionadas que mostraron
interés en este tema) en julio de 2010. Los autores de los informes
consideraron los comentarios del Grupo Revisor de Trabajo del
ISPOR, y los borradores revisados de los dos informes fueron
enviados para recibir comentarios adicionales a los miembros de
ISPOR (5550 miembros) en septiembre de 2010. En total, la Parte 1
recibió 23 comentarios y la Parte 2 recibió 13 comentarios. Todos los
comentarios escritos fueron publicados en el portal web de ISPOR.
Los autores de cada informe evaluaron todos los comentarios
(muchos de los cuales fueron relevantes y constructivos), por lo que
se reescribieron los informes una vez más para ser enviados a la
revista Value in Health de forma posterior.
VALUE IN HEALTH 14(2011)4 29–437
Introducción
El Grupo de Trabajo de ISPOR sobre Buenas Prácticas para la
Comparación Indirecta de Tratamientos publico este documento en
dos informes. El presente informe se apoya en el reporte publicadoen la Parte 1 [1] para la motivación, conceptos y una variedad de
definiciones (ej.: comparación indirecta de tratamientos [ITC],
comparación mixta de tratamientos, meta-análisis en red,
heterogeneidad, similaridad y consistencia).
La terminología para las comparaciones indirectas de tratamientos,
comparaciones mixtas y meta-análisis en red varían dentro de la
bibliografía. En la práctica, todos estos métodos implican metaanálisis en red dentro del contexto de una red de evidencia. Por lo
tanto, es benéfico usar un único término para todos, excepto para los
análisis más simples: “meta-análisis en red” el cual se aplica cuando
la red de evidencia implica más de dos estudios clínicos aleatorizados
controlados (RCT por sus siglas en ingles) e incluye más de dos
intervenciones.
La Parte 1 del informe destaca los aspectos del meta-análisis en red
que son de mayor importancia para los encargados de la toma de
decisiones y de quienes deben interpretar y aplicar los resultados de
dichos estudios. Recomendamos a los lectores estudiarlo antes de leer
este artículo, el cual aborda los aspectos más técnicos de cómo
realizar un meta-análisis en red. Las secciones que están a
continuación discuten las estrategias para analizar la red de evidencia,
los supuestos y los métodos estadísticos (objetivos, modelos, enfoque
frecuentista versus Bayesiano, y validación de modelos). Luego,
presentamos una lista de verificación de buenas prácticas de
investigación, discutimos ejemplos ilustrativos y concluimos
mencionando ocho áreas de investigación actual y necesaria.
Identificando la red de evidencia
Un meta-análisis en red comienza con la red de evidencia: los
tratamientos relevantes y los ensayos clínicos en donde se han
comparado dichos tratamientos directamente. Su estructura con
frecuencia se asemeja con un diagrama en el cual cada nodo
representa un tratamiento (o tal vez una misma clase de tratamientos)
y cada vinculo o arista conecta los tratamientos que han sido
comparados directamente en uno o más ECAC. La estructura del
conjunto de estudios puede tener implicancias para la interpretación
de la evidencia [2]. La Parte 1 del informe contiene diagramas de
distintos tipos de redes de evidencia.
La búsqueda bibliográfica para un meta-análisis en red crea la red de
evidencia, aplicando los mismos estándares básicos que el metaanálisis que lleva a una comparación directa [3– 6]. Si se trata de
comparar dos tratamientos, como por ejemplo B y C, la búsqueda
apunta a ubicar todos los estudios que han incluido a B y a otro
comparador, todos los estudios que han incluido a C y a otro
comparador y todos los estudios que han comparado a B y C
directamente.
Si no hay estudios que hayan comparado B y C pero cada uno ha sido
comparado con un comparador común, como por ejemplo A,
entonces tal vez sea adecuado basar una comparación indirecta entre
B y C empleando la comparación directa de B y A y la comparación
directa de C y A. Más allá de esta situación simple, B y C pueden
tener otros comparadores comunes, o ninguno.
En ausencia de un comparador común para B y C, el tratamiento con
el cual ellos han sido comparados puede tener un comparador común,
o o la conexión con un comparador común puede necesitar de
vínculos adicionales. Si hay más de algunos pocos vínculos que
separan a B y C, una comparación indirecta puede ser poco confiable,
porque cada vínculo adicional tiende a aumentar el error estándar de
la comparación indirecta [7]. La contribución de un vínculo adicional
depende de varios factores, incluyendo la cantidad de estudios
subyacentes a esa comparación directa, los tamaños de las muestras
en dichos estudios y la homogeneidad de las estimaciones específicas
de cada estudio. Por lo tanto, la decisión de proceder con una
comparación indirecta debe considerar un número mayor de
información que la cantidad de vínculos.
Tal vez sea difícil identificar todos los comparadores relevantes para
los tratamientos de interés, y cualquier búsqueda implicara costos y
concesiones. Puede ser eficiente proceder en etapas, usando una de
las estrategias desarrolladas por Hawkins et al. [7]. Ellos refieren a
los tratamientos que uno desea comparar como comparadores
primarios.
Tabla 1 – Las primeras cinco formas de búsquedas (Estrategia de
Amplitud). Cada búsqueda usa un conjunto de posibilidades
booleana para combinar comparadores
Búsqueda
Comparadores
1
Todos los comparadores principales excepto uno
2
Todos los comparadores principales
3
Todos los comparadores secundarios excepto uno
4
Todos los comparadores secundarios
5
Todos los comparadores terciarios excepto uno
Adaptado de la Tabla 1 de Hawkins et al. [7]
Los tratamientos que han sido comparados directamente con un
comparador primario se constituyen el comparadores secundarios, y
los tratamientos que han sido comparados directamente con un
comparador secundario, se constituyen en comparadores terciarios, y
así sucesivamente. El orden de una comparación se determina por la
cantidad de comparadores intermedios. Por lo tanto, las
comparaciones de primer orden son comparaciones directas, las
comparaciones de segundo orden son comparaciones indirectas
basadas en estudios clínicos que comparten un comparador
intermedio único, las comparaciones indirectas de tercer orden
implican dos comparadores intermedios, y así sucesivamente.
La Tabla 1 indica las primeras cinco búsquedas siguiendo la
estrategia de amplitud. En las búsquedas que excluyen un
comparador, uno puede minimizar la carga de la búsqueda
excluyendo el comparador que tiene probabilidades de producir la
mayor cantidad de resultados (ej.: placebo). Cada búsqueda en la
secuencia ubicará, en la(s) base(s) de datos elegida(s) (ej.:
MEDLINE, EMBASE), todos los estudios clínicos que contribuyen a
una comparación indirecta del orden correspondiente: Búsqueda 1,
todas las comparaciones de primer orden (directas); Búsqueda 2,
todas las comparaciones indirectas de segundo orden, y así
sucesivamente. A través de estas búsquedas aquellos tratamientos
adicionales que pueden no haberse visto como comparadores o dentro
del alcance de la valoración (como tratamientos sin licencia en
algunas instancias) pueden contribuir a toda la red de evidencia.
La estrategia de profundidad comienza con la misma búsqueda que la
estrategia de amplitud pero no incluye el comparador omitido en
alguna búsqueda subsiguiente. La Búsqueda 2 apunta a todos los
comparadores secundarios identificados en la Búsqueda 1, la
Búsqueda 3 apunta a todos los comparadores terciarios identificados
en la Búsqueda 2, y así sucesivamente. Hawkins et al. [7,8] sostienen
un debate detallado sobre las búsquedas y los comparadores
resultantes para dos tratamientos de segunda línea para el cáncer
pulmonar avanzado/metastásico de células no pequeñas.
La revisión bibliográfica también debe buscar todos los meta-análisis
que ya hayan producido comparaciones directas (o incluso indirectas)
de tratamientos potencialmente relevantes, para brindar una
validación empírica al análisis.
Supuestos
Tal como se trató en la Parte 1 [1], el meta-análisis en red depende de
la aleatorización en los RCT que compararon tratamientos
directamente. También implica el supuesto de similaridad: “Sólo se
deben combinar estudios si son similares desde el punto de vista
clínico y metodológico” [9].
No obstante, “ningún estándar comúnmente aceptado [define] qué
estudios son suficientemente similares” [9]. Para los meta-análisis en
red, las covariables que actúan como modificadores de efectos
relativos del tratamiento deben ser similares entre los tratamientos (o
deben ajustarse para usar la meta-regresión). Y, cuando combinan
evidencia indirecta con evidencia directa, el meta-análisis en red
agrega el supuesto de consistencia: la evidencia indirecta debe ser
consistente con la evidencia directa.
Un meta-análisis basado en comparaciones directas generalmente
necesita que los estudios individuales estimen un efecto común de los
tratamientos o los efectos específicos del tratamiento de estudio
distibuidos alrededor de un valor típico [10]. La elección entre un
VALUE IN HEALTH 14(2011)4 29–437
efecto común y una distribución de efectos da alcance a los enfoques
de efectos fijos y efectos aleatorios, respectivamente. La
heterogeneidad entre los estudios dentro de una comparación directa
es aceptable, siempre y cuando los efectos del tratamiento compartan
un valor típico común, e incluso pueden aumentar la capacidad de
generalización. Por otro lado, la heterogeneidad entre conjuntos de
estudios que agrega comparaciones directas a la comparación
indirecta o meta-análisis en red indican una falta de similaridad.
El debate acerca de los modelos que sigue a continuación utiliza los
supuestos de homogeneidad, similaridad y consistencia, según sea
necesario. En la práctica, es necesario verificar estos supuestos, hasta
el máximo grado posible. “Los investigadores deberían basar sus
decisiones acerca de la combinación de estudios en investigaciones
exhaustivas de diversidad clínica y metodológica, así como también
según la variación del tamaño de los efectos” [9]. El acuerdo casi
nunca es perfecto y se necesitará tener criterio estadístico y clínico
(ej.: re-examinar la información de los reportes en algunos estudios
clínicos, calcular las estimaciones directas e indirectas por separado
antes de proceder con un meta-análisis en red). Puede ser posible
ajustarse a las diferencias en las características al nivel del estudio (a
través de la meta-regresión), pero es muy poco probable que dichos
ajustes superen las disparidades sustantivas entre los estudios
clínicos. Las interpretaciones de los resultados deberían reconocer
esta limitación.
Métodos estadísticos
Objetivos
Los objetivos de un meta-análisis en red pueden incluir considerar
toda la evidencia relevante, respondiendo a las preguntas de
investigación en ausencia de evidencia directa, mejorando la
precisión de las estimaciones combinando la evidencia directa con la
indirecta, ranqueando los tratamientos y evaluando el impacto de
ciertos componentes de la red de evidencia.
La elección de la medición del efecto debería determinarse por la
pregunta clínica y la naturaleza de los datos. Las mediciones
comunes de efectos relativos incluyen razón de momios (odds ratio:
OR), razón de riesgos (o riesgo relativo), diferencia de medias y
hazard ratio. Los modelos que se describen abajo se aplican a
cualquier medición de efectos relativos, siempre y cuando se definan
correctamente las cantidades necesarias (ej: función de verosimilitud
y enlace).
Modelos
Presentamos una secuencia de modelos, comenzando con el metaanálisis común a través de efectos fijos y efectos aleatorios, para
mostrar la progresión natural hacia los modelos de efectos fijos y
efectos aleatorios para redes para luego hablar de los modelos de
meta-regresión que permiten las interacciones de tratamiento por
covariables [11, 12]. Algunos modelos para redes son susceptibles de
adaptarse a los datos provenientes de estudios clínicos con múltiples
grupos, sin embargo, la presencia de dichos estudios agrega
complejidad al análisis.
Los modelos que se mencionan abajo relacionan el resultado
subyacente con los efectos de los tratamientos y covariables dentro
de una escala que es adecuada para el análisis particular (ej.: log de
un odds, cambio respecto del punto de referencia inicial (baseline) o
el log de un hazard rate). La distribución de probabilidad para los
resultados observados (ej.: binomial, normal) se especificaría por
separado. El análisis que se basa en estos modelos podría utilizar
métodos frecuentistas o Bayesianos, los cuales serán descritos
brevemente más adelante.
Meta-análisis de efectos fijos y de efectos aleatorios para estudios
clínicos con tratamientos AB. La ecuación 1 muestra el modelo de
efectos fijos para meta-análisis comparando el tratamiento B con el
tratamiento A.
njk refleja el resultado subyacente para el tratamiento k en el estudio j,
j representa este resultado para el tratamiento A en el estudio j, y d
es el efecto del tratamiento B con relación al tratamiento A. En un
análisis de efectos fijos, d es igual en cada estudio. En el modelo de
efectos aleatorios, la ecuación 2, δj reemplaza ad , donde δj es el
efecto específico del estudio clínico del tratamiento B con relación al
tratamiento A, y d se convierte en la media de la distribución
(generalmente normal) de efectos aleatorios, que tiene una varianza
de σ2.
Meta-análisis en red de efectos fijos. Cuando la red de evidencia
está compuesta por comparaciones de parejas multiples (es decir,
estudios AB, estudios AC, estudios BC y así sucesivamente), el
conjunto de comparadores generalmente varía entre estudios,
complicando la notación. Un enfoque etiqueta a los tratamientos A,
B, C, etc. y utiliza a A como el tratamiento comparador principal de
referencia dentro del análisis. En cada estudio se designa un
tratamiento b, como el tratamiento base (comparador). Las etiquetas
luego pueden asignarse a distintos tratamientos en la red de tal
manera que los tratamientos base sigan a A (y a B, C y así
sucesivamente) y los tratamientos “no base” sigan a todos los
tratamientos base en el alfabeto. En los diversos modelos, “luego” se
hace referencia a este orden alfabético. El modelo general de efectos
fijos dentro de un meta-análisis en red puede especificarse de la
siguiente manera:
Si k = b
Si k está ‘luego” de b
Donde jb es el resultado del tratamiento b en el estudio j, y dbk es el
efecto fijo del tratamiento k en relación con el tratamiento b. dbk está
identificado expresándolo en términos de efectos relativos al
tratamiento A (comparador): dbk = dAk – dAB con dAA = 0 (el orden de
los subíndices en dbk es convencional, pero contraintuitivo). Para los
efectos subyacentes, esta relación es una declaración de consistencia:
el efecto “directo” dbk y el efecto indirecto dAk – dAB son iguales.
En la comparación indirecta de tratamientos, A es el tratamiento
comparador principal de referencia y también el tratamiento base
para los ensayos AB y AC. El término “comparación indirecta
ajustada” ha sido aplicado a dichos análisis, pero es un término
inadecuado, debido a que la comparación no implica ningún ajuste en
ninguno de los sentidos usuales. Preferimos “comparación indirecta
anclada”; la comparación indirecta de B y C está anclada en A.
Meta-análisis en red de efectos aleatorios. Tal como se indica arriba,
el modelo de efectos aleatorios reemplaza a dbk con δjbk , el efecto
específico del ensayo del tratamiento k en relación con el tratamiento
b. Estos efectos específicos del ensayos se extraen a partir de una
distribución de efectos aleatorios: δjbk ~ N (dbk, σ2). Nuevamente, dbk
se identifica expresándolo en términos del tratamiento principal de
referencia, A. Este modelo supone la misma varianza de efectos
aleatorios σ2 para todas las comparaciones entre los tratamientos,
pero la restricción puede atenuarse. (Un modelo de efectos fijos
resulta si σ2 = 0.)
Si k = b
Si k está ‘luego” de b
Modelos de meta-regresión con interacciones de tratamiento por
covariable. Los modelos de meta-regresión incluyen covariables
dentro del estudio y brindan una manera de evaluar el punto hasta el
cual las covariables son responsables de la heterogeneidad de los
efectos mismos de los tratamientos. También pueden reducir el sesgo
y la inconsistencia entre comparaciones de diversos tratamientos
VALUE IN HEALTH 14(2011)4 29–437
cuando las covariables son distribuidas de manera desigual [13, 14].
Las covariables ingresan al modelo a través de la media de la
distribución de efectos aleatorios. El modelo que está debajo utiliza
valores dentro del estudio de una misma covariable, Xj, y permite que
su coeficiente, βbk, varíe entre las comparaciones [12]. Es una buena
idea promediar una covariable (ej.: en su promedio general), para que
los resultados sean más fáciles de interpretar.
Si k = b
Si k está ‘luego” de b
valores del parámetro son igualmente probables por lo que se
minimiza la influencia de la distribución previa sobre los resultados
posteriores. No obstante, cuando hay información disponible sobre el
parámetro (ej.: a partir de estudios observacionales o de un análisis
clínico previo), la distribución previa brinda una forma natural para
su incorporación.
Para un modelo de red de efectos aleatorios en el que la medición del
resultado es un logaritmo de oportunidades (log de odds), el análisis
Bayesiano tiene los siguientes componentes:
Verosimilitud:
Otros modelos pueden usar valores de la covariable para la
combinación de los estudios y los tratamientos. Una simplificación
del modelo que está arriba utiliza el mismo coeficiente para todas las
comparaciones:
Si k = b
Si k está ‘luego” de b
Si un modelo con una constante β es satisfactorio, las comparaciones
entre tratamientos (ajustados para la contribución de la covariable)
son directos, porque dAk – dAb se aplica a cualquier valor de la
covariable (dentro de un estudio o al nivel de cada estudio por
tratamiento). En el modelo con βbk, el ajuste para la covariable puede
mejorar la validez interna, pero el analista debe escoger un valor de X
en el cual se puedan realizar comparaciones entre distintos
tratamientos. La meta-regresión también tiene la desventaja de que la
relación entre el resultado y la covariable en los datos al nivel del
paciente pueden diferir, e incluso tener una dirección opuesta, de la
relación correspondiente dentro de los resultados obtenidos en cada
estudio.
Si la red incluye correctamente un ensayo de brazos múltiples,
omitirlos del análisis podría introducir sesgo. Entonces, el análisis
deberá tomar en cuenta la correlación entre las estimaciones de efecto
para los pares de grupos; algunos métodos pueden hacer esto más
fácilmente que otros. Es incorrecto analizar los efectos por pares en
un estudio clínico con múltiples grupos como si vinieran de estudios
separados. Este error es común; un ejemplo de lo anterior se muestra
en un informe de la Agencia Canadiense de Fármacos y Tecnologías
Sanitarias donde los datos ingresados para las tres comparaciones
directas dentro de un mismo estudio clínico con tres grupos
diferentes se analizan como tres estudios separados [15]. Salanti et al.
[16] ilustran el análisis que incorpora la correlación entre diversos
grupos.
Marco Conceptual del análisis: enfoque frecuentista versus
Bayesiano
Enfoque frecuentista. La etiqueta “frecuentista” se da a la mayoría
de los métodos estadísticos aplicados en la realización de
comparaciones, incluyendo las medias ponderadas con intervalos de
confianza (basados en una supuesta distribución normal) en metaanálisis de efectos fijos y de efectos aleatorios, y la estimación de
Mantel-Haenszel (ej: para una razón de probabilidades) (un
procedimiento de efectos fijos). En modelos tales como un metaanálisis en red y la meta-regresión, la estimación y la inferencia se
basan en alguna forma de máxima verosimilitud.
Enfoque Bayesiano. Los métodos Bayesianos combinan la
verosimilitud (aproximadamente, la probabilidad de los efectos como
una función de los parámetros) con una distribución previa de
probabilidad (que refleja la creencia previa de los valores posibles de
esos parámetros) con el propósito de obtener una distribución de
probabilidad posterior de los parámetros [17]. Las probabilidades
posteriores brindan una manera directa de hacer predicciones y la
distribución previa puede incorporar varias fuentes de incertidumbre.
Para los parámetros tales como los efectos del tratamiento, las
distribuciones previas que se utilizan generalmente no son solo
informativas. En el supuesto de que, antes de ver los datos, todos los
Modelo:
Si k = b
Si k está ‘luego” de b
A priori:
En la verosimilitud, el número observado de eventos para el
tratamiento k en el estudio j, rjk, tiene una distribución binomial
(independiente de otros tratamientos en el estudio j y de otros
estudios) cuya probabilidad de eventos es pjk, la cual se encuentra
descrita por el modelo. Los parámetros dentro de las distribuciones
de efectos aleatorios tienen distribuciones previas vagas: N (0,106)
para dAk (independientemente) y Uniforme (0, 2) para σ. Estos
distribuciones previas son opciones comunes dentro de dichos
modelos.
Diferencias. Dentro de la mayoría de los modelos, un análisis puede
seguir ya sea un enfoque frecuentista o un enfoque Bayesiano. En la
práctica actual, la mayoría de los meta-análisis para las
comparaciones directas utilizan métodos frecuentistas. Para los
modelos más complicados, particularmente los meta-análisis en red
que implican comparaciones mixtas de tratamientos, los métodos
Bayesianos han sido sometidos a un desarrollo mucho mayor,
facilitado por los avances en informática que apoyan su intensidad en
este ámbito y la necesidad de monitorear la convergencia por medio
de la distribución posterior. . Lumley [18] describió un enfoque de
máxima verosimilitud utilizando modelos lineales mixtos; sin
embargo, su método ha sido aplicado en relativamente pocos
artículos [19-21].
En resumen, un análisis frecuentista genera estimaciones puntuales e
intervalos de confianza. El típico análisis Bayesiano produce una
versión empírica de la distribución posterior conjunta de los
parámetros, desde el cual uno puede derivar medidas descriptivas
para los parámetros individuales, tal como la media posterior y un
“intervalo de confianza” (IC) (ej.: los criterios de 95% IC son los
percentiles 2.5 y 97.5 de la distribución posterior), como así también
distribuciones posteriores para las funciones de los parámetros (ej.:
las estimaciones de la probabilidad de que cada tratamiento sea el
mejor). Los ICs Bayesianos reflejan la incertidumbre en la
estimación de la heterogeneidad, mientras que los modelos
frecuentistas de efectos aleatorios no propagan tal incertidumbre.
Las elecciones de las distribuciones a priori son, hasta un cierto
punto, arbitrarias, por lo cual a menudo están sujetas a un análisis de
sensibilidad para explorar el efecto del uso de distribuciones a priori
inciertas. Por otro lado, algunos métodos frecuentistas implican
aproximaciones y supuestos que no se enuncian explícitamente ni se
verifican cuando se aplican los métodos. Por lo tanto, es sumamente
importante realizar un análisis de sensibilidad de los resultados de un
análisis Bayesiano sobre los supuestos previos y un informe
transparente de los supuestos que subyacen dentro de un análisis
frecuentista.
Validación de modelos
Evaluación de supuestos. Tal como se mencionó anteriormente, los
supuestos requieren de verificación. Al evaluar la verosimilitud, los
VALUE IN HEALTH 14(2011)4 29–437
investigadores pueden utilizar información estadística, pero deben
confiar principalmente en el criterio clínico acerca de si las
diferencias entre estudios pueden afectar a las comparaciones entre
tratamientos o pueden hacer que las comparaciones sean inadecuadas.
La evaluación de la homogeneidad y la consistencia (si la red es
compatible con comparaciones directas e indirectas) debe
especificarse como componente del análisis y debe reflejar los
riesgos y beneficios de combinar datos para la pregunta de
investigación seleccionada.
El debate que sigue a continuación revisa el estado actual de algunos
enfoques para examinar la homogeneidad y la consistencia.
Los meta-análisis comunes (especialmente realizados a través de
métodos frecuentistas) por lo general evalúan la heterogeneidad de
los efectos, como una base para elegir entre un procedimiento de
efectos fijos u otro de efectos aleatorios. Borenstein et al. [23]
recomiendan no considerar un modelo de efectos fijos como una
opción hipotética; explican que los modelos de efectos fijos y los
modelos de efectos aleatorios reflejan fundamentalmente distintos
supuestos sobre la distribución de las variables. Por lo tanto, la
elección debería reflejar si los estudios empleados comparten un
efecto común con los objetivos del análisis o no. Estos temas son
muy importantes en un meta-análisis en red. Cuando la información
acerca de la heterogeneidad dentro de las comparaciones directas está
disponible, la consideración de la misma puede formar un paso
preliminar en un meta-análisis en red, pero primero se deben
examinar los potenciales modificantes de los efectos, porque las
disparidades entre los estudios clínicos pueden excluir el análisis de
la red. Las medidas comunes de heterogeneidad en una comparación
directa utilizan las estimaciones de los estudios, yi (i = 1, …, k) sobre
el efecto y sus varianzas estimadas, si2, para formar la media
ponderada, yw = ( Σwiyiϓ (Σwi) donde wi = 1 / si2 (yw es la estimación
del efecto fijo sobre el efecto común). Luego, se calcula el
estadístico Q.
general. Lu y Ades [13] se concentraron en la estructura de las redes
y ampliaron un modelo Bayesiano jerárquico agregando un
parámetro para cada relación independiente de consistencia. Al
comparar los modelos con y sin dichos parámetros, se puede evaluar
la inconsistencia general, y las distribuciones posteriores de los
parámetros agregados los cuales muestran el grado de inconsistencia
de las diversas conexiones. Una evaluación gráfica puede utilizar el
diagrama de efecto de Lam y Owen [29] para examinar e identificar
la consistencia entre las estimaciones directas e indirectas. En el
campo Bayesiano jerárquico, Dias et al. [30] ampliaron el enfoque de
Bucher et al. [28] a las redes generales (pero sin usar evidencia
indirecta de ensayos con grupos múltiples), a través de la estimación
de una diferencia ponderada entre lo estimado dentro de la red y la
estimación directa. Al graficar las densidades posteriores de las
estimaciones directas, indirectas y en red, muestran cómo la
evidencia directa y la evidencia indirecta se combinan en la
estimación en red. Asimismo, para cada efecto que tiene evidencia
directa, Dias et al. [30] también dividieron la información en
información directa e indirecta y examinan la distribución a posteriori
de la diferencia entre las estimaciones directas e indirectas
resultantes. Los autores mencionados debaten cómo manipular los
estudios clínicos de grupos múltiples en este análisis.
Y, o bien se hace referencia a esto como la distribución de ji al
cuadrado con k - 1 grados de libertad o se cuantifica la
heterogeneidad en términos de la medición I2 = [Q – (k – 1) /Q [24].
I2
(generalmente expresado como un porcentaje) estima la
proporción de la variación total entre distintas estimaciones de
efectos a causa de la heterogeneidad: I2 < 30% se considera una
heterogeneidad leve, y I2 > 50%, heterogeneidad considerable. Deeks
et al. [25] debaten estrategias para solucionar el tema de la
heterogeneidad. Es importante examinar los efectos gráficamente
para identificar la presencia de grupos y valores atípicos; estas
mediciones numéricas o pruebas sólo deberían tener un rol
secundario [9, 26]. Durante mucho tiempo se ha conocido que la
aproximación por medio de muestras grandes para la distribución de
Q es imprecisa para estimar muestras de tamaños moderados. Por
ende, el uso de Q para evaluar la homogeneidad debe abandonarse
para emplear pruebas más precisas [27].
Se genera una desviación en la consistencia cuando las estimaciones
directas e indirectas de un efecto varían (ej.: la estimación directa de
dBC no equivale a la estimación indirecta obtenida de dAC - dAB). Los
tratamientos involucrados (y sus comparadores) deben pertenecer a
un bucle dentro la red de evidencia. Por ende, la consistencia es una
propiedad de dicho bucle más que de las comparaciones individuales
que se realicen. Los investigadores deben evaluar las desviaciones de
la consistencia y determinar de qué manera las mismas deben ser
interpretadas. Salanti et al. [16] brindan una orientación mucho más
valiosa. La mayoría de las agencias a las cuales podrían enviarse los
resultados de un meta-análisis en red actualmente exigen que las
estimaciones directas y las estimaciones indirectas se calculen por
separado y que sean consistentes antes de combinar la evidencia
directa con la evidencia indirecta.
Los métodos para evaluar la consistencia han estado sometidos a una
investigación constante. En una red que contiene un solo bucle (y
ningún estudio clínico con grupos múltiples) Bucher et al. [28]
compararon la estimación indirecta del efecto de un tratamiento con
la correspondiente estimación directa (la prueba resultante de
consistencia, no obstante, tiene fallas que la vuelven poco confiable).
Para las redes de estudios de dos grupos que contienen bucles,
Lumley [18] introdujo un modelo frecuentista que utiliza un
parámetro de varianza para resumir la inconsistencia en la red en
Análisis de sensibilidad. Los análisis de sensibilidad deberían
concentrarse en las áreas de mayor incertidumbre. Los modificadores
potenciales de los efectos pueden explorarse estratificando las
variaciones en el diseño o la población del estudio. Las
comparaciones entre los análisis de efectos fijos y los análisis de
efectos aleatorios pueden ser adecuados de implementar. Dentro de
los análisis Bayesianos también se debe explorar la influencia de
elegir distintas distribuciones previas.
Evaluación del ajuste del modelo. En los análisis frecuentistas, las
mediciones de ajuste del modelo son similares a los de la evidencia
directa y depende de la estimación del resultado en particular. Los
análisis Bayesianos generalmente usan la– desviación (una medición
basada en la verosimilitud); cuanto menor sea el valor de la
desviación residual, mejor será el ajuste. Para comparar modelos, el
criterio de desviación de la información (DIC por su sigla en inglés)
se agrega un término de penalización, igual al número efectivo de
parámetros en el modelo [31]. Si un modelo se ajusta
incorrectamente, las técnicas gráficas pueden ayudar a realizar un
análisis más apropiado.
Lista de verificación sobre buenas prácticas de
investigación
Las prácticas de realización e informe de revisiones sistemáticas y
meta-análisis han sido tema de debate desde mediados de 1980 y han
estado sujetas a guías y recomendaciones, más recientemente, la
declaración PRISMA [6]. Como los estudios de meta-análisis en red
tienen muchas características en común con las revisiones
sistemáticas y los meta-análisis, recomendamos que se respeten todas
las secciones correspondientes dentro de la lista de verificación
PRISMA. Además, la Tabla 2 complementa la lista de verificación
mostrada en la Parte 1 [1] destacando los componentes clave de los
estudios de meta-análisis en red, las áreas en las cuales tienen
requisitos diferentes (a menudo adicionales) y los desarrollos
recientes. La intención de esta lista es utilizarla a la luz de la
investigación continua y dinámica sobre los meta-análisis en red. Los
métodos mejorados y su aplicación generarán cambios en la lista de
verificación en el futuro.
Ejemplos ilustrativos
Los análisis separados de una parte de los datos de dos meta-análisis
extensos ilustran las comparaciones indirectas en red (tanto en los
enfoques frecuentistas como Bayesianos) y de meta-análisis en red.
Esta sección también habla acerca de los softwares disponibles.
Stettler et al. [32] informaron sobre un meta-análisis en red
colaborativo de resultados asociados con dos stents liberadores de
medicamentos (el stent que libera paclitaxel [PES] y el stent que
libera sirolimus [SES]) y los stents de metal sin recubrir (BMS). La
VALUE IN HEALTH 14(2011)4 29–437
Tabla 2 – Lista de verificación de buenas prácticas de investigación para realizar e informar estudios de meta-análisis en red
Ítem de la lista de verificación
Estrategias de búsqueda
Recomendación(es)



Recolección de datos



Plan de análisis estadístico


Análisis de datos



Informes




Siga las guías convencionales sobre revisiones sistemáticas de la literatura, sea explícito sobre los términos de búsqueda,
la bibliografía y los períodos de tiempo para evitar el uso de datos ad hoc
Considere métodos iterativos de búsqueda para identificar comparaciones indirectas de mayor orden que no aparezcan en
la búsqueda inicial que apunta a las comparaciones indirectas de orden inferior
Establezca una conjunto de evidencias que demuestre vínculos directos e indirectos entre tratamientos, en base a los
informes de estudios identificados
Siga las guías convencionales para la recolección de datos; utilice un protocolo pre-especificado y un formulario de
extracción de datos
Incluya suficiente detalles del estudio en la extracción de datos para permitir la evaluación de comparabilidad y
homogeneidad (ej.: características del estudio y de los pacientes, comparadores y medidas de los resultados)
Prepare un plan de análisis estadístico antes del análisis de los datos, pero permita modificaciones y adaptaciones durante
el análisis de datos, si es necesario
Brinde descripciones paso a paso de todos los análisis, incluyendo declaraciones explícitas de todos los supuestos y
procedimientos para ser verificados de forma posterior
Describa las características analíticas específicas del meta-análisis en red, incluyendo comparabilidad y homogeneidad,
síntesis, análisis de sensibilidad, análisis de sub-grupos y meta-regresión, y resultados especiales
Siga las guías convencionales para el diagnóstico de modelos estadísticos
Evalúe las desviaciones a los supuestos de similaridad y consistencia en la red de evidencia
Si la homogeneidad o la consistencia son un problema, considere usar modelos de meta-regresión con interacciones de
tratamiento por covariable para reducir el sesgo
Siga la guía PRISMA para informar el meta-análisis
Indique explícitamente las preguntas de investigación del estudio (ej.: en la sección Introducción o en la sección
Objetivos del informe)
Suministre un gráfico de la red de evidencia
Indique el paquete de software utilizando en el análisis y suministre el código (al menos en un apéndice en línea)
búsqueda bibliográfica arrojó 7 ECAC que comparaban a PES con
BMS, 15 ECAC que comparaban a SES con BMS, 14 ECAC que
comparaban a SES con PES y 1 ECAC que comparaba a los tres.
Sus análisis acerca de la mortalidad general y otros aspectos de
seguridad es un ejemplo que instruye acerca de los modelos de
efectos aleatorios Bayesianos para los méta análisis en red que
implican varias etapas de seguimiento [33]. Este ejemplo se enfoca
en la tasa, a 1 año, de revascularización de lesiones objetivo (TRL),
un criterio de efectividad secundario que implica una posterior
intervención percutánea.
El Apéndice de este artículo (que se encuentra en
doi.10.1016/j.jval.2011.01.011) da los detalles del análisis Bayesiano
de la revascularización de lesiones objetivo en la escala del logaritmo
de la razón de momios: los meta-análisis directos de PES versus
BMS, SES versus BMS y PES versus SES; las comparaciones
indirectas por separado; las comparaciones del meta-análisis en red;
y el código de WinBUGS y los parámetros analizados.
El - forest plot en la Figura 1 muestra los datos de los estudios que
compararon a PES con SES, los OR específicos del estudio para PES
versus SES (del análisis Bayesiano, y cinco estimaciones del OR
general: tradicional de efectos fijos por pares (utilizando el método
Mantel-Haenszel), tradicional de efectos aleatorios por pares (usando
el método DerSimonian-Laird), Bayesiano directo, Bayesiano
indirecto y Bayesiano en red (Fig. 3 del Apéndice, que se encuentra
en doi:101016/j.jval.2011.01.011, muestra OR para SES versus PES).
Para facilitar las comparaciones, la Tabla 3 presenta las estimaciones.
Las estimaciones tradicionales de efectos fijos y de efectos aleatorios
y sus intervalos de confianza del 95% difieren muy poco: 1.39 (1.17
a 1.66) y 1.38 (1.16 a 1.65). El intervalo hallado por el método de
efectos aleatorios no es más ancho, porque la heterogeneidad
estimada es pequeña (I2 = 0.74%).
Para realizar una estimación indirecta anclada del OR para PES
versus SES, utilizando las estimaciones directas de PES versus BMS
y SES versus BMS, es necesario excluir el estudio de tres grupos (o
realizar un cálculo más complicado que reconozca las contribuciones
de dicho estudio a ambas estimaciones directas). La columna de la
derecha de la Tabla 2 indica las estimaciones sin el estudio de tres
grupos. Las estimaciones indirectas de efectos fijos y de efectos
aleatorios son similares, 1.74 (1.28 a 2.36) y 1.70 (1.09 a 2.65) y son
considerablemente más altas que sus contrapartes directas. El
intervalo de confianza para la estimación indirecta de efectos
aleatorios es considerablemente más ancho que el de la estimación de
efectos fijos, y ambos son considerablemente más anchos que los de
las estimaciones directas. Todos los intervalos de confianza son lo
suficientemente amplios de modo que se requiere de un análisis
posterior para evaluar la consistencia entre las estimaciones indirectas
y las estimaciones directas.
Las tres estimaciones Bayesianas, 1.55 (1.17 a 2.05), 1.60 (0.98 a
2.47) y 1.55 (1.22 a 1.96) son similares y algo más altas que las
estimaciones tradicionales de efectos fijos y de efectos aleatorios. La
estimación indirecta tiene el intervalo de confianza más ancho. Lo
más importante es que, la estimación del meta-análisis de Bayesiano
en red tiene un intervalo de confianza un poco más pequeño que la
estimación directa Bayesiana, como consecuencia de tomar en cuenta
toda la evidencia de la red. Concluiríamos con dicha estimación en,
1.55 (1.22 a 1.96) como la razón de momios de PES versus SES.
Para encontrar información más detallada de algunos aspectos del
meta-análisis en red (ej.: la correlación entre estimaciones y la
probabilidad de que un tratamiento sea el mejor), revisar dentro del
Apéndice (que se encuentra en doi: 10.1016/j.jval.2011.01.011)
donde también se analizan los resultados de una red de 112 ECAC
que compararon (de manera general) la eficacia de 12 antidepresivos
de nueva generación para el tratamiento de fase aguda de la depresión
mayor unipolar [34].
Software
Para el ejemplo mencionado arriba se utilizó WinBUGS para los
distintos análisis Bayesianos [35]. Otro software de utilidad para el
análisis Bayesiano incluye OpenBUGS [36]. La versión 9.2 de SAS
[37] incluye un procedimiento para la generar cadenas de Markov y
Monte Carlo, pero los ejemplos en la documentación aparentemente
no incluyen actualmente aplicaciones sobre meta-análisis. Los
enfoques frecuentistas han sido desarrollados por Lumley [18] en R
usando modelos lineales mixtos y también los mismos son viables en
SAS utilizando PROC NLMIXED [38].
Áreas de investigación a futuro
La investigación ha producido un cuerpo considerable de métodos
para el meta-análisis en red, pero ciertos temas se beneficiarían si se
les investigara aún más. En esta sección tratamos a ocho de ellos,
consistentemente, en orden de prioridad.
Ajustes para mejorar la homogeneidad de estudios y la evaluación
empírica de su beneficio
Los pacientes estudiados en los diversos estudios pueden no ser
comparables. Si estas diferencias entre ensayos son modificantes de
los efectos de un tratamiento, una comparación indirecta se
encontraría sesgada [39]. Además, en un meta-análisis en red, los
distintos tipos de comparaciones pueden ser inconsistentes [12].
VALUE IN HEALTH 14(2011)4 29–437
Como la cantidad de estudios a menudo es limitada, el ajuste
realizado a través de la incorporación de covariables mediante los
enfoques "convencionales” de meta-regresión pueden ser no
suficientes [38-40]. Además, los informes limitados o inconsistentes
de las covariables del estudio (o los efectos para los niveles de un
posible modificador de efecto) complican el análisis. Los estudios
futuros deberían examinar el valor de los métodos existentes para
mejorar la comparabilidad de los estudios, como así también el nivel
de consistencia en el informe de las covariables al nivel del estudio.
Estructura y propiedades de las redes
Para explorar la geometría de las redes de tratamiento para cuatro o
más intervenciones, Salanti et al. [2] utilizaron dos mediciones de la
literatura ecológica, diversidad y co-ocurrencia. La diversidad
caracteriza al número de intervenciones y, para un conjunto de redes
con la misma cantidad de intervenciones, la distribución de la
frecuencia de intervenciones. La co- ocurrencia mide la aparición de
combinaciones específicas por pares para las intervenciones. Estas
específicas. No obstante, no se sabe si éstas son las mejores
mediciones para caracterizar redes de evidencia, o cómo se
correlacionan con las estimaciones de efecto, heterogeneidad,
similaridad o consistencia.
Métodos para verificar el supuesto de consistencia
Tal como se mencionó anteriormente, se han desarrollado diversos
enfoques, incluyendo a las representaciones gráficas, para evaluar la
consistencia de los meta-análisis en red. Salanti et al. [16] y Dias et
al. [30] han debatido acerca de las debilidades y fortalezas de estos
enfoques. Se necesita de más investigación para mejorar la
comprensión de estos métodos y motivar su uso. Como destacan
Salanti et al. [16], una medición de inconsistencia análoga a I 2 sería
algo muy interesante de incorporar.
Resultados múltiples
Los meta-análisis que consideran resultados múltiples generalmente
lo hacen en análisis separados. No obstante, intuitivamente, como
Fig. 1 – Diagrama de efectos para la comparación de PES versus SES, mostrando los datos de los estudios individuales, y para la
medida: razón de momios (OR), las estimaciones por pares de efectos fijos (Mantel-Haenszel) y por pares de efectos aleatorios
(DerSimonian-Laird) y los resultados del meta-análisis Bayesiano en red de evidencia directa, indirecta y combinada.
medidas permiten 1) comparar redes de distintos tamaños dentro de
una forma particular de cada red, y 2) señalizar la presencia de sesgos
potenciales en la evaluación o informar sobre comparaciones
generalmente los “criterios múltiples" están correlacionados, un
análisis simultáneo que tome en cuenta su correlación debería agregar
eficiencia y precisión” [41]. Si bien este enfoque ha recibido una
VALUE IN HEALTH 14(2011)4 29–437
atención considerable en los últimos años [42, 44], aún no se ha
extendido al meta-análisis en red para los estudios que han analizado
criterios múltiples [45].
Lu et al. [33] ilustraron cómo combinar resultados obtenidos en
distintos puntos de tiempo; estos métodos se pueden extender para
estimar los efectos del tratamiento en múltiples momentos utilizando
la red para cada periodo y la correlación entre observaciones. Esto
sería beneficioso para los modelos de costo-efectividad donde las
probabilidades de transición varían con el correr del tiempo.
Históricamente, los encargados de realizar meta-análisis han
combinado estudios utilizando una medición descriptiva común (ej.:
cambio de la media respecto del valor inicial de referencia) y han
excluido estudios que presentaban la misma medición de una manera
ligeramente diferente (ej.: diferencia entre las medias).
Recientemente se han propuesto métodos para combinar mediciones
descriptivas alternativas, con el objetivo de minimizar el sesgo
potencial en la selección o informe: Welton et al. [46] presentaron
distintos métodos para combinar el cambio de la media respecto del
valor inicial y los datos de la diferencia de la media de distintos
Tabla 3 – Estimaciones (con un intervalo de confianza o intervalo creíble
del 95%) de la razón de posibilidades para PES versus SES en la
revascularización de lesiones diana a 1 y, usando datos que incluyen y
excluyen el ensayo de tres grupos (BASKET).
Enfoque
Todos los ensayos
Omitiendo el ensayo de
tres grupos
Efectos fijos en pares
1.39 (1.17 a 1.66)
1.45 (1.21 a 1.74)
(Mantel-Haenszel)
Efectos aleatorios en
1.38 (1.16 a 1.65)
1.43 (1.19 a 1.73)
pares (DerSimonianLaird)
Bayesiano directo
1.55 (1.17 a 2.05)
1.51 (1.16 a 1.97)
Bayesiano indirecto
1.60 (0.98 a 2.47)
1.80 (1.14 a 2.73)
Meta-análisis Bayesiano
1.55 (1.22 a 1.96)
1.57 (1.26 a 1.96)
en red
Efectos fijos anclado
1.74 (1.28 a 1.96)
indirecto
PES versus BMS
0.40 (0.32 a 0.49)
SES versus BMS
0.23 (0.18 a 0.28)
Efectos aleatorios anclado
1.70 (1.09 a 2.65)
indirecto
PES versus BMS
0.39 (0.28 a 0.54)
SES versus BMS
0.23 (0.17 a 0.31)
BMS, stent de metal sin recubrir; PES, stent liberador de paclitaxel; SES, stent
liberador de sirolimus
estudios, y Woods et al. [47] presentaron métodos para combinar los
datos binarios de la mortalidad con los datos de la razón de riesgos
provenientes de distintos estudios en un mismo análisis.
Dichos enfoques reciben más estudios que los análisis separados para
cada medición descriptiva y también maximizan la conectividad de la
red. Los organismos de evaluación de tecnologías sanitarias, como el
Instituto Nacional de Salud y Excelencia Clínica (NICE), pueden
considerar el uso de una única medición descriptiva (y, por lo tanto,
la exclusión de ciertos estudios) como un sesgo potencial de la
selección, e insistir en incluir varias mediciones descriptivas del
mismo criterio dentro de un único análisis, si éstas están disponibles
[46, 48]. Se necesita seguir explorando acerca de cómo combinar
distintas mediciones descriptivas del mismo criterio.
¿Cómo controlar la heterogeneidad con pocos estudios para cada
intervención?
Muchos meta-análisis en red involucran pocos estudios para emplear
el modelo de efectos aleatorios [8] o la meta-regresión [12]. El
exceso de especificación que resulta de ello (es decir, la cantidad de
parámetros a estimar excede la cantidad de estudios) lo cual puede
obligar al meta-analista a utilizar un modelo de efectos fijos cuando
está presente la heterogeneidad. Cooper et al. [12] propuso modelos
alternativos de efectos aleatorios que incorporan el ajuste de
covariables capaz de mitigar el exceso de especificación,
dependiendo de la distribución de las interacciones. En el marco
Bayesiano, el uso de distribuciones informativas a priori para el
parámetro de heterogeneidad podría generar un compromiso entre los
modelos de efectos fijos y de efectos aleatorios. Estos métodos
necesitan explorarse con mayor profundidad.
Tamaño de la red: espacio de la evidencia versus espacio de la
decisión
El profesional puede preguntar, "¿existe una forma directa de decidir
sobre el tamaño de una red? ¿Existe un tamaño óptimo? ¿Qué tamaño
es suficiente?” El tamaño implica la cantidad de estudios y la
cantidad de tratamientos. Si la cantidad de estudios es demasiado
pequeña, un análisis no puede usar un modelo de efectos aleatorios ni
de meta-regresión. No obstante, incluir demasiados estudios puede
aumentar el nivel de inconsistencia, lo cual potencialmente puede
provocar un sesgo por confusión. Por otro lado, un tratamiento
establecido puede haber sido incluido en demasiados estudios. El
tamaño de la red depende del tipo de terapias y tratamiento [33], los
comparadores, la incertidumbre, el tamaño de la muestra, la
homogeneidad, la calidad de la información y la población exacta de
pacientes [39]. Además, pareciera que el tamaño de la red debería
depender del nivel esperado de confusión. Si bien los métodos
pueden ser responsables de la inconsistencia y un análisis de
sensibilidad puede evaluar la robustez de los resultados derivados de
una red en particular, quedan muchos problemas en lo que respecta a
definir la mejor red y decidir acerca del tamaño de la red. Incluir
todos los resultados relevantes debería justificarse para minimizar la
inconsistencia y la heterogeneidad entre estudios y poblaciones. Las
mejoras en la transparencia en el desarrollo de redes y en el uso de
meta-análisis en red ayudarían a los no especialistas (como los
encargados de la toma de decisiones en materia de salud) a entender
el proceso, la metodología y los hallazgos del estudio [39, 49]. Sutton
et al. [49] sugirieron que la orientación para desarrollar una red
robusta podría basarse en la opinión de expertos clínicos o en las
consideraciones estadísticas/económicas de eficiencia o costoefectividad acerca de las ventajas de ampliar la red. Estos temas
requieren de una mayor elaboración y posiblemente de un conjunto
de criterios estandarizados.
Datos individuales de los pacientes en el meta-análisis en red
Los meta-análisis de los resultados individuales de los pacientes
(RIP) son considerados el estándar de referencia, ya que brindan la
oportunidad de explorar diferencias en los efectos entre subgrupos
[50, 51]. De modo similar, el meta-análisis en red basado en los RIP
puede considerarse superior. Cuando hay RIP disponibles, los
modelos de meta-regresión generalmente tienen el poder suficiente
para evaluar la heterogeneidad y mejorar la consistencia. Además de
un ajuste potencialmente cuestionable, los ajustes basados en las
covariables a nivel general pueden producir un sesgo ecológico [52].
Este problema puede evitarse usando RIP, o minimizarse usando RIP
para un subconjunto de estudios [53]. El valor agregado de usar RIP
en el meta-análisis en red debería evaluarse con mayor profundidad
para desarrollar recomendaciones sobre su relevancia y practicidad.
Mayor desarrollo de métodos frecuentistas
Para el meta-análisis en red en algunas redes de evidencia más
complejas, especialmente en aquellas que involucran estudios de
múltiples grupos, los métodos frecuentistas tienen un desarrollo
inferior y son menos accesibles que sus contrapartes Bayesianas.
Un desarrollo mayor beneficiaría a los usuarios que prefieren los
métodos frecuentistas. Los enfoques potenciales incluyen
distribuciones de confianza e intervalos de confianza basados en
puntaje [54, 55]. Además, varios métodos ampliamente utilizados
para el meta-análisis dependen de aproximaciones o supuestos. Por
ejemplo, la estimación de efectos fijos y la estimación de efectos
aleatorios del efecto del tratamiento (medias ponderadas) supone que
las ponderaciones basadas en varianzas estimadas de los efectos al
nivel del estudio están lo suficientemente cerca de las ponderaciones
basadas en varianzas ciertas, y que las varianzas estimadas no están
correlacionadas con sus efectos estimados. Los métodos de efectos
fijos y de efectos aleatorios a menudo no son satisfactorios,
especialmente cuando los tamaños de las muestras de algunos
estudios individuales son modestos [56, 59]. Es necesario realizar una
revisión exhaustiva de la evidencia empírica.
Conclusión
Este artículo, la segunda parte del informe del Grupo de Trabajo,
describe las pautas generales de mejor práctica para los profesionales
interesados en realizar meta-análisis en red. Se presentan los métodos
VALUE IN HEALTH 14(2011)4 29–437
estadísticos fundamentales y los mismos son respaldados con
ejemplos que sugieren modos de presentar resultados frente a
audiencias no especializadas. Las técnicas no siempre son aplicables
y pueden estar sujetas a los sesgos y limitaciones que son debatidos
dentro de este informe. El hecho de no respetar los supuestos de
homogeneidad y consistencia puede hacer que los resultados sean
cuestionables. En el caso de que sean aplicables las técnicas, se debe
tener cuidado y transparencia, y recomendamos adherirse a nuestra
lista de verificación. La estandarización de los métodos mejoraría la
credibilidad y aplicabilidad generales de las comparaciones indirectas
de tratamientos y meta-análisis en red. Finalmente, la investigación
continua en muchas áreas debería generar revisiones periódicas de las
actuales recomendaciones en esta materia.
Material complementario
Se puede encontrar material complementario a este artículo en la
versión en línea, misma que se encuentra en
doi:
10.1016/j.jval.2011.01.011, en www.valueinhealthjournal.com/issues
(seleccionar volumen, número y artículo).
REFERENCIAS
[1] Jansen JP, Fleurence R, Devine B, et al. Interpreting indirect treatment comparisons &
network meta-analysis for health care decision-making: Report of the ISPOR Task Force on
Indirect Treatment Comparisons Good Research Practices—part 1. Value Health
2011;14:XX–XX.
[2] Salanti G, Kavvoura FK, Ioannidis JP. Exploring the geometry of treatment networks.
Ann Intern Med 2008;148:544–53.
[3] Sutton AJ, Abrams KR, Jones DR, et al. Methods for Meta-Analysis in Medical Research.
Chichester, UK: John Wiley & Sons, Ltd., 2000.
[4] Higgins JPT, Green S. Cochrane Handbook for Systematic Reviews of Interventions.
Chichester, UK: John Wiley & Sons, Ltd., 2008.
[5] Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. Introduction to Meta-Analysis.
Chichester, UK: John Wiley & Sons, Ltd., 2009.
[6] Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting ítems for systematic
reviews and meta-analyses: the PRISMA statement. Ann Intern Med 2009;151:264–9.
[7] Hawkins N, Scott DA, Woods B. How far do you go? Efficient searching for indirect
evidence. Med Decis Making 2009;29:273–81.
[8] Hawkins N, Scott DA, Woods BS, Thatcher, N. No study left behind: a network metaanalysis in non-small-cell lung cancer demonstrating the importance of considering all
relevant data. Value Health 2009;12: 996–1003.
[9] Fu R, Gartlehner G, Grant M, et al. Conducting quantitative synthesis when comparing
medical interventions: AHRQ and the Effective Health Care Program. [publicado en octubre
de 2010]. Disponible en: http://effectivehealthcare.ahrq.gov/. [acceso el 20 de noviembre
de 2010].
[10] Song F, Loke YK, Walsh T, et al. Methodological problems in the use of indirect
comparisons for evaluating healthcare interventions: survey of published systematic
reviews. BMJ 2009;338:b1147.
[11] Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment
comparisons. Stat Med 2004;23:3105–24.
[12] Cooper NJ, Sutton AJ, Morris D, et al. Addressing between-study heterogeneity and
inconsistency in mixed treatment comparisons: application to stroke prevention
treatments in individuals with nonrheumatic atrial fibrillation. Stat Med 2009;28:1861–81.
[13] Lu G, Ades AE. Assessing evidence inconsistency in mixed treatment comparisons. J
Am Stat Assoc 2006;101:447–59.
[14] Thompson SG, Smith TC, Sharp SJ. Investigating underlying risk as a source of
heterogeneity in meta-analysis. Stat Med 1997;16:2741–58.
[15] Wells GA, Sultan SA, Chen L, et al. Indirect Evidence: Indirect Treatment Comparisons
in Meta-Analysis. Ottawa, Canada: Canadian Agency for Drugs and Technologies in Health,
2009.
[16] Salanti G, Higgins JP, Ades AE, Ioannidis JP. Evaluation of networks of randomized
trials. Stat Methods Med Res 2008;17:279–301.
[17] Sutton AJ, Abrams KR. Bayesian methods in meta-analysis and evidence synthesis.
Stat Methods Med Res 2001;10:277–303.
[18] Lumley T. Network meta-analysis for indirect treatment comparisons. Stat Med
2002;21:2313–24.
[19] van der Valk R, Webers CA, Lumley T, et al. A network meta-analysis combined direct
and indirect comparisons between glaucoma drugs to rank effectiveness in lowering
intraocular pressure. J Clin Epidemiol 2009;62:1279–83.
[20] Elliott WJ, Meyer PM. Incident diabetes in clinical trials of antihypertensive drugs: a
network meta-analysis. Lancet 2007;369:201–7.
[21] Psaty BM, Lumley T, Furberg CD, et al. Health outcomes associated with various
antihypertensive therapies used as first-line agents: a network meta-analysis. JAMA
2003;289:2534–44.
[22] Lambert PC, Sutton AJ, Burton PR, et al. How vague is vague? A simulation study of the
impact of the use of vague prior distributions in MCMC using WinBUGS. Stat Med
2005;24:2401–28.
[23] Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. A Basic introduction to fixedeffect and random-effects models for metaanalysis. Res Synthesis Methods 2010;1:97–
111.
[24] Higgins JP, Thompson SG. Quantifying heterogeneity in a metaanalysis. Stat Med
2002;21:1539–58.
[25] Deeks JJ, Higgins JPT, Altman DG. Analysing data and undertaking meta-analyses. In:
Higgins JPT, Green S, eds., Cochrane Handbook for Systematic Reviews of Interventions.
Chichester, UK: John Wiley & Sons, Ltd., 2008.
[26] Rücker G, Schwarzer G, Carpenter JR, Schumacher M. Undue reliance on I2 in assessing
heterogeneity may mislead. BMC Med Res Methodol 2008;8:79.
[27] Kulinskaya E, Dollinger MB, Bjørkestøl K. Testing for homogeneity in meta-analysis I.
The one-parameter case: standardized mean difference. Biometrics 2011;67:203–12.
[28] Bucher HC, Guyatt GH, Griffith LE, Walter SD. The results of direct and indirect
treatment comparisons in meta-analysis of randomized controlled trials. J Clin Epidemiol
1997;50:683–91.
[29] Lam SKH, Owen A. Combined resynchronisation and implantable defibrillator therapy
in left ventricular dysfunction: Bayesian network meta-analysis of randomised controlled
trials. BMJ 2007;335:925.
[30] Dias S, Welton NJ, Caldwell DM, Ades AE. Checking consistency in mixed treatment
comparison meta-analysis. Stat Med 2010;29:932–44.
[31] Spiegelhalter DJ, Best NG, Carlin BP. Bayesian measures of model complexity and fit. J
R Stat Soc Series B Stat Methodol 2002;64:583–616.
[32] Stettler C, Wandel S, Allemann S, et al. Outcomes associated with drug-eluting and
bare-metal stents: a collaborative network metaanalysis. Lancet 2007;370:937–48.
[33] Lu G, Ades AE, Sutton AJ, et al. Meta-analysis of mixed treatment comparisons at
multiple follow-up times. Stat Med 2007;26:3681–99.
[34] Cipriani A, Furukawa TA, Salanti G, et al. Comparative efficacy and acceptability of 12
new-generation antidepressants: a multipletreatments meta-analysis. Lancet
2009;373:746–58.
[35] Spiegelhalter DJ, Thomas A, Best NG, Lunn D. WinBUGS User Manual, Version 1.4.
Cambridge, UK: MRC Biostatistics Unit, 2002.
[36] OpenBUGS. Available from: www.openbugs.info. [acceso el 6 de diciembre de 2010].
[37] SAS Institute Inc. SAS/STAT User’s Guide, version 9.2. Cary, NC: SAS Institute Inc.,
2008.
[38] Glenny AM, Altman DG, Song F, et al. Indirect comparisons of competing interventions.
Health Technol Assess 2005;9(26).
[39] Jansen JP, Crawford B, Bergman G, Stam W. Bayesian meta-analysis of multiple
treatment comparisons: an introduction to mixed treatment comparisons. Value Health
2008;11:956–64.
[40] Berlin JA, Santanna J, Schmid CH, et al. Individual patient- versus group-level data
meta-regressions for the investigation of treatment effect modifiers: ecological bias rears
its ugly head. Stat Med 2002;21: 371–87.
[41] Berkey CS, Hoaglin DC, Mosteller F, Colditz GA. A random-effects regression model for
meta-analysis. Stat Med 1995;14:395–411.
[42] van Houwelingen HC, Arends LR, Stijnen T. Advanced methods in meta-analysis:
multivariate approach and meta-regression. Stat Med 2002;21:589–624.
[43] Nam I-S, Mengersen K, Garthwaite P. Multivariate meta-analysis. Stat Med
2003;22:2309–33.
[44] Riley RD, Abrams KR, Lambert PC, et al. An evaluation of bivariate random-effects
meta-analysis for the joint synthesis of two correlated outcomes. Stat Med 2007;26:78–97.
[45] Welton NJ, Caldwell DM, Adamopoulos E, Vedhara K. Mixed treatment comparison
meta-analysis of complex interventions: psychological interventions in coronary heart
disease. Am J Epidemiol 2009;169:1158–65.
[46] Welton NJ, Cooper NJ, Ades AE, et al. Mixed treatment comparison with multiple
outcomes reported inconsistently across trials: evaluation of antivirals for treatment of
influenza A and B. Stat Med 2008;27:5620–39.
[47] Woods BS, Hawkins N, Scott DA. Network meta-analysis on the loghazard scale,
combining count and hazard ratio statistics accounting for multi-arm trials: a tutorial. BMC
Med Res Methodol 2010;10:54.
[48] Burch J, Paulden M, Conti S, et al. Antiviral drugs for the treatment of influenza: a
systematic review and economic evaluation. Health Technol Assess 2009;13(58).
[49] Sutton A, Ades AE, Cooper N, Abrams K. Use of indirect and mixed treatment
comparisons for technology assessment. Pharmacoeconomics 2008;26:753–67.
[50] Stewart LA, Clarke MJ. Practical methodology of meta-analyses (overviews) using
updated individual patient data. Stat Med 1995;14: 2057–79.
[51] Sutton AJ, Higgins JPT. Recent developments in meta-analysis. Stat Med 2008;27:625–
50.
[52] Greenland S, Morgenstern H. Ecological bias, confounding, and effect modification. Int
J Epidemiol 1989;18:269–74.
[53] Lambert PC, Sutton AJ, Abrams KR, Jones DR. A comparison of summary patient-level
covariates in meta-regression with individual patient data meta-analysis. J Clin Epidemiol
2002;55:86–94.
[54] Xie M, Singh K, Strawderman WE. Confidence distributions and a unifying framework
for meta-analysis. J AmStat Assoc 2011;106:320–33.
[55] Agresti A. Score and pseudo-score confidence intervals for categorical data analysis.
Stat Biopharm Res In press.
[56] Brockwell SE, Gordon IR. A comparison of statistical methods for meta-analysis. Stat
Med 2001;20:825–40.
[57] Sánchez-Meca J, Márin-Martínez F. Confidence intervals for the overall effect size in
random-effects meta-analysis. Psychol Methods 2008;13:31–48.
[58] Jackson D. The significance level of the standard test for a treatment effect in metaanalysis. Stat Biopharm Res 2009;1:92–100.
[59] Shuster JJ. Empirical vs natural weighting in random effects metaanalysis. Stat Med
2010;29:1259–65; commentary and reply, 1266–81.