Volumen 6 • Número 1 • 2003

Volumen 6 • Número 1 • 2003
VA L U E I N H E A LT H
Principios de Buenas Prácticas en el Desarrollo de Modelos Analíticos para la
Toma de Decisiones en las Evaluaciones de Atención en Salud: Informe del
Grupo de Trabajo de ISPOR sobre Buenas Prácticas en Investigación –
Estudios de modelación
Autores: Milton C.Weinstein, PhD,1 Bernie O’Brien, PhD,2 John Hornberger, MD, MS,3 Joseph Jackson, PhD,4 Magnus Johannesson, PhD,5
Chris McCabe, MSc,6 Bryan R. Luce, PhD7
1 Center for Risk Analysis, Harvard School of Public Health, Boston, MA, EE.UU., y Innovus Research, Inc., Medford, MA, EE.UU;
2 Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canadá; 3 Acumen, LLC, y Stanford University School of
Medicine, Stanford, CA, EE.UU.; 4 Pharmaceutical Research Institute, Bristol-Myers Squibb, Princeton, NJ, EE.UU.; 5 Centre for Health Economics, Stockholm
School of Economics, Estocolmo, Suecia; 6 Trent Institute for Health Services Research, University of Sheffield, Sheffield, Reino Unido; 7 MEDTAP International,
Bethesda, MD, EE.UU.
Traducción validada por:
Pablo Anaya, MHA, Gerente HE&OR, GalaxoSmithKline Mexico, Mexico City, Mexico
Erwin Hernando Hernandez Rincon, MD, MSc, Profesor e Investigador, Universidad de la Sabana, Bogota, Colombia
La citación para este informe es:
Weinstein MC, O'Brien B, Hornberger J, et al. Principles of good practice of decision analytic modeling in health care evaluation: Report of the ISPOR Task Force
on Good Research Practices-Modeling Studies. Value Health 2003; 6:9-17
ABSTRACT
________________________________________________________________________________________________________________
Objetivos: los modelos matemáticos se utiliza ampliamente en la
evaluación económica de fármacos y otras tecnologías sanitarias. Los
usuarios de modelos en el sector público y el sector privado necesitan
ser capaces de evaluar la calidad de los modelos de acuerdo a los
criterios científicos de buenas prácticas. Este informe describe el
consenso de un grupo de trabajo convocado para brindar a los
desarrolladores de modelos las guías necesarias para realizar y
reportar estudios basados en modelos. .
supuestos utilizados en el modelo y aclarando que las conclusiones
están supeditadas a los supuestos y datos sobre los cuales está
construido el mismo.
Métodos: el grupo de trabajo fue creado con el asesoramiento y el
consentimiento del Consejo Directivo de ISPOR. Sus miembros
fueron desarrolladores o usuarios experimentados de los modelos,
que habían trabajado en los sectores académico e industrial y
provenían de distintos países en América del Norte y Europa. El
grupo de trabajo se reunió en tres ocasiones, intercambió
correspondencia y borradores por correo electrónico y solicitó
comentarios sobre tres borradores a un grupo de revisores externos, y
más ampliamente, a los miembros de ISPOR.
La modelación matemática se utiliza ampliamente en la evaluación
económica de fármacos y otras tecnologías sanitarias. El objetivo de
la modelación es estructurar la evidencia clínica y económica de tal
manera que pueda ayudar a que las decisiones sobre la práctica
clínica y las asignaciones de recursos en el área del cuidado de la
salud sean más informadas.
Resultados: los criterios para evaluar la calidad de los modelos se
dividieron en tres áreas: estructura de los modelos, datos utilizados
como entradas para los modelos y validación de los modelos.
Muchos temas importantes abarcaron varias de estas áreas. Los
modelos y sus resultados deben considerarse como herramientas de
apoyo para la toma de decisiones, no como enunciados de datos
científicos. Por lo tanto, no es adecuado exigir que los modelos sean
validados en forma prospectiva antes de ser utilizados. No obstante,
los supuestos sobre la estructura causal y estimaciones de los
parámetros deben contrastarse continuamente con los datos, y
adecuar los modelos consecuentemente. Los supuestos estructurales y
las estimaciones de los parámetros deben informarse en forma clara y
explícita, y se deben ofrecer oportunidades para que los usuarios
valoren la relación condicional entre las entradas y los resultados a
través de los análisis de sensibilidad.
Conclusiones: las evaluaciones basadas en modelos son un recurso
valioso para los tomadores de decisiones del sector salud. Es
responsabilidad de los desarrolladores de los modelos llevar a cabo
este tipo de estudios de acuerdo a los más altos estándares de calidad
posibles, y comunicar los resultados presentando adecuadamente los
Enviar la correspondencia: Milton Weinstein, Center for Risk
Analysis, Harvard School of Public Health,718 Huntington Avenue,
Boston, MA 02115. Correo electrónico: [email protected]
Introducción
Los modelos sintetizan la evidencia sobre las consecuencias y costos
para la salud provenientes de muchas fuentes diferentes, tales como
datos de ensayos clínicos, estudios observacionales, bases de datos
de aseguradoras, registros de casos, estadísticas de salud pública y
encuestas de preferencia. Un modelo es un marco lógico- matemático
que permite integrar datos y valores y que vincula estos datos con
resultados de interés para los tomadores de decisiones en el sector
salud. Para tomar decisiones sobre la asignación de recursos, el
resultado final de un modelo a menudo es la estimación del costo por
año de vida ajustado por calidad (AVAC) ganado u otra medida de
rentabilidad.
Si bien la evidencia proveniente de ensayos clínicos aleatorizados
(RCT, por su siglas en inglés) sigue siendo fundamental para evaluar
de eficacia, cuando estos resultados se analizan de forma aislada
pueden resultar engañosos si no se traducen en medidas que puedan
ser valoradas por los pacientes, los proveedores, las aseguradoras y el
público en general. Por ejemplo, supongamos que un RCT demuestra
que un tratamiento reduce el riesgo de que aparezca una rara secuela
de una enfermedad crónica en un 50%, por otro lado, supongamos
que otro ensayo clínico muestra que un tratamiento diferente reduce
el riesgo en un 10% de una secuela distinta, pero más común esta
última intervención tal vez sea más eficaz y costo-efectiva que la
primera, pero una comparación simple de los resultados de los
ensayos no es suficiente. No obstante, un modelo podría ser útil para
revelar este hecho a los tomadores de decisiones. La comparación
entre ambas intervenciones dependería de una síntesis de la evidencia
sobre la incidencia de las secuelas en la población objetivo, la
reducción del riesgo relativo
que ofrece el tratamiento, la
supervivencia y la calidad de vida con y sin secuelas, y los costos de
las intervenciones y la atención médica necesaria para diagnosticar y
tratar las secuelas.
El valor de un modelo no sólo se encuentra en los resultados que
genera, sino también en su capacidad para mostrar la relación lógica
que existe entre la información de entrada al modelo (es decir, los
datos y los supuestos) y los resultados, en tal forma que las
consecuencias y los costos puedan ser valorados. Por este motivo, un
modelo no debe ser una “caja negra” para el usuario final, sino que
debe ser lo más claro posible, para que la lógica detrás de estos
resultados pueda ser comprendida a un nivel intuitivo. Por este
motivo, los resultados de los modelos nunca deben presentarse como
estimaciones puntuales o como declaraciones absolutas sobre la
eficacia o el costo. Por el contrario, los resultados de los modelos
deben presentarse como consecuencia a los datos ingresados y los
supuestos, y deben incluirse un análisis de sensibilidad para explorar
los efectos de los datos y supuestos alternativos sobre los resultados.
El objetivo de este artículo es enunciar una postura consensuada del
Grupo de Trabajo de ISPOR sobre Buenas Prácticas en Investigación
– Estudios de Modelación. Al igual que los modelos mismos, esta
postura representa el mejor criterio del Grupo de Trabajo en este
momento y está sujeta a modificaciones a medida que surjan nuevas
tecnologías de modelación a través de los avances en materia de
informática y análisis y, fundamentalmente, a medida que se
generalicen nuevas dimensiones de las tecnologías en salud y del
medio ambiente, como la genómica o resistencia microbiana a los
fármacos.
Proceso del Grupo de Trabajo
El Presidente del Grupo de Trabajo de ISPOR sobre Buenas Prácticas
en Investigación – Estudios de Modelación, Milton C. Weinstein, fue
nombrado en el año 2000 por el Presidente del Comité de Ciencias de
la Salud de ISPOR, Bryan R. Luce. Los miembros del Grupo de
Trabajo fueron invitados a participar por el Presidente con el
asesoramiento y consentimiento del Consejo Directivo de ISPOR. Se
buscaron personas que tuvieran experiencia como desarrolladores o
usuarios de modelos farmacoeconómicos; que fueran reconocidos por
ser líderes científicos en el sector; que hubieran trabajado en los
sectores académico e industrial, y también como asesores de
gobiernos; y que provinieran de distintos países. También se
identificó un grupo de referencia de miembros de ISPOR, a quienes
se les pedirían comentarios. El Grupo de Trabajo organizó su primer
encuentro en la Reunión Científica Anual de América del Norte de
ISPOR en Arlington, Virginia, en mayo de 2000. El Grupo de
Trabajo utilizó el correo electrónico para intercambiar bosquejos e
ideas durante los meses siguientes. El Presidente preparó un primer
borrador del informe y lo envió a los miembros del Grupo de Trabajo
para que lo revisaran y aportaran sus comentarios. El borrador
revisado se envió al grupo de referencia y, luego de recibir sus
comentarios, se preparó uno nuevo. Se presentó un resumen de este
borrador en una sesión plenaria de la Reunión Científica Anual de
América del Norte de ISPOR en Arlington, Virginia, en mayo de
2001. Se incorporaron los comentarios del público a un nuevo
borrador revisado, el cual se publicó en el sitio web de ISPOR para
recibir los comentarios del público en general. El siguiente borrador
se presentó en la Reunión Científica Anual de Europa de ISPOR que
tuvo lugar en Cannes, Francia en noviembre de 2001, y se volvió a
publicar un nuevo borrador revisado en el sitio web de ISPOR para
recibir comentarios adicionales. Este informe refleja los aportes
obtenidos de todas estas fuentes.
Definición del concepto de modelo
El Consejo Nacional de Investigación en su informe sobre los usos de
modelos de microsimulación para la política social, ofreció esta
definición de un modelo de simulación: “… una secuencia objetiva y
replicable de cálculos utilizados para generar estimaciones de
cantidades de interés. . .” [1]. Definimos un modelo de evaluación
para atención en salud como una metodología analítica que da cuenta
de eventos a lo largo del tiempo y entre distintas poblaciones, que se
basa en los datos extraídos de fuentes primarias y/o secundarias, y
cuyo propósito es estimar los efectos de una intervención sobre los
costos y las consecuencias para la salud.
Como parte de nuestra definición de trabajo, suponemos que los
modelos de costo-efectividad están diseñados para apoyar la toma de
decisiones. Esto significa que su propósito no es efectuar
afirmaciones absolutas sobre las consecuencias de las intervenciones,
sino revelar la relación entre los supuestos y los resultados. Estos
supuestos incluyen supuestos estructurales sobre las relaciones
causales entre las variables, parámetros cuantitativos tales como la
incidencia y la prevalencia de una enfermedad, la eficacia y
efectividad de un tratamiento, las tasas de supervivencia, los estados
de salud (utilidades), las tasas de utilización y los costos unitarios, así
como juicios de valor, como por ejemplo la naturaleza de las
consecuencias que evalúan los tomadores de decisiones. Un buen
estudio basado en un modelo presenta todos estos supuestos de
manera explícita y clara, y enuncia sus conclusiones condicionadas a
dichos supuestos.
Evaluación del modelo
Los modelos deben utilizarse solamente después de una evaluación
cuidadosa, para asegurarse de que los cálculos matemáticos sean
precisos y coherentes con las especificaciones del modelo (validez
interna), para garantizar que sus entradas y sus resultados sean
coherentes con los datos disponibles (calibración), y para garantizar
que sus resultados tengan sentido y se puedan explicar a un nivel
intuitivo (validez aparente). En el caso de que distintos modelos de la
misma decisión lleguen a conclusiones diferentes, se espera que los
desarrolladores de los modelos puedan explicar el origen de las
diferencias (validación cruzada). La descripción del modelo debe ser
lo suficientemente detallada como para que el modelo pueda ser
replicado matemáticamente.
Las evaluaciones de validez predictiva (la capacidad del modelo para
realizar predicciones precisas de eventos futuros) son valiosas, pero
no esenciales.
Como los eventos futuros transmiten información que no está
disponible al momento en que el modelo es desarrollado y calibrado,
un modelo no debe ser criticado por no poder predecir el futuro. No
obstante, un buen modelo debe estar diseñado para poder ser
calibrado o especificado nuevamente para adaptarse a nueva
evidencia a medida que esté disponible. El criterio para determinar si,
y hasta qué grado, las pruebas de validez predictiva son necesarias
antes del uso del modelo, depende de los beneficios en términos de
mejorar el modelo para la toma de decisiones y los costos de retrasar
el flujo de información mientras se obtienen datos adicionales [2].
Evaluación de la calidad de los modelos
El resto de este enunciado describe el consenso del Grupo de Trabajo
acerca de los atributos que definen a un buen modelo para la toma de
decisiones para la atención en salud. Hemos utilizado
mucha
información de algunos artículos excelentes que ya han propuesto
criterios para evaluar la calidad de los modelos [3–6]. Las
características se organizan bajo las categorías principales de
estructura, datos y validación.
Estructura
1. El modelo debe estructurarse de tal manera que sus entradas y
resultados sean relevantes para la perspectiva de la toma de
decisiones de la evalución económica. Tanto los costos como las
consecuencias para la salud deben reflejar la perspectiva de
toma de decisiones elegida. Por ejemplo, si el estudio tiene la
intención de ayudar a tomadores de decisiones en la asignación
de recursos entre un amplio rango de intervenciones a nivel de la
sociedad, entonces los resultados del modelo deben ser
ampliamente aplicables, y se deben incluir los costos y las
consecuencias para todos los miembros de la población afectada.
Si se utiliza una perspectiva menos amplia que la social,
entonces el informe debe incluir una descripción, al menos
cualitativa, de las implicancias de ampliar la perspectiva a una
perspectiva social.
2. La estructura del modelo debe ser consistente, tanto con una
teoría coherente sobre la condición de salud que se está
modelando como con la evidencia disponible sobre las
relaciones causales entre las variables. Esto no significa que
todas las relaciones causales deben ser comprobadas, tal como
normalmente se realiza en las pruebas de hipótesis, mostrando
que el tamaño del efecto es estadísticamente significativo a un
nivel comúnmente aceptado de significancia (ej: P < .05). Por el
contrario, significa que las relaciones incluidas no se
contradicen por la evidencia disponible y que son consistentes
con teorías ampliamente aceptadas.
3. Si la evidencia de los supuestos estructurales está incompleta, y
no hay una teoría universalmente aceptada sobre el proceso de la
enfermedad, entonces deben reconocerse las limitaciones de la
evidencia que respalda la estructura elegida para el modelo. De
ser posible, deben realizarse análisis de sensibilidad utilizando
estructuras de modelos alternativos (por ejemplo, usando
marcadores indirectos alternativos o variables intermedias).
Los puntos 4 a 8 se relacionan con los modelos de estadotransición (o compartimentales, o de Markov):
4. Se pueden definir estados de salud que correspondan con el
proceso de la enfermedad, estos pueden ser no observados o no
observables, observados o una combinación de ambos. Por
ejemplo, los modelos de estrategias de detección pueden definir
estados de salud en base a una patología subyacente, a un estado
clínico o ambos. No obstante, se debe tener cuidado de evitar el
sesgo estructural cuando las intervenciones modifican tanto la
enfermedad subyacente como la presentación clínica, como es el
caso de los modelos de estrategias para detección de cáncer, en
los cuales los casos de cáncer detectados pueden tener distintos
pronósticos dependiendo del método o la frecuencia con las que
se realicen las pruebas de detección. En general, el sesgo
estructural se evita modelando los estados de la enfermedad
subyacente y luego calibrando los resultados con los datos de los
estados clínicos observados.
5. Cuando las tasas de transición o las probabilidades dependen de
eventos o estados que pueden haber sido experimentados en
períodos de tiempo previos, esta dependencia o “memoria” debe
reflejarse en el modelo. Esto puede hacerse incorporando la
historia clínica o de tratamiento en la definición de los estados
de salud o incluyendo el historial como una covariable al
momento de especificar las probabilidades de transición.
6. No deben omitirse estados por falta de datos. Algunos ejemplos
pueden ser estados de salud crónicos relacionados a eventos
adversos o secuelas poco comunes de una enfermedad que no se
observan en ensayos clínicos. No obstante, la inclusión de un
estado de salud debe basarse en evidencia coherente con la
recomendación 2 descrito arriba.
7. Los motivos para incluir subdivisiones adicionales en los
estados de salud pueden basarse en su importancia clínica, en su
relación con la mortalidad, en su relación con la calidad de vida
o preferencias del paciente, en su relación con los costos de los
recursos o en cualquier combinación. Tal vez sea importante
incluir en forma separada en el modelo los estados de la
enfermedad que no se consideran clínicamente importantes, por
estos otros motivos. Por otro lado, los estados de salud que se
consideran de importancia clínica se pueden incluir para mejorar
la validez aparente, aún cuando no afecten los resultados del
modelo.
8. La duración del ciclo del modelo debe ser lo suficientemente
corta como para que sea poco probable la existencia de cambios
múltiples en la patología, los síntomas, las decisiones sobre el
tratamiento o los costos dentro de un mismo ciclo. La elección
de la duración de un ciclo debe estar justificada.
9. La estructura del modelo debe ser lo más simple posible, y al
mismo tiempo debe tratar de capturar los procesos e
intervenciones fundamentales de la enfermedad. No es necesario
modelar la complejidad total de una enfermedad si la decisión
puede informarse a través de una estructura más general, en
términos de estados de la enfermedad o subgrupos de población.
Si se hacen simplificaciones, las mismas deben estar justificadas
sobre la base de que sería poco probable que afecten los
resultados del análisis. A veces, un análisis de sensibilidad
estructural que use un modelo menos general puede brindar
mayor certeza de que las simplificaciones no afectarán los
resultados.
10. Las opciones y estrategias no deben limitarse solamente a la
disponibilidad de evidencia directa proveniente de los ensayos
clínicos. Tampoco el rango de opciones y estrategias modeladas
debe verse limitado por la práctica clínica aceptada actualmente.
Debe haber un equilibrio entre el hecho de incluir un rango
amplio de opciones factibles y la necesidad de que un modelo
siga siendo manejable, interpretable y basado en la evidencia.
11. Si bien la estructura del modelo debe reflejar las características
esenciales de la enfermedad y sus intervenciones,
independientemente de la disponibilidad de datos, de cualquier
forma se espera que la disponibilidad de datos afecte la
estructura del modelo. Por ejemplo, si un sistema de
clasificación en particular ha sido utilizado con más frecuencia
en estudios clínicos, entonces los estados de salud bien pueden
definirse de acuerdo con dicho sistema de clasificación, incluso
si otros sistemas de clasificación funcionan mejor a la hora de
predecir resultados o de diferenciar entre calidad de vida y
costo.
12. No tomar en cuenta la heterogeneidad dentro de la población
modelada, puede generar errores en los resultados del modelo.
Cuando sea posible, las poblaciones modeladas deben separarse
en subgrupos que tengan diferecias en las probabilidades de
eventos, calidad de vida y costos. Esto es particularmente
importante cuando las tasas de recurrencia de los eventos a lo
largo del tiempo se correlacionan dentro de los subgrupos que
tienen distintas tasas de eventos, de lo contrario, se pueden
obtener estimaciones sesgadas de los resultados a largo plazo.
13. El horizonte temporal del modelo debe ser lo suficientemente
largo como para reflejar diferencias importantes y de interés
entre las consecuencias a largo plazo y el costo de otras
opciones y estrategias. Para muchos modelos los horizontes
temporales del total de la expectativa de vida son adecuados y
casi siempre se exigen en modelos cuyas opciones tienen tasas
de supervivencia con duraciones diferentes. Los horizontes más
cortos pueden justificarse si la supervivencia y las secuelas
crónicas a largo plazo no difieren entre las opciones o se basan
en un entendimiento del proceso de la enfermedad y el efecto de
las intervenciones. En cualquier caso, la falta de datos de
seguimiento a largo plazo no debe utilizarse como una
justificación para no ampliar el horizonte temporal, siempre y
cuando sea relevante para la decisión que se está analizando.
Datos
Nuestras recomendaciones sobre los datos utilizados en los modelos
se agrupan en tres categorías: identificación de los datos, modelación
de los datos e incorporación de los datos.
obtención de los datos no equivalen a los beneficios que se
pierden si se actúa con la evidencia existente.
Identificación de los datos
1.
Un modelo no debe ser criticado porque los datos existentes no
cumplen con los estándares ideales de rigor científico. Las
decisiones se tomarán con o sin el modelo. Rechazar el modelo
debido a que la evidencia está incompleta, significaría que una
decisión sin los datos y sin el modelo es mejor que una decisión
con el modelo pero sin los datos. Con el modelo, la evidencia
disponible puede utilizarse de forma lógica para tomar una
decisión informada; sin el modelo, se perdería una oportunidad
de utilizar la evidencia disponible dentro de un marco lógico.
2.
Deben realizarse revisiones sistemáticas de literatura sobre los
datos de entrada al modelo. El modelo debe estar acompañado
por evidencia de que dichas revisiones se han efectuado, o por
una justificación de que esto no se ha hecho en base a la
idoneidad y generalización de los datos ya obtenidos.
3.
El rango (es decir, los límites máximo y mínimo) debe
acompañar a las estimaciones del caso base de todos los
parámetros de entrada para los cuales se realisen análisis de
sensibilidad. La elección de los parámetros para los análisis de
sensibilidad es una cuestión de criterio del analista, pero el
hecho de no realizar un análisis de sensibilidad sobre un
parámetro cuyo valor podría ser controvertido, deja abierta la
posibilidad a cuestionar las conclusiones.
4.
La especificación de las distribuciones de probabilidad para los
parámetros de entrada, en base a la incertidumbre del muestreo
y/o entre variaciones del estudio, puede incorporarse a un
análisis de sensibilidad probabilístico formal. Sin embargo, esto
no siempre es necesario ni costo efectivo. Con el fin de evaluar
las distribuciones de las entradas, la metodología preferida es
utilizar las distribuciones posteriores obtenidas a partir de metaanálisis formales y análisis Bayesianos, pero las consideraciones
prácticas podrían conducir a la aplicación del criterio de los
expertos (ver punto 7 debajo).
5.
Si se excluyen fuentes de datos conocidas para la estimación de
los parámetros, se debe justificar dicha exclusión.
6.
Las fuentes de datos y resultados no deben rechazarse sólo
porque no cumplen con la “significancia estadística” de acuerdo
a los límites de probabilidad generalmente aceptados (ej.: P >
.05). Toda la evidencia, aún cuando sea insuficiente para
descartar la aleatoriedad como causa, puede incorporarse
legítimamente a los modelos. Esto está sujeto a la condición de
que la incertidumbre sobre los cálculos sea revelada y evaluada
en análisis de sensibilidad y que las conclusiones sean
claramente formuladas como condicionales, supeditadas a las
estimaciones de las entradas utilizadas.
7.
8.
La opinión de los expertos es un método legítimo para evaluar
los parámetros, siempre y cuando se demuestre que alguno de
estos parámetros no afecta los resultados de manera importante,
o que se presente un análisis de sensibilidad sobre estos
parámetros con un enunciado claro de que los resultados están
supeditados a esta(s) estimación(es) subjetivas. Si se obtiene la
opinión de expertos y los resultados se ven afectados por dichas
opiniones, entonces el proceso de obtención de dichas opiniones
debe informarse detalladamente. Se prefieren estimaciones de
expertos derivados de métodos formales como técnicas de grupo
nominal o Delphi.
Se debe mostrar que se consideraron otras opciones razonables
para obtener nuevos datos adicionales antes de desarrollar el
modelo. En este contexto, “razonable” significa que el costo y el
retraso inherentes a la obtención de los datos están justificados
por el valor esperado de la nueva información para el análisis. Si
bien existen métodos formales para evaluar el valor de la
información, es suficiente con brindar un argumento heurístico
sobre la razón por la cual el cuerpo de la evidencia existente era
óptimo desde el punto de vista de informar las decisiones
actuales. Esto a menudo puede lograrse utilizando análisis de
sensibilidad, para mostrar que los intervalos razonables de datos
conducirían a la obtención de hallazgos cualitativamente
similares, o argumentando que el costo y el retraso en la
Modelación de datos
1.
La modelación de datos hace referencia a los pasos matemáticos
que se siguen para transformar las observaciones empíricas en
un formato que sea útil para la modelación de decisiones.
Algunos ejemplos incluyen:
a.
El método de incorporar estimadores de los ensayos
clínicos de la efectividad del tratamiento con estimadores
de los resultados de referencia provenientes de datos
epidemiológicos o de salud pública. Las estimaciones de
efectividad pueden basarse en los datos de “intención a
tratar” o “de pacientes en tratamiento”, dependiendo de los
objetivos del análisis. A menudo, un enfoque adecuado es
calcular las estimaciones de riesgo relativo (o razón de
momios) entre las opciones de tratamiento provenientes de
ensayos clínicos y superponerlas con las probabilidades de
supervivencia de las estimaciones de referencia (ej:
población no tratada o con tratamiento convencional) u
otras variables provenientes de fuentes de estudios
poblacionales.
b.
El método para transformar las probabilidades de intervalos
provenientes de la literatura o de un ensayo clínico en una
probabilidad instantánea y luego en una probabilidad de
transición o probabilidad de evento, correspondiente al
intervalo de tiempo utilizado en el modelo.
c.
El método para combinar la mortalidad específica de la
enfermedad con la mortalidad general dentro del modelo.
En general, es aceptable calcular las probabilidades de
mortalidad general de las tablas de mortalidad nacionales, a
menos que se pueda justificar el uso de una fuente
alternativa. En general, no es necesario corregir el hecho de
que la mortalidad general incluye a la mortalidad específica
de laenfermedad dentro de la población general, a menos
que la enfermedad represente una causa importante de
muerte en los grupos demográficos que están siendo
modelados.
d.
El método para modelar la supervivencia (como por
ejemplo una distribución exponencial, gamma, de Weibull
o de Gompertz). La elección de una forma funcional para la
mortalidad específica de la enfermedad debe especificarse
y justificarse. En general, la mortalidad general debe
modelarse de forma no paramétrica en base a los datos de
la tabla de mortalidad.
e.
Modelar factores de riesgo o intervenciones como si
tuvieran un efecto aditivo o multiplicativo sobre las
probabilidades de referencia o las tasas de incidencia de la
enfermedad o mortalidad. Debe buscarse evidencia que
respalde la forma aditiva o multiplicativa en estudios que
examinen el efecto del factor de riesgo o la intervención en
una población estratificada por riesgo base.
f.
El método para combinar las utilidades específicas de un
campo en una función multiatributo de utilidad. Es
preferible usar instrumentos de calidad de vida
relacionados consalud, con sistemas de calificación
previamente especificados en base a los métodos de
“elección forzada” (juego estándar, equivalencia temporal).
g.
El método para transformar valores de los estados de salud
(como las escalas de calificación o las clasificaciones de
estados de salud) en factores de ponderación de la calidad
de vida.
h.
El método para transformar cargos en costos.
i.
El método para ajustarse a la inflación o poder adquisitivo a
lo largo del tiempo y entre los distintos países. El ajuste a la
inflación debe basarse en el Índice de Precios al
Consumidor (IPC), sus componentes para la atención en
salud, o uno o más de sus subcomponentes, como los
servicios o equipamientos de atención médica. La elección
entre el IPC general y su componente de atención en salud
o sus subcomponentes depende de si los recursos
considerados están mejor representados por la canasta del
mercado (o de productos básicos) general en el IPC o en la
canasta del mercado para atención en salud. Una limitación
del IPC para atención en salud es que refleja no sólo los
precios sino también, hasta cierto punto, las cantidades de
insumos requeridos para producir servicios para la atención
en salud. El método a elegir para adaptarse a cada país es
utilizar la paridad del poder adquisitivo. No obstante, una
simple conversión de divisas sería adecuada si existe un
mercado internacional para un insumo a un precio fijo.
j.
2.
3.
4.
El método para descontar los costos y los efectos en salud
al valor actual.
Los supuestos para la modelación de datos deben presentarse de
forma transparente y estar respaldados por evidencia de su
aceptación general y, preferentemente, de su validez empírica.
Se deben documentar y registrar cuidadosamente las medidas
principales que se han tomado para desarrollar el modelo. La
credibilidad del modelo puede mejorarse mostrando cómo se
concibió un modelo; por ejemplo, antes o durante la Fase III o
IV de un ensayo clínico, y cómo su estructura y datos de
entrada evolucionaron a medida que se obtenía evidencia nueva
(por ejemplo, luego de finalizado un ensayo clínico) en
respuesta a los debates subsiguientes con expertos clínicos y en
materia de regulación y política.
Cuando los enfoques alternativos, pero igualmente justificables,
de modelación de datos pueden generar resultados notoriamente
diferentes, es necesario realizar análisis de sensibilidad para
evaluar las implicancias de estas alternativas. Por ejemplo, si un
modelo predice beneficios menores en lo que respecta a la
expectativa de vida a mayor edad, pero el modelo usa una
especificación multiplicativa del efecto de una intervención
sobre la mortalidad de referencia, entonces debe evaluarse la
alternativa de un modelo aditivo. Si existe una evidencia
empírica más fuerte que respalde una forma funcional, entonces
esa forma debería ser el caso base y la(s) forma(s) alternativa(s)
debería(n) evaluarse a través de un análisis de sensibilidad.
Los métodos de modelación de datos generalmente deben
respetar los métodos aceptados en bioestadística y
epidemiología. En el caso de la modelación, el meta-análisis es
un enfoque válido y deseable, siempre y cuando se tenga el
cuidado de reconocer la heterogeneidad que existe entre las
fuentes de datos. La heterogeneidad puede ser integrada, ya sea
segregando las estimaciones basadas en grupos diferentes de los
estudios primarios, o bien calculando modelos jerárquicos
formales para combinar información de estudios heterogéneos.
6.
Si se utiliza una simulación de cohorte, el análisis de
sensibilidad se puede realizar usando una simulación
probabilística (Montecarlo de segundo orden), utilizando las
distribuciones de probabilidad específicas de las entradas de los
parámetros. Al especificar estas distribuciones de parámetros, se
debe tener cuidado de garantizar que la interdependencia entre
los parámetros quede reflejada adecuadamente en la distribución
conjunta de los parámetros.
7.
Cuando sea apropiado, y si las diferencias en la supervivencia
ajustada por calidad entre las alternativas son menores que la
duración de un ciclo, se debe utilizar la corrección de medio
ciclo para ajustar los cálculos relacionados con el tiempo en el
modelo.
Validación
Nuestras recomendaciones sobre la validación de los modelos se
agrupan en tres categorías: validación interna, validación entre
modelos y validación externa.
Validación interna
1.
Los modelos deben someterse a una evaluación interna y una
“depuración”. Se debe suministrar evidencia de que esto se ha
hecho. Este proceso debe incluir la utilización de valores
ingresados nulos o extremos para evaluar si producen los
resultados esperados. También se puede incluir un examen del
código del programa para detectar errores de sintaxis y
evaluaciones de las repeticiones, utilizando valores de entrada
equivalentes.
2.
Cuando sea posible, los modelos deben calibrarse
contrastándolos con los datos. La calibración es posible cuando
existen datos en los resultados del modelo y las entradas del
modelo, en el período de tiempo que se está modelando. Los
datos de calibración pueden provenir de estadísticas nacionales
de salud, como el número de muertes, hospitalizaciones,
procedimientos o costos de los recursos, tanto generales como
específicos por edad y sexo. Los datos de calibración deben
provenir de fuentes independientes de datos utilizadas para
calcular los parámetros de entrada en el modelo. Un modelo no
debe ser criticado si no existen datos de calibración
independientes. No obstante, un modelo está sujeto a críticas si
los datos independientes aptos para la validación existen y el
modelo no produce resultados consistentes con esos datos (o no
se pueden explicar las discrepancias) o si el modelador no ha
examinado la concordancia entre los resultados del modelo y
dichos datos.
3.
Si bien el código fuente por lo general debe permanecer como
propiedad del modelador, se deben solicitar copias de los
modelos con una interfaz de usuario adecuada, las cuales
deberán estar disponibles para fines de revisión científica, bajo
estrictas condiciones de seguridad y protección de los derechos
de autor.
Incorporación de datos
1.
Las unidades de medida, los intervalos de tiempo y las
características de la población deben ser mutuamente
consistentes a través de todo el modelo.
2.
Es aceptable la utilización de una simulación probabilística
(Montecarlo, de primer orden) o determinística (de cohorte).
3.
Si se utiliza una simulación de primer orden, o Montecarlo, se
debe proporcionar evidencia de que el error aleatorio de
simulación (es decir, la desviación estándar de los valores del
resultado por ejecución) es visiblemente menor que el tamaño
del efecto de interés.
4.
5.
Todos los estudios de modelación deben incluir amplios análisis
de sensibilidad de los parámetros clave. Se pueden utilizar
análisis de sensibilidad determinísticos (univariado y
multivariado) o probabilísticos.
Cuando sea posible, los análisis de sensibilidad dentro de los
modelos que usen simulaciones de Montecarlo deben utilizar
números aleatorios generados a partir de un solo valor inicial
(semilla) dentro de cada análisis de sensibilidad, para minimizar
los errores en la simulación aleatoria.
Validación entre modelos
1.
Los modelos deben ser desarrollados independientemente entre
sí, para permitir evaluaciones de corroboración entre los
modelos (validez convergente).
2.
Si los resultados de un modelo difieren considerablemente de
resultados publicados o públicamente disponibles basados en
otros modelos, el modelador debe hacer todo lo posible por
explicar las discrepancias. ¿Estas discrepancias se deben a
diferencias en la estructura del modelo o en los valores de
entrada?
3.
Los modeladores deben cooperar con otros modeladores en la
comparación de resultados y en la articulación de los motivos de
las discrepancias. (Reconocemos el trabajo de las agencias de
financiación que apoyan este tipo de colaboración, como el
programa CISNET para la modelación de cáncer, patrocinado
por el Instituto Nacional deCáncer de los EE.UU.)
Validación externa y predictiva. Los modelos deben estar basados en
la mejor evidencia disponible al momento de su creación. En áreas
como el VIH e hiperlipidemia, los primeros modelos utilizados
suponían que las consecuencias para la salud estaban influidas por los
factores de riesgo (recuento de células CD4, colesterol sérico). Se
descubrió que datos posteriores provenientes de algunos ensayos
clínicos discrepaban con las estimaciones de los modelos iniciales,
mientras que otros eran consistentes con los supuestos del modelo.
Los aportes de los ensayos clínicos permitieron la creación de una
segunda generación de modelos, tanto para el VIH como para la
hiperlipidemia, cuyas estimaciones se aproximan más a las de los
ensayos clínicos. En VIH, esto se ha logrado a través de la
incorporación de la resistencia a los medicamentos antirretrovirales
en las estimaciones de eficacia del tratamiento y del ARN del VIH
como un marcador de la virulencia de la enfermedad. En la
hiperlipidemia, esto se ha logrado a través de la modelación de las
fracciones de colesterol LDL y HDL como factores de riesgo. Las
discrepancias restantes entre la evidencia empírica directa y los
resultados del modelo aún no se han explicado. Aún se desconoce si
éstas se relacionan con defectos en el diseño del ensayo clínico (ej.:
selección de los pacientes, cruces en el tratamiento) o con factores
biológicos subyacentes (ej.: proteína C reactiva y estatinas,
recuperación inmunológica y tratamiento antirretroviral). Por lo
tanto, los modelos no sólo capturan el conocimiento de la ciencia al
momento en el que el modelo se construye (en un momento en el que
aún puede haber datos limitados a largo plazo sobre el nuevo
tratamiento), sino que además pueden ofrecer una base para
contrastar e interpretar la información proveniente de nuevos
estudios. La capacidad que tienen los modelos para adaptarse a la
nueva evidencia y el conocimiento científico debe considerarse una
fortaleza, no una debilidad del enfoque del modelado.
1. Como el objetivo de los modelos es respaldar la toma de
decisiones, y como sus resultados deben informarse como
supeditados a los supuestos de las entradas, no es necesario
evaluar cada estimación de datos o supuesto estructural en
estudios prospectivos, antes del uso del modelo.
2. La decisión de obtener datos adicionales para alimentar un
modelo debe basarse en un equilibrio entre el valor esperado de
la información adicional y el costo de la información.
a. El “valor esperado de la información” hace referencia al
concepto de la teoría de decisión, que valora la información
en términos de su efecto esperado (o promedio) sobre las
consecuencias de las decisiones. Por ejemplo, el valor
esperado de la información sería cero para un estudio del
parámetro de un modelo cuyo alcance anterior no incluya el
umbral para la elección entre distintas opciones de
decisión. El criterio con respecto a las probabilidades
anteriores de los resultados posibles del estudio es una
parte inevitable de la evaluación del “valor esperado de la
información”.
b. El “costo de la información” incluye el costo de los
recursos para realizar un estudio o ensayo empírico, al igual
que los beneficios perdidos esperados por demorar las
decisiones hasta que el estudio o ensayo haya sido
completado. El criterio con respecto a las probabilidades
anteriores de los efectos del tratamiento es una parte
inevitable de la evaluación del costo de la información.
c. Las recomendaciones para la realización o diseño de
investigaciones para guiar la toma de decisiones en el
futuro se puede basar en un análisis formal del valor de la
información o en una interpretación informal de las
implicanciones de los análisis de sensibilidad.
3. Los modelos nunca deben ser considerados completos o
inmodificables. Deben ser actualizados en repetidas ocasiones, y
a veces deben ser abandonados y reemplazados, a medida que
surge nueva evidencia para dar forma a su estructura o valores
de entrada. Como corolario, los modelos que han demostrado ser
contradictorios con la nueva evidencia, pero que no han sido
revisados o calibrados para para incorporarla, deben ser
abandonados hasta que se logre esa nueva calibración.
Observaciones finales
Si bien estas pautas representan los puntos de vista actuales de este
Grupo de Trabajo, no deben ser consideradas rígidas o inmutables.
Esto no es un “reglamento”. Diferentes circunstancias llevarán a
desviaciones de estas pautas, dependiendo de los recursos disponibles
para el modelador (tiempo, dinero y datos) y del objetivo del modelo.
Desde nuestro punto de vista, lo más importante que se debe tener en
cuenta a la hora de evaluar un modelo de evaluación de atención en
salud es que los resultados no deben ser considerados afirmaciones
sobre los hechos o como predicciones sobre el futuro. En cambio, su
propósito es sintetizar la evidencia y los supuestos de una manera que
les permita a los usuarios finales adquirir un mayor conocimiento
sobre las implicanciones de esas entradas sobre las consecuencias y
los costos evaluados. Sus resultados estarán siempre condicionados a
sus entradas, razón por la cual es tan importante que sus entradas
sean lo más transparentes y accesibles como sea posible.
Otras lecturas sobre la metodología de modelado
El objetivo de este informe no es brindar una descripción general de
la metodología de modelado, sino identificar esos aspectos de la
metodología que el Grupo de Trabajo califica como buenas prácticas
de investigación. Recomendamos las siguientes fuentes para aquellos
lectores que deseen familiarizarse con los conceptos básicos de los
métodos de modelado. Como libro de texto introductorio sobre
análisis de decisiones, incluidos los árboles de decisión y los modelos
de Markov, consulte Hunink y colaboradores. [7]. Para ver métodos
contemporáneos de modelado en evaluaciones económicas, incluido
un panorama general de los métodos para modelar la supervivencia a
partir de datos de ensayos, y un panorama general de los enfoques
determinístico y estocástico del modelaje, consulte Kuntz y
Weinstein [8]. Para acceder a un panorama general sobre los métodos
para manejar la incertidumbre en los modelos, consulte Briggs [9] y
el Capítulo 11 de Hunink y cols. [7]. Los siguientes miembros de
ISPOR aportaron comentarios útiles por escrito en los borradores de
este informe: Phantipa Sakthong, MS, Faculty of Pharmaceutical
Sciences, Chulalongkorn University, Bangkok, Tailandia; Mendel
Singer, PhD, Case Western Reserve University, Cleveland, OH,
EE.UU.; y Leslie Wilson, PhD, MS, University of California at San
Francisco, San Francisco, CA, EE.UU. Los autores también le
agradecen a la Directora Ejecutiva de ISPOR, Marilyn Dix Smith,
PhD, por el apoyo administrativo para que se organicen reuniones del
Grupo de Trabajo.
Referencias
1. National Research Council. Improving Information for
Social Policy Decisions: The Uses of Microsimulation
Modeling, Vol. 1, Review and Recommendations.
Washington: National Academy Press; 1991.
2.
Weinstein MC, Toy EL, Sandberg EA, et al. Modeling for
health care and other policy decisions: Value Health
2001;4:348–61.
3.
Sculpher M, Fenwick E, Claxton K. Assessing quality in
decision analytic cost-effectiveness models: a suggested
framework
and
example
of
application.
Pharmacoeconomics 2000;17:461–77.
4.
Hay J, Jackson J, Luce B, et al. Methodological issues in
conducting pharmacoeconomic evaluations— modeling
studies. Value Health 1999;2:78– 81.
5.
Akehurst R, Anderson P, Brazier J, et al. Decision analytic
modeling in the economic evaluation of health
technologies. Pharmacoeconomics 2000;17: 443–4.
6.
Gold MR, Siegel JE, Russell LB, Weinstein MC, editors.
Cost-Effectiveness in Health and Medicine. Report of the
Panel on Cost-Effectiveness in Health and Medicine. New
York: Oxford University Press; 1996.
7.
Hunink M, Glasziou P, Siegel J, et al. Decision Making in
Health and Medicine: Integrating Evidence and Values.
Cambridge: Cambridge University Press; 2001.
8.
Kuntz K, Weinstein M. Modelling in economic evaluation.
In: Drummond M, McGuire A, editors. Economic
Evaluation in Health Care: Merging Theory with Practice.
Oxford: Oxford University Press; 2001.
9.
Briggs A. Handling uncertainty in economic valuation and
presenting the results. In: Drummond M, McGuire A,
editors. Economic Evaluation in Health Care: Merging
Theory with Practice. Oxford: Oxford University Press;
2001.