Análisis de sensibilidad:

Análisis de sensibilidad:
Métodos probabilísticos en la
evaluación económica de
t
tecnologías
l í sanitarias
it i
Parte 2
David Epstein
[email protected]
1
La presentación
• El AS deterministico
– U
Univariante/multivariante
i i t / lti i t
– Siempre es necesario pero no es suficiente
• El AS probabilístico
b bilí ti (ASP)
– Para evaluar la incertidumbre global en el modelo
– La importancia de valores extremos
• Distribuciones de los parámetros
• Las simulaciones Monte – Carlo
• Curva de aceptabilidad de coste efectividad
• El valor de la información
2
Desafios a una AS deterministico
• Interpretacion de los resultados
• Correlaciones entre los parametros del
modelo
• La distribuciones de los parametros del
modelo
d l
• Varían simultáneamente de valor 2 o más
parámetros del modelo
3
Análisis de sensibilidad
determinísticos
• El AS deterministico no cuantifica la
probabilidad de valores extremos
p
• Valores extremos puede cambiar las
conclusiones de un análisis pero pueden ser
muy improbables
• Un análisis de sensibilidad probabilístico
puede superar esta limitación
4
Inputs
p
Modelo determinístico sencillo
Estructura del Modelo
Progresión de
la enfermedad
P(mala, A)= 0.30
Tratamiento A
Buena 11
AVACs
Buena salud =11
Mala salud = 10
Tratamiento A
AVAC
Cost
10.70 1000
Buena salud
Valores medios
Efectos clínicos
Odds ratio 0,78
p
Output
Mala 10
0 30
0.30
Tratamiento B
Tratamiento B
AVAC
Buena 11
Cost
10.75 2500
Buena salud
Costes €
A = 1000
B= 2500
Mala 10
RCEI=
0.25
1500/0.05=
30000
5
Inputs
p
ASP Probabilistico y multivariante
Progresión de
la enfermedad
Estructura del Modelo
Tratamiento A
P (mala, A)
Buena 11
Buena salud
Mala 10
Efectos
clínicos
Ratio Odds A vs B
AVACs
Buena salud =11
Mala = 10 AVACs
Costes
A = 1000
B= 2500
Tratamiento B
Buena 11
Buena salud
Mala 10
p
Output
Tratamiento A
AVAC
Coste
…
…
…
…
…
…
10.70 1000
Tratamiento B
AVAC
Coste
…
…
…
…
…
…
10.75
2.500
6
Medio ponderado
Análisis de sensibilidad
probabilístico (ASP)
• Objetivo
– Calcular la probabilidad de que la
intervención es costo-efectiva,, dado
• La estructura del modelo
• El WTP p
por el beneficio (p
(p.ej.
j Por AVAC))
• La distribución de los parámetros del
modelo
7
Inputs
p
ASP Probabilistico
p
Output
Estructura del Modelo
Progresión de
la enfermedad
P(mala, A)= 0.30
Tratamiento A
Treatment A
Buena 11
Efectos
clínicos
Buena salud
Mala 10
AVAC
C t
Coste
10.70 1000
0 30
0.30
Odds ratio
AVACs
Buena salud =11
Mala = 10 AVACs
Tratamiento B
Buena 11
Buena salud
Costes
A = 1000
B= 2500
Mala 10
P(mala|B)
Treatment B
AVAC
Coste
10.85
2.500
10 75
10.75
2 500
2.500
10.55
2.500
10.75
2.500
8
La familia de las distribuciones
p
paramétricas
Distribución Inputs
Descripción
Normal
Media, DE Simétrico
Rango : -Inf a +Inf
Uniforme
Min, Max
Rango min-max. Todos
los valores tienen una
probabilidad igual
9
Desviación estándar
Más distribuciones paramétricas
Distribución
B t
Beta
Inputs
Numero
N
con un
evento
t
Numero sin
un evento
Log-normal
g
Media,, DE
Gamma
Descripción Util para
D
ibi una
Rango de
R
d 0 Describir
probabilidad
a 1, no es
simétrico
i ét i
Rango
g 0a
Infinito
Shape, scale Rango 0 a
Infinito
Describir un
Odds Ratio
Describir
los costes
10
L distribucíon
La
di t ib í del
d l Odds
Odd Ratio
R ti del
d l tratamiento
t t i t
(La angina aguda)
Odds ratio 0,78, 95% CI 0,68-0,89]
En función “log”
Media= log(0,78)
Media
log(0 78)
= -0.25
DE= {log(0.89) – log (0.68)}/ 4=
0.065
11
La distribución LogNormal
No son
simétricas
0
0.5
1
___
Lognormal(Mean -0.25;
0 25; SE 0,065)
0 065)
____
L
Lognormal(Mean
l(M
-0.25;
0 25 SE 0,15)
0 15)
____
Lognormal(Mean -0.25; SE 0,30)
1.5
2
2.5
1,0
Odds ratio
3
3.5
4
Bland, M. (2000) BMJ
12
320; 1468
El método de Monte Carlo
• Un método de simulación
• Elige una muestra aleatoria de valores para
el parámetro de interés (p ej.
ej 1.000
1 000 valores)
– ¿Como?
• Calcula el modelo para cada valor en la
muestra
13
Simulación Monte-Carlo
0
0.5
1
1.5
2
2.5
3
3.5
4
0 895
0,895
• Elige un numero
aleatorio
l
i entre 0 y 1
• En Excel, RAND()
• Por ej. 0,175
17 5% del área de la
• 17.5%
distribución es a la
derecha de 0,895
0 895
Rand Mean SE
LOGINV( 1 - 0,175 ; -0,25 ; 0,15 ) = 0,895
Odds ratio
Odd
ti en
simulación14#1
Una muestra aleatoria de valores
de la distribución
Rand Mean SE
MC
Rand
OR
1
0.175
0.895
2
0.476
0.785
3
0.830
0.674
4
0 010
0.010
1 103
1.103
5
0.117
0.930
6
0.203
0.881
7
0.933
0.621
8
0.203
0.881
9
0.122
0.926
10
0.053
0.992
LOGINV( 1 - 0,053 ; -0,25 ; 0,15 ) = 0,992
Odds ratio
Odd
ti en
simulación 15#10
Calculación del modelo para cada
simulación (n
(n=10)
10)
WTP=
MC
1
2
3
4
5
6
7
8
9
10
OR
0.895
0.785
0.674
1.103
0.930
0.881
0.621
0.881
0.926
0.992
0,87
DC
1500
1500
1500
1500
1500
1500
1500
1500
1500
1500
1500
DU
0.023
0.048
0.076
-0.021
0.015
0.026
0.090
0.026
0.016
0.002
0,03
ICER
65923
31036
19779
Dominated
100021
57940
16699
57839
94347
856055
OjO
j
20000
Select
A
A
B
A
A
A
B
A
A
A
35000
Select
A
B
B
A
A
A
B
A
A
A
P(B)=0,2
( )
P(B)=0,3
( )
16
10 simulaciones MC
Dif Costes
2000
Simulacion #10
1500
1000
Simulacion #4
Simulacion #1
500
-0.040
-0.020
0
0.000
0.020
0.040
0.060
0.080
0.100
Dif AVAC
17
10 simulaciones MC
Dif Costes
WTP=20000
2000
1500
1000
Probabilidad B es coste-efectivo=
500
2/10 20%
2/10=20%
-0.040
-0.020
0
0.000
0.020
0.040
0.060
0.080
0.100
Dif AVAC
18
10 simulaciones MC
Dif Costes
WTP=35000
WTP=20000
2000
1500
1000
Probabilidad B es coste-efectivo=
500
3/10 30%
3/10=30%
-0.040
-0.020
0
0.000
0.020
0.040
0.060
0.080
0.100
Dif AVAC
19
Los resultados del ASP
• 10 simulaciones no es suficiente para un Monte Carlo.
• La media de una muestra de 1.000
1 000 simulaciones
– Diff Costes = 1.500
– Diff AVAC = 0,05
RCEI = 1.500 / 0,05 = 30.000
Probabilidad que B es el tratamiento coste-efectivo:
WTP
20.000
30.000
35 000
35.000
10 simulaciones
i l i
20%
20%
30%
1 000 simulaciones
1.000
i l i
16%
50%
58%
20
Curva de aceptabilidad de coste
efectividad (1.000 simulaciones)
Darba.(2006) Gac San. 20(1) 74-77
1
0.9
T
Tratamiento
i
B
0.8
Prob qque el
tratamiento
es costeefectivo
0.7
0.6
58%
0.5
0.4
Tratamiento A
0.3
16%
0.2
0.1
0
0
10000
20000
30000
40000
50000
60000
70000
20K 30K 35K Disposición a pagar €/AVAC
21
Curva de aceptabilidad de coste
efectividad (CEACc)
• Las características de la curva
• En
E ell caso de
d 2 tratamientos,
i
P(B) = 1-p(A)
1 (A)
• En el caso de >2 tratamientos, P(A)+P(B)+P(C )
+...= 1
• Cuando WTP=0 Æ analisis de minimización de
costes
• Cuando WTP = Infinito Æ la curva tiende a la
probabilidad
b bilid d que B es más
á efectivo
f i
• Cuando WTP=RCEI Æ la probabilidad que B es
más
á coste-efectivo
t f ti es (aproximadamente)
(
i d
t ) 50%
22
Desafios a una AS deterministico
• Interpretacion de los resultados
• Correlaciones entre los parametros del
modelo
• La distribuciones de los parametros del
modelo
d l
• Varían simultáneamente de valor 2 o más
parámetros del modelo
23
Análisis de sensibilidad
multivariante
• En la mayoría de modelos hay muchos
parámetros inciertos
• Aunque los parámetros sean independientes,
independientes
los resultados del modelo varían en función
de los demás
24
Un análisis de sensibilidad
deterministico y multivariante
Riesgo bajo
B mucho mas
efectivo
f i que A
B un poco mas
efective
f i que A
OR = 0,68
OR = 0,78
RCEI = 27.000
RCEI = 40.000
RCEI = 19.000
19 000
RCEI = 30.000
30 000
P ((mala | A)) = 0,2
,
Riesgo alto
P (mala | A) = 0,3
25
Supone WTP = 20.000
Métodos del analisis de
sensibilidad
Deterministico
Simple
((univariante))
Varían un parámetro,
los otros son fijos
j
Recomendable
Combinado
Varían simultáneamente
(multivariante) de valor dos o más
parámetros del modelo
Difícil en el caso de
más que dos parámetros
inciertos
26
Métodos del analisis de
sensibilidad
Simple
((univariante))
Deterministico
Probabilistico
Varían un parámetro,
los otros son fijos
j
Posible, pero no recomendable en la
practica
p
Recomendable
Combinado
Varían simultáneamente Para evaluar la incertidumbre
(multivariante) de valor dos o más
global. Recomendable
parámetros del modelo
Difícil en el caso de
más que dos parámetros
inciertos
27
Análisis de sensibilidad
multivariante y probabilistico
• Objetivo
• Evaluar la probabilidad de que la
i t
intervención
ió sea coste-efectiva
t f ti dado:
d d
• La estructura del modelo
• El WTP por beneficios de salud
• La incertidumbre conjunta en todos los
parámetros
28
ASP Multivariate
Modelo
Output
p
Estructura del Modelo
Tratamiento A
Inputs
p
Efectos
clínicos
Tratamiento A
Buena 11
Ratio Odds A vs B
P (mala,
(mala A)
AVACs
Buena salud =11
Mala = 10 AVACs
Costes
A = 1000
B= 2500
Valores medios
Progresión de
la enfermedad
Buena salud
Mala 10
Tratamiento B
Buena 11
Buena salud
Mala 10
AVAC
Coste
…
…
…
…
…
…
10.70 1000
vB
AVAC
Coste
…
…
…
…
…
…
10.75
2.500
29
Ejercicio
• Dibuja rápidamente un ejemplo de cada
di ib ió
distribución
–
–
–
–
Normal
Lognormal
Beta
Uniforme
• Qué distribución es la mejor representación del
parámetro : la Probabilidad de mala salud en el
grupo de control
30
La distribución beta
• Rango de valores entre 0 y 1
• No
N es simétrica
i é i
• Comando en Excel: Para parámetro “Pa”
– Pa = BETAINV( X ; input1; input2)
• Por ejemplo, si había 100 pacientes en una
muestra, y 30 tuvieron
i
la
l enfermedad
f
d dÆ
– Input1 = numero de personas con un suceso = 30
– Input2
I
2 = numero de
d personas sin
i ell suceso = 70
• ÆLa media de E(Pa) = 30/100 = 0,30
31
La distribución beta
0.35
- - -Distribución
Distribución beta(30;70)
03
0.3
0.25
0.2
Frequencia
0.15
0.1
____Distribución beta(9; 21)
0.05
1
0.9
0
0.8
0
0.7
0
0.6
0
0.5
0
0.4
0
0.3
0
0.2
0
0.1
0
0
0
Prob Mala Salud
32
La incertidumbre conjunta en todos los parámetros
MC
Rand
OR
Rand
PA
1
0.175
0.895
0.322
0.258
2
0 476
0.476
0 785
0.785
0 928
0.928
0 426
0.426
3
0.830
0.674
0.441
0.283
4
0.010
1.103
0.507
0.297
5
0.117
0.930
0.360
0.266
6
0.203
0.881
0.336
0.261
7
0.933
0.621
0.369
0.268
8
0.203
0.881
0.146
0.213
9
0 122
0.122
0 926
0.926
0 137
0.137
0 210
0.210
10
0.053
0.992
0.646
0.328
MC
C 11,, 12,, ... 1.000
.000
OR ÅDistribución
Lognormal
P (A)ÅDistribución33Beta
Los resultados del ASP
WTP
MC
Diff Costs
1
2
3
4
5
6
7
8
9
10
1500
1500
1500
1500
1500
1500
1500
1500
1500
1500
Diff AVACs
0.021
0.058
0 073
0.073
-0.021
0.014
0.024
0.083
0.020
0.012
0.002
ICER
25000
Select
35000
Select
72689
25885
20588
Dominated
107830
63411
18122
73262
120237
816044
A
A
B
A
A
A
B
A
A
A
A
B
B
A
A
A
B
A
A
A
P(B) = 0,2 P(B)=0,3
34
Los resultados de un ASP
multivariante
WTP
10 simulaciones
1.000 simulaciones
25.000
20%
16%
30 000
30.000
30%
50%
35.000
30%
56%
35
Curva de aceptabilidad de coste
efectividad - multivariante
1
0.9
0.8
Prob qque el
tratamiento
es costeefectivo
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0
10000
20000
30000
40000
50000
60000
70000
Disposición a pagar €/AVAC
36
El valor de más información
• La curva de aceptabilidad muestra la probabilidad
de hacer un error cuando elegimos una estrategia
(y rechazamos la otra)
• Más información reduciría la probabilidad de un
error y por lo tanto aumentaría el beneficio a la
sociedad
• ¿Cuándo será rentable buscar más información
– p ej
ej. financiar un nuevo ensayo clinico?
• Cuando los costes del nuevo ensayo son menores
que los beneficios
37
Valor de la información perfecta
• El valor de la información perfecta es el valor
máxima
á i
que ell decisor
d i querría
í pagar para eliminar
li i
toda la incertidumbre en la decisión
• Puede calcular el valor de la información perfecta,
dado:
–
–
–
–
La estructura del modelo
Las distribuciones de los parámetros del modelo
El valor del WTP por un AVAC
El numero de personas afectadas por la enfermedad
38
El valor de la información perfecta
• Los resultados medios del modelo son
ΔCostes = 1.500 y ΔAVACs son 0,05
• RCEI es 1.500
1 500 / 0,05
0 05 = 30.000
30 000
• Si el WTP es 35.000, adopta B
39
El valor de la información perfecta
• Pero en 44% de las simulaciones, A fue la
opción
ió más
á coste-efectiva.
t f ti
• Por ejemplo,
j p en simulación #1 la diferencia
en AVACs fue 0,021 y la RCEI fue
,
= 73.000
1.500/0,021
• La sistema hubiera perdido beneficios netos
(en Euros) de
0,021 * 35.000 – 1.500 = 765
40
La calculación del valor de la
información pperfecta (WTP=35.000)
(
)
MC
ΔCostes
ΔAVAC
RCEI
Opción
optima
Valor
Perdido
1
1.500
0,021
73.000
A
765
2
1 500
1.500
0 058
0,058
26 000
26.000
B
0
3
1.500
0,073
21.000
B
0
4
1.500
-0,021
Domin
A
2.235
...
...
...
...
...
...
MC 11, 12, ... 1.000
μ
1.500
0,05
30.000
377
41
El valor de la información
perfecta
• Si el WTP = 35.000, B es la opción mas coste-efectiva
• En algunas simulaciones MC (numeró 1,4
1 4 etc),
etc) A es el
tratamiento optimo. Hay un coste de oportunidad de elegir
B en estos casos
• En las demás, no hay ningún coste de la oportunidad
• El Valor de la Información Perfecta calcula el coste medio
d la
de
l oportunidad
id d por la
l incertidumbre
i
id b
• El valor medio de la información perfecta por persona es
377 si el WTP por AVAC es 35
35.000
000
42
Valor de la información perfecta
• Si la enfermedad afecta 1.000 personas, el
valor
l de
d la
l información
i f
ió perfecta
f t sería
í
1.000*377= 377.000 Euros
• Significa que el máximo que querríamos
pagar
p
g por
p un nuevo ensayo
y no supera
p esto
presupuesto
• (El valor de la información perfecta se
presenta en función de WTP)
43
Valor de la información perfecta en
función de WTP
450000
400000
350000
EVPI Euros
s
300000
250000
200000
150000
100000
50000
0
0
10000
20000
30000
40000
50000
60000
WTP
44
Resumen
• El AS deterministico
– Univariante
– Siempre necesario pero no es suficiente
• El AS probabilístico
–
–
–
–
–
Evaluar la incertidumbre global en el modelo
Distribuciones de los parámetros
Correlaciones entre los parámetros en el modelo
Las simulaciones Monte – Carlo
C r a de aceptabilidad de coste efectividad
Curva
efecti idad
• El valor de la información
45
Ejercicio
• Abrir la hoja de calculo EE.xls
• Entender las formulas en color VERDE
• Minimo: Hacer AS univariante (valores en color
AZUL)
• Merito: Hacer AS probabalistico (valores en color
NARANJA)) con el metodo Monte-Carlo
• Avanzada: Dibujar una curva CEAC
• Supersalida:
p
Calcular el valor de información
perfecta
• Presentar sus resultados a los demás
46