Una introducción al análisis económico: Costo Efectividad y Costo Beneficio Francisco Mejía Banco Interamericano de Desarrollo Santiago, abril de 2012 1 Versión 3/22/2013 Lógica de un Programa INSUMOS ACTIVIDADES PRODUCTOS RESULTADOS IMPACTO COSTOS 2 Lógica de un Programa INSUMOS ACTIVIDADES COSTOS PRODUCTOS RESULTADOS IMPACTO BENEFICIOS (monetizados o no) 3 Costo Efectividad (C/E) • El análisis Costo Beneficio permite analizar los flujos de costos y beneficios monetarios y se pregunta si vale la pena o no? • VPN > 0 ?? • TIR > Tasa de corte ?? • El Análisis Costo Eficiencia analiza lo que cuesta producir una unidad de producto (por ejemplo, un km. de carretera) y se pregunta qué tan costoso es? • Costo Efectividad empieza en un punto diferente • C/E asume una meta a lograr o un efecto a obtener y se pregunta cual es la forma menos costosa de llegar alli • Veamos un ejemplo y después recapitulamos los temas centrales de C/E 4 Costo Efectividad Noroeste de Brasil en los 80s La pregunta Cómo pueden invertirse mejor los recursos? Fuente: Ralph W. Harbison and Eric A. Hanushek: Educational performance of the poor: Lessons from rural Northeast Brazil, Oxford University Press, 1992 5 Costo Efectividad Noroeste de Brasil en los 80s La pregunta Cómo pueden invertirse mejor los recursos? Fuente: Ralph W. Harbison and Eric A. Hanushek: Educational performance of the poor: Lessons from rural Northeast Brazil, Oxford University Press, 1992 6 Costo Efectividad 7 Costo Efectividad 8 Costo Efectividad 9 Costo Efectividad Costo Efectividad • Evaluación de alternativas en función de su costo y sus efectos con respecto a algún resultado/beneficio esperado • Sólo se pueden comparar alternativas con mismo propósito • Se requiere una medida común de efectividad (no monetizada) • Sólo nos dice si alternativa A es más costo-efectiva que otra alternativa B para el mismo resultado o impacto • No es costo eficiencia (costo/insumo) 10 Costo Efectividad Costo Efectividad • Compara costos monetarios (económicos) y efectos no monetarios • Razón de Costo/Efectividad (C/E) o • Efectividad/Costo (E/C) • Ventajas • (A veces) es fácilmente aplicable cuando hay datos e información sobre efectos y costos • Muy útil para comparaciones al interior de sectores (que comparten objetivos y medidas de efectividad • Desventajas • No es útil para estimar el valor de una intervención • No es útil para comparar entre sectores con medidas de impactos distintas • Validez externa de los efectos? 11 Costo Efectividad: costos e ingredientes • Estimación de costos: costos de mercado y costos de oportunidad, pero siempre costos marginales • Limitaciones de los presupuestos para identificar costos • • • • No todos los ingredientes están en los presupuestos - donaciones inclusive algunas veces los más importantes no están - transporte Costos para otras agencias Los costos pueden estar imbuidos (embedded) en presupuestos con más ingredientes no relevantes • Por esto se usa el método de ingredientes 12 Costo Efectividad: costos e ingredientes • Identificación • Ingredientes marginales, atribución y asignación • Especificación • • • • Personal Infraestructura Equipos y materiales Otros • Mientras más significativo un ingrediente mayor detalle requerido 13 Costo Efectividad: costos e ingredientes Valoración (privada versus “social”) Si hay precio de mercado…precio de mercado Distorsiones….precios sombra Costos reales versus nominales (inflación) Costos descontados en unidades equivalentes en el tiempo (VP o CAE) – tasa de descuento • Incertidumbre • Tasa de cambio (nominal vs PPP) • Critico: equivalencia de las medidas de efectividad utilizadas con los impactos esperados (y evaluación de impacto) • • • • • 14 Costo Efectividad: otros aspectos • Asignación de costos (quien los asume) 15 Costo Efectividad: otros aspectos • Los costos - y los efectos - deben ser en el márgen – Costo con – Costo sin – Efecto con – Efecto sin • Costos “gratis” • Costos a Beneficiarios 16 C/E: La medición de los impactos o “efectos” • La definición del “tratamiento” • La definición del “contra-fáctico” • La definición de las unidades de medida del “efecto” o impacto • Metas intermedias vs. finales • Más asistencia escolar…logros en tests….medidas de capacidad cognitiva….incrementos salariales a futuro • Más atenciones en salud primaria….mortalidad/morbilidad…nutrición… capacidad cognitiva….incrementos salariales a futuro 17 C/E: La medición de los impactos o “efectos” Las estimaciones de impacto • Evaluaciones aleatorias de impacto (experimentales) • Cuasi experimentos • Regresiones discontinuas, dif en dif, variables instrumentales…mas de esto más adelante • No experimentales • • Emparejamiento (Propensity score matching) Variables instrumentales • Aunque esto es el taller hay un par de temas para tener presente 18 PERO ESTO ES EL TALLER C/E: La medición de los impactos o “efectos” • Generalización de resultados de C/E • Los dilemas de la escalabilidad • Validez externa de estimadores de impacto • • Poblaciones distintas Tratamiento distintos • Validez externa de estimados de costo • • • Disponibilidad/comparabilidad de ingredientes Valores Comparabilidad de tasa de cambio y análisis de sensibilidad • El discreto encanto de las “League Tables” 19 Costo efectividad….sensibilidad a tipo de cambio 20 Costo efectividad….sensibilidad Costo efectividad para el control de la diarrea 21 Costo efectividad: pasos sugeridos • El objetivo de cualquier análisis C/E es contar con estimadores de C y de E que sean creíbles para dos intervenciones X y Y…posibles pasos • • • • • Identificar alternativas que incluyen, pero no se limitan a X ó Y Identificar estimativos para intervenciones similares Asegurar comparabilidad entre estimativos de E (unidades de medida) Identificar los costos incrementales de las alternativas Asegurar comparabilidad de valoraciones de C 22 Costo Beneficio y Costo efectividad Costo Beneficio Costo Efectividad • Beneficios – costos • • Ambos monetizados • Cada alternativa se puede analizar en función de sus méritos • • Se pueden comparar alternativas • con distinto propósito • Se pueden comparar dos • proyectos distintos • Muchas veces complejo monetizar beneficios (validez de • los supuestos) Evaluación de alternativas en función de su costo y sus efectos con respecto a algún resultado esperado Sólo se pueden comparar alternativas con mismo propósito Se requiere una medida común de efectividad (no monetizada) Sólo nos dice si alternativa x es más costo-efectiva que alternativa y para el mismo resultado No es costo eficiencia (costo/insumo) 23 Costo Beneficio Costo - Beneficio . . . pasos 1. 2. 3. 4. 5. 6. 7. 8. 9. Especificación de alternativas Qué (de quién?) costos - beneficios cuentan? (“standing”) Identificación/catalogación de categorías de impacto (qué cambia?) Identificación de indicadores de impacto a lo largo de la vida del proyecto Monetización de impactos (reducción a numerario) Descuento beneficios y costos a VP u otra medida inter-temporal VPN de cada alternativa Análisis de sensibilidad, distributivo etc. Recomendación 24 Costo Beneficio y Costo efectividad Alternativas.. Puede haber un número infinito de alternativas Costo Beneficio 25 Costo Beneficio: alternativas • Puede haber un número infinito de alternativas • Un ejemplo sencillo, para una carretera: • Trazado (2), superficie (2), numero de carriles (2), peaje (2), medidas medio-ambientales (2), inicio de construcción (2) = 64 • Normalmente entre 2 y 6 alternativas (límites cognitivos) • Al menos 2: mínimo: con y sin proyecto • Contra-factual (qué pasa sin el proyecto, qué proyecto alternativo se desplaza?) • Muchas veces el contra-factual puede ser el status quo • NO es antes versus después 26 Costo Beneficio: alternativas • Incluir una opción del mínimo necesario • El rango de opciones depende de la naturaleza de los objetivos • Podemos definir indicadores de productos, resultados, impacto para cada alternativa? • Son alternativas excluyentes? • Podemos descartar alternativas sin mucho análisis adicional? 27 Costo Beneficio: standing … perspectiva • Costos y beneficios …..desde la perspectiva de quién? • Cuáles costos y beneficios computamos? • Por ejemplo, cuánto cuesta realmente un trabajador desempleado • Por ejemplo, el ahorro de tiempo de un aeropuerto más céntrico Esto no es una pipa. 28 Costo Beneficio Identificación/catalogación de categorías de impacto (qué cambia?) • En este contexto usamos “impacto” tanto para costos (insumos – costo de oportunidad) como para productos (beneficios) • Para una carretera, por ejemplo, los beneficios pueden ser catalogados: – – – – – Ahorro de tiempo de viaje Ahorros de costos de mantenimiento de vehículos Vidas salvadas por mejor diseño La reducción de congestión en rutas aledañas Producción adicional que se comercializa • Para que algún beneficio pueda ser catalogado como impacto es crítico establecer una relación causa-efecto entre el producto físico del proyecto y el bienestar que se produce 29 Costo Beneficio: valoración Cuantificación y valoración de los impactos a lo largo de la vida del proyecto • Por ejemplo en una carretera: • • La carretera es mas corta (se van a evitar 100 millones vehículo kilometro y hay en promedio 0.02 muertes por millón de vehículos kilómetro) y tiene mas carriles: se generan 315 millones vkm de capacidad adicional y la mayor amplitud reduce en un tercio la accidentalidad Menor distancia: 100 vkm * 0.02 vidas/vkm = 2 vidas / año Más seguridad (4 carriles vs 2): 315vkm * 0.02 * 0.33 = 2 vidas / año 4 vidas / año Si valor de una vida salvada USD 500.000 Beneficio USD 2 millones / año (+otros no presentados en este slide) 30 Costo Beneficio Costo - Beneficio . . . pasos 1. 2. 3. 4. 5. 6. 7. 8. 9. Especificación de alternativas Qué (de quién?) costos - beneficios cuentan? (“standing”) Identificación/catalogación de categorías de impacto (qué cambia?) Identificación de indicadores de impacto a lo largo de la vida del proyecto Monetización de impactos (reducción a numerario) Descuento beneficios y costos a VP u otra medida inter-temporal VPN de cada alternativa Análisis de sensibilidad, distributivo etc. Recomendación 31 precio precio Costo Beneficio – cuando hay precio de mercado P* p* MERCADO Q* cantidad EMPRESA q1 q2 cantidad Si el incremento de la oferta marginal (beneficios) se valora al precio de mercado - el precio de mercado refleja la disposición a pagar Y si el precio no existe o está muy distorsionado? Y si el ∆q afecta el precio de mercado P* ? (excedente del consumidor) EN ESOS CASOS . . . DISPOSICIÓN A PAGAR 32 Disposición a pagar Disposición a pagar (willingness to pay) . . . un ejemplo Supongamos que una persona deriva satisfacción de dos cosas: Ingreso (y) y nivel educativo (e); u = u (y0, e0) Supongamos que un proyecto aumenta el nivel de educación de e0 a e1, que lleva a una mayor utilidad Para valorar ese incremento en educación, podemos preguntar: Cuánto está dispuesto a sacrificar en ingreso para tener el nivel inicial de satisfacción? Esto sugiere que cada individuo le da un valor monetario al incremento en educación Esto es lo que se llama la disposición a pagar o la “variación compensadora” O en términos de la ecuación u = u (y0, e0) = u (y1 - DAP, e1) Valor inicial la satisfacción es la misma en satisfacción pero tiene mas educación compensado por menos ingreso Sumando las DAP individuales podemos obtener los beneficios (curva de demanda y excendente del consumidor) 33 Cant. y Disposición a pagar O mirándolo de otra forma… U0 si el precio aumenta cuanto hay que compensar en ingreso para mantener el mismo nivel de satisfacción? precio cantidad l En síntesis, podemos aproximar medir beneficios estimando disposición a pagar o la curva de demanda DAP P* Y los métodos se pueden juzgar por cuánto se aproximan a DAP Q* cantidad 34 Disposición a pagar…metodologías de estimación Cuatro posibles métodos para estimar Disposición a Pagar 1. Experimentos y cuasi experimentos - diseños de correlación 2. De estimaciones directas de curvas de demanda (preferencias reveladas) 3. Valoración contingente 4. Precios hedónicos 35 Disposición a pagar…metodologías de estimación • Puede ser desde diseños experimentales, a no experimentales para estimar beneficios • previo al proyecto (issue de timing) ? • o de proyectos similares (validez externa?) • Por ejemplo en corrupción podríamos tener un programa (sorteos) de auditorías a municipios y podemos comparar municipios con distintos niveles de corrupción, y podemos relacionar auditorías (costo programa) → impacto sobre corrupción → impacto en indicadores de educación (test Brasil) → aumento en ingresos futuros • O en programas de entrenamiento laboral (incrementos en salario) 36 Disposición a pagar…Estimaciones directas Preferencias reveladas: cuánto vale una vida salvada? • Muchas veces se estima el valor de una vida salvada (en proyectos de salud o carreteras, por ejemplo) en función del VP de los ingresos futuros, fácil de estimar pero éticamente dudoso (vida de un desempleado?) • Pero es distinto si observamos el comportamiento • Cuando estoy dispuesto a pagar por una reducción pequeña en la probabilidad de morir? • Esta información se “revela” cuando uno compra un equipo de seguridad, o se le compensa al trabajador por trabajar en un ambiente más riesgoso • Si yo estoy dispuesto a pagar $100 por un dispositivo que me reduce la probabilidad de morir en 1/10,000, el valor implícito es $ 1 millón (100 dividido en 1/10,000) • En la literatura (US) los estimados van de $7 a $12 millones (Viscusi, 2010) 37 Disposición a pagar…metodologías de estimación Valoración contingente • Estimación de DAP a partir de “auto-estimaciones¨ (encuestas) – 4 métodos (hay sesgos a sobrevaloración vs experimentos) • Estimación de DAP “abierta”, se pregunta cuánto es lo máximo que se está dispuesto a pagar por x (por ejemplo, garantizar que el parque y se mantiene cerrado al público…ya no se usa tanto (sobre estimaciones) • Sistema de oferta cerrado, se pregunta si está DAP $x -se aumenta hasta llegar a respuesta negativa/se disminuye si monto inicial produce respuesta negativa…poco usado por sensitivo a precio inicial (problema de ancla) • Clasificación (ranking) contingente, se solicita ordenar combinaciones de precio-cantidades factibles…DAP inferida econométricamente • Referendo, o preferencias dicotómicas, se pregunta aceptación o no de precios aleatorios , se generan distribuciones y se asignan probabilidades para cada rango de precio 38 Disposición a pagar…metodologías de estimación Precios hedónicos Estimación de la DAP a partir de características del bien Precio = f(características del bien, barrio, etc) Común en vivienda o en externalidades (ruido) Por ejemplo, en Vancouver, casas cerca al aeropuerto y en más ruidosas son 9% más baratas…costo total de ruido US15 M • Problema de estimación…comparando manzanas con manzanas (se puede combinar con diseños discontinuos) • • • • 39 Costo Beneficio Costo - Beneficio . . . pasos 1. 2. 3. 4. 5. 6. 7. 8. 9. Especificación de alternativas Qué (de quién?) costos - beneficios cuentan? (“standing”) Identificación/catalogación de categorías de impacto (qué cambia?) Identificación de indicadores de impacto a lo largo de la vida del proyecto Monetización de impactos (reducción a numerario) Descuento beneficios y costos a VP u otra medida inter-temporal VPN de cada alternativa Análisis de sensibilidad, distributivo etc. Recomendación 40 Costo Beneficio Descuento de beneficios y costos y VPN Para cualquier proyecto que tiene impacto a lo largo del tiempo, hay que descontar flujos futuros (el tema de la tasa de descuento es algo a lo que vamos a volver….) Se acepta si VP>0 si I = B – C NO es recomendable usar TIR o relación B/C como ordenador 41 Costo Beneficio: criterios Descuento de beneficios y costos y VPN • Para cualquier proyecto que tiene impacto a lo largo del tiempo, hay que descontar flujos futuros (el tema de la tasa de descuento es algo a lo que vamos a volver….) • • Se acepta si VP>0 si I = B – C Es recomendable usar TIR (VPB=VPC) o relación B/C como ordenador? 42 Costo Beneficio: criterios Supongamos dos proyectos, cual? 43 Costo Beneficio: criterios Supongamos dos proyectos, cual? 44 Costo Beneficio Análisis de sensibilidad y riesgo Costo Beneficio – Análisis de sensibilidad y riesgo • En ACB (ex-ante) estamos mirando hacia adelante y hay incertidumbre sobre el monto o valor de muchos parámetros Carta de A. Lincoln al General George McClellan en 1862: Estimado General, Usted y Yo tenemos visiones distintas para el movimiento del ejército del Potomac. Usted propone bajar por la bahía del Chesapeake, subir por el Rappahannock hasta Urbana y cruzar hasta la terminal férrea sobre el rio York. Yo propongo ir directamente a un punto sobre el ferrocarril Sur Oeste en Manassas Aceptaré su posición si me responde las siguientes preguntas: 1º Cuesta mas su plan que el mío? 2º Es mas probable la victoria con su plan? 3º Vale su victoria mas que la mía 4º No piensa usted que sería menos valiosa teniendo en cuenta que mi plan rompe las líneas de comunicación del enemigo? 5º En caso de desastre, no sería más difícil un retiro de tropas con su plan que con el mío? Cost? C/E? C/B? Spillover? Sensitivity? 46 Costo Beneficio – Análisis de sensibilidad y riesgo • En ACB (ex-ante) estamos mirando hacia adelante y hay incertidumbre sobre el monto o valor de muchos parámetros • Posibles herramientas: • Análisis de sensibilidad • • • Identificar parámetros con mayor incertidumbre (y relevancia) Estimar rango probable para parámetros clave (referencias de mercado, análisis estadístico de una muestra Escenarios y probabilidades • Árboles de decisión • • • Valor alternativa A: = 0.80 * (+1,000) + 0.20 * (-1,000) = 600 • Estimaciones de Montecarlo Recapitulando En síntesis….Costo Beneficio • • • • • • • • • Beneficios – costos Ambos monetizados En VP o equivalente anual Cada alternativa se puede analizar en función de sus méritos Se pueden comparar alternativas con distinto propósito Se pueden comparar dos proyectos distintos Muchas veces complejo monetizar beneficios Precios de mercado versus precios “sombra” Inclusión de beneficios (o costos) no incluidos en a precios de mercado (externalidades, excedente del consumidor etc.) 48 Trampas del Costo Beneficio Diez trampas del análisis Costo Beneficio (1/4) • ¿Aturdido y confundido por la confusión entre beneficios (o costos) y transferencias? Algunos pagos que aparecen en los flujos de costos (o beneficios) financieros no son un uso real de recursos, sino transferencias. Pagos de principal e intereses, subsidios e impuestos, y depreciación son algunos ejemplos. • ¿Cómo barrer las externalidades debajo de la alfombra? En muchos proyectos las externalidades, especialmente ambientales, no deberían ser ignoradas. • ¿Jugando billar a tres bandas? En algunos casos, un proyecto puede impactar mercados que están a más de un paso. Se debe tener cuidado en la valoración de estos posibles beneficios ya que mientras más se supone, menos se sabe. 49 Trampas del Costo Beneficio Diez trampas del análisis Costo Beneficio (2/4) • ¿Ilusionado de pensar que el empleo es un beneficio? En todo proyecto el empleo es un costo, no un beneficio. En aquellos casos en que se busque la generación de empleo, usar un precio sombra del salario para reflejar el costo de oportunidad del trabajo • ¿Proyectando al borde de un ataque de nervios? En muchos proyectos, se proyecta el comportamiento futuro con tasas de crecimiento sacadas de la manga. Esto no es un tema menor. Un estudio reciente del escalamiento de costos en 258 proyectos de transporte en todo el mundo encontró que la sub-estimación de costos no se explica por errores, sino por las proyecciones superoptimistas, de demanda esperada por ejemplo 50 Trampas del Costo Beneficio Diez trampas del análisis Costo Beneficio (3/4) • ¿Confunde lo sentido con la sensibilidad? El análisis de sensibilidad requiere conocer los motores que mueven a los beneficios y los costos, y a la teoría de cambio que los empuja. Multiplicar un costo - o un beneficio - por 0.7 (o el número que se les ocurra) no nos da ninguna información útil. • ¿Al que no quiere sopa se le dan dos tazas? Contar dos veces los beneficios sucede en al menos dos formas. Primero, cuando un bien o servicio intermedio se cuenta dos veces. Segundo, cuando el beneficio se cuenta como activo y también como flujo. 51 Trampas del Costo Beneficio Diez trampas del análisis Costo Beneficio (4/4) ¿Se le borran los costos y no ve más allá del presupuesto? Los costos debe ser los costos totales para la sociedad, y no solamente los costos financiados por los promotores del proyecto. • ¿Cómo confundir flujos nominales y reales? Todo análisis debe hacerse consistentemente. Si la tasa de descuento es real, los flujos deben expresarse en términos reales. Si comparamos entre países, especialmente si se trata de beneficios basados en el consumo, las estimaciones deben estar en PPP. • ¿Cómo sostener la insoportable levedad del contra-fáctico? Dado que el análisis costo beneficio típicamente mira hacia adelante, se requiere entender qué va a pasar sin el proyecto. Así como no todo está condenado a repetirse indefinidamente, las alternativas de comparación deben basarse en inferencias válidas y tener presente las consideraciones de validez externa 52 • Recapitulando: Costo-Beneficio o Costo-Efectividad? ¿CBA? (1/2) • Compara costos y beneficios monetarios • Razón B/C • VPN (ó VAN) y TIR • Foco: razón de costo por más de UN efecto: Un Programa puede tener más de un efecto • Ventajas • Muy usado y conocido • Valioso al permitir estimar el valor de una intervención • Útil para comparar entre intervenciones, dentro y entre sectores • Desventajas • Transformación a beneficios monetarios requiere supuestos, muchas veces sin sustento empírico 53 • Contra-fáctico muchas veces dudoso Recapitulando: Costo-Beneficio o Costo-Efectividad? ¿CEA? (2/2) • Compara costos monetarios y beneficios no monetarios (efectos) • Razón C/E ó E/C • Ventajas • Muy directo su uso si hay datos buenos sobre efectos y costos • Útil para comparar intra- sector (intervenciones que compartan objetivos y medidas de efectividad) • Desventajas • No es útil para estimar el valor de una intervención • Cero útil para comparar entre sectores o intervenciones con objetivos disímiles • Foco: razón de costo por UN efecto: Un programa puede tener mas de un efecto, pero hay formas de asignar costos por efecto • Estimados de impacto pueden ser imprecisos 54 Recursos Libros de Texto Anthony Boardman et al (2011). Cost-Benefit Analysis: Concepts and Practice (4th Edition), Prentice Hall Levin, H & McEwan P. (2001). Cost Effectiveness Analysis: Methods and Applications, (2nd Edition) SAGE Publications Artículos (on-line) Iqbal Dhaliwal, I. et al Comparative Cost-Effectiveness Analysis to Inform Policy in Developing Countries: A General Framework with Applications for Education, December 2012 http://www.povertyactionlab.org/publication/cost-effectiveness Patrick McEwan, Cost-Effectiveness Analysis of Education and Health Interventions in Developing Countries, December 2011 http://www.iadb.org/en/publications/publicationdetail,7101.html?id=31626%20&dcLanguage=en&dcType=All Nota: una lista más completa de referencias se distribuirá en el taller 55 Título de la página • Primer nivel – Segundo nivel • Tercer nivel • Tercer nivel – Segundo nivel • Tercer nivel • Tercer nivel • Primer nivel – Segundo nivel • Tercer nivel 57