Estrategias para el avance de la evaluación: la experiencia catalana
Anuncio
Presupuesto y Gasto Público 68/2012: 25-39 Secretaría de Estado de Presupuestos y Gastos © 2012, Instituto de Estudios Fiscales (VWUDWHJLDVSDUDHODYDQFHGHODHYDOXDFLyQ la experiencia catalana a través de Ivàlua* BLANCA LÁZARO Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua) Recibido: Julio 2012 Aceptado: Septiembre 2012 Resumen La evaluación de políticas públicas es una función indispensable del buen gobierno. Su implantación y desarrollo dependerán de una correcta estrategia de introducción adaptada al contexto político-administrativo y dotada de un repertorio de instrumentos orientados a una práctica efectiva y útil. Partiendo de esas premisas, este artículo pretende RIUHFHUDOJXQDVUHÀH[LRQHVVREUHODGH¿QLFLyQ\HOJUDGRGHSURJUHVRGHXQDHVWUDWHJLDSDUDHOLPSXOVRGHODHYDOXDción en Cataluña. El análisis parte de un sucinto marco conceptual sobre los sistemas y las políticas de evaluación, revisa experiencias internacionales y se centra posteriormente en la experiencia del consorcio público Ivàlua. Palabras clave: evaluación, España, Cataluña, administración pública, evaluación, transparencia política, Ivàlua. &ODVL¿FDFLyQ-(/'(+ Abstract The evaluation of public policies is an essential function of good government. Its implementation and development depend on an appropriate introduction strategy adapted to the political-administrative context and equipped with D UDQJH RI LQVWUXPHQWV DLPHG DW HIIHFWLYH DQG XVHIXO SUDFWLFH 2Q WKH EDVLV RI WKHVH SUHPLVHV WKLV DUWLFOH VHHNV WR SURYLGHDEDVLVIRUUHÀHFWLRQRQWKHGH¿QLWLRQDQGWKHGHJUHHRISURJUHVVRIDVWUDWHJ\WRSURPRWHHYDOXDWLRQLQ&DWDORQLD7KHDQDO\VLVVWDUWVZLWKDFRQFLVHFRQFHSWXDOIUDPHZRUNRIHYDOXDWLRQV\VWHPVDQGSROLFLHV,IWKHQUHYLHZV international experiences and subsequently focuses on the experience of the Ivàlua public consortium. Key words: evaluation, Spain, Catalonia, public administration, evaluation, transparency in government, Ivàlua. -(/&ODVVL¿FDWLRQ'(+ Introducción La buena salud de los sistemas políticos democráticos depende en gran medida de la existencia de un debate público informado sobre el funcionamiento y efectividad de sus ins /D DXWRUD DJUDGHFH DO 'U -RVHS 0 9DOOqV \ DO 'U 'DYLG &DVDGR VXV FRPHQWDULRV \ DSRUWDFLRQHV DO WH[WR \ VH declara única responsable de los contenidos y valoraciones en él incluidos. Éstos se realizan exclusivamente a título SHUVRQDO\QRSUHWHQGHQUHÀHMDUODSRVLFLyQLQVWLWXFLRQDOGH,YjOXDVREUHODVFXHVWLRQHVWUDWDGDV 26 Blanca Lázaro tituciones de gobierno. La evaluación de políticas públicas contribuye doblemente a ese objetivo, al producir conocimiento que permite la mejora de las intervenciones públicas, así como informar y rendir cuentas a los ciudadanos. La evaluación debería, por tanto, ser reconocida \SURWHJLGDFRPRIXQFLyQLQGLVSHQVDEOHGHOEXHQJRELHUQR1RREVWDQWHHVRQRHVVX¿FLHQte para garantizar un progreso adecuado, el cual dependerá principalmente de una correcta estrategia de introducción, adaptada al contexto y dotada de instrumentos que impulsen una práctica efectiva y útil. Partiendo de esas premisas, este artículo pretende ofrecer algunas UHÀH[LRQHVUHVSHFWRDODGH¿QLFLyQ\HODYDQFHGHXQDHVWUDWHJLDSDUDHOLPSXOVRGHODHYDOXDción de políticas públicas en Cataluña, vinculando el análisis —aunque no de forma exclusiva— a la creación y primeros años de funcionamiento del Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua). El texto se estructura en un primer apartado donde revisamos de forma sucinta la conceptualización de estrategias para el impulso de la evaluación; un segundo apartado donde tratamos de sintetizar las principales lecciones aprendidas sobre la aplicación de dichas estrategias en países avanzados; un tercer apartado donde describimos la HYROXFLyQUHFLHQWHHQ&DWDOXxD\VXJHULPRVDOJXQDVOtQHDVGHHYROXFLyQIXWXUDSDUD¿QDOL]DU con unas breves conclusiones. 0DUFRFRQFHSWXDOGHODVHVWUDWHJLDVSDUDHOLPSXOVR de la evaluación 1.1. Una condición previa: preservar la esencia de la evaluación y asumir sus límites ¿Qué características esenciales de la evaluación debe preservar una política que preWHQGD IRPHQWDUOD" &KHOLPLVN\ GHVSXpV GH XQD ODUJD HWDSD DO IUHQWH GH OD GLYLVLyQ GH (YDOXDFLyQ GH OD 86 *HQHUDO$FFRXQWDELOLW\ 2I¿FH GHVWDFD WUHV (Q SULPHU OXJDU VX independencia. La evaluación debe protegerse de presiones políticas, tanto en la fase inicial de diseño como durante la implementación y —quizá donde pueden llegar a ser más explíFLWDV² HQ OD IDVH ¿QDO GH LQIRUPH \ GLIXVLyQ GH UHVXOWDGRV 3UHVHUYDU OD LQGHSHQGHQFLD GH la evaluación, evitando al mismo tiempo rigideces innecesarias que impidan al evaluador VHU ÀH[LEOH \ UHFHSWLYR D ODV QHFHVLGDGHV GH ORV XVXDULRV ¿QDOHV GHEH VHU YLVWR FRPR XQD condición sine qua non para que los resultados sean relevantes y útiles. En segundo lugar, debe prestarse atención a la credibilidad de la evaluación. La credibilidad viene determinada SULQFLSDOPHQWHSRUODFDOLGDGWpFQLFDSHURWDPELpQSXHGHLQÀXLUGHIRUPDGHFLVLYDODDFRJLda subjetiva que otorguen a la evaluación quienes serán sus principales usuarios. Contextos jurídico-administrativos que únicamente estén atentos al control de la legalidad y la sujeción al procedimiento, o bien entornos gerenciales concentrados en el control de la gestión, pueden ser extraordinariamente refractarios a la evaluación y considerarla irrelevante. No son H[WUDxRVHQHVRVFDVRVORVLQWHQWRVGHGHVDFUHGLWDUOD\GHGL¿FXOWDURLPSHGLUVXDYDQFH(Q tercer lugar, la evaluación requiere un entorno profesional adecuado para desarrollarse: los profesionales de la evaluación necesitan trabajar en ambientes donde se promueva la curiosidad intelectual, la búsqueda continua del conocimiento y su perpetuo cuestionamiento. Estos requisitos no son habituales en nuestras administraciones, donde la innovación basada en la generación sistemática de conocimiento disfruta todavía de escaso espacio en el quehacer Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua 27 diario. Una evaluación de políticas públicas poco rigurosa, manipulada, oculta a la opinión pública o desacreditada por los decisores políticos o por los profesionales del sector público difícilmente podrá servir a la mejora de la acción de gobierno. En consecuencia, una estrateJLDGHLPSXOVRGHODHYDOXDFLyQGHEHUiVDEHUJHVWLRQDUHQXQJUDGRVX¿FLHQWHHVDVSUHVLRQHV y esos factores poco propicios del contexto para evitar desnaturalizarla. Asimismo, cualquier estrategia de fomento de la evaluación debería partir del reconoFLPLHQWRSUHYLRGHVXVOtPLWHV'HRWURPRGRSRGUtDQDWULEXtUVHOHFDSDFLGDGHVRDVLJQiUVHOH funciones que en ningún caso podría ni debería asumir y que, de hacerlo, acabarían complicando su avance. En términos generales, el interés en impulsar la evaluación de políticas públicas se basa en el supuesto de que podemos hacer que las políticas mejoren a través de OD SURGXFFLyQ GH HYLGHQFLDV VREUH VX IXQFLRQDPLHQWR HIHFWLYLGDG \ H¿FLHQFLD TXH UHWURDOLmenten los procesos de toma de decisiones. Esa producción de evidencias es, sin embargo, un proceso continuo donde cada informe de evaluación responde una serie de preguntas, pero plantea al mismo tiempo otras nuevas; sugiere diseños o variantes del programa que, de llevarse a la práctica, será necesario evaluar; propone mejoras en los sistemas de información que permitirán llegar más lejos en futuros análisis. Nada más alejado de esa realidad que el dictamen inapelable sobre la idoneidad de un programa que a veces se espera —o se teme— de la evaluación. Por otro lado, las evidencias que produce la evaluación deben, sin duda, HVWDUSUHVHQWHVHQODVPHVDVGRQGHVHWRPDQODVGHFLVLRQHVVREUHODFRQWLQXLGDGPRGL¿FDFLyQ o supresión de los programas. No obstante, en palabras de Rist (2006), no deben aspirar a ocupar el lugar de honor, sino conseguir tener al menos un asiento en ellas y ser de ese modo tenidas en cuenta junto con criterios legítimos de carácter político. Asumir esas características y esas limitaciones de la evaluación, y apostar por ella, implica una transformación paulatina y profunda del modelo actual de administración burocrática, al tiempo que se desvanece el espejismo de una administración estrictamente tecnocrática, donde las decisiones se toman sobre la base de un conocimiento inapelable derivado de la evaluación. Esa apuesta comporta aproximarse, en cambio, a otro tipo de organización DKRUD LQH[LVWHQWHPiV UHÀH[LYD \PiV LQWHOLJHQWHPHQWH FRQVFLHQWH GH OD FRPSOHMLGDG GHOD realidad social y de las propias limitaciones para hacerle frente. Y más proclive, por tanto, a la promoción del conocimiento y del debate social bien informado sobre las posibles alternativas de intervención y sus resultados. /DVHVWUDWHJLDVGHLPSXOVRGHODHYDOXDFLyQ La necesidad de desarrollar sistemas de evaluación con vistas a la regularización de su práctica y de su utilización en entornos gubernamentales empieza a ser objeto de HVWXGLRD ¿QDOHVGHODGpFDGD GH ORV D WUDYpVGH WUDEDMRV FRPR ORV GH%R\OH /HPDLUH y Rist (1999). Estos autores señalan que un «régimen de evaluación» es aquel interesado HQODFRQ¿JXUDFLyQGHODFDSDFLGDGSDUDODHYDOXDFLyQHQODSUiFWLFDGHODHYDOXDFLyQ\HQ aspectos organizativos e institucionales relacionados. Posteriormente, Furubo y Sandahl (2002) estudian los rasgos comunes de sistemas de evaluación en 21 países y diversos organismos internacionales, sobre la base de una serie de indicadores que posteriormente completan Leeuw y Furubo (2008) y que pueden agruparse en cinco categorías: existencia de una cultura favorable a la evaluación; grado de institucionalización, organización y 28 Blanca Lázaro demanda de evaluación; oferta de evaluación; práctica evaluadora y grado de utilización y GLIXVLyQGHODHYDOXDFLyQ3RURWUDSDUWH)XUXER\6DQGDKOLGHQWL¿FDQXQDVHULHGH factores determinantes en el desarrollo de los sistemas de evaluación: en primer lugar, la calidad democrática, y en particular el arraigo de prácticas de transparencia y participación que favorezcan el debate social abierto sobre las actuaciones públicas. En segundo lugar, OD WUDGLFLyQ FLHQWt¿FD WpFQLFD \ GH JHVWLyQ S~EOLFD TXH VL HV VyOLGD WHQGHUi D IDYRUHFHU aproximaciones racionalistas a la toma de decisiones. La elevada inversión pública en determinados sectores propios del estado del bienestar —o, podríamos añadir en el contexto actual, la necesidad perentoria de ajustes— favorece, asimismo, el uso de la evaluación en la toma de decisiones. Finalmente, contribuye también la existencia de fuerzas exógenas DO VLVWHPD \ IDYRUDEOHV D OD HYDOXDFLyQ (Q SDUWLFXODU OD LQÀXHQFLD GH RUJDQLVPRV LQWHUnacionales de cooperación al desarrollo y, en un ámbito más cercano, las obligaciones de evaluación asociadas al acceso a fondos de la Unión Europea. En lo que respecta a las políticas de impulso de la evaluación1, el reconocimiento de su importancia y necesidad es reciente, encontrándose su conceptualización todavía en una HWDSD LQLFLDO 0DUN 00 &RRNV\ /- 7URFKLP 0. 6X VXUJLPLHQWR GHULYD GH la aproximación sistémica a la evaluación vista anteriormente y de la necesidad de concebir procesos que hagan posible el tránsito desde una práctica puntual y aislada de la evaluación a la emergencia y gobierno de dichos sistemas. Pero más allá de esa dimensión práctica, la imSRUWDQFLDGHODVSROtWLFDVGHHYDOXDFLyQREHGHFHIXQGDPHQWDOPHQWHDWUHVUD]RQHV&RRNV\ /-0DUN007URFKLP0.,&KHOLPVN\RWRUJDQYLVLELOLGDG\WUDQVSDUHQcia a la evaluación; la protegen, al menos formalmente, contra presiones del sistema político y burocrático que puedan desnaturalizarla, y facilitan el aprendizaje sobre su desarrollo, formas de implantación y conexión con procesos de toma de decisiones y rendición de cuentas. Coinciden los autores en la ausencia de una pauta única adecuada de formalización, aunque aconsejan considerar con suma prudencia aproximaciones excesivamente normativas, que impongan obligaciones poco adaptadas a organizaciones escasamente receptivas o en absoluto preparadas técnicamente para poderlas asumir, ya que conllevan un elevado riesgo de burocratización de la evaluación. Por otra parte, observan, su impulso debe apoyarse en un amplio abanico de actores, tanto gubernamentales como no gubernamentales, para garantizar apropiación, objetividad y transparencia. Y está claro que debe ser un trabajo intencional 6WRFNGLOOet al., 2002), tendente a «crear y sostener de forma continua en el tiempo procesos generales organizativos que permiten la realización y utilización de evaluaciones de calidad de forma rutinaria». La intencionalidad apunta a la necesidad de voluntad política y técnica: los sistemas de evaluación no surgen por generación espontánea, sino del convencimiento y del empeño de individuos que tienen la competencia política y técnica necesarias para impulsarlos. La expresión de esa voluntad —o de esas voluntades, si reconocemos la complejidad GHODVUHGHVGHDFWRUHVTXHSDUWLFLSDQHQODGH¿QLFLyQ\GHVSOLHJXHGHODVDJHQGDVS~EOLFDV actuales—, así como las formas que pueden tomar los procesos, prácticas y uso concretos del sistema son, según las referencias estudiadas, fuertemente idiosincrásicos y requieren altas GRVLVGHÀH[LELOLGDG\DGDSWDFLyQ3DUHFHWUDWDUVHGHSURFHVRVPiVJXLDGRV ²HQHO VHQWLGR de facilitarlos y apoyarlos, creando continuamente oportunidades para su progreso— que gobernados —en el sentido de pretender un control completo—. Y siguen, como cualquier SROtWLFDWUD\HFWRULDVDELHUWDVTXHQRGHEHQDFRPRGDUVHDXQDGH¿QLFLyQLQLFLDOVLQRFXHVWLRnarla, revisarla y mejorarla continuamente. Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua 2. 29 Plasmación práctica de las políticas de evaluación en países avanzados A lo largo de la primera década del presente siglo se han publicado análisis sobre el desarrollo de la evaluación en diversos países desde una perspectiva sistémica. Seguramente la publicación de referencia al respecto es el International Atlas of Evaluation (Furubo et al., 2002), pero posteriormente han visto la luz algunas monografías y trabajos que amplían y actualizan la información contenida en el Atlas 2. Hacer un repaso exhaustivo de estas experiencias queda fuera del alcance de este artículo. Sin embargo, puede resultar de interés tratar de sintetizar las principales «lecciones aprendidas» que se desprenden de los análisis citados —especialmente en el caso de los países que gozan de una trayectoria más larga en el impulso de la evaluación— para contextualizar la estrategia desarrollada hasta el momento en Cataluña. En primer lugar, en relación a IyUPXODV GH LQVWLWXFLRQDOL]DFLyQ \ RUJDQL]DFLyQ de la evaluación, en ninguno de los países estudiados hay una regulación prolija. Ésta suele UHFRJHUVHHQQRUPDVFRQUDQJRGHOH\UHODWLYDVDODV¿QDQ]DVS~EOLFDV\SRVWHULRUPHQWHHV objeto de directrices internas a través de órdenes, circulares u otros documentos que dictan la política de evaluación. No se regulan tanto los detalles de la práctica evaluadora —que suele ejercerse de forma descentralizada por los diferentes departamentos y agencias del gobierno—, sino sus objetivos, criterios y estándares de calidad, los recursos que se le asignan, el uso que debe hacerse de sus resultados y aspectos relativos a su difusión pública. La combinación de instancias de impulso, coordinación y supervisión centralizada de la evaluación, que actúan también como centro de recursos y apoyo metodológico, con una función evaluaGRUDGHVFHQWUDOL]DGDDGDSWDGDGHIRUPDPiVRPHQRVÀH[LEOHDFDGDFRQWH[WRRUJDQL]DWLYR parece favorecer el avance de la evaluación. Por otra parte, se asume que el progreso de la evaluación es irregular y asimétrico, fomentándose «focos» de evaluación de calidad allá donde se da una combinación propicia de factores y procurando difundir posteriormente esas experiencias punteras entre las organizaciones del sector público, a través de redes internas o interadministrativas. Esas redes favorecen un «efecto contagio» positivo y un grado más elevado de implicación y compromiso4. Además, en los países más avanzados, los propios órganos de impulso de la evaluación en el ejecutivo o bien órganos superiores de control realizan un seguimiento periódico del progreso de la evaluación, los recursos que consume y su incidencia en la mejora y en la transparencia de la acción de gobierno5. Esa «evaluación de la evaluación» es fundamental para reajustar continuamente la estrategia. Por último, y no por obvio menos importante, se muestra indispensable el convencimiento y liderazgo al máximo nivel y un compromiso sostenido a lo largo de los años, no únicamente a corto plazo. En segundo lugar, en lo que respecta a la demanda de evaluación, para activarla se considera esencial sensibilizar a los cargos políticos del gobierno y gestores públicos, así como a los partidos políticos, los miembros del parlamento y los actores económicos y sociales sobre qué es y para qué sirve la evaluación. Asimismo, es preciso dotar al personal técnico de la administración que deba gestionar o utilizar la evaluación de las capacidades analíticas necesarias. No se trata tanto de formar evaluadores expertos de alto nivel —éstos se encontrarán mayoritariamente fuera de la Administración—, sino gestores de la evaluación, que sepan encargar y valorar estudios externos, así como asegurar su utilización posterior. En el seno de las administraciones, la demanda de evaluación suele estimularse también con un sis- Blanca Lázaro WHPDDGHFXDGRGHLQFHQWLYRVSRVLWLYRV\QHJDWLYRVYLQFXODGRVWDQWRDOD¿QDQFLDFLyQGHODV evaluaciones y de las actuaciones de capacitación técnica como a la asignación de recursos presupuestarios a los programas en función de la evidencia existente6. En cuanto a la práctica evaluadora. Los sistemas estudiados distinguen claramente las funciones de monitoreo y de evaluación. La primera se genera normalmente de forma interna, mientras que la evaluación a menudo —aunque no de forma exclusiva— se lleva a cabo por evaluadores expertos externos, ya sean de centros de investigación o consultoras privadas o bien, en determinados casos, por organismos públicos que tienen asignada esa misión7. Esta distinción entre ambas funciones y la diferente forma de organizarlas se dan en WRGRVORVSDtVHVFRQSUiFWLFDVDYDQ]DGDVGHHYDOXDFLyQ0DFND\/HHXZ0DUN y Pfeiffer, 2011; Lahey, 2010). Al respecto, se detecta también un énfasis creciente en la realización de evaluaciones rigurosas de impacto, junto a un cierto cuestionamiento de sistemas de monitoreo complejos (Van Thiel y Leew, 2002). Se reconoce asimismo como indispensable la priorización, a efectos de evaluación, de un determinado número de políticas y programas, siguiendo criterios explícitos de relevancia política, presupuesto y viabilidad técnica. Cada evaluación debe responder preguntas FRQFUHWDV HVSHFt¿FDV SDUD FDGD RFDVLyQ HQ IXQFLyQ GHO SURSyVLWR \ GH ODV QHFHVLGDGHV GH información de los usuarios, a los cuales se procura implicar en el proceso evaluador junto a otros actores relevantes, con el objeto de garantizar en lo posible una mayor apropiación y utilización de los resultados. Por otra parte, es fundamental para una evaluación de calidad su DGRSFLyQ\SODQL¿FDFLyQGHVGHHOLQLFLRGHORVSURJUDPDVDHYDOXDUQRDO¿QDO&RQHVWH¿Q es útil estimular la realización de planes plurianuales de evaluación de orientación práctica, así como la adopción de enfoques de evaluación prospectiva en los diferentes proyectos (US *$20DUN\3IHLIIHU/DKH\5$GHPiVHVWDPELpQQHFHVDULRDGRSWDU mecanismos que permitan garantizar la neutralidad y calidad de las evaluaciones8. En esa línea, las tareas de mejora de la calidad y accesibilidad de los datos disponibles para realizar evaluaciones forman parte también de las agendas de impulso de la evaluación revisadas. Para ello es imprescindible la colaboración de las instancias responsables de impulsar la evaOXDFLyQORVRUJDQLVPRVR¿FLDOHVGHHVWDGtVWLFD\ORVyUJDQRVJXEHUQDPHQWDOHVFRPSHWHQWHV en gestión y sistemas de información administrativa. Estas iniciativas pueden incluso partir GHHQWLGDGHV¿ODQWUySLFDVH[WHUQDVDOD$GPLQLVWUDFLyQLQWHUHVDGDVHQLPSXOVDUODLQYHVWLJDción social aplicada y la evaluación en un ámbito dado de intervención social. (QORTXHVHUH¿HUHDOD utilización y difusión de la evaluación, se presta mucha atención a los formatos y canales de comunicación de resultados para maximizar su utilización, y hacer públicos los informes de forma accesible y atractiva para los ciudadanos9. Por otra parte, la aplicación de los resultados de la evaluación en los procesos decisionales, y especialmente en los relativos a asignación de recursos presupuestarios es compleja y no está del todo resuelta en ninguno de los escenarios contemplados10. Un buen sistema de incentivos que estimule la evaluación voluntaria de políticas de gasto prioritarias, junto con la obligatoriedad GH DSRUWDU HYLGHQFLDV VyOLGDV VREUH HIHFWLYLGDG \ H¿FLHQFLD HQ ORV SURFHVRV GH QHJRFLDFLyQ presupuestaria de determinados programas es el esquema vigente en algunos de los países estudiados. Por último, el volumen de evaluaciones y de recursos asignados a su elaboración en los países más avanzados es muy notable en términos de actividad, recursos humanos y presupuesto dedicado a esta función11. Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua En lo que respecta a (VSDxD, la práctica y el grado de institucionalización de la evaluaFLyQVHHQFXHQWUDQHQWUHORVPiVEDMRVGHOD2&'()XUXER\6DQGDKO9DURQHet al. 2005, Viñas, 2009), registrándose algunos avances en la segunda mitad de la pasada década. Inducida fundamentalmente por las obligaciones asociadas a la recepción de fondos estructurales de la UE, la práctica de la evaluación se ha venido desarrollando a partir de los años 90, aunque de forma fragmentada y poco sistemática (Viñas, 2009). En algunos sectores como las políticas de salud y las políticas de cooperación para el desarrollo, la evaluación ha penetrado a un ritmo más rápido. Sin embargo, en muchos otros su práctica —especialmente si nos referimos a evaluaciones rigurosas de impacto— es escasa o todavía inexistente. A partir de 2005, diversos acontecimientos en el ámbito estatal y autonómico señalan la entrada de la evaluación en las agendas políticas y la voluntad de avanzar en su institucionalización. Entre ODVSULQFLSDOHVFDEHPHQFLRQDUSRURUGHQFURQROyJLFRODDSUREDFLyQD¿QDOHVGHGHOD Ley foral de evaluación de las políticas públicas y de la calidad de los servicios públicos de Navarra12. En segundo lugar, la creación de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL), a través de la disposición adicional primera de la Ley 28/2006, de 18 de julio, de agencias estatales para la mejora de los servicios públicos. Un poco más tarde, en octubre de 2006, se constituye formalmente en Cataluña el Centro para la Investigación y Evaluación de Políticas Públicas —actualmente Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua)—. El Instituto, sin embargo, no iniciará actividades hasta 2008. $ ¿QDOHV GH HQ HOPDUFR GH OD5HG ,QWHUDGPLQLVWUDWLYDGH&DOLGDG GH ORV6HUYLcios Públicos impulsada por AEVAL, se constituye un grupo de trabajo sobre evaluación de políticas públicas14, cuya coordinación se encomienda a Ivàlua y el cual llevará a cabo, a lo largo de 2010, un intercambio bastante intenso de información sobre diferentes aspectos de la situación y el impulso de la evaluación en las comunidades autónomas participantes. PosWHULRUPHQWHHQHO*RELHUQR9DVFRHODERUDHO3ODQGH,QQRYDFLyQ3~EOLFDHO cual incluye entre sus líneas estratégicas el fomento de la cultura de evaluación de políticas públicas. Finalmente, en marzo de 2011 el Parlamento de las Islas Baleares aprueba la Ley GHODEXHQDDGPLQLVWUDFLyQ\HOEXHQJRELHUQR/DQRUPDFUHDXQD2¿FLQDGH(YDOXDFLyQ 3~EOLFD DGVFULWD DO *RELHUQR D WUDYpV GHO 'HSDUWDPHQWR FRPSHWHQWH HQ FDOLGDG GH ORVVHUYLFLRV/D2¿FLQD\ODSROtWLFDGHHYDOXDFLyQHQVXFRQMXQWRFRQWHPSODGDHQODQRUPD están, sin embargo, pendientes de implantación. Ha habido, por tanto, en los últimos años, una serie de avances institucionales en el ámbito de la evaluación en España, aunque sólo en algunos casos han impulsado una práctica evaluadora efectiva. 6LWXDFLyQGHODHYDOXDFLyQGHSROtWLFDVS~EOLFDVHQ&DWDOXxD &RQWH[WR\HVWUDWHJLDVGHDFWXDFLyQGH,YjOXDHQHOSHULRGR En Cataluña el desarrollo de un sistema de evaluación se encuentra en una fase incial. El Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua) ha actuado como dinamizador en el período 2008-2011, diseñando una estrategia basada en el análisis de las mejores prác- Blanca Lázaro ticas detectadas en el entorno internacional y el intento de adaptarlas a la realidad de las administraciones públicas catalanas. Se trata de un consorcio público, con personalidad jurídica SURSLDTXHLQWHJUDGRVQLYHOHVGHDGPLQLVWUDFLyQ²OD*HQHUDOLWDWDWUDYpVGHO'HSDUWDPHQWR GH(FRQRPtD\OD$GPLQLVWUDFLyQORFDODWUDYpVGHOD'LSXWDFLyQGH%DUFHORQD²HLQFRUSRra al mismo tiempo la presencia experta de las universidades públicas catalanas —mediante la Universidad Pompeu Fabra y, posteriormente, el Consell Interuniversitari de Catalunya—, una representación de intereses económicos y sociales, a través del Consejo de Trabajo Económico y Social de Cataluña (CTESC), y de entidades privadas sin ánimo de lucro activas HQHOiPELWRGHODLQYHVWLJDFLyQVRFLDODWUDYpVGHOD)XQGDFLyQ-DXPH%R¿OOTXHMXQWRDODV administraciones y la UPF es entidad fundadora de Ivàlua. Esa composición constituye un claro punto fuerte de un organismo cuya misión no es tanto evaluar las políticas del gobierno, sino contribuir a generar un sistema de evaluación donde ésta sea una práctica ordinaria y continuada, plenamente interiorizada por las propias administraciones como instrumento de mejora interna, pero también de rendición de cuentas. Su naturaleza de entidad pública facilita una buena acogida de sus actuaciones de promoción, formación y evaluación por parte de las administraciones, que en general ven en Ivàlua un partenaire GLVSXHVWR D D\XGDUOHV HQ VXV LQWHQWRV GH IRPHQWDU OD HYDOXDFLyQ FRQ XQ SHU¿O netamente distinto de un proveedor de servicios o de una instancia externa de control. En contrapartida, y junto con la ausencia de una política explícita de evaluación en Cataluña, el consorcio presenta un anclaje institucional algo débil que, aunque le otorga una cierta independencia —más formal que real, ya que el grueso del presupuesto del Instituto proviene de ODVDGPLQLVWUDFLRQHV²SXHGHFRPSRUWDUXQGp¿FLWGHDXWRULGDG(O,QVWLWXWRKDLGRFDSHDQGR HVH LQFRQYHQLHQWH D OR ODUJR GH VXV SULPHURV FXDWUR DxRV GH H[LVWHQFLD D¿DQ]iQGRVH FRPR referente de la evaluación de políticas públicas en Cataluña sobre la base de la calidad y del reconocimiento que hasta ahora han merecido sus actuaciones por parte de los organismos evaluados y de expertos independientes. El contexto en el que actúa Ivàlua se caracteriza por la ausencia de una política explíFLWDGHLPSXOVRGHODHYDOXDFLyQWDOFRPRODYHPRVGH¿QLGDHQSDtVHVDYDQ]DGRV(VLQQHgable que disponemos ya de un corpus en absoluto despreciable de normas que contemplan la obligación de evaluar15. Sin embargo, esas obligaciones normativas están pendientes de traducción práctica en la mayor parte de casos. Por otra parte, en términos generales, la demanda de evaluación en el sector público catalán se materializa hoy en día fundamentalmente a través de peticiones puntuales y aisladas entre sí. No deriva de un concepto o principios comunes sobre evaluación de políticas públicas y se confunde a menudo con DFWLYLGDGHVGHSODQL¿FDFLyQPRQLWRUHRRDXGLWRUtDHFRQyPLFDRGHJHVWLyQ7DPSRFRH[LVten pautas sistemáticas para el seguimiento de la utilización de las evaluaciones realizadas en procesos de toma de decisiones, ni sobre su incidencia en la eventual mejora de los programas. En cuanto a la organización de la práctica evaluadora, si bien existe una multiplicidad de unidades administrativas que tienen asignadas funciones de evaluación, tanto en el ámbito autonómico como en el local16, el rango de funciones asignadas varía notablemente y no existe un hilo conductor común en sus objetivos. Condiciona asimismo la práctica de la evaluación en Cataluña la situación de las bases de datos y otras fuentes de información administrativa. Estas presentan todavía algunas carencias —ausencia de registros sistemáticos, problemas Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua de calidad de los datos que contienen, falta de rutinas de extracción e integración de bases de GDWRVDGDSWDGDVDODVQHFHVLGDGHVGHODHYDOXDFLyQ«²DODVTXHVHVXPDQODVGL¿FXOWDGHV administrativas para cruzar datos de diferentes registros, especialmente si los titulares son distintos órganos de la Administración. A este panorama hay que añadir obstáculos para el tratamiento de datos de carácter personal contenidos en los registros administrativos a efectos de evaluación. Aunque la normativa autoriza claramente ese tratamiento para el ejercicio de las funciones propias de las administraciones públicas en el ámbito de sus competencias —y la evaluación debe, sin duda, formar parte de ellas—, el desconocimiento de la evaluación lleva todavía a interpretaciones restrictivas en algunas ocasiones. En ese marco, Ivàlua ha seguido en el periodo 2008-2011 cinco grandes líneas de trabajo17. En primer lugar, la sensibilización de actores clave. Esta línea consiste en actuaciones de formación introductoria, jornadas, seminarios e información, dirigidos a directivos, técnicos, DJHQWHVVRFLDOHV\FLXGDGDQtDFRQHO¿QGHFODUL¿FDUTXpHVODHYDOXDFLyQ\SDUDTXpVLUYH\ generar una predisposición favorable a su práctica. En segundo lugar, el desarrollo de capacidad técnica para la evaluación. Las actuaciones llevadas a cabo en esta línea incluyen cursos de formación técnica de evaluadores y de gestores de la evaluación; creación y difusión de recursos sobre métodos, técnicas y gestión de la evaluación, así como la puesta en marcha de redes administrativas, profesionales y mixtas para compartir información y fomentar el compromiso con la evaluación. En tercer lugar, Ivàlua realiza directamente evaluaciones que respondan a prioridades de las administraciones. La intervención de Ivàlua como organismo evaluador en estos casos busca ir más allá del proyecto concreto para lograr un efecto pedagógico, de sensibilización \GHFDSDFLWDFLyQWpFQLFDHQHOiPELWRGHOSURJUDPDHYDOXDGR&RQHVWD¿QDOLGDG,YjOXDKD SURFXUDGRVHOHFFLRQDUFXLGDGRVDPHQWHVXVSUR\HFWRV\DFWXDUFRPRVRFLRLPSXOVRUFR¿QDQciador y copropietario de la evaluación, asumiendo la dirección y ejecución técnicas y arbitrando una implicación continuada de directivos, técnicos y actores clave de los programas evaluados a través de la creación de grupos de dirección y de seguimiento técnico. Si bien la mayor parte de evaluaciones realizadas entre 2009 y 2011 han tenido carácter retrospectivo, en 2011 se han iniciado evaluaciones prospectivas, asociadas a programas de nueva creación. Esas evaluaciones prospectivas se diseñan en el arranque de los programas y los acompañan en su despliegue, poniendo en marcha los dispositivos de recogida de datos e información que permiten el monitoreo y análisis de la implementación y que posteriormente harán posible evaluar el impacto. También, por otra parte, se ha iniciado la confección de agendas o planes de evaluación plurianuales en algunos ámbitos de intervención sectorial. Si bien en 2009 y 2010 el conjunto de actuaciones de evaluación incidió fundamentalmente en programas autonómicos, a partir de 2011 ese alcance se ha ampliado a programas de ámbito local y también del tercer sector. $VLPLVPRHQWRGRVORVFDVRVVHKDQLGHQWL¿FDGRPiUJHQHVGHPHMRUDHQODVFRQGLFLRnes técnicas de evaluabilidad de los programas, y en particular de las fuentes de información disponibles, proponiéndose recomendaciones al respecto. Han quedado esbozadas y pendientes de concreción e impulso en años sucesivos actuaciones transversales de colaboración con organismos competentes para potenciar el aprovechamiento de registros administrativos existentes a efectos estadísticos y de evaluación. Blanca Lázaro Otra línea de trabajo de Ivàlua tiene que ver con la comunicación y utilización de los resultados de las evaluaciones. Como se ha mencionado anteriormente, el Instituto ha procurado la implicación de directivos, responsables técnicos y otras partes interesadas en las actuaciones de evaluación desde su inicio, asegurando su conocimiento y acuerdo sobre los objetivos de las actuaciones, así como el compromiso de tomar los resultados en consideración en decisiones futuras sobre los programas. Se ha prestado mucha atención a la comunicación de los informes, manejando diferentes formatos en función de las circunstancias y destinatarios —notas breves, resúmenes ejecutivos, presentaciones e informes completos—. Esos materiales se han difundido también públicamente con la intención de fomentar su conocimiento y el debate de las conclusiones y recomendaciones que contienen. La difusión se ha realizado tanto a través del web de Ivàlua —y también en algunos casos a través de webs de la Administración—, como mediante seminarios presenciales, dirigidos a personal de las administraciones, entidades externas colaboradoras en los programas, académicos y agentes sociales. No se ha hecho, sin embargo, un seguimiento sistemático de posibles mejoras derivadas de las evaluaciones, ni de la conexión con el proceso presupuestario. Finalmente, se intenta llevar a cabo un contraste permanente de la estrategia de Ivàlua con la práctica internacional y con la opinión de expertos externos, para lo cual se ha constituido un grupo de expertos académicos y profesionales que, convocados por la Presidencia de Ivàlua, se reúne dos o tres veces al año. Es preciso, no obstante, realizar un seguimiento más sistemático del progreso de la evaluación en Cataluña que sirva también para orientar actuaciones futuras. En resumen, las actividades desarrolladas hasta ahora por el Instituto han tratado de incidir en las principales líneas de impulso de la evaluación detectadas en el entorno internacional, y han sido bien recibidas por profesionales del sector público y del tercer sector social, los cuales han mostrado un elevado interés y motivación hacia la evaluación. Hay que reconocer, sin embargo, que la cobertura alcanzada en acciones de sensibilización, capacitación y evaluación, así como el seguimiento posterior, son todavía limitados y deberán mejorar substancialmente en los próximos años. Para ello, entre otros aspectos, el Instituto debe reforzar la colaboración con ámbitos de investigación académica y práctica profesional evaluadora, y así como facilitar y fomentar la interacción entre éstos y la administración. 3.2. ¿Cómo avanzar a partir de ahora? Proponemos en este penúltimo apartado recordar rápidamente los riesgos más notables para el avance de la evaluación detectados a la luz de la experiencia internacional, e insistir en la conveniencia de evitarlos a la vez que se sugieren formas de proceder en los próximos años. Una seria amenaza para el impulso de la evaluación consiste, en primer término, en confundir el liderazgo del proceso con la simple imposición de nuevas obligaciones burocráticas a unas organizaciones ahora mismo infradotadas para la evaluación. Veíamos en apartados previos las particularidades de las políticas de evaluación, su condición de procesos más guiados que gobernados, fuertemente idiosincrásicos, con una clara querencia por modelos RUJDQL]DWLYRVGHVFHQWUDOL]DGRVGRWDGRVGHDPSOLRVPiUJHQHVGHÀH[LELOLGDGSHURDOPLVPR tiempo, necesitados de orientación, apoyo y supervisión continuados. Ciertamente, diseñar y dirigir ese tipo de sistemas es bastante más complejo que conformarse con una simple aproxi- Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua mación normativa. Como hemos visto en otros países, buena parte del éxito radica en asumir el reto de la complejidad desde el inicio. Otro riesgo consiste en confundir la necesaria orientación práctica de la evaluación con la exigencia de rebajar su rigor técnico o, lo que viene a ser lo mismo, continuar acordándose de la evaluación sólo cuando está próximo el momento de tomar decisiones. Tal como hemos visto en otros países, es necesario asociar agendas de evaluación a las agendas políticas sectoriales o transversales y abordar la evaluación, siempre que sea posible, de forma prospectiva. En relación a ello, hay que tener en cuenta que la capacidad evaluadora no es fácil de improvisar. Transformar rápidamente funcionarios de la administración con SHU¿OHVDMHQRVDODLQYHVWLJDFLyQHQHYDOXDGRUHVH[SHUWRVQRSDUHFHIDFWLEOHVLWHQHPRVHQ cuenta la sólida formación que éstos deben tener en métodos y técnicas de investigación social. Vista la experiencia de los que nos preceden, parece deseable concentrar la capaciWDFLyQLQWHUQDHQSHU¿OHVGHLPSXOVRUHV\JHVWRUHVGHODHYDOXDFLyQFDSDFHVGHWUDQVIRUPDU las necesidades de conocimiento en preguntas abordables desde la evaluación, de actuar como clientes inteligentes de encargos externos, de hacer el seguimiento de la utilización de los informes y, si cabe, más importante, de elaborar planes de evaluación, velar por la consecución de óptimas condiciones internas de evaluabilidad y cultivar una cultura interna favorable. Por otra parte, el recurso a evaluadores externos expertos no es sólo una cuestión de presupuesto, ya que esa expertise, dispersa en diferentes disciplinas académicas, DGROHFH DFWXDOPHQWH GH LQVX¿FLHQWHV LQFHQWLYRV \ FDQDOHV SDUD VX WUDQVIHUHQFLD DO VHFWRU público. Además, hay que fomentar la investigación evaluativa más allá de los proyectos puntuales, procurando el avance del conocimiento de las problemáticas sociales, así como la generación de modelos de análisis e instrumentos para su evaluación. Es, pues, necesario estimular, organizar y dotar económicamente esas líneas de investigación y transferencia de know how al sector público. Asimismo, impulsar la capacidad para la evaluación implica comprometerse seriamente con la mejora de las condiciones actuales de evaluabilidad de las políticas, y en particular con la disponibilidad y calidad de los datos contenidos en los registros administrativos, con su aprovechamiento estadístico, y con la facilidad de acceso por parte de los profesionales de la evaluación. Las debilidades actuales en ese terreno plantean ahora retos a menudo insalYDEOHVSDUDODUHDOL]DFLyQGHHYDOXDFLRQHVUHWURVSHFWLYDV3ODQL¿FDUGHDQWHPDQRODVHYDOXDciones y abordarlas siempre que sea posible de forma prospectiva, junto con una actuación FRRUGLQDGDHQWUHFHQWURVJHVWRUHVGHORVSURJUDPDVyUJDQRVDFDUJRGHODHVWDGtVWLFDR¿FLDO autoridad de protección de datos de carácter personal y órganos promotores de la evaluación, comportaría sin duda mejoras ostensibles a medio plazo. Sería también altamente deseable que la evaluación prospectiva de proyectos piloto, previa a su posible universalización, se incorporara cuanto antes a las administraciones públicas y fuera desplazando la práctica actual —difícilmente sostenible desde un punto de vista estrictamente económico, pero también social— de dar por buenas a priori, sobre la base de un conocimiento a menudo intuitivo, intervenciones que comportan un gasto de varios millones de euros. En cuanto a los resultados y utilidad de las evaluaciones, hemos visto que no conviene confundir los primeros con dictámenes necesariamente taxativos sobre la idoneidad de los programas, sino valorarlos como hitos en un proceso continuo de producción de conocimiento. Por otro lado, apresurarse a conectar la evaluación con el proceso de asignación presu- Blanca Lázaro puestaria, a través de una densa y compleja trama de indicadores que cubra simultáneamente todas las políticas del gobierno, no parece factible. Concentrarse de forma sucesiva en áreas \SURJUDPDVSULRULWDULRV\SURIXQGL]DUHQHOORVODHYDOXDFLyQGHVXHIHFWLYLGDG\H¿FLHQFLD parece arrojar mejores resultados. Finalmente, existe el riesgo de anular una de las dos caras de la evaluación y hurtar sus resultados a un debate público y social que la enriquezca y que fortalezca la legitimidad de las instituciones de gobierno. La experiencia internacional en este ámbito apuesta claramente por la difusión pública de la evaluación, una vez cotejados ORV HYHQWXDOHV EHQH¿FLRV GH VX RFXOWDFLyQ D OD RSLQLyQ S~EOLFD FRQ OD SpUGLGD GH FDOLGDG democrática que implican esas prácticas. Es deseable que los avances normativos que se vislumbran en España en materia de transparencia y acceso a información del sector público permitan progresar hacia una difusión más generalizada. 4. Conclusiones En Cataluña, el recurso a la evaluación de políticas públicas como instrumento de buen gobierno está pasando lentamente de ser poco más que una declaración de buenas intenciones presente en organigramas, normas de diverso rango y planes de actuación, a dotarse de contenido y de ciertos instrumentos que permiten albergar esperanzas de arraigo a medio y largo plazo. Se trata, no obstante, de una travesía que deberá abordar retos importantes, por lo que es interesante tener en cuenta los errores cometidos y las soluciones aplicadas por quienes nos han precedido en esta tarea. El éxito de la empresa radicará en trabajar con una perspectiva a medio y largo plazo, y en sumar esfuerzos entre los diferentes actores implicados. Los gobiernos y las administraciones, en primera instancia, como responsables directos de liderar el proceso. Ivàlua, como centro de referencia y de recursos sobre evaluación, trabajando en UHGFRQODVSURSLDVDGPLQLVWUDFLRQHV\FRQHYDOXDGRUHVH[SHUWRV(QWLGDGHV¿ODQWUySLFDVTXH asuman con recursos propios un papel de pilotaje y evaluación de formas innovadoras de intervención social que, de mostrarse exitosas, puedan ser generalizables. Ciudadanía, agentes sociales, partidos políticos, que exijan conocer más y mejor el funcionamiento y resultados de la acción de gobierno, y se comprometan a participar en un debate político y social bastante más abierto y mejor informado sobre las alternativas de intervención ante las complejas problemáticas sociales. +HPRV KDEODGR GH ULHVJRV SHUR WDPELpQ HV MXVWR SDUD ¿QDOL]DU VXEUD\DU GRV SXQtos fuertes importantes. Por un lado, el compromiso político que parece irse fraguando en los últimos años al más alto nivel con el desarrollo de la evaluación en Cataluña. Por otro, el gran interés que suscita la evaluación entre los profesionales del sector público catalán, manifestado a través de la elevada participación en las actividades de formación y difusión organizadas por Ivàlua en los últimos años. Habrá que administrar con prudencia ese valioso FDSLWDOGHPRGRTXHVLUYDDOD¿QDOLGDGGHLPSXOVDUODHYDOXDFLyQGHVGHODEDVHPiVVyOLGD posible: el convencimiento personal sobre su utilidad para una mejora ineludible de la acción de gobierno. Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua Notas 1. Por razones de espacio, no nos extendemos sobre el concepto de «Evaluation Capacity Building», ampliamente tratado en la literatura (ver por ejemplo Labin et al. 2012). En este artículo preferimos emplear el término «política de evaluación» para referinos al desarrollo de ésta como sistema en un contexto social y político determinado. Utilizamos, en cambio, el concepto de «capacitación» cuando aludimos al desarrollo GHFRQRFLPLHQWRV\KDELOLGDGHVVREUHHYDOXDFLyQHQORVQLYHOHVRUJDQL]DWLYRHLQGLYLGXDO3UHVNLOO\%R\OH 2008). (VHOFDVRVLQSUHWHQVLyQGHH[KDXVWLYLGDGGH(VWDGRV8QLGRV0DUN.\3IHLIIHU-&DQDGi/DKH\ 5 0F'DYLG- \+XVH ,$XVWUDOLD0FND\OD8QLyQ(XURSHD6WHUQ ( HQWUHRWURVHO5HLQR8QLGR'DYLHV3,UODQGD%R\OH+RODQGD/HHXZ)/%pOJLFD 9DURQH)-DFRE6\'H:LQWHU/R(VSDxD)HLQVWHLQ2\=DSLFR*RxL(9LxDV9 Además, en los últimos años ha habido una eclosión de webs y publicaciones institucionales relativas a las políticas de evaluación, tanto en organismos nacionales como supranacionales, por lo que la información disponible para el análisis está aumentando rápidamente. (VWDHVODIyUPXODYLJHQWHDFWXDOPHQWHHQ&DQDGi²7UHDVXU\%RDUG6HFUHWDULDW7%6\&HQWHURI([FHOOHQFH IRU (YDOXDWLRQ &((² /DKH\ (VWDGRV 8QLGRV ²2I¿FH RI 0DQDJHPHQW DQG %XGJHW 20% GHO JRELHUQRIHGHUDO²0DUN\3IHLIIHU\$XVWUDOLD0DFND\DXQTXHHQDOJXQRVFDVRVSXHGHOOHYDU a un cierto solapamiento de funciones entre múltiples instancias con funciones evaluadoras o relacionadas (Leeuw, 2009). 4. Constituyen algunos ejemplos de esas redes el Performance Improvement Council (PIC), puesto en marcha SRU HO SUHVLGHQWH *HRUJH: %XVK FRPR yUJDQR LQWHUGHSDUWDPHQWDO EDMR HO FXDO VH FUHD HQ \D EDMR OD nueva administración Obama, el Inter-agency Evaluation Working Group. También, las redes de evaluación interdepartamentales impulsadas por el Center of Excellence for Evaluation en la Administración Federal de Canadá, o mixtas, como el Camberra Evaluation Forum impulsado por el Ministerio de Economía del Gobierno australiano a mediados de los 90 y todavía activo. 9HUSRUHMHPSOR86*RYHUQPHQW$FFRXQWDELOLW\2I¿FHGovernment Performance. Lessons Learned for the Next Administration on Using Performance Information to Improve Results. 2008, y 2I¿FHRIWKH$XGLWRU*Hneral of Canada. Report of the Auditor General of Canada to the House of Commons. Chapter 1. Evaluating the Effectiveness of Programs. Fall 2009. 6. La Voluntary Evaluation Initiative, un fondo dotado con 100 millones de dólares en los presupuestos de 2011 y de 2012 del Gobierno Federal de los Estados Unidos constituye un buen ejemplo al respecto. 7. Por ejemplo, el Congressional Research Service o la propia US GAO, en el caso de Estados Unidos, o el CEE, en el caso de Canadá. 8. Por ejemplo, en el caso de Canadá el CEE asume una función de supervisión interna general del funcionamiento del sistema de evaluación, así como de los planes de evaluación departamentales y de los informes individuales. Puede ser interesante, asimismo, aprovechar una estructura política descentralizada del estado como «laboratorio» para la experimentación territorial y la evaluación comparada de programas (Varone, F., -DFRE6\'H:LQWHU/ (Q HO FDVR GH (VWDGRV 8QLGRV SRU HMHPSOR VH KDQ KHFKR HVIXHU]RV PX\ VLJQL¿FDWLYRV GH GLIXVLyQ S~EOLFD HQ IRUPDWRV DFFHVLEOHV SDUD HO JUDQ S~EOLFR WDQWREDMR OD$GPLQLVWUDFLyQ GH *HRUJH: %XVK 3URJUDP$Vsessment Rating Tool —PART— y publicación de resultados en el portal www.ExpectMore.gov) como bajo el mandato actual del presidente Obama (www.performance.gov). 10. Un país donde esa integración parece haber tenido éxito es Australia, en una primera etapa de expansión de la HYDOXDFLyQHQWUH\TXHVHKDUHWRPDGRUHFLHQWHPHQWH0DFND\ 3RUFLWDUDOJXQDVFLIUDVHQHOFDVRGH((88¿MiQGRQRVWDQVyORHQODDFWLYLGDGHYDOXDGRUDGHOD86*$2 pVWD VXSHUD ORV LQIRUPHV DQXDOHV FRQ XQD SODQWLOOD WRWDO GH SHUVRQDV 0DUN \ 3IHLIIHU \ un presupuesto anual superior a los 550 millones de dólares en 2010 (US GAO, marzo 2011). En Canadá, la cobertura de las actividades de evaluación en 2009-2010 se calculaba en un 15% de los programas de gasto GHOJRELHUQRIHGHUDO²HYDOXDFLRQHVDODxR²\HOREMHWLYRGHODQXHYDSROtWLFDGHHYDOXDFLyQDSUREDGDHQ Blanca Lázaro 2009 es llegar al 20%. La traducción presupuestaria de esta esfuerzo evaluador fue de 78 millones de dólares canadienses en 2009-2010, y la plantilla de evaluadores en departamentos y agencias gubernamentales se calculaba hacia mediados de la pasada década en 500 personas (TBS, 2011). 12. Es la primera ley que institucionaliza en España la evaluación de las políticas públicas como función transYHUVDOGHOJRELHUQR\FUHDXQyUJDQRHVSHFt¿FRFRQHVD¿QDOLGDGOD&RPLVLyQ)RUDOSDUDOD(YDOXDFLyQGHODV Políticas y la Calidad de los Servicios. /D$JHQFLDVHFRQVWLWX\HDSDUWLUGHOD'LUHFFLyQ*HQHUDOGH,QVSHFFLyQ(YDOXDFLyQ\&DOLGDGGHORV6HUYLFLRV GHO0$3LQWHJUDQGRODPD\RUSDUWHGHVXSHUVRQDO6X¿QDOLGDGHVODSURPRFLyQ\UHDOL]DFLyQGHHYDOXDFLRQHV de políticas cuya gestión corresponde a la Administración General del Estado, aunque puede evaluar también otras de ámbito autonómico a través del establecimiento de convenios de colaboración con las comunidades autónomas. 14. Integrado por representantes de las CCAA de Castilla y León, Cataluña, Extremadura, Islas Baleares, Navarra, País Vasco, Valencia, además de AEVAL y la FEMP. 15. Es el caso, por ejemplo, de la Ley 26/2010, de régimen jurídico y de procedimiento de las administraciones públicas catalanas, que establece la obligación de realizar memorias de evaluación de impacto económico y social. También, sin ánimo de exhaustividad, las leyes 12/2007, de servicios sociales de Catalunya, 10/1997, de la RMI, 14/2010, de los derechos y oportunidades en la infancia y en la adolescencia, o 12/2009, de Educación, incluyen obligaciones al respecto. Además, son frecuentes las previsiones sobre evaluación contenidas en diversos planes, convocatorias, etc. 16. En un repaso rápido de los organigramas vigentes, tan sólo en el ámbito de la Administración de la Generalitat FRQWDPRV SRU ORPHQRV VLQ LQFOXLUODV DJHQFLDV \RUJDQLVPRV HVSHFt¿FRV GH ORViPELWRV GH (GXFDFLyQ \ 6DOXG(VGHHVSHUDUTXHODFUHDFLyQHQDEULOGHGHOD'LUHFFLyQ*HQHUDOGH6HJXLPLHQWR\(YDOXDFLyQGH Políticas de Estabilidad y Crecimiento, dependiente de la Secretaría de Economía y Finanzas de la Generalitat, permita avanzar hacia una mayor coordinación en este ámbito. 17. El portal de recursos para la evaluación www.ivalua.cat contiene información detallada sobre las actividades llevadas a cabo por el instituto en el periodo 2008-2011. Pueden consultarse también en el web las memorias anuales, así como el balance sintético Promover la evaluación de políticas públicas en Catalunya 2008-2011. %LEOLRJUDItD %R\OH5/HPDLUH'\5LVW5©,QWURGXFWLRQEXLOGLQJHYDOXDWLRQFDSDFLW\ª Building Effective Evaluation Capacity: Lessons from Practice7UDQVDFWLRQ3XEOLVKHUV1HZ%UXQVZLFN &KHOLPVN\ ( ©$ &ODVK RI &XOWXUHV ,PSURYLQJ WKH ³¿W´ %HWZHHQ (YDOXDWLYH ,QGHSHQGHQFH DQG WKH 3ROLWLFDO 5HTXLUHPHQWV RI D 'HPRFUDWLF 6RFLHW\ª American Journal of Evaluation, núm. 29, p. 400-415. &KHOLPVN\ ( ©,QWHJUDWLQJ (YDOXDWLRQ 8QLWV ,QWR WKH 3ROLWLFDO (QYLURQPHQW RI *RYHUQPHQW The Role of Evaluation Policy, New Directions for EvaluationQ~PS &RRNV\/-0DUN00\7URFKLP0.©(YDOXDWLRQSROLF\DQGHYDOXDWLRQSUDFWLFHZKHUH do we go from here», New Directions for EvaluationQ~PSS Feinstein, O. y Zapico-Goñi, E. (2010): «Evaluation of Government Performance and Public Policies in 6SDLQª(&'Working Paper SeriesQ~P0D\,(*7KH:RUOG%DQN*URXS )XUXER-\6DQGDKO5©$'LIIXVLRQ3HUVSHFWLYHRQ*OREDO'HYHORSPHQWVLQ(YDOXDWLRQªHQ Furubo, J.; Rist, R. y Sandahl, R. (eds), International Atlas of Evaluation. Transaction Publishers. Estrategias para el avance de la evaluación: la experiencia catalana a través de Ivàlua Labin, S. [et al.] (2012): «A Research Synthesis of the Evaluation Capacity Building Literature». American Journal of Evaluation. January 2012 [version RQOLQH¿UVW; publicación prevista para mayo de 2012]. /DKH\ 5 ©7KH &DQDGLDQ 0( 6\VWHP /HVVRQV /HDUQHG IURP <HDUV RI 'HYHORSPHQWª ECD Working Paper Series.Q~P1RYHPEHU,(*7KH:RUOG%DQN*URXS /HHXZ )/ \ )XUXER - ©(YDOXDWLRQ 6\VWHPV :KDW DUH 7KH\ DQG :K\ 6WXG\ 7KHP"ª HQ Evaluation. Vol 14(2), pp. 157-170. Leeuw, F. L. (2009): «Evaluation Policy in the Netherlands», New Directions for EvaluationQ~P pp. 87-102. 0FGDYLG-\+XVH,©:LOO(YDOXDWLRQ3URVSHULQWKH)XWXUH"ªThe Canadian Journal of Program Evaluation,9ROQ~PSS 0DFND\ . ©7KH$XVWUDOLDQ *RYHUQPHQW¶V 3HUIRUPDQFH )UDPHZRUNª ECD Working Paper Series1R$SULO,(*:RUOG%DQN*URXS 0DUN 00 &RRNV\ /- \ 7URFKLP 0. ©(YDOXDWLRQ 3ROLF\$Q ,QWURGXFWLRQ DQG 2YHUveiw», New Directions for EvaluationQ~PSS 0DUN . \ 3IHLIIHU - 5 ©0RQLWRULQJ DQG (YDOXDWLRQ LQ WKH 8QLWHG 6WDWHV *RYHUQPHQW$Q Overview». ECD Working Paper SeriesQ~P2FWREHU,(*7KH:RUOG%DQN*URXS 3UHVNLOO+\%R\OH6©$0XOWLGLVFLSOLQDU\0RGHORI(YDOXDWLRQ&DSDFLW\%XLOGLQJªAmerican Journal of Evaluation9RO'HFHPEHUSS 5LVW 5 ©7KH ³(´ LQ 0RQLWRULQJ DQG (YDOXDWLRQ8VLQJ (YDOXDWLYH .QRZOHGJH WR 6XSSRUW D Results-Based Management System», From Studies to Streams.Transaction Publishers. New BrunVZLFN 6WRFNGLOO6%DL]HUPDQ0\&RPSWRQ'HGV©7RZDUGD'H¿QLWLRQRIWKH(&%3URFHVV$ Conversation with the ECB Literature», New Directions for EvaluationQ~PSS Treasury Board of Canada Secretariat (2011): 2010 Annual Report on the Health of the Evaluation Function. 7URFKLP:0.©(YDOXDWLRQ3ROLF\DQG(YDOXDWLRQ3UDFWLFHªNew Directions for Evaluation, Q~PSS 86*RYHUQPHQW$FFRXQWDELOLW\2I¿FHProgram Evaluation. Experienced Agencies Follow a Similar Model for Prioritizing Research. Van Thiel, S. y Leew F. L. (2002): «The Performance Paradox». Public Performance Review, Vol. 25 Q~PSS 9DURQH)-DFRE6\'H:LQWHU/©3ROLW\3ROLWLFVDQG3ROLF\(YDOXDWLRQLQ%HOJLXPªEvaluation9ROSS 9LxDV9©7KH(XURSHDQ8QLRQ¶V'ULYH7RZDUGV3XEOLF3ROLF\(YDOXDWLRQ7KH&DVHRI6SDLQª Evaluation, Vol. 15(4), pp. 459-472.
