institucionalización de la evaluación

“La institucionalización de la evaluación de
políticas públicas en España”
María Luisa Carcedo Roces
Presidenta
Agencia Estatal de Evaluación de
las Políticas Públicas y la Calidad de los Servicios
Relación de simetría
entre ciudadanos y
representantes políticos
CONTEXTO
POLÍTICO
Cambios en el sistema
global de relaciones
entre administración y
el ciudadano
Nuevos retos,
nuevas exigencias
Symmetric relations
between citizens and
politics
POLITICAL
CONTEXT
New challenges, new
requirements
Changes in the global
system of relations
between citizens and
administration
UNA HERRAMIENTA DE CALADO SOCIAL
Legitimación de las políticas sociales y las acciones del gobierno
Contribución de las políticas para crear un determinado tipo de sociedad
Evaluación de
las Políticas Públicas
Reforzamiento del estado del bienestar
Análisis de los efectos de las políticas sobre los ciudadanos
Legitimacy of social policies and government actions
Evaluation of the
public policies
Contribution of the policies to develop certain model of society
Reinforcement of welfare state
Analysis of the policies effects on the citizens
INSTITUCIONALIZACIÓN DE LA EVALUACIÓN
El proceso político por el que se legitima un marco normativo adecuado para
el desarrollo de la función de evaluación a partir de la estructuración de
espacios e instancias de las administraciones públicas a las que encargar tal
función, ubicándolos en distintos niveles de gobierno y según las distintas
actividades o sectores a evaluar.
INSTITUCIONALIZATION OF THE EVALUATION
The political process that provides legitimacy to the normative framework for
the development of the function of evaluation. It organizes the offices and
services in the public administration that will be in charge of that function,
locating them in the different government levels according to the activities or
sectors to evaluate
IMPORTANTES ESFUERZOS POR MODERNIZAR EL SISTEMA Y HACER UNA ADMINISTRACIÓN
MÁS EFICAZ
MÁS TRANSPARENTE
MÁS SENCILLA
MÁS COMPRENSIBLE
QUE OFREZCA SERVICIOS DE MAYOR CALIDAD
CAPAZ DE ESCUCHAR A LOS CIUDADANOS
CAPAZ DE RESPONDER A SUS DEMANDAS
More effective
More transparent
With simpler processes
Easier to understand
Offering services of high quality
Able to listen to the citizens
Able to respond to their demands and needs
INSTITUCIONALIZACIÓN DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ESPAÑA
Compromiso político
Análisis académico
Marco jurídico
Programa electoral 2004
Comisión de expertos
Ley de Agencias
Servicio a la ciudadanía,
transparencia en la gestión
pública, rendición de cuentas
Identificación de estructura,
funciones, forma
institucional más adecuadas
Ley de Agencias Estatales para
la mejora de los Servicios
Públicos (28/2006 18 julio)
THE INSTITUTIONALIZATION OF PUBLIC POLICY EVALUATION IN SPAIN
Politic commitment
Academic analysis
Legal framework
Electoral Program 2004
Expert Committee
Law of Agencies
Service to citizens, transparency
and accountability
Proposal of structure, functions
and institutional model
Law of National Agencies for the
improvement of Public Services
(28/2006 18 July)
Misión
La promoción y realización de evaluaciones y análisis de impacto de las políticas y programas públicos, así como el impulso de la
gestión de las calidad de los servicios, favoreciendo el uso racional de los recursos y la rendición de cuentas a la ciudadanía.
Doble finalidad
POLÍTICA
(rendición de cuentas, transparencia, calidad democrática)
SOCIO- ECONÓMICA
(eficiencia, racionalización en el uso de los recursos, mejora de las decisiones en base a evidencias, impactos en la sociedad)
Mission
To contribute to the improvement of the activities and results of the public institutions in Spain, by means of the performance of
evaluations and with the promotion of the culture of evaluation.
Double Purpose
POLITICAL
accountability, transparency, and the quality of democracy
SOCIO- ECONÓMICAL
Efficacy of the policies, the rational allocation of the resources, the improvement of evidence based decisions, and the analysis
of the impacts on society.
FUNCIONES
Difusión de la cultura de evaluación.
Evaluaciones de políticas y programas.
Elaboración de metodologías, sistemas de
información e indicadores.
Promoción de la cultura de calidad
institucional.
Evaluaciones de servicios públicos y de la
actividad de las Agencias Estatales.
Observatorio de la Calidad de los Servicios.
Directrices metodológicas, difusión de buenas
prácticas y certificaciones de calidad.
FUNCIONES
evaluation
Dissemination of the culture of evaluation
Evaluation of policies and programs
Development of methodology, information
systems and indicators
quality
Promotion of the culture of institutional
quality
Evaluation of the public services and the
activity of National Agencies
Observatory of the quality of the services
Methodological guidelines, dissemination of
good practices and quality accreditation
EVOLUCIÓN DEL CONCEPTO EVALUACIÓN (I)
1. MEDICIÓN DE RESULTADOS
Fuertes exigencias metodológicas/cuantitativas.
Utilidad real limitada no explica la conexión entre el conocimiento obtenido y la mejora de la acción.
No se explican las razones de los resultados generado.
2. DESCRIPCIÓN DEL PROGRAMA
Se modifica la unidad de análisis.
El foco ya no está en individuos o servicios sino en programas.
Trata de explicar los resultados por su conexión con el funcionamiento del programa.
Se analizan variables internas, pero no el contexto
1. RESULTS MEASUREMENT
High methodological/quantitative requirements
Limited utility. Does not explain the relation between obtained knowledge
and action improvement
Does not explain the reasons for the obtained results.º
2.DESCRIPTION OF THE PROGRAM
The unit of analysis changes
Focused on programs or services, not on individuals
Aimed to explain the results by their connection with the functioning of
the program
Internal variables are analyzed, but the context is not included
EVOLUCIÓN DEL CONCEPTO EVALUACIÓN (II)
3. JUICIO SOBRE LAS POLITICAS Y PROGRAMAS
El elemento central son los objetivos .
Conocer cuál es el verdadero impacto de los programas.
El cambio observado y que parte es debido a la intervención
La dificultad en establecer estos nexos causales entre programas y resultados dada la complejidad de las
decisiones publicas.
4. PERSPECTIVA MÁS POLÍTICA O DE PROCESO SOCIAL
Giro con respecto a la situaciones anteriores que pretendían aportar más elementos objetivos.
El elemento central son posiciones, actitudes y orientaciones de los actores con influencia en el proceso político.
La evaluación menos técnica y más de debate social.
Negociación “qué es y en qué consiste el éxito de una política”.
Dificultad de datos objetivables, referentes….
3. JUDGEMENT ABOUT POLICIES AND PROGRAMS
Objectives are the main element
Knowledge about the real outcome of the programs
Analyze the observed change and which part is due to intervention
Difficulty to establish causal relations between programs and results because
the complexity of public decisions
4. A SOCIO-POLITICAL PROCESSThe unit of analysis changes
Important change in relation with previous perspectives, that looked for objective elements
The main aspects are the attitudes and orientations from agents that
may influence the political process. The evaluation becomes less technological and adds more social debate
Negociation “what is success in a policy”
Difficulty to obtain objective data, and references
LA EVALUACIÓN EN LA AGENCIA
HACER EFECTIVA LA NUEVA GOBERNANZA Y RESPONDER A LOS RETOS DE LA CIUDADANÍA
ASEGURAR LA CALIDAD DEL GASTO NO SÓLO POR CANTIDAD SINO POR LOS IMPACTOS QUE SE OBTIENEN
EFECTIVIDAD, EFICACIA, EQUIDAD
Make the New Governance a reality and responde to the citizens’ challenges and demands
Ensure the quality of the public resources, not only for its quantity, but mainly for the outcomes and impacts
Effectiveness, Efficiency, Equity
UNA HERRAMIENTA PARA LA REFLEXIÓN POLÍTICA
LA EVALUACIÓN PONE EN RELACIÓN UNA DETERMINADA POLÍTICA CON LOS VALORES DE REFERENCIA
DEBE TENER CARÁCTER PERMANENTE. NECESITA DE UNA CULTURA, HÁBITOS Y ACTITUDES PRÓXIMOS
AL PENSAMIENTO ESTRATÉGICO
DEBE POTENCIAR Y POTENCIAR EL APRENDIZAJE
Una organización que mantenga su capacidad de rendir cuentas, de ser
transparente en su gestión, de evaluar su quehacer, será una organización
capaz de aprender tanto de sus aciertos como de sus errores. Subirats, 2005
The evaluation makes the connection between a specific policy with the reference values
Must be a permanent strategy. It needs a culture, habits and attitudes related to the stategic thinking
Must improve and promote the learning process
An organization with capacity in accountability, transparent in the management, that evaluates
its processes, will be an organization able to learn from its success and its mistakes (Subirats,
2005)
UN LUGAR DESTACADO EN LA AGENDA POLÍTICA
MANDATOS PARLAMENTARIOS Y GUBERNAMENTALES
Los programas y las políticas públicas que anualmente le encargue el Consejo de Ministros.
El grado de aplicación y de éxito de las principales medidas del Programa Nacional de Reformas -PNRLa Estrategia Española de Desarrollo Sostenible en colaboración con el observatorio de la Sostenibilidad de
España (OSE)
Realizar un informe anual para el Congreso de los Diputados sobre la actividad desarrollada por las Agencias
Estatales y sus compromisos para mejorar la calidad de los servicios prestados a los ciudadanos, y
Realizar un informe anual del Observatorio de la Calidad de los Servicios Públicos que incluya la percepción del
ciudadano sobre la calidad de dichos servicios
AN OUTSTANDING PLACE IN THE POLITICAL AGENDA
GOVERNMENT MANDATE
Public policies and programs than annually requires the Council of Ministers
Level of application and success of the main measures included in the National Program of Reforms
The Spanish Strategy for Sustainable Development in collaboration with the Spanish Observatory for
Sustainalibity (OSE)
Annual Report for the Parliament about the activities performed by the National Agencies and their
commitments to improve the quality of their services
Annual report about the quality of the public services and about the citizens’ perception about those public
services
PROGRAMA NACIONAL DE REFORMAS – PNR -
1. Refuerzo de la Estabilidad
Macroeconómica y
Presupuestaria
7. Plan de Fomento
2. Plan Estratégico
de Infraestructuras y
Transporte (PEIT) y
Programa AGUA
Empresarial
PROGRAMA NACIONAL
DE REFORMAS
6. Mercado de Trabajo y
3. Aumento y Mejora del
Diálogo Social
Capital Humano
5. Más Competencia,
Mejor Regulación, Eficiencia
de las Administraciones
Públicas
y Competitividad
4. Estrategia I+D+I
(INGENIO 2010)
Continuar
PROGRAMA NACIONAL DE REFORMAS – PNR -
1. Refuerzo de la
Estabilidad
Macroeconómica y
Presupuestaria
LA INCIDENCIA DE LAS MEDIDAS PARA LA RACIONALIZACIÓN DEL GASTO
FARMACÉUTICO.
Ministerio de Sanidad y Política Social
Ejes PNR
PROGRAMA NACIONAL DE REFORMAS – PNR -
2.
Plan Estratégico
de Infraestructuras y
Transporte (PEIT) y Programa
AGUA
LAS ACCIONES FINANCIADAS CON CARGO A LOS PRESUPUESTOS DEL ESTADO EN LAS
ÁREAS DE INFLUENCIA SOCIOECONÓMICA DE LA RED DE PARQUES NACIONALES.
Ministerio de Medio Ambiente y Medio Rural y Marino
PLAN ESTRATÉGICO DE SEGURIDAD VIAL 2005-2008.
Ministerio de Interior
Ejes PNR
PROGRAMA NACIONAL DE REFORMAS – PNR -
3. Aumento y Mejora del
Capital Humano
DOBLE EVALUACIÓN DEL SISTEMA GENERAL DE BECAS EDUCATIVAS.
Ministerio de Educación
Ejes PNR
PROGRAMA NACIONAL DE REFORMAS – PNR -
4. Estrategia I+D+I
(INGENIO 2010)
LOS PROGRAMAS DE FOMENTO DE LAS ACTIVIDADES DE INVESTIGACIÓN,
DESARROLLO E INNOVACIÓN. INGENIO 2010 (EN 2007 CORRESPONDÍA A MITYC).
LA POLÍTICA DE MEJORA DEL SISTEMA DE TRANSFERENCIA DE TECNOLOGÍA A LAS
EMPRESAS.
Ministerio de Ciencia e Innovación
PLAN NACIONAL DE TRANSICIÓN A LA TDT.
Ministerio del Industria, Turismo y Comercio
Ejes PNR
PROGRAMA NACIONAL DE REFORMAS – PNR -
5.
Más Competencia,
Mejor Regulación, Eficiencia
de las Administraciones
Públicas
y Competitividad
LA EFECTIVIDAD DE LAS POLÍTICAS EN MATERIA DE SEGURIDAD ENERGÉTICA.
EL REGISTRO NACIONAL DE DERECHOS DE EMISIÓN DE GASES DE EFECTO
INVERNADERO.
PLAN NACIONAL DE TRANSICIÓN A LA TDT.
Ministerio de Industria, Turismo y Comercio
LAS ACCIONES FINANCIADAS CON CARGO A LOS PRESUPUESTOS DEL ESTADO EN LAS
ÁREAS DE INFLUENCIA SOCIOECONÓMICA DE LA RED DE PARQUES NACIONALES.
GESTIÓN Y FUNCIONAMIENTO DE LAS CCHH.
Ministerio de Medio Ambiente y Medio Rural y Marino
Ejes PNR
PROGRAMA NACIONAL DE REFORMAS – PNR -
6. Mercado de Trabajo y
Diálogo Social
TRÁMITES ADMINISTRATIVOS PARA LA CREACIÓN DE EMPRESAS.
Ministerio de Industria, Turismo y Comercio
LA PARTICIPACIÓN DE LA ADMINISTRACIÓN GENERAL DEL ESTADO EN EL SISTEMA PARA LA
AUTONOMÍA Y LA ATENCIÓN A LA DEPENDENCIA.
Ministerio de Sanidad y Política Social
LA POLÍTICA DE BONIFICACIONES Y REDUCCIONES DE CUOTAS EN CEUTA Y MELILLA.
LA POLÍTICA DE BONIFICACIONES Y REDUCCIÓN DE CUOTAS DE LA SEGURIDAD SOCIAL.
LA POLÍTICA DE BONIFICACIONES PARA PERSONAS EN SITUACIÓN DE DISCAPACIDAD.
EVALUACIÓN INTERMEDIA DEL PLAN ESTRATÉGICO DE CIUDADANÍA E INTEGRACIÓN
(NO INCLUIDA EN EL PLAN DE TRABAJO 2009).
Ministerio de Trabajo e Inmigración
Ejes PNR
PROGRAMA NACIONAL DE REFORMAS – PNR -
7. Plan de Fomento
Empresarial
LAS LÍNEAS DE FINANCIACIÓN PARA EL FOMENTO DE LA ACTIVIDAD EMPRENDEDORA
Ministerio de Economía y Hacienda
Ejes PNR
MESOCALIDAD
USUARIOS
Modelos de Excelencia
EFQM
CAF
EVAM
Análisis NecesidadesExpectativas
Evaluación Satisfacción
Binomio
Estado-Sociedad
CALIDAD DE LOS SERVICIOS
MACROCALIDAD
CALIDAD
DEMOCRÁTICA
Legitimación social
Apertura
Responsabilidad
Estudios de percepción ciudadana
Evaluación de PP.PP
Gobernanza
Eficacia
Participación
CALIDAD DE LAS POLITICAS
Coherencia
EVALUACIÓN PP.PP
Binomio
Servicios-Usuarios
MICROQUALITY
ORGANIZACIONES
Estructuras
Personas
Procesos
Productos
EVALUACIÓN SS.PP
LA CALIDAD DE LA ACCIÓN PÚBLICA
LA EVALUACIÓN EN EL ESCENARIO ACTUAL
Sistema económico de mercado
Incapaz de dar respuesta a las
necesidades sociales: redistribución,
equidad y justicia social
El escenario
actual ofrece una
ventana de oportunidad
(la incapacidad,
se agrava en momentos de crisis)
a la evaluación
HACIA UN MODELO DE CRECIMIENTO
Sostenible económicamente a medio y largo plazo, basado en la economía del conocimiento y
la innovación
Sostenible socialmente, para favorecer la estabilidad en el empleo, la igualdad de
oportunidades y la cohesión social.
Sostenible medioambientalmente, para cumplir con los objetivos europeos en materia de
energía y cambio climático.
Y requiere otro modelo de gestión proactivo, eficaz, fomentando la
actividad y competitividad, y cumpliendo con los ciudadanos
HACIA UN MODELO DE CRECIMIENTO
Además, este nuevo modelo debe gravitar sobre la evaluación como eje central de la nueva Administración Pública. La
evaluación, como concepto clave del nuevo marco de descentralización y modernización administrativa, pretende
abarcar todos los ámbitos y alcanzar a las personas, a los procesos organizacionales y a los resultados de la
intervención.
Por consiguiente, podemos decir que la evaluación tiene cuatro objetivos prioritarios:
La asunción de responsabilidades entre los gestores
de las políticas, programas y proyectos públicos
La consideración de los actores que intervienen en
la política
La
gestión eficaz y eficiente de los
This new model must use the evaluation
as a central element of the New Public Administration.
recursos públicos
Evaluation as a key concept of the new framework of administrative decentralization and modernization, pretends to enclose
análisis
persons, organizational processes and El
intervention
outputsdel impacto de las intervenciones públicas
Therefore, we can affirm that the evaluation has four main goals.
* Responsibility assumption by the managers of public policies, programs and projects
* Considering all the agents intervening in each policy
* Effective and efficient managing of public resources
* Impact analysis of public interventions
www.aeval.es
Agencia Estatal de Evaluación de las Políticas Públicas
y la Calidad de los Servicios