ANEXO I. Reseña de módulos 1 Módulo I. Introducción a la evaluación y políticas de desarrollo social Horas docentes: 40 Presentación En este módulo se busca introducir al alumno a las bases conceptuales del proceso de formulación de políticas públicas y como se relaciona con el ejercicio de evaluación desde una perspectiva integral, teniendo como marco general los lineamientos de la política federal de evaluación en México así como otros marcos normativos de agencias internacionales. Se busca también favorecer la comprensión de los sistemas de evaluación del desempeño y del presupuesto basado en resultados, como las herramientas de gestión que la administración pública usa para evaluar el desempeño de sus programas y sus políticas. Objetivo general Contextualizar el proceso de evaluación en el marco de la formulación de las políticas públicas y comprender de manera general la evaluación, su función y sus tipos dependiendo del ciclo del programa o de la política. Competencias específicas Valorar el papel de la evaluación como herramienta fundamental en el proceso de formulación de las políticas públicas Identificar al sistema de evaluación del desempeño y el presupuesto basado en resultados como herramientas de la nueva gestión pública para la presupuestación, planeación, diseño e implementación de las políticas públicas Describir el concepto de evaluación integral y sus diferentes etapas para la planeación de evaluaciones de acuerdo al ciclo de los programas Identificar las preguntas usualmente planteadas en el proceso de evaluación Revisar los marcos normativos que rigen la evaluación de programas en México y América Latina para la gestión de evaluaciones acordes a la normatividad vigente 2 Contenidos temáticos 1. El proceso de formulación de políticas públicas Definición y desarrollo de las políticas públicas La nueva gestión pública Presupuesto basado en resultados (PBR) La evaluación de programas sociales y su rol para las políticas públicas 2. Sistemas de evaluación del desempeño Marcos normativos para la evaluación del desempeño Implementación del sistema de evaluación del desempeño 3. Revisión general del concepto de evaluación integral Ciclo de los Programas en el contexto de formulación de políticas Preguntas y tipos de evaluación 4. Institucionalización de la evaluación: marco normativo para la evaluación de programas en México y de las agencias de cooperación internacional (USAID, BM, BID) 3 Módulo II. Diagnóstico del problema y diseño de programas Horas docentes: 50 Presentación En el marco de la evaluación integral de programas, la correcta definición del problema que justifica las intervenciones gubernamentales es fundamental para planear objetivos y definir estrategias. Así, una buena identificación de los problemas sociales permite dar respuesta a la pregunta analítica que resume clara y brevemente la condición que merece atención, a partir del estudio de su magnitud en términos de las causas que la determinan y los potenciales efectos asociados a su no atención. En este sentido, para las evaluaciones de diseño, el diagnóstico del problema es un insumo fundamental que le permite a los evaluadores comprender el enfoque desde el cual un determinado problema o está siendo observada, conceptualizada y entendida, con el fin de definir estrategias que deriven en alternativas de solución. La evaluación de diseño de programas concentra diversos análisis sobre las dimensiones de los problemas que se buscan atender. Al respecto, la revisión de las metas y objetivos de un programa en función de los componentes que el mismo ha dispuesto para su atención concentra el trabajo más fino de este ejercicio. Una disección exhaustiva del diseño permitirá reflexionar sobre determinados elementos que pueden o no contribuir a mejorar la condición original y emitir recomendaciones que, con base en diversos enfoques metodológicos de validación, contribuyan a disminuir las potenciales fallas en las siguientes fases que deben transitar los programas sociales. Objetivo general Analizar en el marco del ciclo de los programas, cómo el diagnóstico de los problemas sociales contribuye a la identificación, categorización y selección de alternativas para su atención, con base en un diseño que se componga de manera consistente por estrategias alineadas a metas y objetivos claramente definidos. Competencias específicas Comprender la importancia del diagnóstico del problema, sus causas y sus efectos Elaborar un árbol de objetivos a partir del planteamiento de un árbol de problemas Identificar, con base en el árbol de objetivos, las potenciales intervenciones y los criterios usualmente adoptados para su priorización Aplicar la Metodología de Marco Lógico (MML) y la Matriz de Indicadores por Resultados (MIR), así como otras metodologías complementarias, en el análisis de diseño conceptual de los programas sociales 4 Aplicar la Metodología de Marco Lógico (MML) y la Matriz de Indicadores por Resultados (MIR) en el análisis de diseño de la política social, desde la perspectiva de planificación y en el marco del sistema de evaluación del desempeño Contenidos temáticos 1. El ciclo de planificación y evaluación de programas 2. Elaboración de diagnósticos para sustentar programas sociales 3. Marco lógico y teoría de cambio Construcción de la matriz del marco lógico Construcción de indicadores de proceso, productos y resultados Introducción a los sistemas de información para el monitoreo y evaluación Recolección de información 4. Evaluación de Diseño Consistencia vertical y horizontal del marco lógico Validación de supuestos Análisis de indicadores 5 Módulo III. Evaluación de procesos Horas docentes: 80 Presentación La evaluación de procesos tiene como objetivo general, mediante la revisión exhaustiva de los aspectos normativos, identificar, definir y valorar con oportunidad los procesos sustantivos que acompañan la implementación y la gestión de un programa. Asimismo, la evaluación de procesos está orientada a identificar las áreas de oportunidad que permitan mejorar aspectos del diseño del programa y de su normatividad, con el fin mejorar su conducción y garantizar que los objetivos planteados puedan ser alcanzados. Objetivo general Analizar el funcionamiento de los programas sociales desde la óptica del diseño de los mismos, identificando las posibles desviaciones y las consecuencias de las mismas. Competencias específicas Identificar y caracterizar los procesos normativos y operativos para el análisis del funcionamiento de los programas Analizar la adecuación o desviación de los procesos operativos con relación a los normativos para la identificación de áreas de mejora y buenas prácticas en el funcionamiento de los programas Identificar a los actores claves que interactúan durante las fases de implementación y operación del programa Analizar si la instrumentación de los procesos contribuyen al logro de los objetivos del programa, así como los elementos que inhiben o facilitan la generación de productos Adquirir habilidades analíticas de orden cuantitativo y cualitativo para la evaluación de programas y de políticas Llevar a cabo el análisis de focalización y cobertura de un programa Contenidos temáticos 1. Definición e identificación de los procesos ¿Qué es un proceso y cómo se identifican los procesos de los programas? Mapeo de procesos normativos: traducción esquemática de reglas de operación o documentos que describen el programa Identificación de procesos operativos: análisis del funcionamiento real de los programas Identificación de mejores prácticas y desviaciones: divergencia entre lo normativo y lo operativo y sus consecuencias 6 2. Herramientas estadísticas y cualitativas para la evaluación Medidas de tendencia y dispersión Proporciones y razones Pruebas de hipótesis Análisis de contexto Grupos focales 3. Análisis de los procesos relacionados con El logro de los productos La implementación La focalización La cobertura Calidad Metodología de enseñanza Lectura y discusión de aspectos conceptuales Ejercicios de mapeo de procesos Ejercicios de análisis de cobertura y focalización Revisión de estudio de caso 7 Módulo IV. Resultados, efectividad y eficiencia Horas docentes: 60 horas Presentación En un contexto de escasos recursos y de rendición de cuentas, es necesario informar en qué medida un programa está cumpliendo el propósito para el que fue diseñado. La evidencia proporcionada por el monitoreo de resultados y la evaluación de impacto permite a los tomadores de decisiones saber en quée medida un programa está generando cambios en el bienestar o en el comportamiento de la población, y si estos cambios son diferentes dependiendo del contexto o de otras circunstancias. La evaluación de impacto provee además los insumos necesarios para evaluar si el uso de los recursos para lograr los fines del programa es eficiente, o bien si éstos podrían modificarse o eliminarse para dar lugar a intervenciones más costo-efectivas. Objetivo general Identificar las diferencias entre la evaluación de resultados y la evaluación de impacto, así como revisar las herramientas analíticas que permitan estimar la efectividad y la eficiencia de los programas. Asimismo, analizar los mecanismos que explican los resultados de un programa y cómo éstos son percibidos por los distintos actores. Competencias específicas Comprender y aplicar adecuadamente las herramientas de monitoreo de los resultados de un programa o política Comprender la importancia de establecer la existencia de una relación causal entre el programa y el resultado para la evaluación de impacto Conocer los principales métodos cuantitativos y cualitativos para la estimación del impacto de un programa o política Conocer los principales diseños de evaluación para estimar el, o los efectos, de un programa Conocer las propiedades, ventajas y limitaciones del diseño experimental, así como las diversas alternativas para su implementación Conocer las propiedades, ventajas y limitaciones del diseño no experimental y los métodos estadísticos comúnmente usados en su análisis Identificar los problemas (sesgos) prácticos y conceptuales usualmente encontrados en la evaluación de impacto de un programa Comprender la finalidad e importancia de los métodos mixtos de evaluación, su aplicación y principales retos para su eficaz desarrollo 8 Comprender la importancia de evaluar el uso eficiente de los recursos orientados a programas y políticas públicas Conocer las principales herramientas utilizadas para evaluar el uso eficiente de los recursos orientados a programas y políticas públicas Contenidos temáticos 1. Evaluación de productos y resultados: herramientas para el monitoreo 2. Métodos mixtos para la evaluación de resultados e impacto 3. Diseños de evaluación para valorar el impacto de un programa Experimentales No experimentales Diseños cualitativos 4. Introducción a la evaluación económica Análisis de costos Medidas de eficiencia 9 Módulo V. Evaluación en la práctica Horas docentes: 80 Presentación El proceso de evaluación no comienza ni termina con la generación y análisis de la información que es necesaria para mejorar los programas o para rendir cuentas. Entender los distintos momentos de la función de evaluación permite que los ejecutores de los programas o los encargados de las áreas de evaluación planeen mejor el proceso, de tal manera que sea eficiente, oportuno y eficaz. En este módulo se busca que los alumnos puedan desarrollar un plan integral de evaluación con los conceptos y las metodologías expuestas en los módulos anteriores, pero además se pretende que adquieran las herramientas básicas para llevar a cabo una gestión adecuada del proceso de evaluación y de los resultados del mismo, mediante una comunicación efectiva con los distintos agentes involucrados. Objetivo general Aplicar todos los conceptos revisados en la especialidad en el desarrollo de un plan integral de evaluación de un programa que considere asimismo los aspectos de gerencia, ética y las estrategias de comunicación de los resultados de la evaluación. Al finalizar el módulo, los alumnos serán capaces de: Competencias específicas Valorar la utilidad que tiene un plan integral de evaluación de programas, o de políticas de desarrollo social, como instrumento guía de los distintos momentos del proceso de evaluación Desarrollar un plan integral de evaluación que sea factible, pertinente y oportuno, que permita la generación de información necesaria y suficiente para evaluar el desempeño de un programa Aplicar al proceso de evaluación el conjunto de principios éticos que hacen de la evaluación un ejercicio transparente y confiable Aplicar las herramientas gerenciales básicas para planear, organizar y presupuestar el conjunto de actividades relacionadas con el proceso de evaluación Elaborar Términos de Referencia que sean específicos, suficientes y necesarios para solicitar servicios externos de evaluación Comunicar de manera efectiva los resultados de las evaluaciones Emitir recomendaciones sobre el desempeño del programa a diferentes audiencias. 10 Contenidos temáticos 1. Plan integral de evaluación 2. Gerencia de la evaluación Organización, planificación, recursos humanos y costos Términos de referencia El papel de la evaluación frente a otros instrumentos de gestión organizacional 3. Aspectos éticos Roles y responsabilidades profesionales del evaluador Definición de los mínimos éticos para la evaluación 4. Uso de los resultados de evaluación para cambios de política Comunicación de resultados a distintos públicos Elaboración de reportes Elaboración de recomendaciones para el programa o política. 11 ANEXO II. Formato para presentación de módulos 12 Formato. C INSTITUTO NACIONAL DE SALUD PÚBLICA Instrucciones: Este formato tiene como finalidad que desarrolle en conjunto con el diseñador instruccional asignado, los materiales y la información necesaria para el diseño de su unidad didáctica o módulo. Encontrará los detalles de la parte a desarrollar en la sección sombreada usando el espacio en blanco para llenar lo que se le indica. A continuación se le dan una serie de sencillas instrucciones: Instrucciones de uso: 1. Antes de comenzar con el llenado, revise cuidadosamente el formato y cada una de las cosas que se le piden. 2. Recuerde que sólo deberá escribir en las áreas en blanco de cada tabla. 3. Cualquier duda que surja durante el desarrollo de la información requerida, le sugerimos que se comunique al correo o teléfono especificado en la convocatoria. 4. Si desea agregar comentarios, por favor, indíquelos en una fuente de otro color (preferentemente rojo). 5. Identifique los elementos que componen las dos entregas compromiso que tendrá. 1. Datos de identificación Módulo (Escriba el módulo correspondiente) Nombre del módulo Profesor Nombre completo 13 2. Presentación: En este apartado se debe dar a conocer: El propósito general del módulo. Una breve introducción a los temas y problemáticas que incluye el módulo. La ubicación del mismo en: a) El contexto general del programa educativo señalando los aportes que hace para el logro del perfil del egresado. b) La necesidad a la que responde este módulo en particular. Recuerde que debe ser un párrafo de 7 a 10 líneas que finalizarán con 2 preguntas para detonar la curiosidad de los alumnos a continuar con el curso. 3. Contenido temático: En esta sección deberá indicar los bloques de contenido en los que ha dividido su módulo. Para ello debe recordar que los bloques deben presentar una secuencia lógica que permita asegurarse de que propiciaran los resultados de aprendizaje que busca. Se debe incluir organización por semanas. EJEMPLO: TEMA 1 NOMBRE DEL TEMA TOTAL HORAS TEMA 2 NOMBRE DEL TEMA TOTAL HORAS TEMA 3 NOMBRE DEL TEMA TOTAL HORAS … 14 4. Metodología de enseñanza: En este apartado deberá describir: La metodología o estrategia seleccionada para este módulo. De manera global deberá mencionar las actividades a realizar, tanto las que vayan ligadas directamente a la metodología o estrategia seleccionada, como aquellas que se realizan fuera de la misma. La modalidad didáctica que se desarrollará: curso, taller, seminario, laboratorio, discusión dirigida, prácticas, etc. 5. Acreditación: La acreditación se relaciona con la necesidad institucional de certificar los conocimientos con ciertos resultados del aprendizaje referidos a la práctica profesional; resultados que deben estar incorporados desde los resultados de aprendizaje que planteó al inicio de su diseño. Debe considerar que exista coherencia entre el carácter de los contenidos desarrollados en el módulo y la naturaleza teórica o práctica del mismo, con los elementos (exámenes, trabajos individuales y/o equipos, ensayos, ejercicios, talleres, etc.) y porcentajes que integran la acreditación. Por esto, será pertinente que el profesor titular determine, junto con los profesores, adjunto e invitados, los elementos y los porcentajes para la acreditación. Para obtener una acreditación más adecuada del aprovechamiento individual de cada estudiante, se recomienda que en la calificación final se incluyan como mínimo cinco elementos calificables, evitando así la parcialidad en la valoración del aprendizaje. Se señalará la proporción que cada uno de los elementos parciales aporta para obtener la calificación total o final de la unidad que será 100%. Se sugiere esquematizar los criterios de acreditación presentando un cuadro en cada uno de los elementos que se tomarán en cuenta y el porcentaje que se les ha asignado. Ejemplo: Elementos de acreditación 1er. examen parcial Trabajo grupal 2o. examen parcial Participación en clase Total % 20 50 20 10 100 Actividad Valor con respecto a la calificación final 1. 2. 3. 4. 15 6. Bibliografía: En esta sección deberá reportar la bibliografía a usar en el curso. Se consideran dos tipos: a) Bibliografía básica: es la bibliografía necesaria y cuya lectura es obligatoria para el desarrollo de las actividades del módulo; b) Bibliografía complementaria: es aquella bibliografía recomendable que aporte elementos conceptuales o metodológicos que coadyuven a la mejor comprensión o profundización de los contenidos temáticos del módulo. Enumere la bibliografía a usar según la clasificación anterior. Bibliografía básica Bibliografía complementaria 16 7. Programa Detallado (actividades) de su módulo: En la siguiente tabla deberá especificar el procedimiento de cada una de las actividades así como una serie de datos que se requieren para que el participante (alumno) pueda realizarlas de manera satisfactoria dentro de la plataforma Blackboard. NOTA: Copiar y pegar la tabla por cada uno de los temas de su módulo Tema Total de horas por tema: Subtema Actividad # o nombre Descripción de actividad Bibliografía Horas Subtema Actividad # o nombre Descripción de actividad Bibliografía Horas Tema Total de horas por tema: Subtema Actividad # o nombre Descripción de actividad Bibliografía Horas Subtema Actividad # o nombre Descripción de actividad Bibliografía Horas 17 18