Texto 4 CRITERIOS TÉCNICOS PARA LA CONSTRUCCIÓN DE INDICADORES necesidades de información sobre el cumplimiento y avances en la consecución del programa o proyecto. La definición de indicador Procedimiento para la construcción de indicadores En general, los indicadores son los datos o señales que delimitan la recolección de información para identificar las características, el comportamiento y los cambios en una variable (objetivos y metas), por lo tanto, apoyan la observación, medición y verificación de los cambios cuantitativos (aumento, disminución) y cualitativos (positivos, negativos, ámbito, nivel, dimensión o aspecto) que presenta, en determinado momento, una variable. De acuerdo con el enfoque metodológico del Sistema de Evaluación de Políticas Educativas (SEPE), los indicadores se expresan con enunciados que confieren sujeto y predicado, la construcción supone una dinámica de trabajo colectivo que inicia con la identificación de las palabras clave que contienen las metas y objetivos. Los indicadores son elementos o unidades de conocimiento con contenido cuantitativo o cualitativo que aportan información fundamental para establecer las relaciones y las comparaciones en que se basan los juicios evaluativos. Una vez seleccionadas estas palabras, hay que delimitar un significado que sea producto del consenso entre los participantes. A continuación se ejemplifica el procedimiento para su construcción 1. Elección de una meta para construir el indicador Asimismo, la selección construcción de indicadores ésta directamente relacionada con cada, una de las metas, objetivos. Cabe recordar que el Sistema Educativo Nacional, cuento con diversas fuentes de información, como por ejemplo los denominados indicadores históricos (cobertura, eficiencia terminal, aprobación. deserción etc.), que pueden utilizarse como tales, o bien convertirse en insumos para la construcción de otros indicadores que se incorporan en atención a las Meta “Lograr para 2006, que todos los directivos de educación primaria hayan acreditado cursos correspondientes al programa de actualización y desarrollo profesional para directivos escolares.” 2. Identificar y enlistar las palabras clave contenidas en la Meta Acreditación de cursos Directivos de Educación Primaria 1 3. Construir, mediante el acuerdo grupal, significado para las palabras clave identificadas. un Acreditación de cursos.- Haber concluido y aprobado los cursos. Directivos de Educación Primaria.- Todo el personal con función directiva (Directores de escuela, Supervisores de zona y sector). 4. Relacionar los significados acordados para cada palabra clave y construir el enunciado, cuantitativo o cualitativo que expresará al indicador. Conviene señalar que para una misma meta es factible construir más de un indicador, a efecto de apoyar la medición sobre el avance o resultado, asimismo, para algunas metas, en función de su contenido, la construcción del indicador es un ejercicio de derivación directa, mientras que otras metas implican analizar el significado y alcance de su contenido, a efecto de construir los indicadores necesarios. Ejemplos: Indicador simple: Número de Directivos que acreditaron el curso del Programa de Actualización y desarrollo Profesional. Indicador complejo: Número de Directivos que acreditaron el curso del Programa de Actualización y desarrollo Profesional/Universo de Directivos del nivel. Criterios Generales para el análisis de los indicadores Los indicadores seleccionados o construidos deben ser herramientas técnicas útiles para apoyar el proceso de evaluación del avance o logro (cuantitativo o cualitativo) de las metas; para lograrlo, de acuerdo con el enfoque de evaluación utilizado los indicadores deben contener en su estructura los atributos característicos que se describen en los siguientes cinco criterios: 1. Pertinencia (Relativo, referente) Un indicador debe permitir la medición cuantitativa (cifra, índice, porcentaje) o cualitativa (atributos) del problema o acción referidas en la meta. 2. Sensibilidad (Perceptible, manifiesto) Un indicador debe permitir la observación de los cambios de la información, en el tiempo, así como la recolección de información periódica para apoyar la medición cuantitativa o cualitativa de los avances de las metas. 3. Relevancia (Sobresaliente, significativa) Un indicador debe aportar información útil e importante sobre el comportamiento (positivo o negativo) de las metas, a fin establecer relaciones y comparaciones cuantitativas o cualitativas que fundamenten la toma de decisiones, para modificar el contenido o los periodos de realización. 4. Viabilidad (Probabilidad, posibilidad de efectuarse) Un indicador debe considerar la posibilidad de localización y acceso (fuente, tiempo y costo) de la información; así como prever la existencia de los datos 2 (estadísticas, registros u otro tipo de fuentes de información); la accesibilidad a ellos, en tiempo y forma; o la factibilidad de contar con instrumentos para su obtención. 5.-Claridad (Inteligible, transparente) Un indicador debe estar expresado en un enunciado de estructura gramatical correcta y precisa, además los términos deben tener un significado técnico definido, identificado y unívoco. La siguiente meta del ProNae 2001-2006 (pág. 134) fue seleccionada con el propósito de ejemplificar la aplicación de los criterios de pertinencia, relevancia, sensibilidad, viabilidad y claridad en el análisis de indicadores. Meta “Asegurar para 2006, que todas las comunidades que cuenten con escuelas primarias interculturales bilingües o con un servicio deL Proyecto de Atención Educativa a Poblaciones Indígenas, del CONAFE, cuenten también con al menos un grado de educación preescolar” indicador Número de comunidades indígenas que cuentan con al menos un grado de educación preescolar indígena/ Número de comunidades indígenas que cuentan con primarias interculturales, bilingües o con un servicio del Proyecto de Atención a Poblaciones Indígenas, del CONAFE. Parta realizar el análisis de este indicador con base en los criterios de pertinencia, sensibilidad, relevancia, viabilidad y claridad, deberá establecerse una relación entre los atributos que describen a cada criterio y el contenido del indicador, a fin de identificar el grado de cumplimiento de cada uno de ellos. Los criterios tienen un carácter integral, un indicador está técnicamente bien construido cuando cumple con la totalidad o la mayor parte de estos rasgos. A continuación, se enlistan las preguntas para analizar y confirmar el cumplimiento de cada uno de los criterios técnicos en el indicador utilizado como ejemplo. Criterio Pertinencia El iniciador: * Tiene relación directa con el problema o acción que plantea la meta? * Permite la medición cuantitativa cualitativa de los avances o resultados de la meta? Criterio Sensibilidad El indicador: * Permite, en diferentes periodos, obtener información, cuantitativa o cualitativa, sobre el comportamiento del problema o acción que plantea la meta? 3 * Permite observar los cambios de la información en el tiempo? * Apoya el seguimiento del avance o resultado de la meta? * Contribuye, con el seguimiento, a la construcción de otros indicadores que adicionen aspectos profundicen la información? Criterio Relevancia El indicador: * ¿Apoya la obtención de información significativa, y fundamental para medir, cuantitativo o cualitativamente el comportamiento del problema o acción que plantea la meta? * ¿Aporta información útil para la toma de decisiones el resultado positivo o negativo del problema o acción que plantea la meta? Criterio Viabilidad. El indicador: * ¿Requiere información cuantitativa o cualitativa identificada de acceso inmediato? * ¿La información cuantitativa o cualitativa no es de acceso inmediato pero es posible obtenerla en, un plazo oportuno? * ¿La información cuantitativa o cualitativa no está disponible, pero es factible diseñar instrumentos y validarlos para su obtención? * ¿Los nuevos instrumentos proporcionaron la información en plazos determinados oportunos? Criterio Claridad El indicador * Está expresado con una estructura gramatical correcta (sujeto y predicado) que permite entender el contenido? * ¿Contiene términos técnicos identificados y utilizados por el sector educativo? * ¿Contiene términos técnicos relacionados directamente con el problema o acción que plantea la meta? Tipos de indicadores Con base en la correspondencia directa entre los indicadores y las metas del Programa Nacional de Educación 2001 - 200.6 (ProNae), la metodología para la evaluación propone utilizar tres tipos de indicadores: Resultado Proceso Impacto Indicadores de resultado Los indicadores denominados de resultado proporcionan información, fundamentalmente cuantitativa (qué y cuánto) sobre el logro de a acción o situación que plantea la meta y están vinculados con el periodo o fecha establecida para obtener dicho logro. A continuación se describe un ejemplo de este tipo de indicador y su relación con una meta del ProNae. 4 Meta Integrar un modelo de educación básica para la población infantil migrante mediante el cual se brindarán servicios de educación primaria en 2006 a todos los niños y niñas de hijos de jornalero migrantes (ProNae p132) Como puede observarse, la meta establece el cumplimiento de dos acciones, por lo cual, deben seleccionarse o construirse al menos dos indicadores que permitan identificar el avance y el logro respectivos. Ejemplo: Indicador de resultado de la primera acción: nuevo modelo de educación básica para la atención de la población infantil migrante. Indicador de resultado de la segunda acción: Hijos de jornaleros agrícolas migrantes que reciben educación primaria con el nuevo modelo de educación básica en el país / Total de hijos de jornaleros agrícolas migrantes del país. Indicadores de proceso Los indicadores de Proceso, proporcionan información esencialmente cualitativa (cómo) sobre las actividades que se realizan para cumplir la meta; se construyen o seleccionan con base en la información que se desea obtener, añadir o profundizar sobre el proceso de obtención de los resultados de la acción o situación que plantea la meta. A continuación se muestra un ejemplo de indicadores de proceso que ilustra las variaciones en la información. Meta A partir del 2002 producir materiales y realizar campañas de difusión sobre los derechos de las familias en la educación básica, con la participación de las autoridades educativas estatales y las organizaciones de padres de familia. (PRONAE p. 156.) Indicador de proceso simple: Número de autoridades educativas que, se involucran en la puesta en marcha de la campaña de difusión sobre producción de materiales. Indicador de proceso simple: Número de autoridades educativas que directamente dan a conocer la existencia y utilidad de los materiales sobre derechos de las familias de educación básica. Indicador de proceso complejo: Número de campañas en las que participaron las organizaciones de padres de familia / total de campañas de difusión sobre los derechos de las familias. Indicadores de impacto Los indicadores de impacto, son los que habrán de proporcionar información, a mediano y largo plazos, sobre las modificaciones a la problemática que dio origen al diseño del programa social, en este caso, el ProNae. 5 Con base en la política educativa, los objetivos y metas del programa sectorial deberán convertirse, a lo largo del período 2001-2006, en acciones concretas que modifiquen la problemática educativa y representen un avance hacia el logro del escenario educativo previsto para el 2025, además de contribuir al mejoramiento de las condiciones de vida de los beneficiarios. Indicador simple: Número de planteles que realizaron la autoevaluación a través de un mecanismo para analizar su situación. Al respecto, se propone el uso de dos tipos de indicadores de impacto: * Los del sistema educativo, que apoyarán la evaluación de la etapa de finalización del ProNae, incluyendo el balance integral sobre su consecución y los resultados obtenidos en la modificación de la problemática educativa. Indicador complejo: Número de planteles que implementaron mejoras como resultado de la autoevaluación / Número de planteles que realizaron la autoevaluación a través de un mecanismo de análisis de su situación. * Los de impacto social, que apoyarán la evaluación sobre las contribuciones para modificar las condiciones, de vida de los beneficiarios. Objetivo particular del ProNae A continuación se ejemplifican ambos tipos de indicador de impacto. Impacto educativo Objetivo Particular del ProNae “Promover la autoevaluación del sistema y de los planteles de educación básica” (ProNae p.156) Indicador complejo: Número de planteles que realizaron la autoevaluación a través de un mecanismo de análisis de su situación/total de planteles. Impacto Social. “Dentro del objetivo rector de calidad en educación media superior se promoverá una educación media superior de buena calidad que forme ciudadanos responsables, solidarios y con los conocimientos idóneos para desempeñarse en el mundo laboral o en el contexto de la educación” (pág. 174) Indicador de impacto social: Número de alumnos del nivel medio superior graduados y certificados laboralmente que ingresaron a los sectores industrial o de servicios en un periodo de seis meses posteriores al egreso / Total de alumnos graduados y certificados laboralmente del nivel medio superior. 6 Indicador de impacto social: Número de alumnos del nivel medio superior tecnológico que continuaron estudios superiores / Total de alumnos del nivel medio superior tecnológico Otras propiedades de los indicadores Los indicadores de resultado, proceso e impacto, proceden de diversas fuentes y aportan información que tiene un uso diferenciado. Indicadores específicos Los indicadores de resultado, proceso o impacto, que proporcionan información sobre la meta, correspondiente a un período acotado y diferenciado o bien sobre acciones o resultados con interés solo para una entidad, instancia o institución, se denominan específicos. Es importante señalar que ambos indicadores, genéricos y específicos, se complementan para apoyar la medición acerca de los avances y logros de las metas del Programa Nacional de Educación. Los indicadores pueden contener otras propiedades que son adicionales o complementarias y no excluyen los otros rasgos característicos con los que han sido clasificados. En esta forma, los indicadores son simples o complejos en atención a su estructura y a la información que aportan y son también, genéricos o específicos, en función del nivel de aplicación de la información que puede ser nacional, porque corresponde al sistema educativo en su conjunto, o bien, resultar solo de utilidad para alguna entidad, instancia o unidad responsable. Indicadores genéricos Los indicadores genéricos, son los indicadores de resultado, proceso o impacto, de uso “general” para todas las fuentes de información. Son los denominados históricos o clásicos, como por ejemplo: eficiencia terminal, deserción, reprobación; o bien aquellos que se construyan para las metas del Programa Sectorial y sean utilizados para recabar información nacional. 7