criterios técnicos para la construcción de indicadores

Texto 4 CRITERIOS TÉCNICOS PARA LA CONSTRUCCIÓN
DE INDICADORES
necesidades de información sobre el cumplimiento y
avances en la consecución del programa o proyecto.
La definición de indicador
Procedimiento para la construcción de indicadores
En general, los indicadores son los datos o señales que
delimitan la recolección de información para
identificar las características, el comportamiento y los
cambios en una variable (objetivos y metas), por lo
tanto, apoyan la observación, medición y verificación
de los cambios cuantitativos (aumento, disminución) y
cualitativos (positivos, negativos, ámbito, nivel,
dimensión o aspecto) que presenta, en determinado
momento, una variable.
De acuerdo con el enfoque metodológico del Sistema
de Evaluación de Políticas Educativas (SEPE), los
indicadores se expresan con enunciados que
confieren sujeto y predicado, la construcción supone
una dinámica de trabajo colectivo que inicia con la
identificación de las palabras clave que contienen las
metas y objetivos.
Los indicadores son elementos o unidades de
conocimiento con contenido cuantitativo o cualitativo
que
aportan
información
fundamental
para
establecer las relaciones y las comparaciones en que
se basan los juicios evaluativos.
Una vez seleccionadas estas palabras, hay que
delimitar un significado que sea producto del
consenso entre los participantes.
A continuación se ejemplifica el procedimiento para
su construcción
1. Elección de una meta para construir el indicador
Asimismo, la selección construcción de indicadores
ésta directamente relacionada con cada, una de las
metas, objetivos.
Cabe recordar que el Sistema Educativo Nacional,
cuento con diversas fuentes de información, como por
ejemplo los denominados indicadores históricos
(cobertura, eficiencia terminal, aprobación. deserción
etc.), que pueden utilizarse como tales, o bien
convertirse en insumos para la construcción de otros
indicadores que se incorporan en atención a las
Meta
“Lograr para 2006, que todos los directivos de
educación primaria hayan acreditado cursos
correspondientes al programa de actualización y
desarrollo profesional para directivos escolares.”
2. Identificar y enlistar las palabras clave contenidas
en la Meta
Acreditación de cursos
Directivos de Educación Primaria
1
3. Construir, mediante el acuerdo grupal,
significado para las palabras clave identificadas.
un
Acreditación de cursos.- Haber concluido y aprobado
los cursos.
Directivos de Educación Primaria.- Todo el personal
con función directiva (Directores de escuela,
Supervisores de zona y sector).
4. Relacionar los significados acordados para cada
palabra clave y construir el enunciado, cuantitativo o
cualitativo que expresará al indicador.
Conviene señalar que para una misma meta es
factible construir más de un indicador, a efecto de
apoyar la medición sobre el avance o resultado,
asimismo, para algunas metas, en función de su
contenido, la construcción del indicador es un
ejercicio de derivación directa, mientras que otras
metas implican analizar el significado y alcance de su
contenido, a efecto de construir los indicadores
necesarios.
Ejemplos:
Indicador simple: Número de Directivos que
acreditaron el curso del Programa de Actualización y
desarrollo Profesional.
Indicador complejo: Número de Directivos que
acreditaron el curso del Programa de Actualización y
desarrollo Profesional/Universo de Directivos del nivel.
Criterios Generales para el análisis de los indicadores
Los indicadores seleccionados o construidos deben ser
herramientas técnicas útiles para apoyar el proceso
de evaluación del avance o logro (cuantitativo o
cualitativo) de las metas; para lograrlo, de acuerdo
con el enfoque de evaluación utilizado los indicadores
deben contener en su estructura los atributos
característicos que se describen en los siguientes cinco
criterios:
1. Pertinencia (Relativo, referente) Un indicador debe
permitir la medición cuantitativa (cifra, índice,
porcentaje) o cualitativa (atributos) del problema o
acción referidas en la meta.
2. Sensibilidad (Perceptible, manifiesto) Un indicador
debe permitir la observación de los cambios de la
información, en el tiempo, así como la recolección de
información periódica para apoyar la medición
cuantitativa o cualitativa de los avances de las metas.
3.
Relevancia
(Sobresaliente,
significativa)
Un
indicador debe aportar información útil e importante
sobre el comportamiento (positivo o negativo) de las
metas, a fin establecer relaciones y comparaciones
cuantitativas o cualitativas que fundamenten la toma
de decisiones, para modificar el contenido o los
periodos de realización.
4. Viabilidad (Probabilidad, posibilidad de efectuarse)
Un indicador debe considerar la posibilidad de
localización y acceso (fuente, tiempo y costo) de la
información; así como prever la existencia de los datos
2
(estadísticas, registros u otro tipo de fuentes de
información); la accesibilidad a ellos, en tiempo y
forma; o la factibilidad de contar con instrumentos
para su obtención.
5.-Claridad (Inteligible, transparente) Un indicador
debe estar expresado en un enunciado de estructura
gramatical correcta y precisa, además los términos
deben tener un significado técnico definido,
identificado y unívoco.
La siguiente meta del ProNae 2001-2006 (pág. 134) fue
seleccionada con el propósito de ejemplificar la
aplicación de los criterios de pertinencia, relevancia,
sensibilidad, viabilidad y claridad en el análisis de
indicadores.
Meta
“Asegurar para 2006, que todas las comunidades que
cuenten con escuelas primarias interculturales
bilingües o con un servicio deL Proyecto de Atención
Educativa a Poblaciones Indígenas, del CONAFE,
cuenten también con al menos un grado de
educación preescolar”
indicador
Número de comunidades indígenas que cuentan con
al menos un grado de educación preescolar
indígena/ Número de comunidades indígenas que
cuentan con primarias interculturales, bilingües o con
un servicio del Proyecto de Atención a Poblaciones
Indígenas, del CONAFE.
Parta realizar el análisis de este indicador con base en
los criterios de pertinencia, sensibilidad, relevancia,
viabilidad y claridad, deberá establecerse una
relación entre los atributos que describen a cada
criterio y el contenido del indicador, a fin de identificar
el grado de cumplimiento de cada uno de ellos.
Los criterios tienen un carácter integral, un indicador
está técnicamente bien construido cuando cumple
con la totalidad o la mayor parte de estos rasgos.
A continuación, se enlistan las preguntas para analizar
y confirmar el cumplimiento de cada uno de los
criterios técnicos en el indicador utilizado como
ejemplo.
Criterio Pertinencia
El iniciador:
* Tiene relación directa con el problema o acción que
plantea la meta?
* Permite la medición cuantitativa cualitativa de los
avances o resultados de la meta?
Criterio Sensibilidad
El indicador:
* Permite, en diferentes periodos, obtener información,
cuantitativa o cualitativa, sobre el comportamiento
del problema o acción que plantea la meta?
3
* Permite observar los cambios de la información en el
tiempo?
* Apoya el seguimiento del avance o resultado de la
meta?
* Contribuye, con el seguimiento, a la construcción de
otros indicadores que adicionen aspectos profundicen
la información?
Criterio Relevancia
El indicador:
* ¿Apoya la obtención de información significativa, y
fundamental
para
medir,
cuantitativo
o
cualitativamente el comportamiento del problema o
acción que plantea la meta?
* ¿Aporta información útil para la toma de decisiones
el resultado positivo o negativo del problema o acción
que plantea la meta?
Criterio Viabilidad.
El indicador:
* ¿Requiere información cuantitativa o cualitativa
identificada de acceso inmediato?
* ¿La información cuantitativa o cualitativa no es de
acceso inmediato pero es posible obtenerla en, un
plazo oportuno?
* ¿La información cuantitativa o cualitativa no está
disponible, pero es factible diseñar instrumentos y
validarlos para su obtención?
* ¿Los nuevos instrumentos proporcionaron la
información en plazos determinados oportunos?
Criterio Claridad
El indicador
* Está expresado con una estructura gramatical
correcta (sujeto y predicado) que permite entender el
contenido?
* ¿Contiene términos técnicos identificados y utilizados
por el sector educativo?
*
¿Contiene
términos
técnicos
relacionados
directamente con el problema o acción que plantea
la meta?
Tipos de indicadores
Con base en la correspondencia directa entre los
indicadores y las metas del Programa
Nacional de Educación 2001 - 200.6 (ProNae), la
metodología para la evaluación propone utilizar tres
tipos de indicadores:
Resultado
Proceso
Impacto
Indicadores de resultado
Los
indicadores
denominados
de
resultado
proporcionan
información,
fundamentalmente
cuantitativa (qué y cuánto) sobre el logro de a acción
o situación que plantea la meta y están vinculados
con el periodo o fecha establecida para obtener
dicho logro. A continuación se describe un ejemplo de
este tipo de indicador y su relación con una meta del
ProNae.
4
Meta
Integrar un modelo de educación básica para la
población infantil migrante mediante el cual se
brindarán servicios de educación primaria en 2006 a
todos los niños y niñas de hijos de jornalero migrantes
(ProNae p132)
Como puede observarse, la meta establece el
cumplimiento de dos acciones, por lo cual, deben
seleccionarse o construirse al menos dos indicadores
que permitan identificar el avance y el logro
respectivos.
Ejemplo:
Indicador de resultado de la primera acción: nuevo
modelo de educación básica para la atención de la
población infantil migrante.
Indicador de resultado de la segunda acción: Hijos de
jornaleros agrícolas migrantes que reciben educación
primaria con el nuevo modelo de educación básica
en el país / Total de hijos de jornaleros agrícolas
migrantes del país.
Indicadores de proceso
Los indicadores de Proceso, proporcionan información
esencialmente
cualitativa
(cómo)
sobre
las
actividades que se realizan para cumplir la meta; se
construyen o seleccionan con base en la información
que se desea obtener, añadir o profundizar sobre el
proceso de obtención de los resultados de la acción o
situación que plantea la meta.
A continuación se muestra un ejemplo de indicadores
de proceso que ilustra las variaciones en la
información.
Meta
A partir del 2002 producir materiales y realizar
campañas de difusión sobre los derechos de las
familias en la educación básica, con la participación
de las autoridades educativas estatales y las
organizaciones de padres de familia. (PRONAE p. 156.)
Indicador de proceso simple: Número de autoridades
educativas que, se involucran en la puesta en marcha
de la campaña de difusión sobre producción de
materiales.
Indicador de proceso simple: Número de autoridades
educativas que directamente dan a conocer la
existencia y utilidad de los materiales sobre derechos
de las familias de educación básica.
Indicador de proceso complejo: Número de
campañas en las que participaron las organizaciones
de padres de familia / total de campañas de difusión
sobre los derechos de las familias.
Indicadores de impacto
Los indicadores de impacto, son los que habrán de
proporcionar información, a mediano y largo plazos,
sobre las modificaciones a la problemática que dio
origen al diseño del programa social, en este caso, el
ProNae.
5
Con base en la política educativa, los objetivos y
metas del programa sectorial deberán convertirse, a
lo largo del período 2001-2006, en acciones concretas
que modifiquen la problemática educativa y
representen un avance hacia el logro del escenario
educativo previsto para el 2025, además de contribuir
al mejoramiento de las condiciones de vida de los
beneficiarios.
Indicador simple: Número de planteles que realizaron
la autoevaluación a través de un mecanismo para
analizar su situación.
Al respecto, se propone el uso de dos tipos de
indicadores de impacto:
* Los del sistema educativo, que apoyarán la
evaluación de la etapa de finalización del ProNae,
incluyendo el balance integral sobre su consecución y
los resultados obtenidos en la modificación de la
problemática educativa.
Indicador complejo: Número de planteles que
implementaron mejoras como resultado de la
autoevaluación / Número de planteles que realizaron
la autoevaluación a través de un mecanismo de
análisis de su situación.
* Los de impacto social, que apoyarán la evaluación
sobre las contribuciones para modificar las
condiciones, de vida de los beneficiarios.
Objetivo particular del ProNae
A continuación se ejemplifican ambos tipos de
indicador de impacto.
Impacto educativo
Objetivo Particular del ProNae
“Promover la autoevaluación del sistema y de los
planteles de educación básica” (ProNae p.156)
Indicador complejo: Número de planteles que
realizaron la autoevaluación a través de un
mecanismo de análisis de su situación/total de
planteles.
Impacto Social.
“Dentro del objetivo rector de calidad en educación
media superior se promoverá una educación media
superior de buena calidad que forme ciudadanos
responsables, solidarios y con los conocimientos
idóneos para desempeñarse en el mundo laboral o en
el contexto de la educación” (pág. 174)
Indicador de impacto social: Número de alumnos del
nivel medio superior graduados y certificados
laboralmente que ingresaron a los sectores industrial o
de servicios en un periodo de seis meses posteriores al
egreso / Total de alumnos graduados y certificados
laboralmente del nivel medio superior.
6
Indicador de impacto social: Número de alumnos del
nivel medio superior tecnológico que continuaron
estudios superiores / Total de alumnos del nivel medio
superior tecnológico
Otras propiedades de los indicadores
Los indicadores de resultado, proceso e impacto,
proceden de diversas fuentes y aportan información
que tiene un uso diferenciado.
Indicadores específicos
Los indicadores de resultado, proceso o impacto, que
proporcionan
información
sobre
la
meta,
correspondiente a un período acotado y diferenciado
o bien sobre acciones o resultados con interés solo
para una entidad, instancia o institución, se
denominan específicos.
Es importante señalar que ambos indicadores,
genéricos y específicos, se complementan para
apoyar la medición acerca de los avances y logros de
las metas del Programa Nacional de Educación.
Los indicadores pueden contener otras propiedades
que son adicionales o complementarias y no excluyen
los otros rasgos característicos con los que han sido
clasificados.
En esta forma, los indicadores son simples o complejos
en atención a su estructura y a la información que
aportan y son también, genéricos o específicos, en
función del nivel de aplicación de la información que
puede ser nacional, porque corresponde al sistema
educativo en su conjunto, o bien, resultar solo de
utilidad para alguna entidad, instancia o unidad
responsable.
Indicadores genéricos
Los indicadores genéricos, son los indicadores de
resultado, proceso o impacto, de uso “general” para
todas las fuentes de información. Son los denominados
históricos o clásicos, como por ejemplo: eficiencia
terminal, deserción, reprobación; o bien aquellos que
se construyan para las metas del Programa Sectorial y
sean utilizados para recabar información nacional.
7