Doc.-ajustado-Sistema-de-evaluación-RLT

SISTEMA DE EVALUACIÓN DEL PROGRAMA RLT
1. Introducción
La evaluación en el Programa RLT es concebida como la acción de valorar de manera
sistemática, permanente y participativa el Programa con el fin de contar con información
pertinente para apreciar avances, reorientar acciones, establecer nuevas metas y
aprender siempre. Es una herramienta fundamental para el mejoramiento continuo.
El Sistema de Evaluación de RLT, se concibe como un conjunto de procesos e instrumentos
ordenados y relacionados entre sí, que valoran los aprendizajes obtenidos y la evolución
del Programa en todos sus niveles, para mejorarlo, reorientar acciones, y retroalimentar
su gestión, en el propósito de alcanzar transformaciones en los directivos docentes que
participan en el Programa y de las Instituciones Educativas que dirigen.
Los resultados que arroja el Sistema de Evaluación son la guía para la toma de decisiones,
y para suscitar la comprensión de las situaciones que ocurren con el desarrollo del
Programa. Es muy importante tener en cuenta que la elección de técnicas e instrumentos
de evaluación del Sistema, debe guardar relación con el objeto de evaluación sobre el
cual busca información y con la finalidad que se persigue.
El Sistema de Evaluación en RLT está conformado por tres niveles: impacto, resultados y
procesos. Cada uno de ellos tiene un propósito definido, así como sus propios instrumentos
y momentos de evaluación. El Sistema además de proveer indicadores y estadísticas
relevantes para el desarrollo del Programa, tiene como principal fin realizar análisis e
interpretación de los resultados obtenidos, así como comunicarlos y hacer uso pedagógico
de los mismos. De acuerdo con los propósitos de RLT, el Sistema valora al Programa, a las
instituciones educativas y al rector.
El seguimiento dentro del Sistema puede definirse como una función continua, cuyo
principal objetivo es proporcionar al Programa indicaciones tempranas sobre las
situaciones que facilitan o dificultan su progreso o el logro de objetivos. El seguimiento
permite identificar lo que va bien y lo que no funciona, en términos de progreso hacia los
resultados esperados. Estos asuntos se registran en informes periódicos, con base en los
cuales se hacen recomendaciones, se orienta a la toma de decisiones y de nuevas acciones.
La evaluación en RLT se concibe como un proceso participativo, a fin de asegurar el
compromiso, el sentido de pertenencia, la constancia y la retroalimentación sobre su
ejecución con todos los actores del Programa. La presentación de informes constituye una
parte fundamental de la evaluación, así como de la Sistematización.
2. Niveles de Evaluación
Los niveles son aquellas categorías se han definido en el Sistema para realizar la
evaluación, de acuerdo con lo que se pretende evaluar. Son complementarios,
dialogan entre sí, valoran y explican lo ocurrido en el desarrollo Programa RLT. El
Sistema procura llegar a conclusiones que retroalimenten el Programa, que
permitan identificar nuevas iniciativas para planificar, gestionar y ejecutar el
mismo y generar recomendaciones para mejorar su realización en el futuro.
Los niveles considerados en el Sistema de Evaluación son tres: impacto, resultados y
procesos (Tabla No.1). Cada nivel tiene sus propósitos, se ejecuta en diferentes
momentos, con distintos actores, técnicas e instrumentos.
Tabla No. 1. Sistema de Evaluación RLT
Niveles
Impacto
¿Qué y a quién se
evalúa?
Calidad de la educación
Instrumentos Eva Impacto
Pruebas SABER
Tasas de eficiencia interna
Evolución de la matricula
Transformaciones de la
institución educativa
Ficha de información básica de la IE
Encuesta de Ambiente Escolar
Línea de tiempo
Plan de Acción de la transformación institucional
Transformaciones del
directivo docente
Ficha de información básica del directivo
Matriz de Competencias
Evaluación 360°
Prueba Kompe Disc
Gestión del Programa
Ficha de información básica del EL
Encuestas de satisfacción
Matriz de competencias EL
Indicadores de gestión
Resultados
Procesos
¿Con qué se evalúa?
A continuación se describen cada uno de los niveles del Sistema:
2.1.
Evaluación de Impacto
El impacto es el efecto que genera el Programa a mediano y largo plazo, de acuerdo con
los propósitos formulados inicialmente. Se valora principalmente el efecto del Programa
RLT en el mejoramiento de la calidad educativa en los colegios en las cuales se impartió;
se pretende cotejar a través de ésta evaluación el grado de influencia interna y externa
de las acciones desarrolladas en los rectores, y las transformaciones que bajo su influencia
se producen en las instituciones educativas, en términos de los objetivos, el tiempo
previsto, y la inversión tanto en cantidad como en calidad a través de la ponderación de
lo que se logró, lo que se logró parcialmente y lo que no se logró.
La evaluación de impacto muestra los beneficios (directos o indirectos) que como
resultado de la ejecución del Programa RLT (año tres), son evidentes y atribuibles al
mismo. Para tal fin, una entidad experta diseña un instrumento específico acorde con el
propósito de la evaluación propuesta en el Sistema, en la que participen los diferentes
actores del Programa y del entorno cercano a la Institución Educativa.
Este nivel de evaluación de impacto incluye también indicadores orientados a valorar la
movilidad en los aprendizajes de los estudiantes en cada colegio, por lo cual los resultados
de las pruebas SABER en los grados 5°, 9° y 11° en las áreas de lenguaje (lectura crítica
saber 11°), matemáticas, competencias ciudadanas (ciencias sociales y competencias
ciudadanas saber 11°) y ciencias naturales, serán indicadores clave. Así mismo las tasas
de cobertura, de eficiencia interna, y la evolución de la matrícula, permitirán valorar los
avances de las instituciones educativas, en términos de acceso y permanencia. Estos
indicadores son obtenidos de las fuentes oficiales: ICFES y MEN.
La intención de esta evaluación es determinar un punto de partida, de tal forma que se
cuente con datos que permitan hacer comparaciones posteriores e indagar por los cambios
ocurridos a través de la implementación del Programa.
2.2.
Evaluación de resultados
Los resultados son asuntos específicos que se espera lograr al final de cada fase del
Programa. En este caso se trata de valorar las transformaciones que se generan en las
instituciones educativas, principalmente en términos de ambiente escolar,
transformaciones pedagógicas y convivencia, y
valorar las transformaciones de los
rectores, lo cual se evidencia en el mejoramiento de su nivel de competencias durante el
desarrollo del Programa tanto en la etapa de formación, como en la de acompañamiento.
Esta evaluación valora en qué medida se lograron los propósitos, cómo se evidencian, qué
situaciones los facilitaron o dificultaron, si llegó a la población objetivo en el tiempo y las
condiciones previstas.
2.3.
Evaluación de Procesos
La evaluación de procesos realiza el seguimiento a los recursos físicos, humanos y
financieros utilizados en el Programa, así como a las acciones que se desarrollan. Estos
son importantes para efectuar un seguimiento sistemático a la ejecución del Programa
RLT e indican sobre la ejecución de acciones y presupuesto del proyecto. Sus resultados
son complementarios a los resultados de los otros niveles de la evaluación.
La siguiente tabla muestra de manera resumida, los propósitos de cada uno de los
instrumentos de valoración del Sistema de Evaluación RLT.
Tabla No. 2 Propósitos de los Instrumentos de valoración del Sistema de Evaluación
3. Algunos resultados del Sistema de Evaluación
3.1. Encuesta de Ambiente Escolar
En RLT el ambiente escolar se constituye en el escenario en donde se convierten en
realidad el conjunto de lineamientos y procesos pedagógicos, ambientes físicos e
interacciones entre la comunidad educativa que la institución configura para propiciar las
condiciones que favorecen la ampliación de las oportunidades de aprendizaje, la
formación de los estudiantes y el desarrollo de sus competencias.
La encuesta de ambiente escolar en RLT valora los siguientes ámbitos:
3.1.1 Comunicación
Son los mecanismos disponibles en los colegios que permiten diferentes formas de
interacción entre los estudiantes, docentes, familias, y su comunidad.
3.1.2 Prácticas de Aula
Se refiere a las actividades que se llevan a cabo en el colegio para que los estudiantes
aprendan y desarrollen competencias para la vida.
3.1.3 Ciudadanía
Es el ejercicio de los derechos humanos, y la capacidad que tienen las personas para
relacionarse entre sí partiendo del respeto por su plena dignidad.
3.1.4 Apropiación del espacio físico
Son los esfuerzos deliberados que desarrolla la institución educativa para configurar
ambientes escolares coherentes con su propuesta pedagógica.
A continuación se presentan algunos resultados de la encuesta que se aplicó en los colegios
RLT en el año 2014:
3.1.5 Cobertura
Entidad territorial
Estudiantes
Docentes
Padres de
familia
Total
Antioquia
Atlántico
Cali
Cundinamarca
Itagüí
13015
4015
3241
4810
4067
1149
362
266
557
264
3164
978
548
1254
938
17328
5355
4055
6621
5269
Total
29148
2598
6882
38628
En total se aplicaron 38.628 encuestas en las instituciones vinculadas al Programa en
Antioquia, Atlántico, Cali, Cundinamarca e Itagüí; la mayor proporción de encuestas
realizadas corresponde a la población estudiantil (83%), seguido por los docentes (59%) y
los padres (55%).
3.1.6 Resultado por región
Para interpretar los resultados se determinó usar el porcentaje obtenido en la opción de
respuesta "siempre” y los colores del semáforo, de acuerdo con los siguientes rangos:
Indicador
Nivel
Resultado
(%)
% en siempre
Alto
Medio
Bajo
X > 61
40≥ X ≤ 60
X<39
La siguiente tabla permite identificar por ámbito valorado y por región, los niveles de
percepción de cada uno de los actores. Se valoraron los siguientes ámbitos: comunicación,
prácticas pedagógicas, ciudadanía y aprobación del espacio físico.
Ámbito
Prácticas
Apropiación del
Ciudadanía
Pedagógicas
Espacio Físico
% de respuesta categoría siempre
40,70%
53,10%
49,50%
49,60%
46,90%
62,90%
55,00%
47,90%
43,50%
48,00%
37,30%
49,20%
37,80%
50,50%
46,00%
46,30%
36,50%
51,10%
46,70%
43,90%
39,90%
53,40%
48,80%
47,20%
Comunicación
Entidad Territorial
Antioquia
Atlántico
Cali
Cundinamarca
Itagüí
Total Nacional
El resultado nacional agregado, con respecto al ámbito de la comunicación, indica que se
perciben en nivel bajo ítems como: “En el colegio las directivas realizan rendición de
cuentas”, “Existe buena comunicación entre las personas que hacen parte del colegio” y
“El colegio realiza proyectos con otras instituciones”. Sin embargo, para las familias
tuvieron una buena percepción acerca de los ítems: “Los profesores y las familias hablan
sobre el proceso de aprendizaje de los estudiantes” y “En el colegio me permiten expresar
mis opiniones”.
3.1.7 Resultados generales de la Encuesta de Ambiente Escolar por grado
3.1.7.1 Grado 5º
Ámbito
Comunicación
Prácticas
pedagógicas
Ciudadanía
Apropiación del
ambiente
Siempre
49,6%
Casi
Casi
Nunca
siempre nunca
35,5% 9,5% 5,4%
62,0%
58,7%
30,0%
29,2%
5,6%
7,2%
2,4%
4,9%
57,1%
32,8%
6,7%
3,4%
En este grado se destaca la valoración alta dada por todos los actores a las prácticas
pedagógicas que se llevan a cabo en las diversas instituciones educativas, en las que el
porcentaje de la opción siempre supera en todos los casos el 60%. Adicional a ésta
respuesta positiva, se debe agregar las respuestas marcadas como casi siempre que para
los 3 actores evaluados, se encuentra en un valor cercano al 30%, lo que mostraría un
porcentaje de aceptación que está cercano al 90%. El componente que presenta un menor
porcentaje de valoración es el que corresponde a comunicación. En el agregado
correspondiente a los tres actores, muestra un porcentaje de 49.6 en la opción siempre,
lo que significa que 1 de cada 2 personas encuestadas está de acuerdo con esta opción.
Los porcentajes para las opciones de nunca y casi nunca son 5.4% y 9.5%, que sumados dan
el 15%.
En este grado las familias tiende a valorar de una manera más alta los ítems que conforman
cada uno de los componentes, así en cada uno de los componentes se presentó un
porcentaje de respuestas superior al 60% para la opción siempre.
3.1.7.1 Grado 9º
Resultado (%)
Siempre
Casi
Casi
Nunca
siempre nunca
41,0% 17,2% 5,8%
Comunicación
Prácticas
pedagógicas
36,1%
47,2%
39,4%
10,9% 2,6%
Ciudadanía
43,7%
37,0%
13,0% 6,3%
Apropiación del
ambiente
44,8%
41,1%
11,0% 3,1%
En este grado los porcentajes de la opción siempre valorados por los diferentes actores es
más homogéneo en cada uno de los 4 componentes, se destaca nuevamente la valoración
dada a prácticas pedagógicas, en donde el 47.2% de los encuestados optan por la opción
de respuesta siempre. Pese a que la valoración de este componente es más alta, al igual
que en grado 5º, debe destacarse que el porcentaje de percepción se encuentra ubicado
en nivel medio.
Igual a lo ocurrido en grado 5º, se evidencia una preferencia a valorar de una manera
positiva a cada uno de los componentes por parte de las familias.
En general en las diferentes entidades territoriales existe una valoración baja en el ámbito
de comunicación. De igual manera, se destaca el hecho de que para este grado, las
entidades territoriales no superan el 61% en ninguno de los 4 componentes que valoró la
encuesta.