Presentación evaluación CE diciembre 2013

EVALUACIÓN DEL
PROGRAMA COMPROMISO
EDUCATIVO
2011 – 2012
ANEP(DIEE) – MIDES (DINEM)
CONTENIDO
1. Estrategia de evaluación
2. Cobertura y niveles de participación
3. Procesos de Implementación
4. Resultados
5. Impacto
6. Consideraciones finales
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
1. ESTRATEGIAS DE
EVALUACIÓN
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Concepción del programa desde la evaluación
El objetivo general es contribuir a enriquecer y consolidar la matriz de
programas educativos existentes, con el fin de mejorar las condiciones
para que los estudiantes de EMS permanezcan y potencien sus
trayectorias en el sistema educativo público y particularmente puedan
completar el segundo ciclo de enseñanza media.
El programa es la conjunción de los tres componentes, no se concibe
el programa únicamente atado a ninguno de ellos y en consecuencia la
evaluación buscó dar cuenta de todos ellos y del efecto combinado de
los mismos.
El programa supone dos niveles de acción: a) los estudiantes; b) los
centros. En consecuencia la evaluación trabajó en conocer efectos en
estos dos niveles (unidades de análisis)
La evaluación debe dar cuenta de los resultados/impactos del
programa, pero a la vez debe atender a la implementación y procesos
que el programa hace/genera en los dos niveles mencionados. En
consecuencia el enfoque de evaluación es combinado.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
ESTRATEGIAS DE EVALUACIÓN Y FUENTES DE INFORMACIÓN
Técnica
Actores
CUALI
Muestreo
Casos
CUANTI (Encuesta
panel)
2011
Entrevistas
Participante / No participantes
Articuladores Pedagógicos
Referentes Pares
Dirección
Adscripción
Docentes
Participantes con acuerdo
acompañamiento
Articuladores pedagógicos
Referentes Pares
Dirección
Adscripción
Docentes
Teórico (Región, año, CES/
Teórico (Región, tamaño, % becas) CETP)
8 centros
6 centros
89 entrevistas
52 entrevistas
Técnica
Encuesta longitudinal (dos
ondas: julio y noviembre)
Actores
Estudiantes
Muestreo
Por conglomerado
41 centros
3300 (julio) / 2772 (noviembre)
Casos
REGISTROS
ADMINISTRATIVO
S
2012
Entrevistas
Resultados SECLI
Matrícula SECLI / UTU
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
2. COBERTURA Y NIVELES
DE PARTICIPACIÓN
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
COBERTURA
La cobertura del programa entre 2011 y 2012 aumenta en términos de
centros y alcance de sus componentes
AÑO
% en relación
Postulantes
a centros
Centros CE
CE
EMS
Becas
otorgadas
Referentes
Pares
2011
39
13
2086
1659
350
2012
63
21
6952
4347
500
En 2012 el programa llega a implementarse en 63 centros educativos,
aumentando así el número de centros en un 62%. Concentra su expansión
en los centros educativos del CETP-UTU y mantiene la importancia
relativa de los centros del interior del país (70%).
Amplía el número de becas otorgadas (162%) y de los Referentes Pares
(43%).
El 28% de los estudiantes en centros CE (noviembre 2012), participan al
menos una vez de algún componente del programa.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
PARTICIPACIÓN EN LOS COMPONENTES DEL
Nivel de participación en Espacios de Referencia Noviembre 2012.
PROGRAMA
0,6
8%
Participa ER
27,8
Recibe beca
No recibe beca
No participa ER
71,6
92%
Becados en ER
NS/NC
Composición
de los ER
De acuerdo a los datos de la encuesta, y con lo recabado en la estrategia cualitativa, puede
decirse que mayoritariamente los participantes del programa “reciben” en algún
momento del año los tres componentes (Beca, Acuerdo y ER).
• En tanto el 100% de los Becados firma el acuerdo educativo, y el 92% de los mismos participa al
menos una vez del ER.
• Por su parte, del 100% de los que participaron al menos una vez del ER, el 72% perciben la Beca y
firmaron el Acuerdo.
Lo anterior puede indicarnos que el ER probablemente fue percibido por los becados como un
ámbito de participación “obligatoria”, a la vez que muestra que los ER no se han
generalizado entre los estudiantes.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
3. EVALUACIÓN DE
PROCESOS DE
IMPLEMENTACIÓN
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Hallazgos de la estrategia cualitativa. Generales y por componentes (a)
A través del análisis de los dos años de implementación del programa, se aprecia
un proceso de «maduración» de la inserción de CE en los centros educativos y
de afianzamiento en las dinámicas institucionales. (Conocimiento, aceptación
y articulación)
Uno de los principales indicadores en este sentido es la disminución de
prejuicios y temores por parte de los actores institucionales así como la
disminución de la centralidad asignada al componente beca -apreciándose un
avance en la valorización de los restantes componentes del programa-.
Beca:
Si bien no existe un discurso homogéneo sobre la beca, continúa su valoración
positiva y es significada desde tres aspectos
a) vinculada a realidades socio económicas vulnerables;
b) como elemento motivacional y
c) valoración positiva atada a la existencia de “contrapartidas”.
A su vez, 9 de cada 10 estudiantes (incluidos los no becados) tiene una opinión
favorable respecto a la existencia de la beca, y 3 de cada 4 piensa que está bien
- ANEP(DIEE) – MIDES (DINEM)
asignada. Esta buena valoración se condice con los análisis10/12/2013
de focalización*.
Hallazgos de la estrategia cualitativa. Generales y por componentes (b)
Espacios de Referencia:
Adquieren mayor visualización en el segundo año. Su
inserción continúa siendo heterogénea y asumiendo
contenidos diferenciados en relación a la forma en
que son concebidos por los actores, y a la impronta
particular de los RP.
Sobre los RP se apreció una idea favorable sobre su
figura, en la que se refleja un rol en construcción, que
aún debe ser ponderado y potenciado.
Acuerdos y Articulador Pedagógico
Su figura adquirió mayor visualización y legitimación
desde los demás actores institucionales, siendo
concebidos como el “pilar” del programa. Se observó
además una mayor integración entre su trabajo y el
del resto de los actores del centro, se apreciaron
casos donde la relación AP-adscriptos operó de modo
favorable al cumplimiento de los objetivos del
programa.
Dificultades ER:
ü En algunos actores se
aprecia escepticismo
sobre el programa.
ü Problemas de
infraestructura asociado
a los ER (lugar físico)
ü Difusión y débil
participación de NoBecados*
ü Se reclama
concientización y
sensibilización del
programa hacia el
cuerpo docente.
ü Desde los referentes
pares, se reclama
mayor orientación sobre
cómo llevar adelante los
ER.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
4. RESULTADOS
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Consideraciones y estructura de los resultados e impactos del programa
La estrategia de evaluación de impacto supuso trabajo en dos niveles,
estudiantes y centros.
De acuerdo a los objetivos del programa se definen tres indicadores de resultado/
impacto:
1) Promoción;
2) Inasistencia (durante el año) –sólo para CES-;
3) Continuidad educativa al año siguiente (t+1).
I. En primer lugar se presentan datos descriptivos –diferenciados por
subsistema (CETP / CES)- sobre resultados de estudiantes, comparando tres
grupos:
a) Participantes CE;
b) No participantes CE en Centros con CE;
c) Estudiantes de Centros NO CE.
II. En segundo lugar, en base a las mismas variables, se evalúa impacto del
programa mediante propensity score matching (PSM)
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
RESULTADOS A NIVEL DEL CETP
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Aprobación de estudiantes de 1º y 2º nivel de
EMS en CETP (2012)
La aprobación
de los
participantes CE
es más alta que
para los
restantes
grupos.
ü Además, tanto en las mujeres como en los varones becados se
observan niveles de aprobación superiores al del resto de los grupos de
estudiantes.
ü La aprobación es de 79,5% entre los varones y de 74,5% entre las
mujeres.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Continuidad educativa de estudiantes de 1º y 2º
nivel de EMS en CETP (2012)
La continuidad
a nivel de los
participantes
CE es superior
al registrado en
los estudiantes
sin beca en
centros con y
sin el
ü Tanto en los varones como en las mujeres, más de un 80% programa.
de los becados
se inscribe al año siguiente.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 1° de CETP-2012 por extraedad,
aprobación
Al controlar los resultados del programa por extraedad se
observa que…
Entre los
estudiantes sin
extraedad se
observa una de
6.2 puntos entre
participantes CE
y no participantes
en centros CE.
Entre los
estudiantes con
extraedad se
observa una de
22.2 puntos entre
participantes CE
y no participantes
en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 1° de CETP-2012 por extraedad,
continuidad
Entre los
estudiantes sin
extraedad se
observa una de
2.5 puntos entre
participantes CE
y no participantes
en centros CE.
Entre los
estudiantes con
extraedad se
observa una de
24.6 puntos entre
participantes CE
y no participantes
en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 2° de CETP-2012 por extraedad,
aprobación
Entre los
estudiantes sin
extraedad se
observa una de
4.2 puntos entre
participantes CE
y no participantes
en centros CE.
Entre los
estudiantes con
extraedad se
observa una de
22.3 puntos entre
participantes CE
y no participantes
en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 2° de CETP-2012 por extraedad,
continuidad
Entre los
estudiantes sin
extraedad se
observa una de
9.7 puntos entre
participantes CE
y no participantes
en centros CE.
Entre los
estudiantes con
extraedad se
observa una de
15.7 puntos entre
participantes CE
y no participantes
en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
RESULTADOS A NIVEL DEL CES
11/04/13
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Aprobación de estudiantes de 1º nivel de EMS en
CES (2012)
Los estudiantes
becados obtienen
niveles
superiores de
promoción
respecto a
quienes, estando
el mismo centro,
no recibieron
beca, y niveles
similares
respecto a los
estudiantes de
los centros que
no participaron
ü Desempeño comparativamente más favorable por partedel
deprograma.
las mujeres
respecto a los varones.
ü Sin embargo, varones becados presentan mejor desempeño en repetición por
inasistencias. Asimismo, es al interior de los varones donde se verifican las
mayores brechas entre becados y no becados.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Repetición por inasistencias de estudiantes de 1º
nivel de EMS en CES (2012)
Se observa la
obtención de
mejores resultados
por parte de los
estudiantes becados
en relación a
quienes concurren
a centros no CE.
Registrando
menores niveles de
repetición por
inasistencias
ü Los varones becados muestran un desempeño levemente mejor que el de las mujeres
becadas, invirtiendo la situación que se observa para el promedio.
11/04/13
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Continuidad educativa de estudiantes de 1º nivel
de EMS en CES (2012)
ü Se observa mayor nivel de continuidad para participantes CE que
para los restantes grupos
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 1° de CES-2012 por extraedad,
aprobación
Al controlar los resultados del programa por extraedad se observa que…
Entre los
estudiantes sin
extraedad se
observa una de
6.1 puntos entre
participantes CE
y no participantes
en centros CE.
Entre los
estudiantes con
extraedad se
observa una de
15.7 puntos entre
participantes CE
y no participantes
en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estudiantes de 1° de CES-2012 por extraedad,
repetición por inasistencias
Entre los
estudiantes sin
extraedad se
observa una de
-2.1 puntos entre
participantes CE
y no participantes
en centros CE.
Entre los
estudiantes con
extraedad se
observa una de
-12.7 puntos
entre
participantes CE
y no participantes
en centros CE.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Continuidad educativa de estudiantes de 1° de
CES-2012 por extraedad
Entre los
estudiantes sin
extraedad se
observa una de
4 puntos entre
participantes CE
y no participantes
en centros CE.
Entre los
estudiantes con
extraedad se
observa una de
17.9 puntos
entre
participantes CE
y no participantes
en centros CE.
11/04/13
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
5. IMPACTO
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Introducción
En este apartado se comentaran los resultados de la evaluación de impacto de
Compromiso Educativo en base a los datos procedentes de:
v la encuesta realizada en 2012
v Los registros administrativos de los postulantes al programa en 2012.
La metodología adoptada para la evaluación de impacto se basó en la construcción
de un grupo de control sintético para los participantes de CE – a través de las
técnicas de propensity score matching y matching en las variables – y la posterior
comparación de los resultados obtenidos por ambos grupos, a través del “efecto
promedio en los tratados” (representado por su sigla en inglés, ATT).
Para definir la variable “grupo de tratamiento” se ensayaron dos alternativas:
Variable
Participa como
Becado
Participa en al
menos
1
componente
CE
Descripción
Vale 1 si el individuo recibió la beca en el 2012
Vale 1 si el individuo participo en alguno de los componentes del
programa en por lo menos una de las dos encuestas de evaluación.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Encuesta de evaluación de julio 2012
Variables utilizadas para la definición del PSM
Variable
ICC
Edad
Sexo
AprobSinPrev
Beca11
Cuarto
Distancia al
Centro
Descripción
Índice de Carencias Críticas, mide el nivel socioeconómico
Edad en años
Toma el valor 1 si es varón y 0 si es mujer
Vale 1 si el individuo aprobó el año pasado sin previas, 0 en caso
contrario
Indicadora que vale 1 si el sujeto obtuvo beca en el 2011 y 0 en
caso contrario
Vale 1 si el individuo cursa el nivel 1 de EMS, 0 en caso contrario
Distancia al centro en kilómetros
Hacinamiento
Vale 1 si el individuo vive en un hogar hacinado, 0 en caso contrario
ImEdTerc
Vale 1 si el estudiante expresa intención de cursar estudios terciarios, 0
en caso contrario
Cuarto
Secundaria
Indicatriz que vale 1 si el individuo cursa cuarto año en secundaria
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estimación del efecto promedio del programa para
becados (nivel 1 y 2) en CETP , en base a
Encuesta CE12
Población
CETP (nivel 1 y 2)
Tratamiento
BecaCE12
Resultado
Aprobó
Continuidad 2013
ATT
Balancea
5,7%
Si
13,3%*
Si
• Valores estadísticamente significativos el 5%.
Fuente: Elaboración propia en base a encuesta CE12
Se presenta el valor ATT obtenido utilizando kernel para el emparejamiento.
El efecto en aprobación y desvinculación se estimo con 630 casos de los cuales el 27% eran becados (171).
El efecto en continuidad se estimo con 695 casos de los cuales el 25% eran becados (173).
En el anexo XXX se muestran los contrastes de calidad de emparejamiento.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Estimación del efecto promedio del programa para
becados (nivel 1) en CES , en base a Encuesta
CE12
Población
CES (4º año)
Tratamiento
Participó en algún
componente
Resultado
ATT
Balancea
Aprobó
0,3%
Si
Inasistencias
-1,0%
Si
Inscripción 2013
7,1%*
Si
Fuente: Elaboración propia en base a encuesta CE12
Se presenta el valor ATT obtenido utilizando kernel para el emparejamiento.
El efecto en aprobación y desvinculación se estimo con 940de los cuales el 237 eran becados.
El efecto en continuidad se estimo con 975 casos de los cuales el 239 eran becados.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
Registros de postulantes al programa 2012
Variables utilizadas para la definición del PSM y para el emparejamiento directo en
las variables
Variable (X)
Descripción
ICC
Índice de Carencias Críticas, mide el nivel socioeconómico
Edad
Edad en años
Sexo
Toma el valor 1 si es varón y 2 si es mujer
Nivel
Indica si la persona cursa primer año de EMS o segundo
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
[1]
Se acotó la edad para mejorar la calidad de los emparejamientos
Resultados con registros administrativos
Matching en variables
Sistema
Grado
Variable
4º liceo
Promoción
261
4º y 5º liceo
Continuidad
Nivel 1 y 2
hasta 19 años
Control
Tratados
PSM
ATT
Balance
Resultado
Balance
1420
9,2*
Si
-
No
527
2792
11,9 **
Si
-
No
Promoción
168
728
23,2 **
Si
21,3 **
Si
Nivel 1 y 2
Continuidad
hasta 19 años
200
822
14,3 **
Si
12,0 **
Si
CES
UTU
**: significativo al 5%
*: significativo al 10%
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
6. CONSIDERACIONES
FINALES
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
CONSIDERACIONES FINALES (a)
• Institucionalización y maduración del programa al interior de los centros.
• Si bien los participantes del programa mayoritariamente “reciben” –en algún
momento- a los tres componentes del programa (integralidad); el Espacio
de referencia aún no se ha generalizado como espacio abierto para los
estudiantes del centro.
• Demanda por incluir a los actores de los centros en la sensibilización y
conocimiento del programa (en especial docentes), en la medida que las
sinergias entre recursos CE y del centro genera prácticas virtuosas.
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)
CONSIDERACIONES FINALES (b)
• Impacto a nivel general en Continuidad para UTU (efecto robusto y
consistente), en torno al 12%-14%
• Impacto del programa a nivel de extraedad (valores en torno a las
diferencias observadas los descriptos).
Encuesta
Registro administrativo
Emparejamiento en X
CETP
CES
PSM
Aprobación
-
SÍ
-
Continuidad
SÍ
SÍ
-
Aprobación
-
SÍ
SÍ
Continuidad
SÍ
SÍ
SÍ
Indicios de efectos en continuidad CES y aprobación en ambos
10/12/2013 - ANEP(DIEE) – MIDES (DINEM)