EVALUACIÓN DEL PROGRAMA COMPROMISO EDUCATIVO 2011 – 2012 ANEP(DIEE) – MIDES (DINEM) CONTENIDO 1. Estrategia de evaluación 2. Cobertura y niveles de participación 3. Procesos de Implementación 4. Resultados 5. Impacto 6. Consideraciones finales 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) 1. ESTRATEGIAS DE EVALUACIÓN 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Concepción del programa desde la evaluación El objetivo general es contribuir a enriquecer y consolidar la matriz de programas educativos existentes, con el fin de mejorar las condiciones para que los estudiantes de EMS permanezcan y potencien sus trayectorias en el sistema educativo público y particularmente puedan completar el segundo ciclo de enseñanza media. El programa es la conjunción de los tres componentes, no se concibe el programa únicamente atado a ninguno de ellos y en consecuencia la evaluación buscó dar cuenta de todos ellos y del efecto combinado de los mismos. El programa supone dos niveles de acción: a) los estudiantes; b) los centros. En consecuencia la evaluación trabajó en conocer efectos en estos dos niveles (unidades de análisis) La evaluación debe dar cuenta de los resultados/impactos del programa, pero a la vez debe atender a la implementación y procesos que el programa hace/genera en los dos niveles mencionados. En consecuencia el enfoque de evaluación es combinado. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) ESTRATEGIAS DE EVALUACIÓN Y FUENTES DE INFORMACIÓN Técnica Actores CUALI Muestreo Casos CUANTI (Encuesta panel) 2011 Entrevistas Participante / No participantes Articuladores Pedagógicos Referentes Pares Dirección Adscripción Docentes Participantes con acuerdo acompañamiento Articuladores pedagógicos Referentes Pares Dirección Adscripción Docentes Teórico (Región, año, CES/ Teórico (Región, tamaño, % becas) CETP) 8 centros 6 centros 89 entrevistas 52 entrevistas Técnica Encuesta longitudinal (dos ondas: julio y noviembre) Actores Estudiantes Muestreo Por conglomerado 41 centros 3300 (julio) / 2772 (noviembre) Casos REGISTROS ADMINISTRATIVO S 2012 Entrevistas Resultados SECLI Matrícula SECLI / UTU 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) 2. COBERTURA Y NIVELES DE PARTICIPACIÓN 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) COBERTURA La cobertura del programa entre 2011 y 2012 aumenta en términos de centros y alcance de sus componentes AÑO % en relación Postulantes a centros Centros CE CE EMS Becas otorgadas Referentes Pares 2011 39 13 2086 1659 350 2012 63 21 6952 4347 500 En 2012 el programa llega a implementarse en 63 centros educativos, aumentando así el número de centros en un 62%. Concentra su expansión en los centros educativos del CETP-UTU y mantiene la importancia relativa de los centros del interior del país (70%). Amplía el número de becas otorgadas (162%) y de los Referentes Pares (43%). El 28% de los estudiantes en centros CE (noviembre 2012), participan al menos una vez de algún componente del programa. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) PARTICIPACIÓN EN LOS COMPONENTES DEL Nivel de participación en Espacios de Referencia Noviembre 2012. PROGRAMA 0,6 8% Participa ER 27,8 Recibe beca No recibe beca No participa ER 71,6 92% Becados en ER NS/NC Composición de los ER De acuerdo a los datos de la encuesta, y con lo recabado en la estrategia cualitativa, puede decirse que mayoritariamente los participantes del programa “reciben” en algún momento del año los tres componentes (Beca, Acuerdo y ER). • En tanto el 100% de los Becados firma el acuerdo educativo, y el 92% de los mismos participa al menos una vez del ER. • Por su parte, del 100% de los que participaron al menos una vez del ER, el 72% perciben la Beca y firmaron el Acuerdo. Lo anterior puede indicarnos que el ER probablemente fue percibido por los becados como un ámbito de participación “obligatoria”, a la vez que muestra que los ER no se han generalizado entre los estudiantes. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) 3. EVALUACIÓN DE PROCESOS DE IMPLEMENTACIÓN 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Hallazgos de la estrategia cualitativa. Generales y por componentes (a) A través del análisis de los dos años de implementación del programa, se aprecia un proceso de «maduración» de la inserción de CE en los centros educativos y de afianzamiento en las dinámicas institucionales. (Conocimiento, aceptación y articulación) Uno de los principales indicadores en este sentido es la disminución de prejuicios y temores por parte de los actores institucionales así como la disminución de la centralidad asignada al componente beca -apreciándose un avance en la valorización de los restantes componentes del programa-. Beca: Si bien no existe un discurso homogéneo sobre la beca, continúa su valoración positiva y es significada desde tres aspectos a) vinculada a realidades socio económicas vulnerables; b) como elemento motivacional y c) valoración positiva atada a la existencia de “contrapartidas”. A su vez, 9 de cada 10 estudiantes (incluidos los no becados) tiene una opinión favorable respecto a la existencia de la beca, y 3 de cada 4 piensa que está bien - ANEP(DIEE) – MIDES (DINEM) asignada. Esta buena valoración se condice con los análisis10/12/2013 de focalización*. Hallazgos de la estrategia cualitativa. Generales y por componentes (b) Espacios de Referencia: Adquieren mayor visualización en el segundo año. Su inserción continúa siendo heterogénea y asumiendo contenidos diferenciados en relación a la forma en que son concebidos por los actores, y a la impronta particular de los RP. Sobre los RP se apreció una idea favorable sobre su figura, en la que se refleja un rol en construcción, que aún debe ser ponderado y potenciado. Acuerdos y Articulador Pedagógico Su figura adquirió mayor visualización y legitimación desde los demás actores institucionales, siendo concebidos como el “pilar” del programa. Se observó además una mayor integración entre su trabajo y el del resto de los actores del centro, se apreciaron casos donde la relación AP-adscriptos operó de modo favorable al cumplimiento de los objetivos del programa. Dificultades ER: ü En algunos actores se aprecia escepticismo sobre el programa. ü Problemas de infraestructura asociado a los ER (lugar físico) ü Difusión y débil participación de NoBecados* ü Se reclama concientización y sensibilización del programa hacia el cuerpo docente. ü Desde los referentes pares, se reclama mayor orientación sobre cómo llevar adelante los ER. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) 4. RESULTADOS 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Consideraciones y estructura de los resultados e impactos del programa La estrategia de evaluación de impacto supuso trabajo en dos niveles, estudiantes y centros. De acuerdo a los objetivos del programa se definen tres indicadores de resultado/ impacto: 1) Promoción; 2) Inasistencia (durante el año) –sólo para CES-; 3) Continuidad educativa al año siguiente (t+1). I. En primer lugar se presentan datos descriptivos –diferenciados por subsistema (CETP / CES)- sobre resultados de estudiantes, comparando tres grupos: a) Participantes CE; b) No participantes CE en Centros con CE; c) Estudiantes de Centros NO CE. II. En segundo lugar, en base a las mismas variables, se evalúa impacto del programa mediante propensity score matching (PSM) 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) RESULTADOS A NIVEL DEL CETP 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Aprobación de estudiantes de 1º y 2º nivel de EMS en CETP (2012) La aprobación de los participantes CE es más alta que para los restantes grupos. ü Además, tanto en las mujeres como en los varones becados se observan niveles de aprobación superiores al del resto de los grupos de estudiantes. ü La aprobación es de 79,5% entre los varones y de 74,5% entre las mujeres. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Continuidad educativa de estudiantes de 1º y 2º nivel de EMS en CETP (2012) La continuidad a nivel de los participantes CE es superior al registrado en los estudiantes sin beca en centros con y sin el ü Tanto en los varones como en las mujeres, más de un 80% programa. de los becados se inscribe al año siguiente. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Estudiantes de 1° de CETP-2012 por extraedad, aprobación Al controlar los resultados del programa por extraedad se observa que… Entre los estudiantes sin extraedad se observa una de 6.2 puntos entre participantes CE y no participantes en centros CE. Entre los estudiantes con extraedad se observa una de 22.2 puntos entre participantes CE y no participantes en centros CE. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Estudiantes de 1° de CETP-2012 por extraedad, continuidad Entre los estudiantes sin extraedad se observa una de 2.5 puntos entre participantes CE y no participantes en centros CE. Entre los estudiantes con extraedad se observa una de 24.6 puntos entre participantes CE y no participantes en centros CE. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Estudiantes de 2° de CETP-2012 por extraedad, aprobación Entre los estudiantes sin extraedad se observa una de 4.2 puntos entre participantes CE y no participantes en centros CE. Entre los estudiantes con extraedad se observa una de 22.3 puntos entre participantes CE y no participantes en centros CE. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Estudiantes de 2° de CETP-2012 por extraedad, continuidad Entre los estudiantes sin extraedad se observa una de 9.7 puntos entre participantes CE y no participantes en centros CE. Entre los estudiantes con extraedad se observa una de 15.7 puntos entre participantes CE y no participantes en centros CE. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) RESULTADOS A NIVEL DEL CES 11/04/13 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Aprobación de estudiantes de 1º nivel de EMS en CES (2012) Los estudiantes becados obtienen niveles superiores de promoción respecto a quienes, estando el mismo centro, no recibieron beca, y niveles similares respecto a los estudiantes de los centros que no participaron ü Desempeño comparativamente más favorable por partedel deprograma. las mujeres respecto a los varones. ü Sin embargo, varones becados presentan mejor desempeño en repetición por inasistencias. Asimismo, es al interior de los varones donde se verifican las mayores brechas entre becados y no becados. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Repetición por inasistencias de estudiantes de 1º nivel de EMS en CES (2012) Se observa la obtención de mejores resultados por parte de los estudiantes becados en relación a quienes concurren a centros no CE. Registrando menores niveles de repetición por inasistencias ü Los varones becados muestran un desempeño levemente mejor que el de las mujeres becadas, invirtiendo la situación que se observa para el promedio. 11/04/13 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Continuidad educativa de estudiantes de 1º nivel de EMS en CES (2012) ü Se observa mayor nivel de continuidad para participantes CE que para los restantes grupos 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Estudiantes de 1° de CES-2012 por extraedad, aprobación Al controlar los resultados del programa por extraedad se observa que… Entre los estudiantes sin extraedad se observa una de 6.1 puntos entre participantes CE y no participantes en centros CE. Entre los estudiantes con extraedad se observa una de 15.7 puntos entre participantes CE y no participantes en centros CE. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Estudiantes de 1° de CES-2012 por extraedad, repetición por inasistencias Entre los estudiantes sin extraedad se observa una de -2.1 puntos entre participantes CE y no participantes en centros CE. Entre los estudiantes con extraedad se observa una de -12.7 puntos entre participantes CE y no participantes en centros CE. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Continuidad educativa de estudiantes de 1° de CES-2012 por extraedad Entre los estudiantes sin extraedad se observa una de 4 puntos entre participantes CE y no participantes en centros CE. Entre los estudiantes con extraedad se observa una de 17.9 puntos entre participantes CE y no participantes en centros CE. 11/04/13 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) 5. IMPACTO 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Introducción En este apartado se comentaran los resultados de la evaluación de impacto de Compromiso Educativo en base a los datos procedentes de: v la encuesta realizada en 2012 v Los registros administrativos de los postulantes al programa en 2012. La metodología adoptada para la evaluación de impacto se basó en la construcción de un grupo de control sintético para los participantes de CE – a través de las técnicas de propensity score matching y matching en las variables – y la posterior comparación de los resultados obtenidos por ambos grupos, a través del “efecto promedio en los tratados” (representado por su sigla en inglés, ATT). Para definir la variable “grupo de tratamiento” se ensayaron dos alternativas: Variable Participa como Becado Participa en al menos 1 componente CE Descripción Vale 1 si el individuo recibió la beca en el 2012 Vale 1 si el individuo participo en alguno de los componentes del programa en por lo menos una de las dos encuestas de evaluación. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Encuesta de evaluación de julio 2012 Variables utilizadas para la definición del PSM Variable ICC Edad Sexo AprobSinPrev Beca11 Cuarto Distancia al Centro Descripción Índice de Carencias Críticas, mide el nivel socioeconómico Edad en años Toma el valor 1 si es varón y 0 si es mujer Vale 1 si el individuo aprobó el año pasado sin previas, 0 en caso contrario Indicadora que vale 1 si el sujeto obtuvo beca en el 2011 y 0 en caso contrario Vale 1 si el individuo cursa el nivel 1 de EMS, 0 en caso contrario Distancia al centro en kilómetros Hacinamiento Vale 1 si el individuo vive en un hogar hacinado, 0 en caso contrario ImEdTerc Vale 1 si el estudiante expresa intención de cursar estudios terciarios, 0 en caso contrario Cuarto Secundaria Indicatriz que vale 1 si el individuo cursa cuarto año en secundaria 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Estimación del efecto promedio del programa para becados (nivel 1 y 2) en CETP , en base a Encuesta CE12 Población CETP (nivel 1 y 2) Tratamiento BecaCE12 Resultado Aprobó Continuidad 2013 ATT Balancea 5,7% Si 13,3%* Si • Valores estadísticamente significativos el 5%. Fuente: Elaboración propia en base a encuesta CE12 Se presenta el valor ATT obtenido utilizando kernel para el emparejamiento. El efecto en aprobación y desvinculación se estimo con 630 casos de los cuales el 27% eran becados (171). El efecto en continuidad se estimo con 695 casos de los cuales el 25% eran becados (173). En el anexo XXX se muestran los contrastes de calidad de emparejamiento. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Estimación del efecto promedio del programa para becados (nivel 1) en CES , en base a Encuesta CE12 Población CES (4º año) Tratamiento Participó en algún componente Resultado ATT Balancea Aprobó 0,3% Si Inasistencias -1,0% Si Inscripción 2013 7,1%* Si Fuente: Elaboración propia en base a encuesta CE12 Se presenta el valor ATT obtenido utilizando kernel para el emparejamiento. El efecto en aprobación y desvinculación se estimo con 940de los cuales el 237 eran becados. El efecto en continuidad se estimo con 975 casos de los cuales el 239 eran becados. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) Registros de postulantes al programa 2012 Variables utilizadas para la definición del PSM y para el emparejamiento directo en las variables Variable (X) Descripción ICC Índice de Carencias Críticas, mide el nivel socioeconómico Edad Edad en años Sexo Toma el valor 1 si es varón y 2 si es mujer Nivel Indica si la persona cursa primer año de EMS o segundo 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) [1] Se acotó la edad para mejorar la calidad de los emparejamientos Resultados con registros administrativos Matching en variables Sistema Grado Variable 4º liceo Promoción 261 4º y 5º liceo Continuidad Nivel 1 y 2 hasta 19 años Control Tratados PSM ATT Balance Resultado Balance 1420 9,2* Si - No 527 2792 11,9 ** Si - No Promoción 168 728 23,2 ** Si 21,3 ** Si Nivel 1 y 2 Continuidad hasta 19 años 200 822 14,3 ** Si 12,0 ** Si CES UTU **: significativo al 5% *: significativo al 10% 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) 6. CONSIDERACIONES FINALES 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) CONSIDERACIONES FINALES (a) • Institucionalización y maduración del programa al interior de los centros. • Si bien los participantes del programa mayoritariamente “reciben” –en algún momento- a los tres componentes del programa (integralidad); el Espacio de referencia aún no se ha generalizado como espacio abierto para los estudiantes del centro. • Demanda por incluir a los actores de los centros en la sensibilización y conocimiento del programa (en especial docentes), en la medida que las sinergias entre recursos CE y del centro genera prácticas virtuosas. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM) CONSIDERACIONES FINALES (b) • Impacto a nivel general en Continuidad para UTU (efecto robusto y consistente), en torno al 12%-14% • Impacto del programa a nivel de extraedad (valores en torno a las diferencias observadas los descriptos). Encuesta Registro administrativo Emparejamiento en X CETP CES PSM Aprobación - SÍ - Continuidad SÍ SÍ - Aprobación - SÍ SÍ Continuidad SÍ SÍ SÍ Indicios de efectos en continuidad CES y aprobación en ambos 10/12/2013 - ANEP(DIEE) – MIDES (DINEM)