Experiencia de evaluación de econometría frente a cuatro dominios

EXPERIENCIA DE EVALUACIÓN DE
ECONOMETRÍA FRENTE A CUATRO
DOMINIOS PARA EL APRENDIZAJE
Misión Calidad para la Equidad
Taller: Educación de calidad para construir
Equidad en Colombia
Noviembre 2013
PUNTO DE PARTIDA
RECOMENDACIONES HACIA UN APRENDIZAJE UNIVERSAL
1. Un cambio
global de
paradigma
3. Aprendizaje
de indicadores
para un
seguimiento
global
2. Aprendizaje
de
competencias
4. Apoyo a
los países
6. La
evaluación
como un
bien público
5. Equidad
7. Toma de
acciones
Fuente: Basado en el documento Toward Universal Learning. Recomendations from the Learning Metrics Task Force.
Center for Universal Education at Brookings & Unesco. Septiembre 2013.
FRENTE A LA RECOMENDACIÓN 2 DE APRENDIZAJE DE
COMPETENCIAS
Cultura y
artes
Alfabetización y
comunicación
Post primaria
Social y
emocional
Primaria
Enfoques de Aprendizaje y
Conocimiento
Nociones
elementales de
cálculo aritmético &
matemáticas
Primera infancia
Bienestar
físico
Ciencia y
tecnología
DOMINIOS
Fuente: Traducción libre partir del documento Toward Universal Learning. Recomendations from the Learning Metrics Task Force.
Center for Universal Education at Brookings & Unesco. Septiembre 2013. Figura 1.. Página 11.
MARCO GLOBAL DE LOS DOMINIOS PARA EL APRENDIZAJE
DOMINIO
DESCRIPCIÓN
EJEMPLOS DE SUB DOMINIOS
Bienestar físico
Bienestar físico
Manejo del cuerpo, control motor y aprendizaje y
presentación de una apropiada nutrición, higiene y
practicas saludables
Salud física e higiene
Comida y nutrición
Actividad física
y
SocialSocial
y
emocional
emocional
Formas de relacionarse con los adultos y pares.
Percepción de sí mismos en relación con otros
Valores sociales y comunitarios
Valores cívicos
Salud mental y bienestar
Cultura y artes
Cultura y artes
Expresiones creativas. Experiencias culturales en
familias, escuelas, comunidades y países.
Artes creativas; Conocimiento cultural
Auto identidad e identidad cultural
Consciencia y respeto por la diversidad
Alfabetización y
comunicación
Enfoques yde
Aprendizaje
Aprendizaje y
cognición
Conocimiento
Comunicación en lengua materna y entendimiento
de la palabra hablada y escrita desde varios medios
Hablar y escuchar; vocabulario; escritura y
lectura
Compromiso, motivación y participación en el
proceso de aprendizaje. Cognición es el proceso
mental para la adquisición del aprendizaje.
Persistencia y atención; cooperación
Resolución de problemas; autodirección
Pensamiento crítico
Nociones de cálculo
aritmético &
matemáticas
Representación de los fenómenos observados en el
ambiente mediante el lenguaje universal de los
números.
Concepto numérico; geometría y
patrones; aplicaciones matemáticas;
datos y estadísticas
Ciencia y
tecnología
Conocimiento específico o sistema de conocimiento
que concierne a las leyes físicas y verdades
generales. La tecnología se refiere a la creación y
uso de herramientas para resolver problemas
Pregunta científica; vida científica;
ciencias físicas, conocimiento y uso de la
tecnología digital.
Fuente: Traducción libre partir del documento Toward Universal Learning. Recomendations from the Learning Metrics Task Force.
Center for Universal Education at Brookings & Unesco. Septiembre 2013. Tabla 2.. Página 21.
EXPERIENCIA DE EVALUACIÓN DE ECONOMETRÍA FRENTE A
CUATRO DOMINIOS PARA EL APRENDIZAJE
Bienestar físico
Social y emocional
Enfoque de
aprendizaje y
conocimiento
Cultura y artes
Se presentan algunas experiencias de programas en Colombia que aportan al desarrollo
de estos dominios y que han sido evaluadas.
Colegio del cuerpo
Bandas de música
Escuela de deportes
Cartagena
Medellín
Medellín
(Banco Mundial)
(BID)
(BID)
Aspectos comunes a las tres experiencias:
• Son proyectos con niños y jóvenes escolarizados que se desarrollan por fuera de la jornada escolar
• Sus participantes /beneficiaros hacen parte de familias en situación de vulnerabilidad
• Los proyectos buscan un mejor desarrollo integral de los niños y el buen uso del tiempo libre
• La evaluación de impacto de los programas incluyó aspectos de los cuatro anteriores dominios
COLEGIO DEL CUERPO – CARTAGENA
Proyecto Ma: MI cuerpo, mi casa
Descripción
Objetivos del programa
Evaluación de impacto
• Inició actividades en el 2007,
dirigido a 1200 niños de sexto
grado, pertenecientes a varios
núcleos educativos que asisten
a 7 Instituciones Educativas,
donde se han adecuado
espacios para recibir
formación desde la danza.
• El proyecto con su modelo de
Educar con la danza busca el
desarrollo de competencias
cognitivas, valorativas,
contextuales y comunicativas
que mejoren las relaciones con
otras personas, la autoestima,
la autoconfianza el
rendimiento escolar.
• Se inició simultáneamente con
el Proyecto y fue posible hacer
una línea base y 4 años más
tarde hacer un seguimiento.
• Este proyecto se financió
durante 5 años con recursos
del Banco Mundial.
• También busca la valoración
del cuerpo propio y del cuerpo
de los otros y la prevención de
actitudes y prácticas
autodestructivas.
• Estas dos mediciones
permitieron el uso combinado
del método de doble
diferencia, conocida como
“difference in differences”, y
del método de pareo conocido
como el Propensity Score
Matching (PSM), que fue
aplicado a una muestra de
350 niños.
• La metodología cualitativa
incluyó entrevistas a
profundidad y grupos focales
PROGRAMA DE ESCUELAS Y BANDAS DE MUSICA SINFÓNICA
DE MEDELLÍN
Descripción
• Se creó en 1996, dando
educación musical a niños entre 7
y 18 años.
• Fue financiado con recursos BID
entre el 2001 y 2005.
• El programa en el 2005 atendía
cerca de 3200 niños y jóvenes
entre 7 y 18 años que asistían a
26 escuelas y bandas.
• La intensidad promedio semanal
era de más de 30 horas.
Objetivos del programa
• Los objetivos del Programa de
Escuelas y Bandas de música
sinfónica son ofrecer alternativas
de utilización sana del tiempo
libre, ser una alternativa para
acercar el desarrollo a gente muy
excluida socialmente y estimular
aquellos factores que pudieran
prevenir la violencia o dar
protección frente a ella
Evaluación de impacto
• Se realizó en el 2005 y se centró
en medir los cambios en los
aspectos valorativos y
actitudinales de los niños y
jóvenes participantes de los
proyectos.
• Como el programa ya había
iniciado no fue posible levantar
una línea base. La evaluación de
impacto se hizo con la
comparación de los jóvenes que
asisten al programa y un grupo
control. La medición cuantitativa
se hizo con el método de pareo
por probabilidades de similitud,
Propensity score matching- PSM
con información de encuestas
aplicadas a una muestra
representativa ( 500 por grupo).
• A nivel cualitativo se realizaron
entrevistas a profundidad a un
grupo de beneficiarios y de no
beneficiarios
ESCUELAS POPULARES DEL DEPOTE EN MEDELLÍN
Descripción
Objetivos del programa
Evaluación de impacto
• Se inició en el 2002.
• Inicialmente fue financiado
por el BID y en el año 2006
fue asumido por la Alcaldía
de Medellín.
• Los jóvenes asisten a dos
sesiones de hora y media a
la semana.
• En el 2005 el programa se
desarrollaba en 28
escenarios deportivos y
atendía cerca de 10.000
niños y jóvenes entre 6 y 18
años, de un nivel
socioeconómico bajo y
medio.
• Busca la promoción de
valores y actitudes no
violentas, el manejo pacífico
de conflictos, la integración
social y el manejo del
tiempo libre.
• La evaluación de impacto se
realizó en el 2005
• No fue posible levantar una
línea base, por lo tanto se
utilizó una metodología
basada en la comparación
de los jóvenes que asisten al
programa y jóvenes control.
• La medición se hizo con el
método de pareo por
probabilidades de similitud,
Propensity score matchingPSM, mediante la aplicación
de encuestas a una muestra
representativa ( 550 por
grupo)
• Para el trabajo cualitativo
se realizaron entrevistas a
profundidad a un grupo de
beneficiarios y de no
beneficiarios.
CONSTRUCCIÓN DE CATEGORÍAS DE
ANÁLISIS
Identificación de Variables de la Evaluación de Impacto
En las evaluaciones el ejercicio de diseño partió de la revisión de los documentos del programa para
identificar en cada uno de ellos sus objetivos, los aspectos que se espera afectar en los niños y las
niñas beneficiarias.
Identificación de
actitudes, prácticas y
conocimientos que el
programa pretende
afectar y organización de
categorías y sub
categorías de análisis
Construcción de
preguntas para cada
subcategoria acordes con
objetivos
Evaluación de Impacto de Programas Educativos Innovadores
Revisión de estudios
similares en Colombia
Revisión de instrumentos
y bibliografía
Categorías de Análisis
Ámbito Personal
Ámbito Familiar
Ámbito Social/escolar
Autocuidado
• Valoración del propio cuero y del
cuerpo del otro, prevención de la
drogadicción, embarazo y uso de la
violencia.
• Autoestima
Disciplina
• Eficacia para hacer las cosas.
• Atención/concentración.
• Constancia/voluntad.
Confianza
• En ser parte de una red
social/inclusión.
• En la capacidad de logro.
• Sentido de coherencia/sentido de
vida.
Curiosidad
• Interés por el mundo/por si mismo.
• Capacidad creadora.
Habilidades sociales
• Manejo pacífico de
conflictos/Respeto por la diferencia.
• Trabajo en equipo/cooperación.
• Conocimiento y uso de redes de
protección contra la
violencia sexual intrafamiliar.
Colegio del Cuerpo y de Música y Deportes
Evaluación de Impacto de Programas Educativos Innovadores
Prevención del maltrato
• Creencias sobre relaciones de
pareja y sobre la crianza
Actitud frente a la justicia
• Confianza en las instituciones
Programas de Música y Deportes
PRINCIPALES RESULTADOS DE LA
EVALUACIÓN DEL COLEGIO DEL CUERPO:
Proyecto MA
Impactos estimados
Modelo de Impacto Diferencia en Diferencia para las Categorías y subcategorías
Línea Base tratamiento
Impacto del Proyecto MA
3. Disciplina
Constancia y Voluntad
1. Curiosidad
Impacto del Proyecto MA
Interes por el mundo y por si mismo
Taller: Educación de calidad para construir Equidad en Colombia
61,1
10,6
90,4
7,3
Impactos en Rendimiento académico
Modelo de Impacto en las notas obtenidas para 2011.
Diferencia entre Tratamiento y Control
Impacto del Proyecto MA en las
notas obtenidas para 2011
5,00
Diferencia entre tratamiento y control
Materia: EDUCACIÓN ARTÍSTICA
4,00
3,27
3,00
2,26
2,00
1,01
1,00
0,00
Tratamiento
Control
Evaluación de Impacto Proyecto MA Del Colegio del Cuerpo.
Econometría
S.A
Taller: Educación de calidad para construir Equidad
en Colombia
Impacto
Resultados descriptivos del Programa en Valores y Actitudes
1. Curiosidad
Interes por el mundo y por Capacidad
si mismo
creadora
Línea Base
De acuerdo
En desacuerdo
Seguimiento
Generalmente si alguien me pregunta que ¿cómo
estoy?, no sé qué responder porque no lo sé
62,0
31,1
Ya conozco muchas cosas y no me interesa
conocer nada más.
89,0
9,0
En los últimos seis meses he aprendido cosas
nuevas sobre mi mismo
90,1
8,9
Taller: Educación de calidad para construir Equidad en Colombia
Resultados descriptivos del Programa en Valores y Actitudes
2. Autocuidado
Valoracion del propio cuerpo y
del cuerpo del otro
Línea Base
De acuerdo
En desacuerdo
seguimiento
Conozco personas que podrían ayudar para que
un adulto deje de abusar de un niño o una niña
Las niñas que toman bebidas alcohólicas y bailan
se merecen que les falten al respeto
Taller: Educación de calidad para construir Equidad en Colombia
61,4
82,2
7,9
6,9
Resultados descriptivos del Programa en Valores y Actitudes
3. Disciplina
Constancia y
Atención /concentracion voluntad
Línea Base
Seguimiento
A veces siento flojera (pereza) de hacer las
cosas y no las hago
Cuando me dan instrucciones, me las tienen
que repetir varias veces porque no las
entiendo
En los últimos seis meses me llamaron la
atención en el colegio porque no estaba
poniendo cuidado en clase
Taller: Educación de calidad para construir Equidad en Colombia
De acuerdo
En desacuerdo
33,6
14,9
45,0
31,7
16,4
5,9
Resultados descriptivos del Programa en Valores y Actitudes
4. Confianza
Capacidad de logro
Línea Base
De acuerdo
En desacuerdo
Seguimiento
Por mas que me esfuerce no consigo lo que quiero
Taller: Educación de calidad para construir Equidad en Colombia
67,3
17,9
Resultados descriptivos del Programa en Valores y Actitudes
5. Habilidades Sociales
Trabajo en
equipo y
cooperación
Conocimiento y uso de
redes contra la violencia
sexual, familiar, etc
Línea Base
A uno le da pena buscar ayuda con otras
personas cuando en la casa lo han golpeado o
amenazado
Si un niño o una niña es golpeada por sus padres
o familiares, se lo merece porque con seguridad
hizo algo malo
El trabajo en grupo me facilita que otros hagan
por mí, lo que yo tendría que hacer.
Taller: Educación de calidad para construir Equidad en Colombia
De acuerdo
En desacuerdo
Seguimiento
56,6
23,4
82,8
90,9
14
8,1
PRINCIPALES RESULTADOS DE LA
EVALUACIÓN DE LOS PROYECTOS DEL BID
Aspectos Relacionados con la Confianza
Programa de Música
Taller: Educación de calidad para construir Equidad en Colombia
Programas de Deportes
Aspectos Relacionados con Confianza - Inclusión
Programa de Música
Taller: Educación de calidad para construir Equidad en Colombia
Programas de Deportes
Aspectos Relacionados con el Manejo de Conflictos
Programa de Música
Taller: Educación de calidad para construir Equidad en Colombia
Programas de Deportes
Aspectos Relacionados con la Disciplina
Programa de Música
Taller: Educación de calidad para construir Equidad en Colombia
Programas de Deportes
Aspectos Relacionados con el Autocuidado
Programa de Música
Taller: Educación de calidad para construir Equidad en Colombia
Programas de Deportes
A MANERA DE LECCIONES APRENDIDAS
LECCIONES APRENDIDAS…
El cambio es lento
y requiere de
instrumentos de
evaluación que
sean a la medida
de cada programa
IDENTIFICAR BIEN VARIABLES A
EVALUAR PARA CONSTRUIR
INSTRUMENTOS SENSIBLES
QUE IDENTIFIQUEN EL MENOR CAMBIO
POSIBLE
Combinar métodos
en las evaluaciones
EL USO DE MÉTODOS MIXTOS ENRIQUECE
LA EVALUACIÓN. SIN EMBARGO HAY QUE
POTENCIAR CADA METODOLOGÍA PARA QUE
APORTE DESDE SUS FORTALEZAS. LO CUALITATIVO
ES CLAVE PARA EL SEGUIMIENTO Y MONITOREO
Combinar tipos de
evaluaciones
NO SÓLO HACER EVALUACIONES DE IMPACTO SI
NO TAMBIÉN HACER EVALUACIONES DE
PROCESOS Y SEGUIMIENTO DE LAS ACCIONES
DESARROLLADAS. TENER EN CUENTA TODOS
LOS ELEMENTOS DE LA CADENA DE VALOR
GRACIAS
www.econometría.com