Análisis Psicométrico de la Escala de Evaluación de los Ambientes Preescolares y resultados comparativos en dos zonas urbanas del país
Anuncio
Validación de la Escala ECERS-R en dos regiones del Perú Erika Dunkelberg Erik Romero PROLEER Con el financiamiento de la Fundación Van Leer Organización de la presentación Antecedentes del estudio y la escala Análisis psicométrico Resultados del estudio 1. Antecedentes 2009 Falta de información sobre la calidad de los servicios públicos de educación inicial Diversidad de servicios privados no regulados/supervisados La Fundación Van Leer brindó el apoyo financiero para aplicar y adecuar una escala que evalúe la calidad de los entornos educativos del nivel inicial y de esa manera contribuir a la política pública con evidencia que facilite la toma de decisiones 1. Se optó por trabajar con una escala utilizada ampliamente en el contexto internacional Es utilizada para autoevaluación, acreditación, investigación, entre otros 1. Calidad Educativa se puede medir… • Calidad de los resultados : logros de aprendizaje y desarrollo de los niños • Calidad de las condiciones : la infraestructura, el nivel educativo del personal, la proporción docente: niño • Calidad de los procesos : las interacciones, las experiencias de los niños 1. Por que medir la calidad de la oferta educativa A mayor calidad de un programa, mayores los efectos en el niño, en las distintas áreas del desarrollo social y cognitivo a corto, a mediano y a largo plazo En un programa preescolar de calidad los niños son respetados, desafiados y cuidados, experimentan oportunidades continuas para desñarrollar nuevas destrezas, conocimientos y disposiciones; con capaces de tomar decisiones importantes a lo largo del día; su cultura y lengua materna es respetada e incorporada al currículo; participan de actividades en grupos pequeños y grandes; desarrollan habilidades básicas para la escuela (NIEER 2002) 1.Principios sobre los que se basa el ECERS-R Protección: salud y seguridad Oportunidades de aprendizaje apropiadas a su edad e intereses individuales Apoyo y guia para construir relaciones positivas - Interacciones 1. Aplicación en el Perú 2011 Aplicación en Ventanilla, Pachacutec (n=30) 2012 Aplicación en Madre de Dios (n=38) 2013 Aplicación en Ayacucho, Apurimac por la Dirección de Educación Inicial, MED (n=50) 1. Aplicación en el Perú Evaluación Nacional de Educación Inicial Realizada por la Dirección de Educación Inicial, MED N=1,000 de 24 Departamentos 1. Qué se observa… Los ambientes Los materiales Las relaciones 1.Qué se observa Las experiencias que promueven el aprendizaje Los hábitos de higiene y seguridad Las rutinas diarias 1.Como se observa Desde el inicio de la jornada escolar hasta que finaliza (aprox. 4 horas) Observadores capacitados por 5 días utilizando material proporcionado por los autores (audio visual) 10 aplicaciones previas de práctica para obtener confiabilidad 2. Análisis psicométrico De la información recogida en Pachacutec y Madre de Dios (n=68) se ha realizado el siguiente análisis: Consistencia interna Confiabilidad Inter jueces Validez de Criterio Validez de Contenido 2. Análisis psicométrico 2 ítems no fueron aplicados: ítem 11 “siesta” y ítem 23 “arena y agua” Tres ítems de la Escala obtuvieron alto porcentaje de “no Aplica” : ítem 27 Uso de TV y videos; ítem 37 provisiones para niños con discapacidades; e ítem 41 “interacciones entre personal” ya que muchas aulas no cuenta con auxiliar Consistencia interna Número de ítems Número de casos Alpha de Cronbach Espacio y Mobiliario 8 68 .769 Rutinas (Quitando itém 11) 5 67 .450 Rutinas (Neutralizando itém 11) 6 67 Lenguaje 4 67 .633 .775 Sectores (Quitando item 23) 9 48 .814 Sectores (Neutralizando item 23) 10 48 .851 Sectores (Neutralizando item 23 y quitando item 27) 9 68 .882 Interacción 5 64 .889 Estructura (Quitando item 37) 3 68 .455 Estructura (Neutralizando item 37) 4 68 .728 Provisiones 6 46 .340 Provisiones (Quitando item 41) 5 65 .424 Provisiones (Neutralizando item 41) 6 65 .616 ECERS TOTAL 40 ITEMS (Quitando items 11, 23 y 37) 40 33 .923 ECERS TOTAL 38 ITEMS (Quitando items 11,23,27,37 y 41) 38 60 .923 Subescala Correlaciones item-test Correlaciones item-test a nivel de Subescala 29 items entre .782 y.307 7 items puntajes positivos menores a 0.2 4 items negativos menores a 0.2 Correlaciones item-test a nivel de Escala Total 34 items entre .795 y .202 4 items puntajes positivos menores a 0.2 2 items negativos menores a 0.2 Menor nivel de correlación item-test y consistencia interna en la escala de provisiones Confiabilidad inter jueces Región Pachacutec Madre de Dios N 18 18 % de Acuerdo Exacto 66.14 66.27 % de Acuerdo hasta un punto de diferencia 84.52 84.13 Coeficiente de Correlación de Pearson 0.89 0.844 Coeficiente de Correlación Intraclase 0.883 0.889 A nivel de Item A nivel del puntaje total Validez de criterio Publico Privado N Media Desviación Estándar N Media Desviación Estándar U de Mann Whitney Significación Espacio y Mobiliario 39 2.32 .70 22 2.10 .59 215.500 .001 Rutinas 39 1.97 .76 22 1.56 .59 377.500 .435 Lenguaje 39 3.14 1.39 22 3.02 1.62 182.000 .000 Sectores 39 2.32 .71 22 1.44 .51 145.500 .000 Interacciones 39 2.92 1.15 22 1.80 .97 402.500 .690 Estructura 39 1.70 .69 22 1.95 .96 278.500 .022 Provisiones 39 2.47 .88 22 1.78 .66 348.000 .222 ECERS Total 39 2.41 .64 22 1.92 .62 243.500 .005 Validez de contenido Para la versión utilizada por el MED en el 2014 se realizaron 3 tipos de adecuaciones: - Revisión de la traducción y ajuste de términos a castellano “peruano” - Precisar términos para reducir subjetividad en la interpretación de determinados indicadores - Reformular ciertos indicadores y agregar otros Validez de contenido Ítem 1 Indicador 1.2 y 3.2 Se reemplazó materiales que absorben el sonido por “ruido del exterior que interfiere con las actividades “acompañar dentro de la sala de clase” por “ingresar con los niños dentro de la escuela” Ítem 9 Indicador 1.3 – 3.3 Ítem 10 Ítem 12 Indicador 1.5 y 3.5 Agregar indicador 1.1 Ítem 13 Indicador 1.2 y3.3 Agrego indicador Ítem 15 Agrego indicador 7.3 Ítem 39 Eliminaron indicador 1.2 “no se les da a los miembros del personal tempo aparte de los niños” y “hacen un descanso al día”, y 3.4 y 7.3 “tiene flexibilidad en decidir cuándo hacer descansos” Ítem 40 Indicador 3.2 y 5.1 Se precisó que el espacio para guardar material puede ser en el nivel 3.2 fuera del aula pero dentro de la escuela sino embargo para el indicador 5.1 debe ser amplio y dentro del aula Ítem 41 Indicador 1.3, 3.1 Se reemplazó el ítem 1.3 que señala que responsabilidades del personal no se comparten de manera justa por “no están claramente definidas” y el ítem 3.1 por lo tanto “están claramente definidas” Ítem 42 Indicador 7.1 y 7.2 Se reemplazó “personal hace autoevaluación” por “recibe acompañamiento de toda la jornada que incluye autoevaluación” Fueron eliminados los indicadores relacionadas con las alergias Se agregó “no hay inodoro ni silo ni letrina” dado que hemos encontrado escuelas sin servicios higiénicos de ningun tipo Fueron eliminados los indicadores sobre fumar dentro del aula Se agregó un indicador sobre la presencia de residuos contaminantes dentro de la escuela (por ejemplo heces de animales que se observó en muchas escuelas) “libros etiquetados y clasificados” 3. Resultados La escala ha resultado valida y confiable como instrumento para medir la calidad de las experiencias de educación y cuidado. Es una escala con mucho potencial como instrumento para 1. Gestionar mejores prácticas dentro de las escuelas, priorizar acciones correctivas 2. Elevar los estándares de calidad a nivel de distritos y regiones. Permite establecer línea de base, identificar escuelas que requieran mayor apoyo Continuamos trabajando con la escala no solo en aulas de 5 años sino en centros educativos y de cuidado para niños de los 6 meses en Lima Metropolitana, evaluando y capacitando para alcanzar estándares mínimos y buenos. 3. Resultados Comparativos en dos regiones 7 Excelente 6 Bueno 5 4 Mínimo 3 Inadecuado 2 1 Total ECEERS Espacio y Mobiliario Rutinas de Cuidado Lenguae y Razonamiento Puerto Maldonado Sectores Ventanilla Interaccion Estructura del programa Padres y Personal Distribución de Escuelas, Puerto Maldonado Pobre Inadecuado Minimo a bueno Bueno a Excelente Porcentaje de Escuelas según rango, Puerto Maldonado y Pachacutec 35 30 25 20 Madre de Dios Pachacutec 15 10 5 0 1 a 1.49 1.5 a 2 a 2.49 2.5 a 3 a 3.49 3.5 a 4 a 4.49 4.5 a 5 a 5.49 5.5 a 6 a 6.49 6.5 a 7 1.99 2.99 3.99 4.99 5.99 Pobre Inadecuado Mínimo a bueno Bueno a Excelente Práctica apropiada 3. Resultados Comparativos , promedio de 7 escuelas en Lima Metropolitana 7 6 5 4 3 2 1 TOTAL ECERS Espacio y Mobiliario Rutinas de Cuidado BE Lenguaje y Razonamiento SMR AM Sectores o actividades CF CH MSH Interacción BK Estructura del Programa Padres y Personal La verdadera transformación de la educación y cuidado se da desde el centro o escuela GRACIAS