FORMULARIO PARA LA PRESENTACIÓN DE RESUMEN DE PONENCIA TÍTULO DE LA PONENCIA: El uso de medidas de satisfacción de padres de familia para evaluar calidad educativa: un análisis del caso peruano y de sus determinantes. AUTOR: Patricia Cabrerizo Rey Castro CORREO ELECTRÓNICO: [email protected] INSTITUCIÓN DE PROCEDENCIA: MED RESUMEN DE LA INVESTIGACIÓN 1. Justificación La búsqueda de indicadores que permitan evaluar avances en la calidad educativa ha venido ganando importancia, especialmente en los últimos años (Banco Mundial, 2007). En este contexto, una de las medidas muy comunes para evaluar servicios educativos básicos, especialmente en el caso de los niveles de Inicial y Primaria, es el nivel de satisfacción de los padres de familia con diferentes aspectos de los servicios educativos. Este tipo de medidas son vistas como una fuente de información central y complementaria a las evaluaciones de desempeño de los estudiantes (Yin Cheong & Ming Tang, 1997). Este tipo de medición ha sido utilizada en muchos países para evaluar mejoras en la calidad educativa (Smindell & Kelly, 2000). Este proceso no ha sido ajeno al Perú, donde se integró la medición de satisfacción de padres de familia con servicios educativos como parte de los indicadores del Programa Estratégico Logros de Aprendizaje – PELA 2011. Sin embargo, hay estudios que critican la utilización de este tipo de mediciones como reflejo directo de la calidad educativa. Esto porque los niveles de satisfacción de padres de familia, podrían estar reflejando características particulares de los encuestados y no necesariamente mejoras en los servicios (Caprara et al., 2003; Friedman et al., 2006). Considerando esto entonces, es necesario explorar los determinantes de los niveles de satisfacción de padres de familia con servicios educativos. Esto permitirá generar mayor conocimiento acerca de las variables que influyen en estas medidas y, por tanto, reflexionar acerca de su uso para evaluar las mejoras en la calidad educativa en el Perú. 2. Objetivos o propósitos de la investigación: El objetivo de este estudio fue analizar los determinantes de las medidas de satisfacción de padres de familia con servicios educativos en el Perú. En este caso, la medida de satisfacción fue utilizada como parte de los indicadores del Programa Correo electrónico: [email protected] http://www.siep.org.pe Estratégico Logros de Aprendizaje- PELA 2011 para evaluar la percepción de las familias acerca de cuatro aspectos de los servicios educativos: infraestructura, desempeño docente, materiales y promoción de la participación de padres en la escuela. 3. Perspectivas o aproximación conceptual El término “satisfacción” es utilizado como la valoración de un servicio por parte de los usuarios o beneficiarios de acuerdo a sus expectativas (Oliver, 2010). Así, la satisfacción sería vista como la menor brecha entre las expectativas y cómo se valora el servicio (Ham et al, 2003). La evaluación de los niveles de satisfacción son servicios no es un proceso simple. Primero, porque depende del aspecto del servicio que se evalúa, como infraestructura, desempeños, etc, (Friedman et al., 2006). En segundo lugar, porque puede ser evaluado desde diversas perspectivas y metodologías, y varía de acuerdo a los actores que evalúan el servicio (Kreber & Brook, 2001). Asimismo, existe una discusión acerca de lo que reflejan las medidel nivel de satisfacción de beneficiarios responde a cambios en los servicios y puede dar información importante acerca de cambios en los mismos, aún así cuando su acceso es indirecto a los proveedores (Smindell & Kelly, 2000). Un segundo grupo cuestiona esa relación y plantea que los niveles de satisfacción están más relacionados a características individuales que a cambios en los servicios (Griffith, 1997). Considerando esto, las evaluaciones sobre calidad de servicios en base a esta medida puede llevar a interpretaciones sesgadas (Ostroff, 1992). 4. Métodos, técnicas o modos de análisis: La metodología estuvo orientada a explorar relaciones entre las características del servicio educativo y de las familias encuestadas con la satisfacción con los servicios educativos. A continuación, se presenta las variables, muestra y análisis utilizados: 4.1. Variables a) Variables dependientes: aquellas relacionadas a la satisfacción de padres de familia con respecto a los servicios educativos a los que accede su hijo. Estas variables son cuatro: Nivel de satisfacción con la infraestructura de la escuela (aula, laboratorios, etc.) Nivel de satisfacción con el desempeño del(los) docente(s) de la escuela Nivel de satisfacción con los materiales proporcionados en la escuela Nivel de satisfacción con la promoción de la participación de padres de familia en la escuela Estas variables fueron evaluadas con una escala Likert con cuatro opciones de respuesta: a) muy satisfecho, b) satisfecho, c) insatisfecho, d) muy insatisfecho. b) Variables independientes Como se ha mencionado anteriormente, se buscó explorar si el nivel de satisfacción de los padres de familia depende más de factores relacionados al servicio educativo o Correo electrónico: [email protected] http://www.siep.org.pe dependía más bien de características específicas de las familias. Considerando esto, se incluyeron dos tipos de variables dependientes: - - Características socioeconómicas de los encuestados y las familias: Sexo Edad Lengua Materna Nivel Educativo Tipo de escuela en la que estudió Ámbito: urbano/rural Acceso a programas de soporte alimenticio Necesidades no satisfechas (vivienda, alimentación, etc.) Características que reflejen la calidad del servicio educativo: Respuesta (afirmativa o negativa de si su hijo aprendió a leer y escribir en el 2do grado de primaria Recepción de reporte acerca de los resultados de su hijo en la evaluación de estudiantes (ECE) Resultados de la Evaluación Censal de Estudiantes (ECE) en su distrito: Porcentaje de estudiantes que alcanzaron el nivel 2 en comprensión lectora y en matemáticas Las primeras dos variables de esta lista fueron recogidas por la Encuesta Nacional de Hogares sobre Condiciones de Vida y Pobreza -ENAHO, por lo que la relación con las respuestas de las familias no generó dificultades. Sin embargo, la última no estaba enlazada a la encuesta, por tanto, se constituyen como un referente de la calidad educativa en el área. 4.2. Análisis El análisis se dividió en tres grandes etapas. La primera etapa consistió en un análisis descriptivo acerca de los resultados de las medidas de satisfacción de padres de familia con los cuatro aspectos del servicio educativo: infraestructura, desempeño docente, materiales y promoción de la participación de padres en la escuela. En este caso, se dividió la muestra en cuatro grupos de acuerdo a su grado de satisfacción con los servicios. Se hizo un análisis descriptivo de estos cuatro grupos, lo que permitió establecer las primeras comparaciones entre los mismos. En la segunda etapa se realizaron análisis de correlación entre los niveles de satisfacción de padres de familia o apoderados con servicios educativos de sus hijos, las características socioeconómicas de los hogares y los resultados de la Evaluación Censal de Estudiantes-ECE. La tercera etapa consistió en la aplicación de análisis de regresión, análisis que es utilizado para evaluar el grado de dependencia de una variable-dependiente- en base a los resultados de otro tipo de variables- independientes-(Gujarati & Porter, 2009). Esta relación se analizó mediante un modelo de regresión logística, que permite el análisis del nivel de satisfacción asumiendo que las respuestas son categorías y no parte de un continuo (Lu, 1999), como es el caso de escalas tipo Likert. El tipo de modelo utilizado se presenta a continuación. Correo electrónico: [email protected] http://www.siep.org.pe Logit(P) = Log (P1/1-P1) = βo + β1X1 Donde Logit(P) refleja la probabilidad de que un evento suceda o no, en este caso de que el encuestado esté satisfecho con cada aspecto del servicio. Esto en base a una constante (βo) y al efecto de las variables independientes (β1X1). 4.5. Muestra La muestra consistió en 1299 padres de familia o apoderados que declararon tener hijos que cursaron en 2do grado de primaria y fueron evaluados por la ECE el año anterior a la encuesta. Este grupo formó parte de la muestra de ENAHO (INEI, 2010). 5. Fuentes de información: Se utilizaron dos fuentes secundarias para el análisis. La primera fue la Encuesta Nacional de Hogares sobre Condiciones de Vida y Pobreza - ENAHO (INEI, 2010). Esta encuesta incluye información acerca de características y condiciones de vida de una muestra nacional de hogares. Asimismo incluyó una sección para evaluar la satisfacción de padres de familia con servicios educativos, que declararon tener hijos que cursaron en 2do grado de primaria y fueron evaluados por la Evaluación Censal de Estudiantes el año anterior a la encuesta. En esta sección se evaluó el nivel de satisfacción de los encuestados con la infraestructura, desempeño docente, materiales y promoción de la participación en las IE de sus hijos. Incluye también algunas preguntas acerca del acceso de información a la evaluación censal y el aprendizaje de sus hijos en el 2do grado. La segunda fuente fue la Evaluación Censal de Estudiantes-ECE. Para este análisis se utilizaron los resultados de estudiantes de 2do grado de primaria en matemática y comprensión lectora a nivel distrital. (MINEDU, 2010). Desafortunadamente, ambas bases no estaban enlazadas. Esto quiere decir que no se pudo acceder a los resultados de aprendizaje particulares de los estudiantes de las familias encuestadas. Por tanto, los resultados distritales de la ECE fueron utilizados como una variable que permitió controlar el estado de la educación en el área de las familias encuestadas por ENAHO. 6. Resultados y /o conclusiones preliminares (si los hubiera) Lo primero que llamó la atención en el estudio fue el alto nivel de satisfacción de los padres de familia encuestados. Esto generó aún mayor atención considerando los bajos resultados en la Evaluación Censal de Estudiantes (ECE) en los distritos en que estas familias se encontraban. Esta contradicción podría apoyar la hipótesis de que medidas de satisfacción no estarían reflejando directamente la calidad de servicios. El nivel de satisfacción de padres de familia parecer estar influenciado por los dos tipos de variables independientes: características de las familias y características de los servicios educativos. Por un lado, se encontró que las características de las familias tienen un efecto en la satisfacción con los cuatro aspectos de los servicios educativos (infraestructura, desempeño docente, materiales y promoción de la Correo electrónico: [email protected] http://www.siep.org.pe participación). Por ejemplo, padres de familia con un mayor nivel educativo y sin acceso a programas de soporte alimenticio tienen menores niveles de satisfacción con la infraestructura de las escuelas. Asimismo, familias de áreas rurales y con otros hijos sin acceso a la escuela tienden a menores niveles de satisfacción con el desempeño docente. Adicionalmente, las familias que tienen una vivienda inadecuada tienen un nivel mayor de satisfacción con los materiales educativos, mientras que las familias que dependen económicamente de otras familias o subsidios tienden a tener un menor nivel de satisfacción con los mismos. Finalmente, padres de familia que accedieron a servicios educativos privados y que tienen otros hijos sin acceso a la escuela tienden a estar menos satisfechos con la promoción de la participación en la escuela de sus hijos. Por otro lado, hay características de los servicios educativos que mostraron un efecto significativo. En este caso se encontró que las familias que recibieron reportes acerca de los resultados de la ECE en un espacio donde recibieron una explicación de los mismos tienen mayores niveles de satisfacción con el desempeño docente. Estos resultados demuestran que el nivel de satisfacción de usuarios no depende únicamente de los cambios en las características de los servicios, en este caso educativos, sino también de características de los encuestados (Griffith, 1997). Sin embargo, para la evaluación de políticas, la tendencia es a pensar que medidas subjetivas, como el nivel de satisfacción, son un reflejo directo de la mejora en servicios. Una evaluación más certera incluiría también el efecto del contexto en las percepciones de los usuarios (Friedman et al., 2006). Todo lo anterior muestra que la utilización de medidas de satisfacción para evaluar resultados en la calidad educativa es un proceso muy complejo, ya que requiere considerar las características y expectativas de los encuestados. Esto no quiere decir que utilización de niveles de satisfacción debe ser eliminada de la evaluación de la calidad educativa, ya que brinda información muy importante sobre los avances en los servicios. Sin embargo, la utilización de estas medidas requiere la búsqueda de metodologías más adecuadas que permitan captar el efecto de las características de los encuestados. Referencias Correo electrónico: [email protected] http://www.siep.org.pe Banco Mundial (2007) Toward High Quality Education in Perú. Standards, Accountability and Capacity Building, Banco Mundial: Washington D.C. Caprara , G, Barbaranelli, C., Borgogni, L. & Petitta, L. (2003), ‘Teachers’, school staff’s and parents’ efficacy beliefs as determinants of attitudes towards school’, European Journal of Psychology of Education, vol. XVIII, no.1, pp. 15-31. Friedman, B., Bobrowski, P. & Geraci, J. (2006), ‘Parents’ school satisfaction: ethnic similarities and differences’, Journal of Educational Administration, vol. 44, no. 5, pp. 471-486. Griffith, J. (1997), ‘Student and Parent Perceptions of School Social Environment: Are They Group Based?’, The Elementary School Journal, vol. 98, no. 2, pp. 135-151. Ham, C. Johnson, W., Weistein, A., Plank, R. & Johnson, P. (2003) ‘Gaining Competitive Advantages: Analyzing the Gap between Expectation and Perceptions of Service Quality’, International Journal of Value-Based Management, vol. 16, no. 1, pp 197-203. INEI (2010) Encuesta Nacional de Hogares sobre Condiciones de Vida y Pobreza – ENAHO 2010. INEI: Lima Kreber & Brook, C. & Brook, P. (2001), ‘Impact evaluation of educational development programmes’, The International Journal of Academic Development, vol. 6, no. 2, pp. 96108. MINEDU-UMC, (2010), Resultados de la Evaluación Censal de Estudiantes – 2010. MINEDU: Lima Ostroff, C. (1992) ‘The Relationship between Satisfaction, Attitudes and Performance: An Organisational Level Analysis’, Journal of Applied Psychology, vol. 77, no. 6, pp. 963974 Smindell, D. & Kelly, J. (2000), ‘Linking Citizen Satisfaction Data to Performance Measures’, Public Performance & Management Review, vol. 24, no. 1, pp. 30-52. Yin Cheong, C. & Ming Tang, W. (1997), ‘Multi-models of quality in education’, Quality Assurance in Education, vol. 5, no. 1, pp. 22-31. Correo electrónico: [email protected] http://www.siep.org.pe