El efecto del clima escolar en los resultados cognitivos y socio-emocionales de los estudiantes al final de la educación secundaria. El caso de instituciones educativas urbanas en Lima

FORMULARIO PARA LA PRESENTACIÓN DE RESUMEN DE PONENCIA
TÍTULO DE LA PONENCIA: El efecto del clima escolar en los resultados
cognitivos y socio-emocionales de los estudiantes al final de la educación
secundaria. El caso de instituciones educativas urbanas en Lima.
AUTOR: Guerrero, De Fraine, Cueto y León - Gabriela, Bieke, Santiago
yJuan
CORREO ELECTRÓNICO: [email protected]
INSTITUCIÓN DE PROCEDENCIA: GRADE
1. Justificación
La investigación sobre eficacia escolar (IEE) tiene como propósito comprender cuáles son
las características particulares de las instituciones educativas, los maestros y las clases
que explican las diferencias en los resultados educativos de los alumnos (Scheerens &
Bosker, 1997, Teddlie y Reynolds, 2000, Murrillo, 2003). En los últimos años el énfasis ha
estado puesto en identificar variables de proceso o mediadoras entre las características
estructurales de las escuelas y los resultados de los estudiantes. En esa búsqueda, una
de las variables que más atención ha recibido es el clima escolar entendido en general
como el conjunto de características internas que distinguen una escuela de otra e influyen
en la conducta de sus miembros (Hoy, 1990).
Diversas investigaciones han reportado efectos positivos y estadísticamente significativos
del clima escolar en resultados académicos de los estudiantes (p.e. Macneil, Prater y
Busch, 2009; Ma y Klinger, 2000). Así mismo, estudios sobre factores asociados al
rendimiento utilizando bases de datos de evaluaciones internacionales han descrito
resultados similares (LLECE 2001 y 2010). Hoy en día, aunque el clima escolar es
reconocido como uno de los factores clave para explicar el rendimiento académico de los
estudiantes (Scheerens y Bosker, 1997), la gran limitación sobre esta variable sigue
siendo que cada investigador la entiende y la define de un modo diferente, no
respondiendo necesariamente a un modelo teórico. Asimismo en los últimos años el
concepto de cultura escolar ha ganado relevancia no siendo claro cómo se diferencia del
de clima escolar (Hoy, 1990). Por otro lado, la mayor parte de estudios se concentran en
estudiar su asociación con el rendimiento de los estudiantes, sin considerar con la misma
profundidad el efecto que tiene el clima escolar sobre otro tipo de resultados. Finalmente
la mayoría de los estudios de factores asociados tienen diseños de corte transversal cuyo
poder explicativo es menor al de estudios longitudinales.
A la luz de lo anterior, el presente estudio busca estudiar el efecto del clima escolar en los
resultados cognitivos y socio-emocionales de los estudiantes al final de la secundaria en
instituciones educativas urbanas de Lima. Para ello, se parte de un marco teórico que
1
define al clima escolar como un constructo multidimensional (ver especificación en
sección 3). Así mismo, a diferencia de estudios anteriores sobre el tema, se utiliza un
diseño longitudinal que permite un mayor poder explicativo que los estudios transversales
pues existen dos medidas diferentes de los mismos estudiantes y es posible controlar por
diferencias de entrada.
Los hallazgos de esta investigación brindarán información valiosa acerca de las variables
escolares–particularmente el clima escolar- asociadas a los resultados de los estudiantes,
aportando evidencia que sustente el diseño de políticas orientadas a generar equidad en
las oportunidades educativas de los estudiantes. Profundizar en el conocimiento de los
efectos escolares es clave pues en teoría las instituciones educativas deben atenuar el
efecto de las características individuales y familiares de los estudiantes sobre sus
resultados, ayudando a nivelar el piso para los estudiantes procedentes de entornos
socio-económicos menos favorecidos. En segundo lugar, este estudio permitirá explorar si
el mismo conjunto de variables explica los diferentes resultados de los estudiantes
(cognitivos y socio-emocionales) o si más bien las variables explicativas difieren entre
resultados. En términos de política educativa, esto implicaría diseñar estrategias
específicas para cada uno de los resultados que se busque mejorar.
2. Objetivos de la investigación
El objetivo general de la investigación es estimar el efecto del clima escolar en los
resultados cognitivos y socio-emocionales de los estudiantes al final de la secundaria en
instituciones educativas urbanas de Lima. Los objetivos específicos del estudio son
discutir la idea del clima escolar como un constructo multidimensional que abarca tanto
variables de insumo como de proceso, y analizar el efecto de las diferentes dimensiones
del clima escolar en tres tipos de resultados de los estudiantes: 1) su nivel de logro
educativo (llegar a quinto de media vs. repetir de grado), 2) su rendimiento académico en
matemática y 3) su sentido de pertenencia a la institución educativa secundaria.
La estimación de los efectos escolares antes mencionados se realiza tomando en cuenta
las características individuales y familiares de los estudiantes así como su rendimiento
previo en la educación primaria en matemática y comprensión de lectura (2002). Una vez
ajustadas las diferencias de entrada de los estudiantes de la muestra, la variabilidad en
los resultados refleja las diferencias entre las instituciones en vez de las diferencias al
interior de la población estudiantil.
3. Perspectivas o aproximación conceptual
El presente estudio se enmarca dentro de la investigación sobre eficacia escolar (IEE) que
tiene como propósito comprender cuáles son las características particulares de las
instituciones educativas, los maestros y las clases que explican las diferencias en los
resultados educativos de los alumnos (Scheerens & Bosker, 1997, Teddlie y Reynolds,
2000, Murrillo, 2003). En su afán por modelar los efectos de la escuela, la IEE ha
evolucionado de un modelo económico de la función de producción educativa (en los años
sesenta y principios de los setenta) enfocado principalmente en la relación entre los
recursos financieros y materiales y los resultados educativos1, a un modelo más complejo
(desde los años noventa en adelante) que toma en cuenta la estructura jerárquica
1
Ver por ejemplo Hanushek (1995) para una discusión detallada de modelos educativos de
insumos-productos.
2
multinivel que caracteriza al sistema educativo y que distingue entre insumos, procesos y
resultados tomando en cuenta variables de contexto. Actualmente, la mayoría de estudios
en este campo conceptualizan y estiman los efectos de la escuela haciendo uso de
alguna especificación del modelo CIPP (Contexto, Insumo, Proceso, Producto;
Scheerens, 1990 y Scheerens & Bosker, 1997).
Estos modelos reflejan el interés de los investigadores por conocer los procesos que se
están dando dentro de las instituciones educativas, buscando descubrir esas variables
mediadoras entre las características estructurales de las escuelas y los resultados de los
estudiantes. En esa búsqueda, una de las variables que más atención ha recibido es el
clima escolar definido en líneas generales como el conjunto de características internas
que distinguen una escuela de otra e influyen en la conducta de sus miembros (Hoy,
1990). Sin embargo, el estudio de los efectos del clima escolar ha tenido algunas
limitaciones tal como se mencionó al inicio siendo quizás la más importante el hecho de
no contar con un marco conceptual que defina con claridad los diferentes aspectos que
engloba la variable clima escolar.
En esta investigación, se entiende clima escolar como un constructo multidimensional que
abarca cuatro dimensiones (Tagiuri, 1968): 1) el ambiente físico de la institución educativa
(infraestructura), 2) el entorno o las características de los individuos y grupos que
participan en la institución (p.e. composición socio-económica de la escuela), 3) el sistema
social de relaciones entre los individuos y grupos de la institución educativa (p.e.
relaciones entre los docentes y estudiantes) y 4) cultura escolar (normas y creencias
compartidas por los miembros de la institución educativa).
La elección de este marco de referencia responde a varios motivos. En primer lugar, se
trata de un marco que integra teóricamente tanto variables de insumo como de proceso
permitiendo estudiar mejor los efectos escolares. En segundo lugar, esta aproximación
teórica responde al debate actual acerca de las semejanzas o diferencias entre clima y
cultura escolar (Hoy, 1990; Van Houtte, 2005; Schoen y Teddlie, 2008), definiendo al
primero como un concepto más amplio que abarca al de cultura, que de acuerdo a Van
Houtte y Van Maele (2011) sería una variable específicamente de proceso. Finalmente, al
ser un constructo multidimensional, permite estudiar simultáneamente tanto los efectos de
cada una de las dimensiones antes señaladas así como de todas en conjunto (las de
insumos y las de procesos) enriqueciendo así el análisis y discusión de los resultados.
Finalmente, en la modelación de los efectos de la escuela –específicamente del clima
escolar- en los resultados de los estudiantes, se toma en cuenta la literatura previa sobre
factores asociados a los resultados cognitivos y socio-emocionales de los estudiantes
tanto a nivel internacional (Sammons, 1995; Opdenakker y Van Damme, 2000;
D’Agostino, 2000; LLECE 2001, Murillo, 2007; LLECE 2010 entre otros) como nacional
(Benavides, 2002; Cueto, Ramirez, y Leon, 2003; Cueto, 2007; Cueto, Guerrero,
Sugimaru y Zevallos, 2010; Cueto, Guerrero, Leon, Zevallos y Sugimaru, 2010).
4. Métodos
Los análisis buscan estimar el efecto de las variables escolares –particularmente el clima
escolar- en tres tipos de resultados de los estudiantes: 1) su nivel de logro educativo
(llegar a quinto de media vs. repetir de grado), 2) su rendimiento académico en
matemática (medido a partir de una prueba de rendimiento) y 3) su sentido de pertenencia
3
a la institución educativa secundaria (medido con una escala de Likert de la evaluación de
PISA, Willms, 2003).
Con tal fin, se utilizan diferentes especificaciones de modelos jerárquicos multinivel que
reconocen que las observaciones individuales no son totalmente independientes en la
medida en que los estudiantes están asociados dentro de clases y/o escuelas. Esto
permite por un lado estimar la varianza tanto al interior de la escuela como entre escuelas
y por otro lado estimar con mayor exactitud los errores estándar. Más específicamente, se
utilizan modelos de regresión logística multinivel para modelar los factores asociados con
el logro educativo de los estudiantes (estar en quinto de secundaria vs repetir) dada la
naturaliza cualitativa de la variable. En el caso de los otros dos resultados considerados
en este estudio – rendimiento y sentido de pertenencia a la escuela- se utilizan modelos
jerárquicos lineales (Raudenbush y Willms, 1995; Raudenbush y Bryk, 2002; Hox, 2010).
En cualquier caso, los modelos se construyen paso a paso. En primer lugar, se estima un
modelo incondicional (sin variables explicativas) para evaluar el grado de variación entre
las escuelas en los resultados de interés. En segundo lugar, se agregan variables a nivel
de los estudiantes y sus familias, incluyendo ajustes estadísticos para corregir posibles
sesgos debido a la deserción de participantes entre una ronda y otra. Finalmente se
incorporan las variables de la escuela con la finalidad de profundizar en el efecto de estas
en los resultados de los estudiantes.
5. Fuentes de información
La base de datos del presente estudio cuenta con dos rondas de información de los
estudiantes y sus escuelas. En el año 2002 se recogió información en instituciones
educativas públicas urbanas de Lima2, cuando los estudiantes (n=1047) cursaban tercer
grado de primaria. Posteriormente, en el 2010, se logró re-contactar a 662 estudiantes de
la muestra original cuando debían estar en el último año de educación secundaria. De
acuerdo a su situación educativa en el año 2010, los estudiantes fueron clasificados en
tres grupos: Promovidos (n=511) si se encontraban estudiando quinto de secundaria,
Repitentes (n=100) si es que estaban estudiando cuarto de secundaria o un grado inferior
y Desertores (n=51) si es que no se encontraban estudiando en el momento de la
encuesta y abandonaron el colegio entre el 2002 y el 2010. Los análisis de este estudio
solo incluyen a los estudiantes que aún se encontraban en el sistema educativo cuando
se les re-contactó en el año 2010. Cabe aclarar que para ese entonces algunos de los
estudiantes de la muestra original se habían trasladado a instituciones educativas
privadas y por lo tanto la muestra de instituciones educativas en el 2010 (n=33) incluye
tanto colegios públicos como privados, siempre en Lima. En ambas rondas se recolectó
información sobre los estudiantes y sus familias así como sobre sus profesores e
instituciones educativas.
6. Resultados
El clima escolar tiene un efecto en todas las variables dependientes; sin embargo,
diferentes dimensiones del clima escolar son relevantes para explicar cada uno de los
resultados. El estudio utiliza coeficientes estandarizados para comparar la contribución
2
En los distritos de San Martín de Porres, San Juan de Lurigancho, Villa El Salvador, Rímac,
Pachacamac, San Luis, Chorrillos y La Molina.
4
relativa de cada dimensión luego de controlar por características demográficas y socioeconómicas de los estudiantes.
Las relaciones entre individuos dentro de la escuela tienen un efecto positivo y
estadísticamente significativo en todas las variables dependientes: sentido de pertenencia
(0.12, p-value: 0.01), rendimiento (0.08, p-value: 0.10) y logro educativo (1.95, p-value:
0.10). Sin embargo, diferentes aspectos de esta dimensión son relevantes para cada
resultado. En el caso de sentido de pertenencia y tal como se esperaría, tanto las
relaciones entre estudiantes como las relaciones entre estudiantes y docentes son los
aspectos más relevantes. En el caso de rendimiento y logro educativo, las relaciones
entre estudiantes no serían tan importantes como las relaciones entre estudiantes y
docentes.
La dimensión de cultura escolar tiene un efecto positivo y estadísticamente significativo
(2.11, p-value: 0.10) en el logro educativo pero no en resultados socio-emocionales como
el sentido de pertenencia a la escuela. Dentro de la dimensión de cultura escolar, las
creencias de los docentes acerca de la enseñanza sería la variable más importante.
La composición de la escuela (nivel socio-económico agregado) está asociada
positivamente con las tres variables dependientes tal como se esperaría; sin embargo,
ninguno de los coeficientes es estadísticamente significativo. En el caso del ambiente
físico de la escuela (infraestructura) los resultados son mixtos y requieren más análisis.
En términos de política educativa, los resultados anteriores sugieren la necesidad de
diseñar estrategias específicas para cada uno de los resultados que se busque mejorar.
Referencias
Benavides, M. (2002). Para explicar las diferencias en el rendimiento en matemáticas de
cuarto grado en el Perú urbano: análisis de resultados en base a un modelo básico. En:
Rodríguez, José (ed); Vargas, Silvana (ed). Análisis y resultados y metodología de las
pruebas CRECER 1998. Lima: Ministerio de Educación; Programa MECEP. p. 93-107.
Documento de trabajo, 13.
Cueto, S. (2007). Las evaluaciones nacionales e internacionales de rendimiento escolar
en el Perú: balance y perspectivas. En Grupo de Análisis para el Desarrollo. Investigación,
políticas y desarrollo en el Perú. Lima: GRADE, pp. 405-455.
Cueto, S., Guerrero, G., Leon, J., Zevallos, A. & Sugimaru, C. (2010). De quinto de
primaria al fin de la secundaria en seis anos: un estudio longitudinal en Puno. Documento
de Trabajo 56. Lima: GRADE, CIES
Cueto, S.; Guerrero, G.; Sugimaru, C. & Zevallos, A. (2010). Sense of belonging and
transition to high schools in Peru. International Journal of Educational Development,
30,277-287.
Cueto, S., Ramírez, C. & Leon, J. (2003). Eficacia escolar en escuelas polidocentes
completas de Lima y Ayacucho. Research report. GRADE.
5
D’Agostino, J. (2000). Instructional and School Effects on Student’s Longitudinal Reading
and Mathematics Achievements. School Effectiveness and School Improvement, 11 (2),
197-235.
Hanushek, E. (1995). Interpreting recent research on schooling in developing countries.
World Bank Research Observer, 10, 227–246.
Hox, J. J. (2010). Multilevel Analysis. Techniques and Applications. Second Edition. New
York: Routledge.
Hoy, W. (1990). Organizational Climate and Culture: A Conceptual Analysis of the School
Workplace. Journal of Educational and Psychological Consultation, 1, 149-168.
LLECE. (2001). Segundo Informe de Resultados. Primer Estudio Internacional
Comparativo sobre lenguaje, matemática y factores asociados, para alumnos del tercer y
cuarto grado de la educación básica. Santiago: OREALC/UNESCO.
LLECE. (2010). Factores asociados al logro cognitivo de los estudiantes de América
Latina y el Caribe. Santiago: OREALC/UNESCO.
Ma, X. y Klinger, D.A. (2000). Hierarchical Linear Modelling of Student and School Effects
on Academic Achievement. Canadian Journal of Education, 25, 41-55.
Macneil, A.J., Prater, D. y Busch, S. (2009). The Effects of School Culture and Climate on
Student Achievement. International Journal of Leadership in Education: Theory and
Practice, 12, 73-84.
Murillo, F.J. (2003) (Coord). La Investigación sobre Eficacia Escolar en Iberoamérica.
Revisión Internacional del Estado del Arte. Bogotá: CAB-CIDE.
Murillo, F.J. (Coord). (2007). Investigacion Iberoamericana sobre eficacia escolar. Bogota:
Convenio Andres Bello.
Opdenakker, M., & Van Damme, J. (2000). Effects of Schools, Teaching Staff and Classes
on Achievement and Well-Being in Secondary Education: Similarities and Differences
between School Outcomes. School Effectiveness and School Improvement, 11 (2), 165196
Raudenbush, S. & Bryk, A. (2002). Hierarchical Linear Models.Aplications and Data
Analysis Methods. Thousand Oaks, CA: Sage.
Raudenbush, S. & Willms, D. (1995). The estimation of school effects. Journal of
Educational and Behavioral Statistics, 20, 307-335.
Sammons, P. (1995). Gender, ethnic and socio-economic differences in attainment and
progress: a longitudinal analysis of student achievement over 9 years, British Educational
Research Journal, 21, pp. 465-486.
Scheerens, J. (1990). School Effectiveness Research and the Development of Process
Indicators of School Functioning. School Effectiveness and School Improvement, 1, 61-80
6
Scheerens, J. & Bosker, R.J. (1997). The foundations of educational effectiveness. Oxford:
Elsevier Science Ltd.
Schoen, L.T. y Teddlie, C. (2008). A New Model of School Culture: A Response to a Call
for Conceptual Clarity. School Effectiveness and School Improvement, 19, 129-153.
Tagiuri, R. (1968). The concept of organizational climate. En. R. Tagiuri y G. Litwin (Eds).
Organizational climate. Explorations of a concept (pp. 11-32). Cambridge, MA: Harvard
University Press.
Teddlie, C. & Reynolds, D. (2000). The International Handbook of School Effectiveness
Research. London: Falmer Press.
Van Houtte, M.(2005). Climate or Culture? A Plea for Conceptual Clarity in School
Effectiveness Research. School Effectiveness and School Improvement: An International
Journal of Research, Policy and Practice, 16, 71-89.
Van Houtte, M. y Van Maele, D. (2011). The Black Box Revelation: In Search of
Conceptual Clarity Regarding Climate and Culture in School Effectiveness Research.
Oxford Review of Education, 37, 505-524.
Willms, J.D., 2003. Student Engagement at school. A sense of Belonging and participation
Results From PISA 2000, OECD. From http://www.oecd.org/dataoecd/42/35/33689437.pdf
7