Análisis comparativo de los resultados del Operativo Nacional de evaluación de la calidad: La crisis está en los grandes centros urbanos Febrero de 2008 Análisis comparativo de los resultados del Operativo Nacional de evaluación de la calidad: La crisis está en los grandes centros urbanos A diferencia de otros países de la región, los resultados de las evaluaciones de calidad no forman parte central del debate educativo argentino. En Chile, por ejemplo, la publicación de los resultados SIMCE no ha dejado de ocupar la tapa de los periódicos en los últimos 10 años; los resultados de la prueba internacional PISA en el último diciembre, motivaron la publicación de suplementos especiales en periódicos como la Folha de San Pablo y otros del Brasil. En el caso argentino, ni siquiera ha existido una demanda por la publicación anual de los resultados de las evaluaciones de calidad por parte de las elites académicas, ni de los medios, ni de las propias escuelas y los padres. Argentina parece convivir con una publicación de información educativa discontinua, escasa para sustentar un debate robusto, que permita pensar modos de mejorar nuestra educación. El mundo académico es en nuestro país, crítico de las metodologías que se implementan, suele observarlas como herramientas parciales, impulsoras de un concepto de calidad acotado, aunque dicha comunidad no ha producido otras herramientas o definiciones operacionalizables que permitan reconstruir algún nuevo modo de construir un feed back de la situación de nuestras escuelas. Lo cierto es que con la actual disponibilidad de información, para la opinión pública y el mundo de la investigación educativa, parece difícil establecer un análisis más complejo de tendencias que permitan comprender lo que está ocurriendo en términos estructurales en nuestro sistema educativo. En el mes de diciembre, días después de la presentación de los resultados del ONE (Operativo Nacional de Evaluación de la calidad), la Organización para la Cooperación Económica y el Desarrollo (OCDE) presentó los resultados PISA para el conjunto de los países evaluados. Los mismos reportaban un deterioro de resultados de la Argentina, particularmente en Lengua, aunque también se observaba, en menor grado, en las demás áreas. En segundo lugar, un grado de heterogeneidad en los resultados que puso a la 2 Argentina como el país con mayor inequidad en sus resultados educativos entre los 60 evaluados (6,7 según el estudio), con más del doble del país en segundo lugar (2.8) Dicho estudio demuestra que algunos países de la región tienen mejoras tanto en materia de calidad como de equidad. Chile y Uruguay por ejemplo, han mostrado un significativo avance y sobrepasado la performance de Argentina. México y Colombia muestran progresos, pero menores que los de los países mencionados. Más allá de las dificultades de nuestra sociedad para convivir con dicha información, confirman una tendencia decreciente en la performance de la educación argentina en el comienzo del milenio. Parece haberse quebrado una cierta estabilidad que el sistema traía a lo largo de la década anterior, con posterioridad a la gran crisis vivida en el año 2002. En este marco, parece necesario mirar con cuidado los resultados disponibles del ONE , y al mismo tiempo, demandar más y mejor información para poder avanzar en diferentes modalidades de análisis. Los resultados publicados no permiten, a priori, su comparabilidad con las series históricas, aunque la consideración de las secuencias de orden entre provincias permite arribar a primeras “señales”, que nos permitan enfocar la profundización de los análisis y al reclamo de mayor cantidad de información. 1 Dicha lectura comparativa y cuidadosa, permite encontrar algunos elementos significativos que habilitan preguntas que como ya hemos planteado, deben ser profundizadas y que debieran promover investigaciones más ambiciosas. CUADRO 1. ORDENAMIENTO DE PROVINCIAS DE ACUERDO AL PUNTAJE OBTENIDO EN EL LA PRUEBA DE LENGUA DE TERCER GRADO DEL NIVEL PRIMARIO EN EL OPERATIVO NACIONAL DE EVALUACIÓN DE LA CALIDAD EDUCATIVA 1997 Y 2005. Orden 1º 2º 1997 Buenos Aires Gran Bs As 2005 Ciudad de Buenos Aires Santa Cruz 1 Se encuentra disponible en el sitio web del Ministerio de Educación, Ciencia y Tecnología información sobre el orden de las provincias respecto del puntaje provincial de las cuatro asignaturas sobre las que versa la prueba, en los tres grados, para distintos años. Vale decir, no están disponibles los puntajes (los números) para hacer un mínimo análisis aritmético (mucho menos estadístico). 3 3º 4º 5º 6º 7º 8º 9º 10º 11º 12º 13º 14º 15º 16º 17º 18º 19º 20º 21º 22º 23º 24º 25º Capital Federal Entre Ríos La Pampa Santa Fe Santa Cruz Río Negro Neuquén Córdoba Formosa San Juan Chaco Salta Mendoza Chubut Jujuy Corrientes Tierra del Fuego San Luis Misiones La Rioja Catamarca Santiago del Estero Tucumán Río Negro Tierra del Fuego La Pampa Santa Fe Salta Jujuy San Luis San Juan Entre Ríos Chubut Mendoza Tucumán Córdoba Buenos Aires Formosa Misiones Chaco Catamarca Corrientes La Rioja Santiago del Estero Nota: en 2005 hay dos jurisdicciones menos que en 1997 porque Neuquén no fue evaluada y porque se encuentra agregada el interior de la Provincia de Buenos Aires y el conurbano. Fuente: Elaboración propia en base a datos del Operativo Nacional de Evaluación de la Calidad Educativa del Ministerio de Educación, Ciencia y Tecnología. Suben y bajan En el ordenamiento interprovincial se observan casos de provincias con grandes deterioros y otras, con mejoramientos. En el primer grupo, es significativa la caída de la Provincia de Buenos Aires, que ha pasado del lugar 1 al 16 entre los años 1997 y 2005. En la misma línea, parece notable la caída de las provincias de Córdoba y Entre Ríos. Estos tres casos permitirían formular una primera hipótesis: 4 que la crisis en materia de calidad puede concentrarse en los grandes centros urbanos, mucho más que en las tradicionales provincias con mayores niveles de pobreza. La comparación con los datos previos a la crisis de final de la década, parece mostrar a las provincias grandes, y en particular los grandes centros urbanos, como el epicentro de la crisis. En este sentido, debe tomarse en consideración que en dichas provincias, y particularmente en los conurbanos de las grandes ciudades, se han vivido los escenarios más difíciles de la crisis, y resulta esperable que sean las que han tenido los mayores costos. Se observa una llamativa mejora en el ordenamiento de las provincias de Santa Cruz, Río Negro, Tierra del Fuego, Salta, Tucumán y San Luis. En el caso de las primeras tres, han pasado a ubicarse en los primeros lugares en el marco de los resultados nacionales, junto a la Ciudad de Buenos Aires. En el caso de las últimas, parecen superar situaciones de postergación históricas de un modo significativo. Salvo los casos de la Ciudad de Buenos Aires y Santa Fe, las provincias patagónicas son las que se han posicionado en mejor situación en la jerarquización de resultados de calidad entre provincias. El tamaño de las mismas, la ubicación de la población en ciudades pequeñas, los bajos índices de marginalidad en los conurbanos de dichas ciudades, pueden presentar pistas para pensar en las razones de su mejoría. Dicha condición podría estar marcando un indicador de gobernabilidad de la vida social en general y de la educativa en particular, cuyo impacto sobre la calidad educativa debería ser investigado con mayor profundidad. Otro elemento que merecería ser considerado para evaluar las mejoras, es la continuidad de los lineamientos de política educativa al momento de aplicación de la prueba. Salta, San Luis, La Pampa, Santa Fe, Santa Cruz, son jurisdicciones que han mantenido razonables grados de estabilidad en sus equipos y en las políticas implementadas. El hecho de sus mejoras en el ordenamiento, obligaría a avanzar en el análisis del elemento continuidad en las políticas como variable de mejora en los resultados de aprendizaje de los alumnos. Esta evidencia podría aportar un interesante aprendizaje para la gestión de las políticas educativas. El caso Santa Fe-Rosario 5 Parece interesante el caso de Santa Fe, dado que no parece haber seguido la suerte de otros grandes centros urbanos en cuanto al deterioro de sus resultados, en el ordenamiento. En el caso de esta provincia, de las más grandes del país y con el conurbano rosarino como uno de los centros más castigados por la crisis, sorprende que se mantenga en los primeros lugares nacionales. El caso de Ciudad de Buenos Aires, otra excepción, podría responder mucho más al nivel de ingresos promedio de la población, a su propia historia en materia educativa, y a un menor impacto de la crisis. La estabilidad en el orden de resultados entre provincias que muestra Santa Fe, a diferencia de la suerte corrida por Buenos Aires, Córdoba y Entre Ríos, encuentran alguna asociación posible con los datos de pasaje de las familias de las escuelas de gestión estatal a las de gestión privada. La primera no muestra un fenómeno demasiado significativo, mientras que es llamativo en el caso de las otras. En el caso de la ciudad de Rosario y su Conurbano, la tasa de alumnos en la educación privada creció un 2.2% entre los años 2003-2006, en La Plata y su conurbano, por ejemplo, ese crecimiento fue de 13% y en el caso Córdoba capital y su Conurbano fue de 6%.2 Esta correlación parecería mostrar en una primera lectura, que existe una percepción del deterioro por parte de las familias que han tomado la decisión de buscar en las escuelas de gestión privada, una respuesta a sus demandas. En tal sentido, cambiaría la idea de que los días de huelga son la razón exclusiva de la opción por la educación privada, como suele explicarse, al menos podría decirse que los padres perciben de algún modo, el impacto sobre los resultados de calidad. Gasto educativo y mejora de los resultados de calidad A primera vista, existe una tendencia general a encontrar mejor resultados en las provincias que tienen mayor inversión por alumno. Aunque entre las provincias que aparecen primeras en el ordenamiento de resultados, aparecen algunas que 2 En base a la Encuesta Permanente de Hogares, INDEC, segundo semestre de ambos años. 6 al momento de aplicación de la prueba, no se distinguían por sus niveles presupuestarios3. Santa Fe es un ejemplo: aparece en el lugar 15 en términos de inversión por alumno estatal y en el sexto en materia de resultados. Salta es otro: es una de las de menor inversión por alumno estatal en el país, aunque ha mostrado una evolución del lugar 14 al 7 entre los años 1997 y 2005 en el ordenamiento del ONE. La Rioja aparece en el cuarto lugar en términos de inversión, pero lo hace en el 22 en sus resultados de calidad. Otra comparación interesante de realizar es la que vincula la inversión educativa no salarial con los resultados de calidad. En el caso de las cinco provincias de mejores resultados en la prueba de Lengua de tercer grado en 2005 (CABA, Santa Cruz, Río Negro, Tierra del Fuego y La Pampa), la inversión educativa no salarial es de 19,28% del presupuesto público. En el caso de las cinco de peores resultados (Santiago del Estero, La Rioja, Corrientes, Catamarca y Chaco), el porcentaje de recursos dedicados a gastos no salariales es del 13,74%. Aquí parece existir una pista a explorar en términos de mirar el porcentaje de los recursos dedicados a la mejora de los edificios escolares, la actualización de docentes, becas, materiales educativos, etc., como aspecto estratégico de la inversión educativa. Pareciera que la dedicación de mayores porcentajes del presupuesto al mejoramiento de los insumos para el aprendizaje, puede aparecer como un aspecto de la política que debería ser considerado con especial cuidado, particularmente cuando se encuentra en proceso de implementación una ley de financiamiento educativo. Desarrollo humano y educación La comparación entre el ordenamiento jerárquico entre provincias por resultado educativo y por el Índice de Desarrollo humano (IDH) muestra una tendencia general análoga, aunque no simétrica. Provincias como Santa Fe, Buenos Aires, Entre Ríos y Córdoba coinciden en el IDH (0,7), aunque los resultados de Santa Fe muestran una performance muy superior a las restantes. Del mismo modo, Salta 3 Los datos de inversión estatal se toman del informe de monitoreo de la ley de financiamiento 1996 producido por el CIPPEC. 7 muestra un IDH de 0,69 que, junto a Catamarca y Santiago del Estero, es el más bajo del país. Sin embargo, en materia de resultados educativos sus resultados alcanzan el lugar 7 en la jerarquización. De todos modos parece relevante afirmar, que las primeras 6 provincias de la jerarquización de calidad se encuentran por encima del indicador 0,7 del IDH, mientras que las últimas 6 los hacen por debajo del mismo salvo el caso de La Rioja. En este sentido, y más allá de la necesidad de avanzar en la investigación, parece razonable formular la hipótesis de que existe una tendencia general que muestra a los resultados de calidad educativa acompañando otras variables sociales, aunque al mismo tiempo, casos como Santa Fe, Salta y Jujuy, muestran que dicha tendencia no es determinante, y que existe un espacio importante a través del cual, la política educativa puede ser capaz de modificar dichas tendencias. La posibilidad de disponer de los formularios complementarios de las pruebas del ONE, permitiría acercarnos a la comprensión de cuáles son los aspectos de la política educativa que pueden afectar en la reversión de esa tendencia y esa parece ser una tarea impostergable en un país que aspira a mejorar sus niveles de equidad. Ley Federal y Calidad Educativa No se observa correlación entre la implementación de la Transformación Educativa y el deterioro o mejora de los resultados de calidad mostrados por las diferentes jurisdicciones. Mientras encontramos entre los primeros lugares a provincias que no implementaron la Transformación Educativa promovida por la Ley Federal, como Río Negro y la Ciudad de Buenos Aires, también aparecen otras que lo hicieron, como La Pampa, Santa Cruz y Santa Fe. En tal sentido, no podría adjudicarse una relación directa entre resultados de calidad y aplicación o no de la Transformación Educativa. Sin embargo, puede profundizarse el trabajo acerca de los modos de implementación y el grado de conmoción que produjeron sobre la vida cotidiana de las escuelas y del sistema educativo de cada provincia. 8 En cambio, el análisis del ordenamiento provincial en 2005 en los diferentes grados (ver cuadros 2 y 3), podría permitir una lectura de procesos de mejora y deterioro posteriores a la crisis de 2002. En los casos de las provincias que muestran los mayores deterioros en la jerarquía interprovincial (Buenos Aires, Córdoba y Entre Ríos), se observa que el deterioro es menor a medida que se avanza en el grado evaluado en el sistema, es decir, el posicionamiento de los niños de tercero (cuadro 1) es menor que el de los de 6to grado y tercer año del polimodal o quinto del nivel medio (según corresponda), respectivamente. En el caso de las provincias que muestran mejoramiento, el fenómeno es inverso. Los casos de Tierra del Fuego, Río Negro y Salta, por ejemplo, los alumnos de tercer grado muestran un mejor ordenamiento que los restantes. En tal sentido, podemos encontrar alguna correlación para formular la hipótesis de que se observa de manera diferencial, la dinámica de deterioro y de mejoramiento de las jurisdicciones y dicho proceso se refleja con alguna consistencia en la secuencia de grados evaluados, aunque la provisoriedad de los datos publicados obliga a un estudio más profundo. Algunas primeras conclusiones Argentina, a diferencia de otros países de la región, no muestra un hábito de difusión y análisis de los resultados de sus evaluaciones de calidad educativa. De hecho, el Ministerio de Educación no ha tenido una política intensiva de publicación de resultados, ni ha existido demanda social alrededor de los mismos. Esta situación muestra notables diferencias con otros países de la región como Chile, Brasil, México, Colombia y Costa Rica, por citar a algunos. El 2007 ha sorprendido a nuestro país con la publicación de los resultados PISA que han mostrado una caída de resultados respecto de la aplicación anterior (2001), en su comparación con los demás países de la región evaluados, y en sus datos de dispersión (inequidad). Una lectura del ONE permitiría encontrar pistas para comprender las razones por las que esa situación puede estarse produciendo, en el análisis de los resultados de ordenamiento interprovincial. Aquellas provincias que han sufrido mayores deterioros en sus resultados relativos, son las de mayores dimensiones en materia de matrícula. Buenos 9 Aires, Córdoba y Entre Ríos representan el 46,99 % de la matrícula total del país4. Las que muestran mejoras son Santa Cruz, La Pampa, Río Negro, Salta, Tierra del fuego y San Luis, que abarcan el 6,49% de la matrícula total del sistema. Parece difícil esperar mejoras en los promedios nacionales cuando el deterioro se está produciendo en las jurisdicciones más grandes y la mejora, en las más pequeñas. El deterioro en la jerarquía entre provincias parece observarse especialmente en las jurisdicciones grandes con especial atención a los grandes centros urbanos, en particular el Gran Buenos Aires y el Gran Córdoba. Las mismas han sufrido los efectos de la crisis, no sólo en cuanto a sus resultados educativos. En el mismo sentido parece importante analizar la situación de Santa Fe, particularmente de Rosario y su conurbano, dado que los indicadores de la provincia parecen romper la relación directa que vincula la crisis con los grandes centros urbanos. Este fenómeno encuentra alguna relación en las tasas de pasaje de las familias de las escuelas de gestión estatal a las de gestión privada, que en el caso de Rosario muestra una menor dinámica. Lo cierto es que puede establecerse una primera hipótesis de relación entre resultados y tamaño de las provincias, en referencia a la gobernabilidad de los sistemas educativos provinciales, y al deterioro social producido por la crisis económica, con posterioridad a la crisis del año 2002. En el capítulo de financiamiento, los primeros análisis muestran que los datos de la inversión por alumno no permiten observar con claridad su relación con la mejora de los resultados de calidad educativa de las jurisdicciones. Parece poder establecerse una relación más clara entre la capacidad de inversión no salarial de las jurisdicciones y los resultados de calidad. En tal sentido, la mayor dedicación presupuestaria a la mejora de la infraestructura, los gastos de actualización de maestros, becas, materiales educativos, entre otros, parecen ser más determinantes en materia de calidad educativa. Vale decir, la mayor inversión en términos globales no parece producir mejoras en términos directos, sino el destino específico de los mayores recursos que se inviertan. Respecto de las condiciones sociales de las jurisdicciones, medidos a través del Índice de Desarrollo Humano, parece existir una condición importante para los resultados de calidad educativa de acuerdo a los datos observados. Aunque casos como el de Santa Fe, Jujuy y Salta, por ejemplo, permitirían abrir un crédito para la posibilidad de las 4 Anuario estadístico Ministerio de Educación 2006. 10 políticas educativas de producir cambios efectivos en los resultados educativos aún por sobre los condicionantes sociales. Estos casos parecen un dato optimista para pensar en la capacidad transformadora de las políticas educativas y motivan la profundización de estudios de este tipo para contar con mejores acciones públicas en educación. Los resultados del ONE 2005 parecen poner en entredicho cierta creencia establecida respecto de que la implementación de la Ley Federal de Educación ha sido responsable de algún tipo de deterioro de los resultados de calidad. Entre las jurisdicciones de mejores resultados se observan tanto las que implementaron la Transformación Educativa como las que no lo hicieron. Parece necesario establecer algún análisis institucional más profundo respecto de los términos en que se produjo dicha implementación en las diferentes jurisdicciones para analizar sus efectos. Respecto del comportamiento de los distintos niveles del sistema en los que se aplica la prueba, puede observarse que algunas jurisdicciones muestran un proceso de deterioro que se inicia con posterioridad a la crisis del 2002, mientras otras, también de un modo gradual, muestran niveles de mantenimiento y mejora. En el caso de las jurisdicciones que muestran procesos de mejora continua, parece encontrarse alguna correlación con la continuidad de los equipos y los proyectos políticos. Casos como santa Cruz, La Pampa, Salta, San Luis y Santa Fe, aparecen como muestras de ese fenómeno. Nuevamente, este primer análisis permite abrir la esperanza de que un mejoramiento de la acción pública en educación pueda aportar mejoras en materia de resultados y de equidad en la distribución de los saberes. Finalmente, el sistema educativo argentino parece encontrarse en una dinámica de cambio diferenciada de acuerdo a las jurisdicciones. La misma requiere ser analizada y observada, a los efectos de poder pensar con mayor pertinencia la política educativa. De todos modos, estas tendencias deben ser analizadas con mayor cuidado, y en tal sentido, parece necesario que el Ministerio de Educación realice una divulgación más amplia de la información educativa. 11 CUADRO 2. ORDENAMIENTO DE PROVINCIAS DE ACUERDO AL PUNTAJE OBTENIDO EN EL LA PRUEBA DE LENGUA DE SEXTO GRADO DEL NIVEL PRIMARIO EN EL OPERATIVO NACIONAL DE EVALUACIÓN DE LA CALIDAD EDUCATIVA 1997 Y 2005. Orden 1997 2005 1º 2º 3º 4º 5º 6º 7º 8º 9º 10º 11º 12º 13º 14º 15º 16º 17º 18º 19º 20º 21º 22º 23º 24º 25º Capital Federal Gran Buenos Aires Buenos Aires La Pampa Entre Ríos Santa Fe Neuquén Córdoba Mendoza Santa Cruz Río Negro Tierra del Fuego Salta San Juan Formosa Chubut Corrientes San Luis Chaco Jujuy Misiones La Rioja Catamarca Santiago del Estero Tucumán Ciudad de Bs. As Santa Cruz La Pampa San Luis Santa Fe San Juan Salta Río Negro Tierra del Fuego Buenos Aires Entre Ríos Mendoza Tucumán Misiones Formosa Córdoba Jujuy Corrientes Catamarca Chubut La Rioja Chaco Santiago del Estero Fuente: Elaboración propia en base a datos del Operativo Nacional de Evaluación de la Calidad Educativa del Ministerio de Educación, Ciencia y Tecnología. 12 CUADRO 3. ORDENAMIENTO DE PROVINCIAS DE ACUERDO AL PUNTAJE OBTENIDO EN EL LA PRUEBA DE LENGUA DE TERCER AÑO DE POLIMODAL O QUINTO AÑO DEL NIVEL SECUNDARIO (SEGÚN CORRESPONDA) EN EL OPERATIVO NACIONAL DE EVALUACIÓN DE LA CALIDAD EDUCATIVA 1997 Y 2005. Orden 1997 2005 1º 2º 3º 4º 5º 6º 7º 8º 9º 10º 11º 12º 13º 14º 15º 16º 17º 18º 19º 20º 21º 22º 23º 24º 25º Capital Federal Gran Buenos Aires Buenos Aires Santa Fe La Pampa Mendoza Rio Negro Entre Ríos Neuquén Córdoba Chubut San Luis Tierra del Fuego Santa Cruz Misiones Salta Tucumán San Juan Jujuy Corrientes Chaco Santiago del Estero Formosa Catamarca La Rioja Ciudad de Bs. AS La Pampa Rio Negro Mendoza Santa Fe Córdoba Santa Cruz Buenos Aires San Luis Chubut San juan Corrientes Tierra del Fuego Tucumán Entre Ríos Misiones Formosa Jujuy Catamarca Salta Chaco La Rioja Santiago del Estero Fuente: Elaboración propia en base a datos del Operativo Nacional de Evaluación de la Calidad Educativa del Ministerio de Educación, Ciencia y Tecnología. 13