Equidad y resultados educacionales: SIMCE y PAA David Bravo Profesor Depto. de Economía Universidad de Chile Director Proyecto SIES Jorge Manzi Profesor Escuela de Psicología P.Universidad Católica de Chile Director Proyecto SIES Santiago, Abril 2002. Esta investigación se enmarca en un proyecto FONDEF dirigido por los autores. Equidad y resultados educacionales: SIMCE y PAA La existencia de fuertes desigualdades entre nuestros jóvenes, evidenciadas por los resultados de las principales mediciones educacionales, constituye una característica difícil de negar de nuestra sociedad y una legítima fuente de preocupación para el diseño de la política educacional de nuestro país. Ya es tradicional que cada año, con la comunicación de los resultados de las pruebas SIMCE de 4º Básico, 8º Básico o 2º año Medio, los medios de comunicación y los analistas apunten a la brecha existente entre establecimientos asociados a distintos niveles socioeconómicos. En particular, la atención se ha concentrado en la diferencia de puntajes existente entre los establecimientos particulares y los municipales o particulares subvencionados1. Si bien sólo recientemente se ha comenzado a entregar información similar para la Prueba de Aptitud Académica, los últimos resultados entregados por el Rector de la Universidad de Chile en el mes de enero pasado han mostrado un panorama igualmente impactante.2 En los días pasados, con ocasión de la difusión de información referida a las nuevas pruebas de selección para las universidades del Consejo de Rectores, que entrarán en vigencia a partir del año 2003 (proyecto SIES), se ha expresado recurrentemente la inquietud o temor acerca de la posibilidad que las nuevas pruebas pudieran acentuar en sus puntajes las desigualdades mencionadas. Para hacer comprensible la inquietud que provocan las futuras pruebas, debe considerarse que el principal cambio que ocurrirá con ellas consiste en asegurar que los contenidos evaluados en estos instrumentos de selección estén alineados con el marco curricular de la Enseñanza Media. Este cambio de enfoque, que fue recomendado unánimemente por una comisión de expertos que analizó en el año 2000 las pruebas de admisión universitaria de nuestro país, se justificó por los múltiples efectos benéficos que debiera producir en términos de incentivar y fortalecer la experiencia escolar de la enseñanza media (estimulando en el mediano plazo un deseable mejoramiento en los logros de este nivel de enseñanza) y por el hecho que una evaluación de habilidades y conocimientos centrada en los objetivos de la actual Reforma Educacional concuerda con los aspectos que las universidades consideran deseables en sus postulantes. Por lo demás, el examen de la situación internacional, muestra que la gran mayoría de los países, especialmente los del mundo desarrollado, centran sus mediciones de ingreso a la educación superior en evaluaciones del logro de objetivos educacionales de la enseñanza secundaria. Así, los argumentos educacionales parecen concordar en las virtudes del cambio. Sin embargo, el temor que aparece y que pareciera contrapesar los beneficios 1 Véase, por ejemplo, A.Mizala y P.Romaguera (2000), "School performance and choice: The Chilean experience", Journal of Human Resources, vol 35 N°2, Spring; y D.Bravo, D.Contreras y C.Sanhueza (1999), “Rendimiento educacional, desigualdad y brecha de desempeño privado/público: Chile 19821997”, Documento de Trabajo Nº163, Departamento de Economía, Universidad de Chile. 2 Véase notas de prensa. Véase también D.Contreras, D.Bravo y C.Sanhueza (2001), “PAA, ¿una prueba de inteligencia?”. Perspectivas, Volumen 4, Nº2. anteriores sostiene que avanzar en la dirección de mediciones basadas en el currículum podría ser potencialmente regresivo en términos de la equidad en comparación con las mediciones de habilidades o aptitudes generales (tal como en el caso de la PAA) debido a la desigual distribución de recursos entre los distintos establecimientos educacionales. Las especulaciones anteriores, debe decirse, no se han basado en estudios o antecedentes empíricos específicos, pues lamentablemente hemos carecidos de estudios o investigaciones que hayan abordado este tema con datos nacionales. Sin embargo, es interesante hacer notar que este debate ha existido con fuerza en el campo internacional, observándose que la conclusión habitual a la que se llega contradice el temor que se expresa en nuestro país, mostrando que hay un mayor potencial equitativo en pruebas que se basan en currículum que en las que se orientan a la medición de habilidades o aptitud generales. Lo que se ha sostenido en la literatura internacional es que en las pruebas de aptitud general las características familiares hereditarias juegan un papel más importante que en las mediciones de logros educacionales y, por lo tanto, las primeras tienden a reproducir más las desigualdades sociales3. Desde esta perspectiva, mediciones con mayor énfasis en el marco curricular permitirían cambiar lo que, de otro modo, aparecería como un destino predeterminado a temprana edad. Existe en esta óptica un mayor papel para la actuación de la política educacional que podría permitir compensar en el mediano plazo desventajas iniciales. El estudio de las pruebas SIMCE y PAA Afortunadamente, existe la posibilidad de obtener evidencia empírica sobre el tema que ha preocupado a nuestra sociedad, analizando los dos grandes sistemas de medición educacional que operan en nuestro país: el SIMCE, con mediciones orientadas al currículum escolar, y la Prueba de Aptitud Académica, que incluye mediciones que apuntan a la aptitud general (especialmente las pruebas de aptitud verbal y de aptitud matemática) como también otras que tienen una mayor base curricular (como ocurre con las Pruebas de Conocimientos Específicos). El análisis de los diferenciales al interior de cada una de estas mediciones, sobre la base de una métrica común, permitiría aportar evidencia sobre la magnitud de las desigualdades y podría indicar si avanzar desde una medición general de aptitudes hacia otra con mayor base curricular tendría algún impacto en la inequidad. La comparación anterior, sin embargo, no puede hacerse de manera superficial porque representa a universos muy diferentes de estudiantes. Por ejemplo, la Prueba de Aptitud incluye un número importante de estudiantes rezagados, egresados en generaciones anteriores al año en que rinden la prueba. Al mismo tiempo, el porcentaje de egresados de la enseñanza humanista científica que rinde estas pruebas es marcadamente mayor que el porcentaje de egresados de la enseñanza técnico profesional. 3 Véase Mehrens y Lehman (1987). Using Standardized Tests in Education.4th Edition. New York: Longman. Por otra parte, las pruebas Simce reflejan realidades de 4º Básico, 8º Básico o 2º año Medio, dependiendo del año que se trate. La información de estas últimas pruebas, además, tradicionalmente se ha reportado a nivel de establecimiento, mientras que la PAA lo hace a nivel individual. Los antecedentes que se presentan en esta oportunidad, no obstante, permiten aprovechar una oportunidad única de análisis pertinente para los objetivos establecidos. En el año 1998 se aplicó la prueba SIMCE a los estudiantes de 2º año medio. En dicha ocasión se registró el RUT de los examinados, por lo que pese a que los resultados se reportaron, como es habitual, a nivel de establecimiento, existía la posibilidad de identificar los resultados a nivel individual. Una proporción importante de los estudiantes que rindieron esa prueba, fueron examinados a fines del año 2000 con las pruebas de admisión a las universidades (PAA). En consecuencia, fue posible evaluar las diferencias entre los estudiantes que rindieron las pruebas SIMCE de lenguaje y matemática en 1998, en una medición con referencia curricular, y compararlas con las diferencias presentes en los mismos estudiantes en las pruebas de aptitud y de conocimientos específicos en el año 20004. Si bien los aspectos técnicos de esta comparación no se mencionan en detalle en este artículo, debe mencionarse que se transformaron los puntajes de la prueba SIMCE a la misma y familiar escala de la PAA (esta última, centrada en 500 puntos y con una desviación estándar de 100 puntos) con el objeto de facilitar la visualización de los diferenciales entre pruebas. Debe señalarse que aproximadamente la mitad de los estudiantes que rindió el SIMCE en 1998 lo hizo en lenguaje y la otra mitad en matemática. Al trabajar con el grupo de estudiantes comunes (que rindieron el SIMCE 1998 y la PAA 2000) claramente se encuentra que el puntaje promedio de este subgrupo es superior al del total de estudiantes examinados en el SIMCE. Esto es natural, por cuanto el grupo que decide rendir las pruebas de admisión a la educación superior está constituido por el segmento de estudiantes con mejores logros educacionales (además del hecho evidente que aquellos estudiantes que repitieron de curso o abandonaron la enseñanza media no aparecen en las estadísticas de la PAA 2000). En el caso de los puntajes que obtienen estos estudiantes en la PAA, se tiene que reflejan rendimientos algo inferiores a los del promedio de los que rinden la PAA dicho año, reflejando el hecho que los postulantes rezagados (ausentes en el grupo que se analiza) tienen normalmente mejores resultados en las pruebas de admisión universitaria que los postulantes que las rinden por primera vez. 4 Queremos agradecer a la Unidad de Currículum y Evaluación del Ministerio de Educación y a la Vicerrectoría Académica de la Pontificia Universidad Católica de Chile, por haber facilitado el acceso a las bases de datos del SIMCE y PAA respectivamente. Con esta información, se procedió a calcular la magnitud de la brecha según tipo de dependencia del establecimiento. Adicionalmente, se incluyen en este análisis otras dos formas de diferenciación de interés: la que se produce entre estudiantes de la modalidad humanista-científica de la enseñanza media, y los de a modalidad técnicoprofesional, así como la brecha entre hombres y mujeres. La brecha entre establecimientos Particulares y Municipalizados. El aspecto central de este análisis se centra en esta brecha, que la apreciaremos a partir de la diferencia en el promedio que logran los estudiantes de establecimientos particulares y los de establecimientos municipalizados en las pruebas de interés. También se incluirá en los gráficos el promedio de los estudiantes que asisten a establecimientos particulares subvencionados, los que en general se ubican en una posición intermedia entre los otros dos grupos. La Figura 1 muestra esta brecha en las pruebas de lenguaje, la Figura 2 lo hace en las pruebas de Matemática, mientras que la Figura 3 grafica la diferencia media entre los dos grupos de interés en todas las pruebas, incluyendo las de conocimientos específicos. Figura1: la brecha entre establecimientos Particulares y Municipales en pruebas de Lenguaje (comparación basada en estudiantes que rindieron SIMCE98 y PAA) 650 600 550 Municipalizados Subvencionados Part.Pagados 500 450 400 350 SIMCE98 Leng PAA-Verb Los resultados muestran consistentemente que la brecha entre establecimientos particulares y municipalizados es claramente menor en las pruebas SIMCE de lenguaje y matemática (alrededor de 90 puntos) que en las respectivas pruebas de la PAA (alrededor de 140 puntos). En consecuencia, contradiciendo el temor que se expresa con frecuencia, no puede sostenerse que las pruebas basadas en currículum sean más inequitativas que las pruebas de aptitud general. Figura2: la brecha entre establecimientos Particulares y Municipales en pruebas de Matemática (comparación basada en estudiantes que rindieron SIMCE98 y PAA) 650 600 550 Municipalizados Subvencionados Part.Pagados 500 450 400 350 SIMCE98 Mat PAA-Mat PCE-Mat La conclusión anterior se ve reforzada por los resultados relativos a las pruebas de conocimientos específicos. Tal como lo muestra la Figura 3, la brecha entre establecimientos particulares y municipalizados es menor en todas las pruebas de conocimientos específicos que en las pruebas de aptitud verbal y matemática. Esta diferencia también puede interpretarse como una comparación entre pruebas de habilidad general y pruebas más orientadas al currículum (las pruebas de conocimientos específicos). Es importante resaltar que el valor de estos resultados, y de las conclusiones a que dan lugar, radica en que la comparación se basa en un mismo grupo de estudiantes, que representa a casi 90.000 jóvenes que postularon a las universidades a fines del año 2000. La brecha entre establecimientos humanista-científicos y técnico-profesionales Otra forma en que se manifiesta la preocupación por las diferencias socioeconómicas en el rendimiento educacional se centra en la comparación entre establecimientos humanista-científicos y técnico-profesionales. En este ámbito, los resultados de las pruebas SIMCE han mostrado regularmente el mejor rendimiento de los primeros, aunque la diferencia entre las dos modalidades es menor que la que se produce entre establecimientos particulares y municipalizados. Los resultados de esta comparación, que aparecen en la Figura 4, muestran que la brecha entre establecimientos de distinta modalidad es de alrededor de 50 puntos en las pruebas SIMCE (a favor de los estudiantes humanista-científicos), mientras que la misma brecha en el caso de las pruebas de aptitud es del orden de los 90 puntos (a favor del mismo grupo). Estos resultados apoyan la conclusión de que mediciones basadas en aptitudes generales acentúan diferencias entre estudiantes de distinta modalidad de enseñanza. Es importante recordar, para subrayar la significación de esta comparación, que en el presente casi la mitad de los estudiantes de la enseñanza media (el 46%) asiste a establecimientos técnico-profesionales. Figura 4: La brecha entre estudiantes Humanista-Científicos y Técnico-Profesionales en el SIMCE y PAA. (comparación basada en estudiantes que rindieron SIMCE98 y PAA) 100 90 80 70 60 50 40 30 20 10 -M at PA A -V er b PA A E9 8 C SI M SI M C E9 8 Le n M at 0 La brecha entre hombres y mujeres La diferencia de resultados entre hombres y mujeres también ha sido objeto de mucha atención internacionalmente en la medición de logros educacionales y en la medición de habilidades mentales. Si nos centramos en los aspectos que son medidos en las pruebas que se comparan en este estudio, se puede mencionar que lo habitual ha sido detectar leves diferencias entre hombres y mujeres, observándose una tendencia consistente hacia mejores logros de las mujeres en pruebas de lenguaje y de los hombres en pruebas de matemática. Cabe mencionar que conforme se ha incrementado la conciencia y conocimiento acerca del tema del sesgo en la medición, los instrumentos que se han construido más recientemente han tendido a reportar cada vez diferencias más pequeñas en los rendimientos de hombres y mujeres5. En nuestro país este tema ha sido objeto de una atención relativamente menor, pese a que la información de todos los sistemas de medición en gran escala registra en forma regular el sexo de los examinados. De hecho, según nuestro conocimiento, solo este año se ha generado alguna preocupación en esta materia a raíz de la publicación que hiciera la Universidad de Chile en enero pasado de los resultados de hombres y mujeres en las pruebas de selección universitarias aplicadas a fines del año 2001. Los resultados allí reportados mostraron una clara ventaja de los hombres en todos los factores de selección, con excepción de las notas de enseñanza media. Ver Stumpf y Stanley (1996). Gender-related differences on the College Board’s Advanced Placement and Achievement Tests 1982-1992. Journal of Educational Psychology, Vol.88, p.353-364. 5 Las bases de datos que se analizan en este estudio también incluyen información del sexo de los examinados, por lo que nos ha parecido relevante comparar las diferencias que se manifiesten en este aspecto, nuevamente a partir de un grupo comparable de estudiantes. Los resultados, que se resumen en la Figura 5, muestran un perfil claramente diferente en las mediciones SIMCE y PAA. En las primeras se reproduce el patrón de resultados habitual a nivel internacional (leves diferencias a favor de las mujeres en lenguaje –5 puntos- y diferencias algo mayores a favor de los hombres en matemática – 18 puntos-). En las pruebas de selección universitaria, en cambio, aparece un perfil que homogéneamente favorece a los hombres, en algunos casos en magnitudes preocupantes, como es el caso de la prueba de aptitud matemática (en cuyo caso la brecha asciende a 45 puntos). En conclusión, los antecedentes que aquí se exponen, muestran inequívocamente que no es posible sostener que los instrumentos de medición orientados al currículum sean automáticamente más inequitativos que los instrumentos que miden habilidades generales. Por el contrario, se ha podido constatar que las dos pruebas de aptitud que obligatoriamente deben rendir los postulantes a las universidades del Consejo de Rectores muestran mayores brechas asociadas al tipo de establecimiento o sexo de los estudiantes que las pruebas orientadas al currículum, como es el caso del SIMCE. Estos resultados permiten aliviar las preocupaciones que comprensiblemente se han expresado en torno a los cambios que se están desarrollando en los instrumentos de selección universitaria. Cabe aclarar, sin embargo, que el hecho que las nuevas pruebas se orienten a los contenidos y habilidades que forman parte del nuevo currículum de la enseñanza media, no implica que se pueda abandonar la medición de aptitudes, puesto que como lo hemos hecho notar en el modelo de medición del proyecto SIES, no es posible disociar la medición de aptitudes y habilidades. La equidad en la medición es una preocupación que debe formar parte del proceso de construcción de los instrumentos de medición, para lo cual existen técnicas de análisis que permiten identificar y eliminar preguntas que favorecen o perjudican injustamente a un determinado grupo. Sin embargo, la tarea de resolver la inequidad educacional no se le puede adjudicar a un instrumento de medición, pues la equidad solo se logra con políticas educacionales consistentes que aseguren que las oportunidades de aprendizaje de todos los estudiantes del país son equivalentes. Sabemos que este es un propósito ampliamente compartido por nuestra sociedad, que suscribimos plenamente.