1 La efectividad del principio de secuencialidad del aprendizaje El

La efectividad del principio de secuencialidad del aprendizaje
Miguel Nussbaum1,2,5*, Magdalena Claro1,2*, Raimundo Frohlich1, Francisco Claro3, Tania Cabello2,
Macarena Santana1, Ernesto San Martín2,3,4, Claudia Matus5.
1 Escuela de Ingeniería, Pontificia Universidad Católica de Chile
2 Centro de Estudios de Políticas y Practicas en Educación (CEPPE).
3 Facultad de Educación, Pontificia Universidad Católica de Chile
4 Facultad de Matemáticas, Pontificia Universidad Católica de Chile
5 Agencia Calidad de la Educación
El curriculum define un conjunto de conocimientos, habilidades y valores que el sistema
educativo de un país busca transmitir a todos los estudiantes (UNESCO, 2005; Boli et.al.,
1985;) y se organiza siguiendo principios de secuencialidad y progresión de los aprendizajes
(Hughes, 1996; Prieto et.al., 2002). Estos principios implican que cada experiencia de
aprendizaje se funda sobre aquella que la precede (Tyack, 1974; Tyler, 1971;1973). Los
contenidos son secuenciados por expertos en la disciplinas y se basa en la lógica propia de cada
materia a enseñar definiendo un orden apropiado en el que los conceptos debieran ser
presentados a los aprendices (Talanquer, 2013). Más recientemente con las llamadas
progresiones de aprendizaje, las secuencias definidas por expertos son validadas empíricamente
(Dusch et.al., 2011; Corcoran et.al., 2009; Fortus & Krajcik, 2012).
El currículum presenta por lo tanto una secuencia y un ritmo con el que el colegio y los docentes
de un sistema deben enfrentar el aprendizaje de sus estudiantes organizados en cursos por
edades (age-grading) (Cuban, 2012; Tyack&Tobin, 1994). Sin embargo, los estudiantes son
diversos, en términos del capital cultural de sus familias de origen (Bourdieu & Passeron, 1977),
su conocimiento previo (Bransford, 2000), etapa de desarrollo (Bruner, 1966), y características
individuales (Bloom, 1976; Bruner, 1966), lo que puede incidir en que distintos estudiantes
manejen y enfrenten los conocimientos curriculares con estilos y ritmos diferentes (Bruner,
1966).
Los países han enfrentado de distintas maneras la necesidad de impartir un currículum común y
al mismo tiempo atender la heterogeneidad de los estudiantes. En general existen dos sistemas;
el sistema de separación (“separation system”) donde los estudiantes se separan de forma
temprana en caminos educativos diferentes después de la primaria (Mons, 2007; Dupriez et.al.,
2008; Goos et.al, 2013) y el sistema comprensivo (“comprehensive system”) donde existe un
currículum común hasta los 14 o 16 años. En el segundo sistema, Mons (2007) distingue tres
modelos para abordar las diferencias. El modelo de integración a la carta (“à-la-carte
integration model”) adoptado por países como Canadá, Estados Unidos y Australia, donde los
estudiantes son agrupados por grupos de habilidad dentro o entre clases. El modelo
individualizado (“individualized model”) desarrollado por países como Finlandia, Dinamarca y
Noruega, que aplican formas de diferenciación basadas en la enseñanza personalizada y apoyos
especiales para que los estudiantes logren manejar el mismo currículum a un ritmo similar.
Finalmente, el sistema de integración uniforme (“uniform integration model”) presente en la
mayoría de los países Latinos (Francia, España, Portugal, Argentina y Chile entre otros) en que
todos los estudiantes experimentan los mismos patrones de enseñanza y forman un núcleo
común. En este tipo de sistemas es mediante la repetición de año que se regulan los distintos
ritmos y que se separan aquellos que no alcanzan el nivel requerido (Dupriez, 2010).
Considerando lo anterior, surge la pregunta por la efectividad de los distintos sistemas
educativos para lograr el aprendizaje de un curriculum común. Esta investigación propone una
manera de analizar esta pregunta por medio de estudiar su nivel de efectividad en términos del
porcentaje de estudiantes cuya edad curricular (i.e., los conocimientos y habilidades que
efectivamente dominan) coincide con el año académico en que se encuentran. Ello permite
conocer hasta qué punto los sistemas respetan el principio de secuencialidad del aprendizaje a
1
partir del cual se construye el curriculum nacional para hacer avanzar a los estudiantes a lo largo
del mismo. Desde esta perspectiva, se estudió el sistema de integración uniforme implementado
en Chile (Dupriez et.al., 2008; Dupriez, 2010) donde hay una gran heterogeneidad entre
estudiantes, tanto en términos académicos como socioeconómicos y culturales (OECD,
2012:2013; Dupriez, 2010). Más específicamente, se buscó responder las siguientes preguntas
de investigación: ¿En el sistema chileno coincide la edad curricular efectiva con el año
académico de los estudiantes al final del segundo ciclo escolar (8º básico)?, ¿Cuál es la
consecuencia en el tiempo de la falta de coincidencia? y ¿Es posible comparar en forma objetiva
la coincidencia de edad curricular efectiva con el año académico de los estudiantes para
distintos tipos de administración (e.g. público vs privado) o grupos (e.g. género, nivel
socioeconómico) dentro del sistema chileno? Para estudiar las primeras dos preguntas se
propone una nueva metodología de análisis. Para responder a la tercera pregunta, se propone un
índice basado en una medida de dispersión estadística.
Para responder a la primera pregunta sobre la vinculación entre la edad curricular efectiva y el
año académico de los estudiantes en el sistema chileno, se analizaron los datos de 8º basico de
Matemática y Lenguaje el año 2011 del Sistema de Medición Chileno (SIMCE) que se aplica a
todos los estudiantes de Chile1. Este mide los conocimientos y habilidades fundamentales a ser
aprendidas para el segundo ciclo básico (5º a 8º básico) (Mineduc, 2009). La muestra final
consistió en un total de 183,243 estudiantes que dieron las pruebas nacionales (SIMCE) de 4º y
8º básico, corresponiente a la cohorte que en el año 2007 se encontraba en 4º básico y en 2011
en 8º básico. Conocer los datos de 4º básico es relevante para contestar nuestra segunda
pregunta de investigación.
Expertos curriculares clasificaron las preguntas de la prueba SIMCE de 8º básico según el año
académico en que las materias respectivas se debieran trabajar según lo especificado en el
currículo, entre 5º y 8º básico. Si bien las preguntas podían corresponder a habilidades y
conocimientos aprendidos en años anteriores, el contexto de aplicación del ítem era propio al
nivel escolar en que se encontraban los estudiantes al momento de realizar la prueba (8º básico).
También a partir de criterio experto, se definió que en el marco de la prueba general el número
mínimo de preguntas a través del cual debía considerarse el dominio de cada año académico,
debía ser de seis o más preguntas, para lo cual fue necesario combinar en pares algunos niveles
que tenían una cantidad menor de preguntas.
Para determinar el nivel de mínimo de éxito necesario para cada año académico, se utilizó como
referencia los criterios establecidos en los estándares de aprendizaje respectivos definidos a
nivel nacional (Mineduc, 2012). Específicamente, se tomó el nivel “Adecuado” en la prueba,
definido como cuando “se han adquirido los conocimientos y habilidades básicas estipulados en
el currículum para el periodo evaluado”2 (Mineduc, 2013). En base a este criterio, se calculó el
porcentaje de respuestas correctas que determinan si el estudiante logró el nivel adecuado. Para
ello, primero, se calculó el porcentaje de respuestas correctas para cada forma de la prueba de
Matemática y Lenguaje, y luego, para cada año académico, considerando además el nivel de
dificultad de cada pregunta (para detalles de la metodología ver Anexo).
La clasificación de un alumno según el último año que logra dominar, se basó en el supuesto del
currículum chileno de que existe una secuencia de aprendizaje, donde es probable que un
alumno que reprueba un nivel establecido, tenga dificultades para dominar los siguientes
niveles. En efecto, esta condición de secuencialidad se cumplió en la prueba SIMCE de
Matemática en el 87,3% de los estudiantes y en la prueba SIMCE de Lenguaje en el 76,4% de
los estudiantes.
1
http://www.agenciaeducacion.cl/simce/que-es-el-simce/
2
Estándares de Aprendizaje Matemática 8º básico - Decreto 129_2013
2
Considerando que algunos alumnos no cumplían con la condición de secuencialidad se
definieron las siguientes reglas para determinar la edad curricular, dentro del rango definido (5º
a 8º), para cada alumno:
1. Si un alumno no dominó dos o más niveles académicos, se consideró que reprobó desde
el primer nivel que falló.
2. Si un alumno dominó dos a más niveles académicos consecutivos, se consideró que
dominó hasta el último nivel que logró aprobar.
Los resultados de este análisis se muestran en la Figura 1a que ilustra la distribución de la edad
curricular para Matemática y la Figura 1b para Lenguaje. Los resultados muestran que a nivel
nacional sólo 1 de cada 4 estudiantes tenía la edad curricular esperada en Matemática, y menos
de la mitad en Lenguaje. Adicionalmente se observa que en Matemática el 64% de estudiantes,
y en Lenguaje un 39% de estudiantes no dominaba ninguno de los años académicos evaluados y
por lo tanto tenían una edad curricular efectiva menor a 5º y 4-5º año básico respectivamente
(las diferencias en el año base se deben a la necesidad de agrupar en dos años en el caso de
Lenguaje).
Figuras 1 Distribución por año académico alcanzado por los estudiantes de 8º en SIMCE
matemática 2011 (1a) y SIMCE lenguaje 2011 (1b)
Figura 1a
Figura 1b
Para responder a la segunda pregunta, sobre las consecuencias de que no exista coincidencia
entre la edad curricular efectiva y el año académico de los estudiantes, se consideró si un
estudiante había logrado un nivel “adecuado” (calculado siguiendo la metodología descrita
antes), tanto para Matemática como para Lenguaje, en el SIMCE de 4º básico, que mide el
primer ciclo (1º- 4º), y en el SIMCE de 8º básico que mide el segundo ciclo (5º-8º). Para esto se
analizaron los resultados de la cohorte de estudiantes que rindió la prueba SIMCE Matemática y
Lenguaje de 4º básico el año 2007 y de 8º básico el año 2011.
La Tabla 1a para Matemática y 1b para lenguaje muestran los resultados de aprobaciónreprobación en la prueba SIMCE de 8º básico considerando el rendimiento previo del alumno en
términos de aprobación-reprobación en SIMCE 4º. Se observa como para la gran mayoría no
dominar bien conocimientos previos tiene consecuencias en su rendimiento futuro (63.3% en
Matemática y 46,5% en lenguaje). De manera consistente con otros estudios, estos resultados
muestran que no respetar la secuencialidad de los aprendizajes termina acumulando rezago en
los estudiantes que sólo una minoría de casos logra recuperar (Pritchett & Beatty, 2012); 9.4%
en Matemática y 17.1% en Lenguaje en nuestra muestra de estudio.
3
Tablas 1: Resultados de aprobación prueba SIMCE Matemática (1a) y Lenguaje (1b) de 8º básico
en base a desempeño 4º básico
Tabla 1a
Tabla 1b
Matemática%
Lenguaje %
4th OK-8th OK
15,7
4th OK-8th OK
27,7
4th FAIL-8th OK
9,4
4th FAIL-8th OK
17,1
4th OK-8th FAIL
8,6
4th OK-8th FAIL
8,7
4th FAIL-8th FAIL
66,3
4th FAIL-8th FAIL
46,5
Para responder a la tercera pregunta, si es posible comparar en forma objetiva la coincidencia de
edad curricular efectiva con el año académico de los estudiantes, se creó un índice basado en el
principio de la secuencialidad del dominio curricular que llamaremos Índice de Logro
Curricular (ILC) o Curriculum Achievement Index (CAI), y que se describe en el Anexo.
Para ejemplificar el CAI se analizaron distintas distribuciones en SIMCE 8º de Matemática y
Lenguaje y se calcularon sus respectivos CAI. Así, las Figuras 2a y 2b comparan la distribución
según el tipo de colegio (público o privado) al que asisten. Las Figuras 3a y 3b el género de los
alumnos, y las Figuras 4a y 4b el nivel socioeconómico de sus familias. Por otro lado, la Tabla 2
presenta el CAI para cada uno de estos casos. Los datos corresponden al caso S = 4 de modo
que el mínimo corresponde a un CAI de 0,25 y el máximo a 1.
Figuras 2: Distribución por año académico alcanzado en SIMCE Matemática (2a) y Lenguaje (2b)
de estudiantes de 8º, según tipo de colegio al que asiste (2011)
80
70
60
50
40
30
20
10
0
Figura 2b
Publico
Privado
(≤)4ºb
5ºb
6ºb
7-8ºb
Año académico alcanzado
Porcentaje de estudiantes
Porcentaje de estudiantes
Figura 2a
80
70
60
50
40
30
20
10
0
Público
Privado
(≤)3ºb
4-5ºb
6-7ºb
8ºb
Año académico alcanzado
Figuras 3: Distribución por año académico alcanzado en SIMCE Matemática (3a) y Lenguaje (3b)
de estudiantes de 8º, según género (2011)
Figura 3a
Figura 3b
4
Porcentaje de estudiantes
Porcentaje de estudiantes
80
70
60
50
40
30
20
10
0
Masculino
Femenino
(≤)4ºb 5ºb
6ºb 7-8ºb
Año académico alcanzado
80
70
60
50
40
30
20
10
0
Masculino
Femenino
(≤)3ºb 4-5ºb 6-7ºb 8ºb
Año académico alcanzado
Figuras 4: Distribución por año académico alcanzado en SIMCE Matemática (4a) y Lenguaje (4b)
de estudiantes de 8º, según nivel socioeconómico (2011). A. First quintille, B: Second quintille, C:
Third quintille, D: Fourth quintille, E: Fifth quintille
Figura 4b
90
80
70
60
50
40
30
20
10
0
E
D
C
B
(≤)4ºb
5ºb
6ºb
A
7-8ºb
Porcentaje de estudiantes
Porcentaje de estudiantes
Figura 4a
80
70
60
50
40
30
20
10
0
E
D
C
B
(≤)3ºb
Año académico alcanzado
4-5ºb
6-7ºb
A
8ºb
Año académico alcanzado
Tabla 2: Índice de Logro Curricular en Matemática o Lenguaje 2008 por característica del sistema
o grupo
Caracter
ística del
sistema
o grupo
Tipo de Colegio
Nacional
Público
Género
Privado
Femenino
Nivel socioeconómico
Masculino
Primer
quintil
Quinto
quintil
SIMCE
2008
Mat
Leng
Mat
Len
g
Mat
Len
g
Mat
Len
g
Mat
Len
g
Mat
Len
g
Mat
Len
g
CAI
0,48
0,65
0,45
0,63
0,81
0,86
0,46
0,67
0,5
0,62
0,81
0,86
0,35
0,53
Observamos que el sistema chileno presenta importantes diferencias de logro curricular entre
estudiantes que asisten a colegios públicos y a colegios privados y que pertenecen a distinto
nivel socioeconómico. Por otra parte, las diferencias de género son comparativamente leves,
aunque se observa la tendencia a que las mujeres tengan un mejor logro que los hombres en
lenguaje y peor en Matemática, como ocurre en varios otros países (OECD, 2013). El ILC o
CAI permite además comparar los niveles de logro del sistema educativo entre asignaturas,
grupos o tipos de administración. Por ejemplo, se observa que el nivel de logro del sistema
educativo nacional es mayor en Lenguaje que en Matemática y que la diferencia entre el sistema
público y el privado es mayor en Matemática que en Lenguaje (Tabla 4).
5
En síntesis, analizar los resultados del sistema educativo en términos de la coincidencia entre la
edad curricular y el año académico de los estudiantes, permite conocer su efectividad para
transmitir un currículum común respetando el principio de secuencialidad de los aprendizajes.
Al aplicar esta mirada al caso chileno, los resultados muestran primero, una preferencia del
sistema educativo por promover a la mayoría de los estudiantes a través del mismo, sin asegurar
el dominio de los conocimientos y habilidades fundamentales definidos para cada año
académico. Segundo, al comparar grupos y tipos de colegios utilizando el CAI propuesto, se
observa un peor rendimiento del sistema público (al que asiste el 92,4% de los estudiantes) en
relación al privado tanto en Matemática como en Lenguaje, y del nivel socioeconómico más
bajo en relación al alto. Parte del problema se puede vincular a que el sistema no considera
mecanismos para tratar la heterogeneidad de los estudiantes que recibe, como lo hacen otros
países como Finlandia (Halinen & Ritva, 2008; Sahlberg, 2012) o Noruega. Considerar esta
problemática es particularmente relevante en países como Chile, donde existen grandes
diferencias en el capital cultural con que llegan los estudiantes al sistema y que parecen ser
reforzadas a lo largo de los años (Rosas, 2013).
Finalmente, este estudio propone el CAI, que al ser construido en base a las definiciones
nacionales de secuencialidad curricular y representar el logro en una medida de dispersión
estadística, permite comparar los resultados entre sistemas educativos y grupos de forma
independiente de los objetivos que se hayan planteado.
Es importante señalar que una limitación de este estudio es que utilizó datos de pruebas
estandarizadas que no fueron diseñadas para medir el nivel de logro por año o secuencia escolar.
En ese sentido pruebas construidas para medir logro secuencial proveerían de datos más
precisos.
Agradecimientos
Este trabajo conto con el apoyo del Centro de Estudios de Políticas y Practicas en Educación
(CEPPE) CONICYT-CIE01
Referencias
1. Education for all. The quality imperative (UNESCO, Paris, France, 2004).
2. J. Boli, F.O. Ramirez, W. J. Meyer, Explaining the origins and expansion of mass
education. Comparative Education Review, 29 (2), 145-170 (1985).
3. M. Hughes, Progression in Learning (Multilingual Matters, England, 1996).
4. T. Prieto, A. Blanco, V. Brero, La progresión en el aprendizaje de dominios específicos:
una propuesta para la investigación. Enseñanza de las Ciencias. 20(1), 3-14 (2002).
5. D.B. Tyack, The one best system: a history of American urban education (Harvard
Univ. Press, Cambridge, Mass., 1974).
6. R.W. Tyler, Basic principles of curriculum and instruction (University of Chicago
Press, Chicago, London, 1971).
7. R.W. Tyler, The curriculum- then and now. The Elementary School Journal, 57(7)
(1973).
8. V. Talanquer, Progresiones de aprendizaje: promesa y potencial. Educ. quím., 24(4),
362-364 (2013).
9. R. Duschl, S. Maenga, A. Sezenb, Learning progressions and teaching sequences: a
review and analysis. Studies in Science Education. 47 (2), 123–182 (2011).
10. T. Corcoran, F.A. Mosher, A. Rogat, Learning progressions in science. An evidencebased approach to reform. CPRE Research Report # RR-63 (2009).
11. D. Fortus, J. Krajcik, in Second International Handbook of Science Education, B.J.
Fraser, K.G.Tobin, C.J. McRobbie, Eds. (Springer International Handbooks of
Education, 2012), chap. 52.
6
12. L. Cuban, A successful reform: The age-graded school. (2012). Retrieved february 2013
from: http://larrycuban.wordpress.com/2012/02/01/a-successful-school-reform-the-agegraded-school-part-1-2/#_ednref
13. D. Tyack, W. Tobin, The “grammar” of schooling: Why has it been so hard to change?
American Educational Research Journal, 31(3), 453-47 (1994).
14. P. Bourdieu, J-C, Passeron, Reproduction in education, society and culture (Sage
Publications, London, 1977).
15. J. Bransford, National Research Council (U.S.), Committee on Developments in the
Science of Learning, National Research Council (U.S.) & Committee on Learning
Research and Educational Practice. How people learn: brain, mind, experience, and
school (National Academy Press: Washington, DC, 2000).
16. J.S. Bruner, Toward a theory of instruction (Belknap Press of Harvard Univ.,
Cambridge, Mass, 1966).
17. B.S Bloom, Human characteristics and school learning (McGraw-Hill, New York,
1976).
18. N. Mons, Les nouvelles politiques éducatives: La France fait-elle les bons choix?
(Presses Universitaires de France, Paris, 2007).
19. V. Dupriez, X. Dumay, A. Vause, How do school systems manage pupils’
heterogeneity? Comparative Education Review, 52(2), 245-273 (2008).
20. M. Goos, B.M Schreier, H.M.E Knipprath, B.D Fraine, J.V Damme, U. Trautwein,
How can cross-country differences in the practice of grade retention be explained? A
closer look at national educational policy factors. Comparative Education
Review, 57(1), 54-84 (2013).
21. V. Dupriez, Methods for grouping learners at school. Fundamentals of educational
planning. Nº93 (IIEP/UNESCO, Paris, 2010).
22. Equity and quality in education: supporting disadvantaged students and schools,
(OECD, OECD Publishing, 2012).
23. PISA 2012 results: excellence through equity: giving every student the chance to
succeed (Volume II) (OECD, OECD Publishing, 2013).
24. “Informe de resultados nacionales 2011” (Ministerio de Educación-Unidad de
Currículum y Evaluación-SIMCE, Santiago, 2011).
25. Mineduc 2013a
26. Mineduc2013b
27. L. Pritchett, A. Beatty, The negative consequences of overambitious curricula in
developing countries (Faculty Research Working Paper Series, Harvard Kennedy
School, 2012; http://ssrn.com/abstract=2235869).
28. I. Halinen, J. Ritva, Towards inclusive education: the case of Finland. Prospects, 38(1),
77-97 (2008).
29. P. Sahlberg, A model lesson. Finland shows us what equal opportunity looks like.
American Educator (Spring 2012).
30. D. Nusche, L. Earl, W. Maxwell, C. Shewbridg, OECD Reviews of Evaluation and
Assessment in Education Norway. (OECD, Paris, 2011).
31. R. Rosas, C. Santa Cruz, Dime en qué colegio estudiaste y te diré qué CI tienes.
Radiografía al desigual acceso al capital cognitivo en Chile (Ediciones Universidad
Católica de Chile, Santiago, 2013).
Anexo: Definición del CAI
7
ANEXO
METODOLOGÍA DE CLASIFICACIÓN DE ESTUDIANTES SEGÚN DOMINIO
CURRICULAR
Resultados SIMCE analizados
El estudio analiza los resultados de la prueba SIMCE de Matemática y Lenguaje de 8º 2011, la
cual evaluó los conocimientos y habilidades principales establecidos en el currículum nacional
para el segundo ciclo básico (5º a 8º básico) (Decreto Nº 256 del año 2009). Ambas pruebas
estaban dividas en cuatro formas distintas equivalentes, lo que permite asegurar la cobertura de
todos los contenidos curriculares necesarios a evaluar (Agencia de Calidad de la Educación,
2014).
Clasificación de las preguntas
El proceso de clasificación de las preguntas de la prueba fue realizado por expertos en las dos
áreas curriculares, quienes a partir de descriptores de las preguntas entregados por la Agencia de
Calidad, determinaron el año académico en que era enseñado el contenido abarcado por cada
pregunta. Así, a cada pregunta se le asignó un año de enseñanza, el cual representa el año o
nivel académico en el cuál se trabajan los contenidos y habilidades evaluados por la pregunta.
Ello permitió clasificar el desempeño de cada estudiante en la prueba por medio de calcular su
porcentaje de acierto en las preguntas pertenecientes a cada año de enseñanza. Así se
identificaron los contenidos que realmente lograron dominar los alumnos para, de este modo,
clasificarlos según el último año académico que lograron dominar, es decir, lo que hemos
llamado su “edad escolar”.
Las Tablas 1 y 2 muestran la distribución de las preguntas de la prueba de Matemática y
Lenguaje según la clasificación realizada. Es importante tomar en cuenta sin embargo, que la
clasificación realizada no representa necesariamente el nivel de dificultad de la pregunta, en el
sentido de que si bien son habilidades y conocimientos aprendidos en años anteriores, estos son
aplicados y respondidos en preguntas cuyo contexto es propio al nivel escolar en que se
encontraban los estudiantes al momento de realizar la prueba, es decir en el caso estudiado,
alumnos de 8º básico.
Tabla ¡Error! No hay texto con el estilo especificado en el documento.- Distribución de las preguntas
del SIMCE de Matemática de 8º 2011 según el año de enseñanza y la forma
5ºb
6ºb
7ºb
8ºb
C
10
10
12
4
D
10
12
12
5
E
9
13
10
7
G
10
12
12
5
Promedio
10
12
12
5
Tabla 1- Distribución de las preguntas del SIMCE de Lenguaje de 8º 2011 según el año de
enseñanza y la forma
4ºb
5ºb
6ºb
7ºb
8ºb
H
5
3
5
5
13
I
7
5
6
0
15
J
6
2
4
1
22
K
2
2
6
0
16
Promedio
5
3
5
2
17
8
Como se puede apreciar en la Tabla 1, en la prueba de Matemática las preguntas clasificadas
como de 8º básico parecen ser muy pocas para poder atribuir un dominio del año escolar. Lo
mismo ocurre para las preguntas clasificadas como de 4º, 5º, 6º y 7º en la prueba de Lenguaje
(Tabla 2). Por lo tanto, para mejorar la calidad de los resultados, en base a criterio experto, se
decidió combinar en pares los niveles que tenían una cantidad de preguntas insuficientes. Se
generaron de este modo niveles de dos años seguidos, como el nivel 7-8º básico para la prueba
de Matemática, y los niveles 4-5º básico y 6-7º básico para la prueba de Lenguaje. Estos nuevos
niveles constan de al menos 7 preguntas, lo que permite una clasificación más correcta de los
alumnos. La nueva distribución de las preguntas de la prueba de Matemática y Lenguaje con las
modificaciones realizadas se muestra en la Tabla 3 y la Tabla 4 respectivamente.
Tabla 2 - Distribución de las preguntas del SIMCE de Matemática de 8º 2011 según el año de
enseñanza y la forma, combinando niveles
5ºb
6ºb
7º-8ºb
C
10
10
16
D
10
12
17
E
9
13
17
G
10
12
17
Promedio
10
12
17
Tabla 4- Distribución de las preguntas del SIMCE de Lenguaje de 8º 2011 según el año de
enseñanza y la forma, combinando niveles
4º-5ºb
6º-7ºb
8ºb
H
8
10
13
I
12
6
15
J
8
5
22
K
4
6
16
Promedio
8
7
17
Estándares mínimos de dominio
Al tener las preguntas ya clasificadas, se procedió a determinar los niveles de éxito para las
preguntas de cada año académico. Esto quiere decir, definir el porcentaje mínimo de las
preguntas de cada uno de los años académicos establecidos, que debe ser alcanzado para
determinar que el alumno logró dominar el año académico en cuestión. Debido a que la prueba
SIMCE evalúa cuatro años escolares, es evidente que no puede medir la totalidad de los
contenidos de cada uno de ellos, por lo que realiza un filtro sobre los contenidos más
importantes a evaluar. Sin embargo, de acuerdo a su propia definición, los contenidos
seleccionados son aquellos considerados como fundamentales a ser aprendidos en cada año
(Mineduc, 2009), por lo que el dominio de estos contenidos puede considerase una
aproximación al dominio del año académico en cuestión.
Para determinar el porcentaje de preguntas correctas necesarias para considerar como logrado
cada año académico, se utilizó como referencia los criterios establecidos en los estándares de
aprendizaje de la entidad a cargo de la prueba SIMCE, esto es, la Agencia de Calidad de la
Educación. Específicamente, se tomó el nivel denominado como “Adecuado” como nivel
mínimo de éxito o de dominio del año académico. Según la definición de la propia Agencia de
Calidad de la Educación:
9
“Los estudiantes que alcanzan este Nivel de Aprendizaje han logrado lo exigido en el
currículum de manera satisfactoria. Esto implica demostrar que han adquirido los
conocimientos y habilidades básicos estipulados en el currículum para el periodo evaluado”.3
Este nivel de aprendizaje adecuado se alcanza con un puntaje de 297 puntos para la prueba de
Matemática y de 292 puntos para la de Lenguaje. Con estos valores como referencia se procedió
a determinar el porcentaje de éxito para cada forma de la prueba de Matemática y de Lenguaje.
Para esto se utilizó la información presente en la base de datos con el puntaje obtenido por cada
alumno. Al tener más de 200.000 casos, fue posible encontrar para las 4 formas, alumnos cuyas
respuestas fueron todas incorrectas, así como alumnos que respondieron correctamente la
totalidad de la prueba. Con esto se determinó el puntaje mínimo de la prueba, el cual consiste en
el puntaje base del cual parten todos los alumnos, así como el puntaje máximo que el alumno
puede obtener al responder correctamente todas las preguntas. Ambos valores variaron según la
forma de la prueba, tanto para Matemática como para Lenguaje. Con estos puntajes definidos en
ambas pruebas, se calculó el porcentaje de éxito para cada forma con una simple
proporcionalidad según la siguiente fórmula.
(1)
Sin embargo, dado que existe un puntaje mínimo de la prueba, y por lo tanto dado que los
puntajes no parten de 0, la fórmula finalmente utilizada fue la siguiente.
(2)
Los puntajes obtenidos al igual que los porcentajes de éxito calculados para cada forma de la
prueba de Matemática y de Lenguaje son presentados en la Tabla 5 y la Tabla 6
respectivamente.
Tabla 5- Puntaje máximo, puntaje mínimo y porcentaje de éxito para cada forma de la prueba
SIMCE de Matemática de 8º 2011
Ptje Max
Ptje Min
% Éxito
C
394,84
145,35
60,78
D
395,66
139,84
61,43
E
390,51
146,99
61,60
G
392,97
135,35
62,75
Tabla 6- Puntaje máximo, puntaje mínimo y porcentaje de éxito para cada forma de la prueba
SIMCE de Lenguaje de 8º 2011
Ptje Max
Ptje Min
% Éxito
H
367,17
103,5
71,49
I
367,36
108
70,94
J
375,69
110,18
68,48
K
361,82
105,1
72,80
Si bien la fórmula utilizada permite calcular el porcentaje de éxito global para la prueba de
Matemática y de Lenguaje, este no basta para determinar el nivel de aprendizaje de los alumnos
por año escolar, puesto que se requiere analizar el nivel de dominio de los alumnos sobre cada
3
Estándares de Aprendizaje Matemática 8º básico - Decreto 129_2013
10
uno de los niveles académicos abarcados por la prueba. Esto significa que se debe analizar el
dominio curricular sobre cada subgrupo de preguntas de la prueba, según la clasificación por el
nivel académico. Para realizar esto, el porcentaje de éxito calculado para la prueba serviría si
todas las preguntas tuvieran el mismo valor; sin embargo este no es el caso. En efecto, la
Agencia de Calidad de la Educación, tras un proceso de revisión con expertos en el área
curricular, le otorga un puntaje distinto a cada pregunta de la prueba según el contenido
abarcado, así como a la cantidad de aciertos obtenido por los alumnos, es decir la dificultad del
ítem. Por lo tanto fue necesario determinar un porcentaje de éxito para cada nivel académico,
considerando la dificultad de las preguntas que lo componen, nuevamente diferenciando para
cada una de las formas de la prueba.
Para calcular estos porcentajes de éxito para cada año académico, fue necesario determinar el
valor de cada una de las preguntas de la prueba. Para obtener estos valores se utilizó
nuevamente la base de datos generada, y se realizó un análisis exhaustivo sobre los puntajes
obtenidos por cada alumno. Este análisis consistió en revisar en la base de datos el puntaje
máximo, obtenido con todas las preguntas correctas, y se iteró seleccionando individualmente
cada una de las preguntas para comparar el puntaje máximo de la prueba con el puntaje obtenido
por los alumnos cuya única respuesta incorrecta fuera la pregunta seleccionada. De este modo,
con una simple resta, se pudo determinar el valor de cada una de las preguntas. Fue posible
encontrar alumnos con todas las combinaciones de respuestas correctas necesarias gracias a la
gran cantidad de datos con los que se contaba.
Este proceso fue realizado para cada una de las formas de la prueba de Matemática y de
Lenguaje. Con esto, se ordenaron las preguntas según sus puntajes, dándole un valor mayor a
las preguntas con mayor dificultad. De este modo, se pudo ajustar el porcentaje de éxito para
cada nivel académico, según el valor de las preguntas contenidas. Esto significa que a mayor
dificultad de las preguntas de un nivel académico, menor el porcentaje de éxito necesario para
atribuir un dominio del nivel. Los resultados de los porcentajes de éxito según el año académico
de las preguntas de la prueba de Matemática y de Lenguaje se muestran en las Tablas 7 y 8,
respectivamente.
Tabla 7- Porcentaje de éxito para las preguntas del SIMCE de Matemática de 8º 2011 según el año
de enseñanza y la forma
5ºb
6ºb
7º-8ºb
C
53,79%
58,49%
64,98%
D
55,35%
59,73%
67,13%
E
58,76%
61,69%
63,15%
G
63,96%
56,95%
66,80%
Tabla 8- Porcentaje de éxito para las preguntas del SIMCE de Lenguaje de
8º 2011 según el año de enseñanza y la forma
4º-5ºb
6º-7ºb
8ºb
H
68,76%
76,41%
64,47%
I
80,21%
75,69%
63,93%
J
62,43%
76,53%
69,46%
K
67,48%
69,22%
62,29%
Condiciones de clasificación
Luego de tener los porcentajes mínimos de éxito definidos, se procedió a definir las condiciones
de clasificación de los alumnos según el último año que lograron dominar. La primera
11
aproximación que uno podría pensar es en un sistema de etapas donde al dominar el nivel
académico más básico se puede revisar el dominio del siguiente nivel, y así sucesivamente,
determinando el nivel alcanzado por el alumno como el último año de enseñanza que logró
dominar, lo que hemos llamado, su “edad curricular”. Este tipo de clasificación parte del mismo
supuesto a la base del currículum nacional, de que existe una secuencia de aprendizaje, donde
un alumno que reprueba un nivel establecido, tendrá dificultades para dominar los siguientes
niveles. La Figura 1 muestra cómo sería esta clasificación para la prueba de Matemática.
Figura 1- Condiciones básicas de clasificación del nivel alcanzado por los alumnos de 8º 2011 en
Matemática
 5ºb
()
4to
 6ºb
 5ºb
 6ºb
5to
 7-8ºb
6to
 7-8ºb
7-8vo
Sin embargo, si bien en la mayoría de los alumnos se cumple este principio, hay algunos que no
siguen este patrón. En efecto, alrededor de un 12% de los alumnos en la prueba de Matemática,
y un 22% en la prueba de Lenguaje, no sigue esta secuencia “normal” de aprendizaje, pudiendo
reprobar un nivel y superar el nivel siguiente. Esto puede deberse a diversos factores, como el
azar presente en las pruebas de selección múltiple, las facilidades de recordar ciertos temas más
cercanos, los errores accidentales, o simplemente ciertas características de estos tipos de
alumnos que lograron dominar un nivel más avanzado pese a no tener un aprendizaje completo
en niveles anteriores.
De este modo, complementando la primera idea de clasificación, se decidió generar ciertas
reglas que consideren este fenómeno, y permitan clasificar a estos casos excepcionales que
siguieron un patrón distinto al de la secuencialidad de aprendizajes. Estas reglas son las
siguientes:
1.
Si un alumno no dominó dos o más niveles académicos, se consideró que reprobó desde
el primer nivel que falló.
2.
Si un alumno dominó dos a más niveles académicos, se consideró que dominó hasta el
último nivel que logró aprobar.
Con estas consideraciones, se confeccionó el árbol final de decisión, el cual permite clasificar a
los alumnos según su dominio en los distintos años académicos. Las Figuras 2 y 3 muestran las
condiciones establecidas para la prueba de Matemática y Lenguaje respectivamente.
Figura 2- Condiciones de clasificación del nivel alcanzado por los alumnos de 8º 2011 en
Matemática
12
 6ºb
 5ºb
 6ºb
 6ºb
 5ºb
 6ºb
 7-8ºb
()
4to
 7-8ºb
()
4to
 7-8ºb
()
4to
 7-8ºb
7-8vo
 7-8ºb
5to
 7-8ºb
7-8vo
 7-8ºb
6to
 7-8ºb
7-8vo
Figura 3- Condiciones de clasificación del nivel alcanzado por los alumnos de 8º 2011 en Lenguaje
 6-7ºb
 4-5ºb
 6-7ºb
 6-7ºb
 4-5ºb
 6-7ºb
 8ºb
()
3ro
 8ºb
()
3ro
 8ºb
()
3ro
 8ºb
8vo
 8ºb
4-5to
 8ºb
8vo
 8ºb
6-7mo
 8ºb
8vo
Finalmente, se analizaron los resultados individuales obtenidos por cada estudiante para
clasificarlos en determinada edad escolar (de 3 a 8 años), según su dominio de los contenidos
curriculares de cada año académico.
13
CURRICULAR ACHIEVEMENT INDEX (CAI)
Consider a cohort of N children being tested for curricular achievement. Suppose they are
grouped in S sequential segments according to the curriculum level they have reached, so that
reached level 1
“
2
“
.
“
The level average of the cohort is then
{
}
(1)
where
. Notice that in the optimal case when everyone in the cohort
has reached the highest level,
and
, while for
the worst case when the population has not progressed beyond the lowest level,
and
We define the Curriculum Achievement Index as the
normalized level average,
(2)
)
a positive number that conveniently covers the range 1/S≤ CAI ≤ 1 , so that (
while
(
)
. The advantage of this measure is that the optimal figure has a universal
character and is not dependent on the number of levels involved as is the simple level average
(1).
14