Retos y limitaciones de las evaluaciones estandarizadas de comprensión lectora en lenguas originarias Fernando Llanos Evaluación Censal de Estudiantes (ECE) Comprensión lectora Estudiantes de Segundo grado de primaria que reciben educación en lengua castellana. Matemática (ECE) Evaluación Censal de Estudiantes Unidad deMedición de laCalidad Educativa Estudiantes de Cuarto grado de Primaria de IE EIB que aprenden a leer y escribir en su lengua materna originaria y en castellano como segunda lengua. Comprensión lectora • Lenguas originarias • Castellano como segunda lengua Evaluación Censal de Estudiantes EIB (ECE - EIB) Unidad deMedición de laCalidad Educativa Consideraciones para la ECE - EIB Población evaluada Estudiantes de cuarto grado de primaria que tienen una lengua materna originaria y asisten a una Institución Educativa (IE) de Educación Intercultural Bilingüe (EIB) con cinco o más estudiantes. Definición de las IE EIB En la Evaluación Censal de Estudiantes, se considera IE EIB a aquellas que atienden a los estudiantes que tienen una lengua materna originaria, y en las que los docentes enseñan a leer y escribir en su lengua y en castellano como segunda lengua, según lo declarado por el director de la IE. Prueba de comprensión lectora en lenguas originarias Unidad deMedición de laCalidad Educativa Enfoque de Comprensión lectora Proceso cognitivo y sociocultural de interacción entre los saberes previos y el texto para construir el sentido de un texto. Es una competencia que implica tres capacidades fundamentales: literal, inferencial y crítica. Unas capacidades no necesariamente son más difíciles unas que las otras. Depende de la forma y el contenido del texto y de los propósitos del lector. La competencia de comprensión lectora implica diversidad de textos y de soportes: notas, anécdotas breves, narrativos, descriptivos, argumentativos, avisos, noticias, expositivos, instructivos, etc. en soportes impresos y virtuales. Unidad deMedición de laCalidad Educativa Evaluación Censal en Comprensión lectora Es una prueba de lápiz y papel Es una prueba de opción múltiple Es una prueba distribuida en dos partes. Cada parte contiene 3 oraciones, 1 notas breve y 4 textos. Asimismo, contiene 20 preguntas. Tiempo de la aplicación de cada parte de la prueba: 45 minutos + 10 minutos adicionales. Aplicadores capacitados para explicar las instrucciones de cómo marcar las preguntas y seguir procedimientos estandarizados en una evaluación a gran escala. Unidad deMedición de laCalidad Educativa Evaluación Censal en Comprensión lectora Solo evalúa dos capacidades fundamentales: literal e inferencial. Diversidad textual es limitada: notas, anécdotas breves, narrativos, descriptivos, avisos, noticias, instructivos. Retos en la elaboración de textos académicos en las pruebas (y, más aún, en cualquier libro de texto) en lenguas originarias Unidad deMedición de laCalidad Educativa Textos Búsqueda de información 1. Fuentes: Libros, revistas, páginas web, tradición oral de las comunidades. Criterios de búsqueda Cercana a la cultura local, y con información nueva para los estudiantes. Ajena a su contexto, y con pistas suficientes para conocer información nueva. Adecuados a la edad y al grado de los estudiantes. Unidad deMedición de laCalidad Educativa 1. Búsqueda de información Ausencia o escasez de textos descriptivos, expositivos e instructivos escritos en lenguas originarias Ausencia de noticias escritas en lenguas originarias. Necesidad de buscar información académica escrita en castellano sobre temas locales Necesidad de buscar información noticiosa escrita en castellano sobre hechos ocurridos en algunas comunidades o localidades Unidad deMedición de laCalidad Educativa Textos 2. Creación y adaptación de textos Diversidad: textual y temática Criterios de elaboración Redacción clara, estructuras básicas de los tipos textuales planteados, uso de normalizaciones lingüísticas Temas propios de la cultura local de forma predominante, con información nueva para los estudiantes. Temas nacionales y de otros contextos Unidad deMedición de laCalidad Educativa 2. Creación y adaptación de los textos Los especialistas tienen que crear textos y no solamente adaptarlos a la lengua. Los textos son adaptados también en castellano para su discusión y revisión: pertinencia temática de acuerdo al grado y a la edad; motivadores; asegurar conocimientos previos básicos; claridad y orden en la información. Unidad deMedición de laCalidad Educativa 3. Revisión y validación de los textos Criterios: temáticos, sesgo cultural, claridad y orden, normalizaciones, criterios gramaticales y sintácticos, variantes. Especialistas: DIGEIBIR y taller de consultas en regiones con especialistas de lenguas originarias. También se realiza una traducción al castellano de los textos en lenguas originarias para una revisión de otros especialistas de Comunicación. Unidad deMedición de laCalidad Educativa Tensiones Conocimiento local / habilidad lectora: Los temas pueden ser locales, pero no pueden ser demasiado conocidos de modo que los estudiantes lo puedan responder sin leer el texto. Temas nacionales / temas locales: Se puede tratar un tema no local siempre que el texto tenga pistas suficientes para entender la información nueva. Préstamos / refonologizaciones (waka, uwiha) o neologismos Variantes: Sobre todo en quechua Cusco Collao/ influido por quechua Chanka /influido por aimara. En menor proporción en aimara, shipibo y awajún. Enfoque normativista / Enfoque más cercano a lo comunicativo y oral. Retos en la elaboración de items en las pruebas en lenguas originarias Unidad deMedición de laCalidad Educativa Capacidades e indicadores evaluados Capacidades Indicadores Localiza información Reconoce información que se puede encontrar en el texto. Reconoce el orden en que suceden las acciones. Infiere información Deduce relaciones de causa o finalidad. Deduce el tema central. Deduce el propósito del texto. Unidad deMedición de laCalidad Educativa Características de un item Enunciado ¿De qué trata principalmente el texto? a. De la utilidad de la chirimoya b.Del aceite de la chirimoya. Distractores c. Del lugar donde crece la chirimoya Alternativa correcta Unidad deMedición de laCalidad Educativa Proceso de elaboración de items Criterios: El ítem debe estar libre de todo sesgo sociocultural. La opción correcta debe ser solo una, acompañada por distractores plausibles. Se debe emplear los errores posibles y más frecuentes en la resolución del ítem como distractores. Unidad deMedición de laCalidad Educativa Proceso de elaboración de items Criterios: Evite los ítems que pueden contestarse por sentido común Evite los ítems capciosos (contenidos triviales, ambiguos, discriminación fina) Los enunciados y los items deben ser claros y directos (normalizaciones, criterios gramaticales y sintácticos, variantes) Unidad deMedición de laCalidad Educativa Proceso de elaboración de ítems “De qué trata principalmente el texto”. En general, en lenguas originarias se ha adoptado en las pruebas como “De qué trata más el texto”. Hay dificultades para adecuar las alternativas de la pregunta sobre el propósito del autor: contar (de narrar), informar, enseñar a hacer algo, opinar. En lenguas originarias, un mismo término puede significar contar, informar, por ejemplo. Por ello, se coloca en las alternativas términos en las lenguas cuya diferencia sea más visible. Unidad deMedición de laCalidad Educativa La chirimoya La chirimoya es un árbol frutal que se cultiva en los valles andinos del Perú. ¿Jawekishamanki nato wishabo yoyo ikai? El fruto de este árbol es muy buen alimento. Por eso dicen que es bueno comer esa fruta. Y, sobre todo, es bueno para las personas débiles, los ancianos y los niños. También es saludable para personas con problemas del corazón, del hígado o de los riñones. Sin embargo, no se aconseja el fruto de la chirimoya a personas que desean adelgazar. Por otro lado, el aceite de la semilla de chirimoya sirve para matar insectos como los piojos y las garrapatas. Sin embargo, este aceite debe manejarse con cuidado. Puede irritar fuertemente los ojos, al punto de causar ceguera. ¿De qué trata principalmente el texto? a. De la utilidad de la chirimoya b. Del aceite de la chirimoya. c. Del lugar donde crece la chirimoya Unidad deMedición de laCalidad Educativa Unidad deMedición de laCalidad Educativa Unidad deMedición de laCalidad Educativa Reflexiones ¿Es pertinente evaluar habilidades lectoras desde el sistema en lenguas originarias dado que no hay suficiente tradición escrita y muy poco contexto letrado dentro y fuera de la escuela? ¿Es pertinente evaluar habilidades lectoras desde el sistema en lenguas originarias con textos académicos y noticias o con textos propios de sus contextos orales como consejos, canciones, watuchis, etc? (predominaría lo literal en lo que es lectura o predominaría lo inferencial cultural bastante ligado a conocimientos de su cultura) Gracias Anexos Resultados en las pruebas en lenguas originarias ECE 2012 Unidad deMedición de laCalidad Educativa Resultados ECE 2012 Comprensión lectora en castellano como segunda lengua Logro Resultados generales % Nivel 2 13,6 Nivel 1 23,0 < Nivel 1 63,4 Unidad deMedición de laCalidad Educativa Resultados ECE 2012 Comprensión lectora en castellano como segunda lengua Resultados en castellano por grupos lingüísticos % Quechua Cusco Collao % Nivel 2 19,6 17,9 1,5 2,9 16,0 Nivel 1 27,6 33,9 7,6 11,4 24,0 < Nivel 1 52,8 48,2 90,9 85,7 60,0 Nivel de logro Aimara Awajún Shipibo Otras % % % Unidad deMedición de laCalidad Educativa Resultados ECE 2012 Comprensión lectora en castellano como segunda lengua Resultados en castellano por grupos lingüísticos Nivel de logro Quechua Ancash % Quechua Chanca % Inkawasi Cañaris % Nivel 2 12,0 23,4 Nivel 1 25,9 < Nivel 1 62,1 Ashaninka Shawi % % 6,8 4,5 2,3 33,2 23,0 17,6 6,2 43,3 70,2 77,9 91,5 Unidad deMedición de laCalidad Educativa Resultados ECE 2012 Comprensión lectora en lenguas originarias Resultados en lenguas originarias Aimara Quechua Cusco Collao Awajún Shipibo % % % % Nivel 2 4,0 11,0 5,1 3,6 Nivel 1 40,3 44,1 21,1 10,7 < Nivel 1 55,7 44,8 73,8 85,7 Nivel de logro Cuestionario Factores asociados Evaluación Censal en lenguas originarias 2012 Unidad deMedición de laCalidad Educativa Sobre el manejo de la lengua originaria por parte del docente No habla Habla con dificultad Habla con facilidad % % % Nacional 5,0 30,0 65,0 Aimara 10,6 25,5 63,8 Quechua 2,5 29,8 67,8 Awajún 2,9 14,1 82,9 Shipibo 1,3 23,7 75,0 El docente habla en lengua originaria Unidad deMedición de laCalidad Educativa Sobre el manejo de la lengua originaria por parte del docente No lee Lee con dificultad Lee con facilidad % % % Nacional 4,0 46,0 50,0 Aimara 4,2 58,3 37,5 Quechua 3,1 58,1 38,8 Awajún 3,5 18,7 77,8 Shipibo 2,6 30,3 67,1 El docente lee en lengua originaria Unidad deMedición de laCalidad Educativa Sobre el manejo de la lengua originaria por parte del docente No escribe Escribe con dificultad Escribe con facilidad % % % Nacional 7,0 44,0 49,0 Aimara 8,2 53,1 38,8 Quechua 5,6 56,1 38,3 Awajún 2,0 21,5 76,5 Shipibo 2,7 32,0 65,3 El docente escribe en lengua originaria Unidad deMedición de laCalidad Educativa Contexto escrito en lenguas originarias Muchos textos Algunos textos Pocos textos No hay textos % % % % En lengua originaria 2,6 11,1 25,8 60,4 En castellano 15,2 22,7 32,4 29,8 Textos escritos fuera de la escuela