Encuentro de Profesores de Español en Polonia Consejería de Educación – Embajada de España en Polonia Marzo 2010 PRUEBAS DE COMPRENSIÓN DE LECTURA ELABORACIÓN Y VALIDACIÓN Ángeles Ortega Calvo Servicio de Enseñanzas de Idiomas S. G. Ordenación Académica MINISTERIO DE EDUCACIÓN 1. PRINCIPIOS GENERALES DE DISEÑO, ELABORACIÓN Y VALIDACIÓN ESPECIFICACIONES DE EXAMEN Ð - MICRODESTREZAS A EVALUAR - CARACTERÍSTICAS TEXTOS - TIPO Y NÚMERO DE TAREAS - CRITERIOS DE EVALUACIÓN Í Ð SELECCIÓN DE TEXTOS Î REDACCIÓN DE ÍTEMS Í 1. TIPO DE TEXTO 2. TEMA 3. RASGOS LINGÜÍSTICOS - Estructura y léxico - Organización textual - Registro - Variedad de lengua 4. RASGOS FORMALES - Longitud - Formato / Edición - Apoyo visual - Calidad de impresión 5. FUENTE 6. CONTENIDO - Información explícita / implícita - Información redundante - Información relevante - Concreto / abstracto - Impacto Ð - Precedidos de instrucciones claras - Ejemplo ilustrativo / Ítem 0 - Adecuados a microdestrezas - Por referencia al texto - Exentos de ambigüedad - En un formato claro - De un solo tipo por tarea - De resolución controlada - De carácter positivo - Independientes entre sí - Con baja demanda de otras destrezas - Breves - En un nivel de lengua accesible Î VALIDACIÓN TEXTOS Y TAREAS ÍNDICES ESTADÍSTICOS Î Tabla 1. Proceso general 2 Como se aprecia en la Tabla 1 de la página anterior, la elaboración de pruebas de comprensión lectora demanda, en primer lugar, un diseño previo para estas pruebas, lo que supone establecer una serie de características de las mismas que se deriven del tipo de evaluación concreto que queremos hacer. Mientras que las pautas de elaboración de tareas e ítems válidos y fiables son independientes del contexto de evaluación, siempre es necesario emprender la labor de redacción de esos ítems y tareas desde unas especificaciones de examen, concretas para cada caso, en las que se hayan recogido los siguientes pormenores: • • • • Qué microdestrezas específicas de comprensión de lectura se contemplan para el nivel que la prueba evalúa, estableciéndolas con claridad y sin mezclarlas con conocimientos formales o estrategias de comunicación o aprendizaje, que no son objeto directo de evaluación en una prueba de competencia o dominio (ver Anexo I). Qué características (tipo, tema, fuente, longitud total, rasgos formales, contenido) deben presentar los textos que se haya estimado que el alumno de un determinado nivel puede comprender. Qué número de tareas compondrán la prueba y de qué tipo serán estas tareas, teniendo en cuenta que el número y tipo de tareas debe permitir la evaluación de todas las microdestrezas establecidas para el nivel. Qué criterios se van a seguir para la calificación de estas pruebas: puntuación total y mínima por prueba dentro del examen, y puntuación por tarea y por ítem dentro de la prueba. Debe considerarse asimismo de antemano si se restarán puntos por respuestas incorrectas u otros pormenores, con el fin de informar de ello al alumno en las instrucciones para la realización de la prueba. Es después de que se hayan establecido estas pautas –a nivel institucional o departamental, según los casos– cuando debe abordarse el proceso de elaboración de pruebas, y no antes; de otro modo, se corre el riesgo de seleccionar materiales y de preparar tareas e ítems que finalmente no resulten válidos para evaluar lo que se pretende medir. El proceso de elaboración de pruebas debe, por tanto, estar guiado por las especificaciones de examen y los redactores de pruebas deben entonces iniciar su trabajo con la selección de textos idóneos, teniendo en cuenta las características requeridas de estos textos y las microdestrezas que deben permitirnos evaluar. Los textos seleccionados deben ser validados previo a su explotación, ya que pueden no resultar adecuados por varias razones (ver Anexo II). Una vez seleccionados textos que cumplan los requisitos establecidos, se redactarán a partir de ellos los ítems correspondientes a las tareas que se hayan determinado. Finalmente, las tareas producidas y sus ítems se someterán a validación y análisis (ver Anexo III) de manera que antes de su administración definitiva al alumnado podamos comprobar que sus índices de dificultad y discriminación son los adecuados, que las instrucciones de realización son claras y suficientes, que el tiempo que se estimó para la realización de la prueba es el idóneo o que se han respetado otros aspectos técnicos y éticos a considerar, como veremos en los siguientes apartados. Una vez efectuados los análisis e introducidas las modificaciones necesarias, las pruebas han de ser editadas de modo que resulten factibles para el alumnado y fáciles de evaluar por parte de los profesores. Esto requiere el manejo de programas de procesamiento de textos, que nos permiten introducir tablas y casillas para formatear los textos de soporte de las pruebas, ubicar los ítems o indicar lugares para las respuestas de los alumnos y las puntuaciones obtenidas por tarea e ítem. 3 2. SELECCIÓN Y TRATAMIENTO DE TEXTOS 1 La selección de los textos y su explotación deberían guiarse por las siguientes pautas: 2.1. Las características (contenido, estructuración, etc.) de los textos que se seleccionen como soporte para una tarea deberán ser las adecuadas para medir las microdestrezas que dicha tarea pretenda medir. 2.2. Con el fin de evitar que el alumno pueda conocer textos contenidos en materiales didácticos, y para ajustarse a la medición de la competencia del alumnado en la comprensión de textos reales, se seleccionarán materiales auténticos de diversas fuentes y que no hayan sido previamente explotados. 2.3. Las fuentes de los textos así como el tipo de éstos serán lo suficientemente variados dentro de cada prueba. 2.4. Los textos podrán ser editados o reescritos cuando se considere conveniente para adecuar su longitud o evitar pasajes de baja calidad de impresión. Cuando se omitan elementos o pasajes del texto, se indicará esta operación con puntos suspensivos entre corchetes. En ningún caso se sustituirán expresiones originales por otras creadas por el redactor. 2.5. Para todos los textos se consignará su fuente, autor (cuando proceda) y fecha de publicación. Estos datos se reseñarán al pie del texto y se indicará asimismo si se ha hecho alguna adaptación, mediante la fórmula Adaptado de © autor/fuente en la lengua correspondiente. 2.6. Salvo en el caso de que la tarea que el alumno deba realizar consista en emparejar títulos con textos, todos los textos recogidos en la prueba llevarán un título o epígrafe para clarificar su contenido. 2.7. Los textos serán de carácter general, esto es, ni especializados ni restringidos a los intereses y características (edad, profesión, etc.) de ciertos subgrupos de alumnos, y se ajustarán a las áreas temáticas generales establecidas para el nivel correspondiente. 2.8. Se desestimará cualquier texto que rebase las expectativas y alcance medios de los alumnos, así como todo aquel cuyo tema o tratamiento del mismo pudiera resultar escabroso, ofensivo, desagradable o discriminatorio en cualquier sentido para individuos o colectivos. 2.9. Se procurará que los textos no rebasen el grado de complejidad formal y conceptual establecido para cada nivel y se desestimarán textos que presenten, entre otros, baja calidad de impresión, una cantidad de información excesiva y/o muy compactada, líneas argumentales intrincadas o idiosincrásicas, o un tipo o número de referencias (culturales, históricas, etc.) que dificulten al alumno la realización de las tareas. Debe ponerse especial cuidado en la selección de textos literarios para una prueba de competencia general en el idioma y en especial en niveles bajos de competencia. Estos textos, por mucho que se ajusten a ciertos estándares generales, tienen muchas particularidades que pueden influir Los contenidos de este apartado y los siguientes siguen a los recogidos en la Guía para Redactores de Pruebas de Certificado, documento elaborado en 2001 por Ángeles Ortega para las comisiones redactoras de pruebas de ciclo de las EEOOII de la Comunidad de Madrid. 1 4 negativamente tanto en la redacción de ítems válidos como en los resultados de los alumnos. 2.10. Los textos no tendrán un registro excesivamente formal ni coloquial y estarán escritos en las variedades estándar de la lengua objeto de examen. 2.11. Los textos podrán ser reproducidos en las pruebas en su forma original mediante escaneado o fotocopiado, siempre que la calidad de la reproducción sea la óptima, o reescritos en los formatos más convenientes (a una o dos columnas, etc.) y usando un tipo y tamaño de fuente con un buen grado de legibilidad (p. e. Times New Roman 12 o Arial 10/11). 2.13. Cuando los textos contengan imágenes, gráficos o tablas necesarios para su comprensión, éstos deberán reproducirse junto con los textos. En cualquier caso, se pondrá cuidado en seleccionar estos textos, ya que la interpretación de imágenes visuales comporta una competencia distinta de la de comprender la palabra escrita, y los resultados pueden sesgarse por este motivo. 2.14. Para niveles hasta B1 (incluido), y con el fin de mantener un equilibrio entre la autenticidad de los textos y la viabilidad de las tareas, se procurará que el grado de complejidad de los textos sea el adecuado. Así, se intentará que los textos seleccionados presenten las siguientes características: • • • • • • • • Con media o baja densidad de información. De contenidos concretos antes que abstractos. Con un grado medio de explicitud (es decir, un contenido ni excesivamente elaborado ni con una falta de nexos explícitos que suponga operaciones complicadas de deducción por parte del alumno). De carácter expositivo, descriptivo o narrativo antes que argumentativo. Con un léxico de alta frecuencia y no muy idiomático. Con una estructura oracional de corta o media longitud, que respete los órdenes de palabras convencionales más simples, que no se preste a ambigüedad y en la que el desarrollo sintagmático (complementación nominal, etc.) no sea complejo. Con una organización a nivel textual de carácter lineal, es decir, que presenten la información de manera ordenada y donde las relaciones entre las partes sean claras y estén explícitamente expresadas. Con una tipografía y diseño (tipo y tamaño de fuente, espaciados, márgenes, etc.) que no dificulten la lectura al alumno. 2.15. Para los niveles a partir de B2 (incluido) los textos podrán ser más complejos, tanto formal (mecanismos de cohesión más elaborados, etc.) como conceptualmente (p. e. temas más específicos sin llegar a ser especializados), pero se ajustarán igualmente tanto a las características que se reseñen en las especificaciones de examen correspondientes como a las pautas generales de selección y tratamiento de textos que pueden aplicarse independientemente del nivel. 5 3. DISEÑO DE TAREAS 3.1. PAUTAS GENERALES 3.1.1. Para cada prueba, se diseñarán tareas para cubrir todas las microdestrezas correspondientes que se pretende evaluar según las especificaciones de examen. 3.1.2. El formato de las tareas será variado y adecuado a las microdestrezas que cada tarea pretenda medir. 3.1.3. Para no influir en ningún sentido en la actuación del alumno, los formatos de tarea no se repetirán dentro de una misma prueba. 3.1.4. Las diferentes tareas para cada prueba se introducirán independientemente mediante el epígrafe TAREA 1/2/…, en la lengua objeto de examen. 3.1.5. Siempre que sea posible, en la prueba se ordenarán las tareas y los ítems en cada tarea por grado de dificultad, emplazando los más sencillos en primer lugar. 3.1.6. Los ítems de las diversas tareas para una misma prueba se numerarán en una serie correlativa continua, esto es, el primer ítem de una segunda tarea emplazada tras otra que contenga 5 ítems no se debería numerar con 1 sino con 6. 3.1.7. Todas las tareas deben incluir un ejemplo, o ítem 0, para clarificar el proceso de resolución de los ítems que incluya. 3.2. TIPOS DE TAREAS Y SU REDACCIÓN 3.2.1. ELECCIÓN MÚLTIPLE Para evitar que el alumno considere o desestime opciones (a, b, c) por otros motivos que no sean la referencia obligada al texto, • • • • • • • • no se redactarán partes iniciales (oraciones para completar) de los ítems que no requieran necesariamente la inserción de ninguna de las opciones; el redactor se asegurará de que sólo una de las opciones es correcta con respecto al texto; todas las opciones tendrán aproximadamente la misma longitud y, cuando se trate de oraciones, éstas no rebasarán en ningún caso el espacio de una línea; ninguna opción presentará errores gramaticales, estructuras no convencionales o elementos léxicos inexistentes o mal formados; todas las opciones incorrectas deberán poder encajar formalmente como respuesta a la pregunta inicial o para completar la oración correspondiente; cuando la resolución del ítem requiera completar una oración, la raíz del ítem no llevará puntos suspensivos; las opciones en cada ítem se ordenarán por orden alfabético según la letra de inicio de la palabra, frase u oración que las constituyan; no se redactarán opciones correctas que resulten en exceso obvias ni opciones incorrectas que puedan desestimarse a priori con facilidad (p. e. por distinta longitud, etc.); 6 • • • • • • • • • • cuando las opciones incluyan cantidades, y salvo en casos en que sea imposible indicarlas de tal modo por su longitud, dichas cantidades no se escribirán en número sino en letra; las opciones no incluirán en ningún caso el fraseo exacto de sus referencias en el texto; no se redactará ningún ítem cuya resolución correcta dependa de la resolución de otros ítems; no se redactarán ítems que puedan resolverse correctamente con la simple ayuda del conocimiento enciclopédico o mediante estrategias de inferencia lógica, etc.; no se diseñarán ítems que requieran del alumno operaciones cognitivas en exceso complejas (p. e. varios niveles de implicación o complicados cálculos numéricos); los ítems que se redacten sobre un texto para una misma tarea habrán de seguir el orden en el que aparecen sus pasajes de referencia en dicho texto; los ítems de una tarea que hagan referencia a la totalidad del texto se emplazarán en último lugar; los ítems se diseñarán sobre la información relevante o saliente que el texto contenga antes que a partir de información periférica o secundaria; los ítems tendrán un carácter positivo, esto es, se evitarán aquellos del tipo de ¿Cuál de las siguientes razones no menciona el autor?; los ítems se redactarán en un tipo de lenguaje asequible para el nivel correspondiente; por otro lado, hay que recordar que las tareas constituyen tan parte de la prueba como los textos mismos, de manera que en ellas se pueden incluir léxico y estructuras que entren en los repertorios establecidos para el nivel. 3.2.2. PREGUNTAS ABIERTAS Para garantizar el control sobre las respuestas de los alumnos, y de ahí sobre la fiabilidad de la prueba, se atenderá a los siguientes aspectos: • • • • • • No se harán preguntas que supongan una contestación extensa o muy elaborada; la prueba está midiendo la comprensión de lo leído, no la expresión escrita, y pueden suscitarse problemas en la evaluación de lo que el alumno comprende si la respuesta presenta fallos ortográficos o estructurales serios. Se indicará el número aproximado de palabras de las respuestas esperadas, no siendo conveniente que éstas rebasen un máximo de 5 palabras. Se atenderá a que las preguntas no puedan ser contestadas de manera muy diversa. Los redactores considerarán las posibles respuestas para incluirlas en la Clave de Respuesta. Este tipo de tarea debe someterse a ensayos previos especialmente cuidadosos, pues en algunos casos es frecuente que los alumnos produzcan respuestas correctas que no se habían contemplado previamente. Los espacios que se reserven para contestar a las preguntas, bien sean rayados o casillas, serán todos de la misma extensión o tamaño, para no influir en el alumno. Las preguntas estarán exentas de ambigüedad y en ningún caso se referirán a las opiniones personales del alumno sobre el texto, o a aspectos puramente lingüísticos o estilísticos. Las preguntas se redactarán en un lenguaje asequible para el nivel correspondiente. 7 3.2.3. RELLENAR HUECOS ABIERTOS EN EL TEXTO, CON BANCO DE OPCIONES Es conveniente que en este tipo de tarea se ofrezcan al alumno, junto con los distractores adecuados, las palabras que se han sacado del texto, de manera que se evalúe la comprensión lectora sin que se vea contaminada por la competencia en expresión escrita: si no se ofrece banco de palabras, el alumno tendrá que pensar, y escribir, alguna de las formas posibles que insertar, con los diversos riesgos que ello conlleva (palabras mal escritas, una serie muy amplia de posibilidades en algunos casos, etc.). El porcentaje de distractores con respecto a las palabras extraídas del texto debe situarse entre un 20%-30%. Teniendo en cuenta lo anterior, en la redacción de ítems para estas tareas se tendrán en cuenta las pautas siguientes: • • • • • • • • • • No suprimir ningún elemento del texto que pudiera ser completamente innecesario para la buena formación de la frase, oración o pasaje en cuestión. Asegurarse de que, entre las posibilidades ofrecidas, sólo hay una opción válida para completar cada hueco correctamente. No deben extraerse del texto formas apostrofadas o elementos idiosincrásicos difíciles de emplazar. Los huecos no deben incluir más de una palabra, incluso cuando ésta forme parte de una expresión más extensa. Los huecos no serán interdependientes, esto es, no se eliminarán elementos cuya reinserción correcta dependa de la reinserción correcta de otro elemento próximo. Para medir convenientemente la comprensión de un texto visto como unidad comunicativa y no como una mera colección de oraciones, se extraerán del texto palabras (léxicas o funcionales) de carácter estructural (conectores de diversos tipos), referencial (proformas, sinónimos u otros elementos relacionados semánticamente con otros porque resumen, refuerzan o contrastan una idea ya expuesta) y cualesquiera otros elementos que tengan una incidencia en la cohesión del texto. Se mantendrá un equilibrio entre los distintos tipos de palabras extraídas. Para situar al candidato en el texto, no se deben abrir huecos hasta, por lo menos, el final de la segunda línea. El comienzo del texto se utilizará para emplazar un ejemplo de realización de la tarea, numerado 0. La palabra extraída de este hueco se colocará, tachada, en el banco de opciones. Los huecos se abrirán a distancias equilibradas y se indicarán en el texto con rayados de la misma extensión para no influir en la respuesta del alumno. Para facilitar la realización de la prueba y su calificación, en los huecos rayados se insertarán números en serie consecutiva y que correspondan a los de las celdillas en un casillero de respuestas al que el alumno habrá de transferir la palabra que en cada caso haya elegido. Los números en los huecos del texto se colocarán, entre corchetes, en el centro del hueco para evitar que el alumno pueda asumir que lo que escribe en los huecos mismos es su respuesta definitiva y olvide de este modo contestar rellenando las celdillas al uso, o elija dos palabras distintas para rellenar el hueco y la celdilla, dificultando así la evaluación de sus respuestas. En las instrucciones para la resolución de estas tareas, como es el caso general, debe quedar claro tanto para el alumno como para el evaluador dónde se debe responder a los ítems, de modo que no se tomen decisiones arbitrarias sobre este punto. 8 • • Los elementos extraídos y ofrecidos junto con los distractores en el banco de palabras deben ordenarse en dicho banco por orden alfabético y escribirse en mayúsculas para no influir en la actuación del alumno. Los elementos distractores deben pertenecer a las mismas clases de palabras que los elementos extraídos, pero en ningún caso se incluirán distractores que, por su significado, puedan utilizarse en lugar de los elementos correctos. 3.2.4. ÍTEMS DE VERDADERO/FALSO/NO SE DICE • • Para diversificar las posibilidades de resolución y minimizar posibles aciertos por azar, estas tareas incluirán la opción no se dice, teniendo cuidado de no redactar un ítemcomentario sobre el texto que, aunque no haga una referencia explícita a éste, pudiera ser interpretado en sentido contrario al previsto. Esto sucede con relativa frecuencia en niveles más altos, en los que los textos que se seleccionan, sobre todo si son de carácter argumentativo, están abiertos a una mayor diversidad de visiones del mismo por parte del lector. Por tanto, no se redactarán comentarios ambiguos, abiertos a interpretación o que posibiliten diversas respuestas correctas. Se le pedirá al alumno que justifique su elección haciendo referencia al texto. A este propósito, la medida más apropiada es numerar previamente las líneas del texto, de cinco en cinco, y pedir al alumno, como parte de la tarea, que escriba el número o números de la(s) línea(s) donde puede encontrarse la información que apoya la opción correcta. Cuando la opción V/F/NSD sea la correcta pero la referencia no lo sea, la resolución del ítem se estimará como incorrecta en su totalidad, de lo que debe ser informado el alumno en las instrucciones para la realización de la tarea. 3.2.5. RELACIONAR/EMPAREJAR TEXTOS CON TÍTULOS, EPÍGRAFES U OTROS TEXTOS Esta tarea presenta diversas variantes. Se le puede pedir al alumno, por ejemplo, que empareje o relacione pequeños textos con títulos u otro tipo de epígrafes, con otros textos más extensos, con preguntas, o con imágenes o gráficos, aunque esta última modalidad no está exenta de problemas (entre los que destaca la posible interpretación errónea del material visual) y resulta inviable en las pruebas para alumnos con discapacidades visuales. En la elaboración de estas tareas, se debería tener en cuenta lo siguiente: • • • • Para compensar posibles aciertos por azar y para evitar que los últimos ítems se resuelvan de manera automática, siempre se darán más opciones de las necesarias. La labor de redacción es más sencilla si se opta por preparar un número mayor de aquellos elementos más breves y sencillos de fabricar o seleccionar, ya sean los propios textos o los epígrafes. En ningún caso se redactarán ítems con diversos posibles emparejamientos. Los títulos o epígrafes estarán redactados en un lenguaje asequible para el nivel correspondiente y no deberán hacer referencia a aspectos culturales, históricos, etc. que, aunque guarden relación con el texto, se presuma puedan resultar dificultosos para los alumnos, incluso los de niveles más altos. Hay que recordar que, aunque el conocimiento enciclopédico de un individuo puede contribuir a su mejor comprensión de lo que lee, nuestros alumnos no estudian la historia o la cultura de los países cuya lengua es la lengua objeto de examen más que de un modo tangencial. Para los niveles de Ciclo Superior se podrá estimar la redacción de epígrafes o la selección de textos de mayor proximidad, esto es, que requieran del alumno una 9 • comprensión más matizada (p. e. distintas opiniones de los autores de los textos sobre un mismo tema), pero siempre cuidando de que exista un único emparejamiento correcto para cada ítem dentro de la tarea. Los textos deben numerarse o indicarse con letras. Los epígrafes/títulos/preguntas deben, a su vez, indicarse de algún modo, y ser emplazados por orden alfabético con el fin de evitar cualquier otro tipo de colocación que pudiera influir en la elección del alumno. 3.2.6. COMPLETAR TABLA/DIAGRAMA CON INFORMACIÓN DEL TEXTO La base de esta tarea es la misma que la de contestar a preguntas abiertas, en el sentido de que no se le ofrece al alumno una serie de soluciones para que elija la correcta. El formato de tabla/diagrama, sin embargo, suele ser más ordenado e intuitivo que una simple serie de preguntas para contestar, ya que en este tipo de tarea se le suele pedir al alumno que recoja una serie de informaciones de detalle del texto en expresiones muy breves, que pueden ser cantidades o datos de similar carácter, como haría un lector que estuviera tomando notas puntuales y breves a partir de lo leído. Estas tareas requieren un buen diseño de las tablas o diagramas que cumplimentar para no interferir en la actuación del alumno, que puede haber comprendido el texto y, aún así, tener problemas con los mecanismos de realización de la tarea. 4. REDACCIÓN DE INSTRUCCIONES Una gran parte de la superación de una prueba consiste en que uno sepa cómo realizarla. No es infrecuente el caso de alumnos que tienen el nivel de competencia exigido y que luego fracasan debido a la ausencia de instrucciones adecuadas o a la mala interpretación de las mismas. Por lo tanto, todas las tareas de una prueba deberían ir precedidas de unas instrucciones sobre su realización debidamente señaladas/resaltadas. Dichas instrucciones deben ser suficientes, claras, relevantes y estar redactadas en la lengua objeto de examen en un tipo de lenguaje más sencillo que el requerido para la propia realización de la tarea. Además de estos aspectos, se deberían atender los siguientes: • • • • • Las instrucciones serán uniformes a lo largo de cada prueba y del examen en su conjunto (presentar el mismo tipo de fraseo, incluir los puntos pertinentes y redactarse para cada tarea independientemente de que dichas instrucciones puedan ser las mismas para dos o más tareas). Para cada tarea debe indicarse su puntuación total y la puntuación de cada uno de los ítems de los que consta. Debe indicarse asimismo si existe algún tipo de penalización o franquicia en la puntuación y con respecto a los ítems involucrados. A la cabecera de cada tarea es conveniente reservar un espacio, claramente marcado, para la anotación de la puntuación global obtenida por el alumno en dicha tarea. Para cada tarea se reservarán igualmente espacios o sistemas adecuados tanto para que los alumnos escriban sus respuestas como para la anotación, por parte de los profesores, de las puntuaciones parciales por ítems, esto es, si el ítem se ha resuelto o no correctamente. 10 • • A la cabecera de cada tarea se indicarán igualmente en instrucciones otros detalles que se consideren pertinentes en cada caso, tales como el número de palabras que deben contener las respuestas, que se anularán las respuestas dobles en tareas de elección múltiple u oras, dónde encontrar –en qué paginas– los inputs para las tareas, etc. Todas las tareas deben contener un ejemplo, ítem 0, para clarificar su realización. 5. ELABORACIÓN DE CLAVES DE RESPUESTA Los redactores deben elaborar unas Claves de Respuesta para pruebas que, como las de comprensión lectora, contienen tareas de resolución cerrada. Es más sencillo elaborar estas claves sobre las plantillas de las pruebas mismas, introduciendo las respuestas correctas en los huecos, rayados o celdillas destinados al efecto. Para las tareas en las que se pida a los alumnos consignar los pasajes del texto que apoyan las respuestas correctas, la Clave debe incluir dichas referencias junto con las respuestas. En aquellos casos en que se admita más de una respuesta correcta, se harán constar todas las posibilidades en la Clave correspondiente 2 . 6. ENSAYOS PREVIOS Y ANÁLISIS DE LAS PRUEBAS Para comprobar si las pruebas elaboradas son lo bastante válidas y fiables y pueden, así, ser aplicadas con garantías a nuestro alumnado, las tareas producidas suelen ensayarse o pilotarse antes de su administración. Existen numerosos procedimientos de análisis, algunos más sencillos y otros más complicados y que requieren importantes medios técnicos, tiempo y personas expertas en realizar los análisis e interpretar sus resultados. A la escala en que, como profesores, podemos trabajar, y contando con los medios y el tiempo de los que disponemos, las pruebas preliminares suelen administrarse, al menos, a tres grupos de pseudo-candidatos: hablantes nativos, profesores del idioma en cuestión y estudiantes del idioma objeto de examen con un nivel similar al que se espera de los alumnos reales a la fecha de administración de las pruebas. Los hablantes nativos y los profesores del idioma pueden, fundamentalmente, darnos una perspectiva sobre si el tratamiento de la lengua en las pruebas es el idóneo, si aprecian algo en los textos, tareas e ítems que, por alguna razón, no es adecuado. Los ensayos con estudiantes nos dan idea de si el nivel está ajustado y si la duración de la prueba, las instrucciones y los ítems son apropiados o no. En ocasiones diseñamos ítems que nos parecen muy buenos y que luego son resueltos por la totalidad del los alumnos o por ninguno o muy pocos. Hay, en fin, una larga serie de cosas que no solemos apreciar, como redactores de las pruebas, y en las que tenemos que reflexionar. Por citar solo un ejemplo, es bastante común que al editar un texto le hayamos quitado parte de su cohesión; nosotros no solemos notarlo porque podemos suplir mentalmente lo que ya no está, pero los lectores de ese texto editado no cuentan con esas referencias y en muchas ocasiones no pueden entenderlo con facilidad incluso aunque su competencia en comprensión lectora sea superior a la demandada. Para profundizar en todos los aspectos de elaboración de pruebas reseñados hasta el momento, y ver ejemplos de su aplicación, se recomienda consultar Alderson, J. C. (2000), Assessing reading, Cambridge University Press. 2 11 Los ensayos previos con estudiantes de la lengua deberían llevarse a cabo con 20 de ellos como mínimo (el número mínimo ideal para análisis a gran escala es de 250) y las pruebas deberían administrárseles con la misma duración y el mismo formato que se hayan previsto para la administración final. Los resultados de estos ensayos deben analizarse para detectar los problemas que puedan surgir respecto a la viabilidad de la prueba, las instrucciones de realización, la idoneidad de los textos de entrada y el grado de dificultad y discriminación de los ítems. Con respecto a estos últimos índices, se han establecido, en diversos entornos, medidas muy variadas. En nuestro contexto, y con las herramientas de que disponemos, podríamos estar satisfechos con que los evaluados resolvieran correctamente los ítems propuestos en una banda del 45% al 65% de sujetos evaluados. Los ítems con menor o mayor resolución correcta pueden estar indicando que el nivel es demasiado alto o bajo con respecto al que se espera. Estos análisis se pueden hacer “a mano” o con un simple programa de Excel, que calcula diversos índices 3 . Entre los sistemas más sofisticados de análisis de ítems, y con mayor capacidad para manejar un elevado número de datos, se encuentran los programas informáticos ITEMAN, SPSS, WINSTEPS, o FACETS, cuyo manejo requiere un entrenamiento específico y licencia de uso. Estos programas, por sus características, suelen utilizarse a nivel institucional y para análisis que se requieren de procesos de medición de envergadura. Para operaciones sencillas sobre medias y otras medidas, véanse los apéndices correspondientes en Alderson et al. (1995), Exámenes de idiomas, Cambridge University Press. 3 12 ANEXO I MICRODESTREZAS DE COMPRENSIÓN LECTORA Las microdestrezas susceptibles de ser evaluadas en la destreza de Comprensión Lectora, en términos generales, son las siguientes: • • • • • • • Comprender el sentido general del texto Comprender los puntos principales Comprender detalles esenciales Comprender detalles relevantes Discriminar entre hechos y opiniones, afirmaciones y ejemplos Identificar y comprender los puntos de vista, opiniones y actitudes explícitos del autor Identificar y comprender los puntos de vista, opiniones y actitudes implícitos del autor Aspectos como reconocer las relaciones internas entre oraciones o pasajes del texto, conocer los mecanismos de cohesión textual, o deducir el significado de un elemento léxico desconocido con la ayuda del cotexto o del contexto, entre otros muchos, no son propiamente microdestrezas sino, dependiendo de los casos, competencias léxicogramaticales, estrategias de aprendizaje o comunicación, u otros. Como tales, constituyen meramente los medios que nos permiten comprender un texto escrito y, en muchos casos, no son garantía, por sí mismos, de que esa comprensión tenga lugar. Antes de proceder a la elaboración de pruebas de comprensión lectora, deben establecerse claramente las microdestrezas involucradas en la evaluación para cada nivel. ANEXO II VALIDACIÓN DE TEXTOS Los textos seleccionados se pueden considerar válidos cuando cumplen los siguientes requisitos: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. No asumen demasiado conocimiento cultural o local. La información que presentan no es conocida de antemano por los alumnos. El tema se ajusta a los establecidos para el nivel y no es demasiado especializado. No tratan de temas que puedan ofender a los alumnos o discriminar por alguna razón a individuos o colectivos. No contienen faltas técnicas o estilísticas, están bien editados y son coherentes. Presentan una organización adecuada de la información que contienen Presentan unos rasgos lingüísticos (léxico, estructuras sintagmáticas u oracionales, variedad de lengua, registro, etc.) idóneos para el nivel que se evalúa. Son idóneos para evaluar las microdestrezas establecidas. Son de la longitud suficiente para generar el número necesario de ítems. Tienen un buen índice de legibilidad. Estos requisitos deben tenerse en cuenta cuando quiera que se haga un filtrado, tanto por parte del propio redactor como de otras personas (pseudo-candidatos, supervisores, etc.). 13 ANEXO III VALIDACIÓN DE TAREAS E ÍTEMS Las tareas e ítems producidos se pueden considerar válidos cuando cumplen los siguientes requisitos: 1. Las tareas permiten medir las microdestrezas establecidas. 2. La presentación formal de la tarea es clara, ordenada y contribuye a su realización. 3. Las instrucciones de realización son claras, suficientes y asequibles para el nivel. 4. La tarea incluye apartado, debidamente señalados, para la inserción de las respuestas y su calificación. 5. El ejemplo o ítem 0 es representativo de cómo se debe resolver la tarea. 6. Los ítems 6.1. no se pueden resolver por el conocimiento del mundo o enciclopédico 6.2. miden la comprensión de información prominente antes que periférica 6.3. no miden las apreciaciones personales de los alumnos con respecto a los textos 6.4. no exigen operaciones cognitivas complejas 6.5. no son interdependientes 6.6. están ordenados en la tarea siguiendo el orden de la información que incluye el texto 6.7. están ordenados en la tarea de menor a mayor grado de dificultad 6.8. están formulados en positivo 6.9. son de resolución controlada y tienen una única respuesta clara 6.10. son de lectura sencilla, con lenguaje propio del nivel 7. En los ítems de opción múltiple, las distintas opciones están ordenadas alfabéticamente. 8. En las tareas de transferir información a una tabla, diagrama o esquema de notas, éstos son de lectura intuitiva y ordenada. 9. En las tareas de relacionar/emparejar textos con títulos/epígrafes/otros textos, las distintas opciones están ordenadas alfabéticamente. 10. Las tareas están diseñadas para minimizar la demanda de la destreza de expresión escrita. Estos requisitos deben tenerse en cuenta cuando quiera que se haga un filtrado, tanto por parte del propio redactor como de otras personas (pseudo-candidatos, supervisores, etc.). 14