Ángeles Ortega - Pruebas de comprensión de lectura. Elaboración y validación

Encuentro de Profesores de Español en Polonia
Consejería de Educación – Embajada de España en Polonia
Marzo 2010
PRUEBAS DE COMPRENSIÓN DE LECTURA
ELABORACIÓN Y VALIDACIÓN
Ángeles Ortega Calvo
Servicio de Enseñanzas de Idiomas
S. G. Ordenación Académica
MINISTERIO DE EDUCACIÓN
1. PRINCIPIOS GENERALES DE DISEÑO, ELABORACIÓN Y VALIDACIÓN
ESPECIFICACIONES DE EXAMEN
Ð
- MICRODESTREZAS A EVALUAR
- CARACTERÍSTICAS TEXTOS
- TIPO Y NÚMERO DE TAREAS
- CRITERIOS DE EVALUACIÓN
Í
Ð
SELECCIÓN DE TEXTOS
Î
REDACCIÓN DE ÍTEMS
Í
1. TIPO DE TEXTO
2. TEMA
3. RASGOS LINGÜÍSTICOS
- Estructura y léxico
- Organización textual
- Registro
- Variedad de lengua
4. RASGOS FORMALES
- Longitud
- Formato / Edición
- Apoyo visual
- Calidad de impresión
5. FUENTE
6. CONTENIDO
- Información explícita / implícita
- Información redundante
- Información relevante
- Concreto / abstracto
- Impacto
Ð
- Precedidos de instrucciones claras
- Ejemplo ilustrativo / Ítem 0
- Adecuados a microdestrezas
- Por referencia al texto
- Exentos de ambigüedad
- En un formato claro
- De un solo tipo por tarea
- De resolución controlada
- De carácter positivo
- Independientes entre sí
- Con baja demanda de otras destrezas
- Breves
- En un nivel de lengua accesible
Î
VALIDACIÓN
TEXTOS Y TAREAS
ÍNDICES ESTADÍSTICOS
Î
Tabla 1. Proceso general
2
Como se aprecia en la Tabla 1 de la página anterior, la elaboración de pruebas de
comprensión lectora demanda, en primer lugar, un diseño previo para estas pruebas, lo que
supone establecer una serie de características de las mismas que se deriven del tipo de
evaluación concreto que queremos hacer.
Mientras que las pautas de elaboración de tareas e ítems válidos y fiables son
independientes del contexto de evaluación, siempre es necesario emprender la labor de
redacción de esos ítems y tareas desde unas especificaciones de examen, concretas para
cada caso, en las que se hayan recogido los siguientes pormenores:
•
•
•
•
Qué microdestrezas específicas de comprensión de lectura se contemplan para el nivel
que la prueba evalúa, estableciéndolas con claridad y sin mezclarlas con conocimientos
formales o estrategias de comunicación o aprendizaje, que no son objeto directo de
evaluación en una prueba de competencia o dominio (ver Anexo I).
Qué características (tipo, tema, fuente, longitud total, rasgos formales, contenido)
deben presentar los textos que se haya estimado que el alumno de un determinado nivel
puede comprender.
Qué número de tareas compondrán la prueba y de qué tipo serán estas tareas, teniendo
en cuenta que el número y tipo de tareas debe permitir la evaluación de todas las
microdestrezas establecidas para el nivel.
Qué criterios se van a seguir para la calificación de estas pruebas: puntuación total y
mínima por prueba dentro del examen, y puntuación por tarea y por ítem dentro de la
prueba. Debe considerarse asimismo de antemano si se restarán puntos por respuestas
incorrectas u otros pormenores, con el fin de informar de ello al alumno en las
instrucciones para la realización de la prueba.
Es después de que se hayan establecido estas pautas –a nivel institucional o departamental,
según los casos– cuando debe abordarse el proceso de elaboración de pruebas, y no antes;
de otro modo, se corre el riesgo de seleccionar materiales y de preparar tareas e ítems que
finalmente no resulten válidos para evaluar lo que se pretende medir.
El proceso de elaboración de pruebas debe, por tanto, estar guiado por las especificaciones
de examen y los redactores de pruebas deben entonces iniciar su trabajo con la selección de
textos idóneos, teniendo en cuenta las características requeridas de estos textos y las
microdestrezas que deben permitirnos evaluar. Los textos seleccionados deben ser
validados previo a su explotación, ya que pueden no resultar adecuados por varias razones
(ver Anexo II). Una vez seleccionados textos que cumplan los requisitos establecidos, se
redactarán a partir de ellos los ítems correspondientes a las tareas que se hayan
determinado. Finalmente, las tareas producidas y sus ítems se someterán a validación y
análisis (ver Anexo III) de manera que antes de su administración definitiva al alumnado
podamos comprobar que sus índices de dificultad y discriminación son los adecuados, que
las instrucciones de realización son claras y suficientes, que el tiempo que se estimó para la
realización de la prueba es el idóneo o que se han respetado otros aspectos técnicos y éticos
a considerar, como veremos en los siguientes apartados.
Una vez efectuados los análisis e introducidas las modificaciones necesarias, las pruebas
han de ser editadas de modo que resulten factibles para el alumnado y fáciles de evaluar por
parte de los profesores. Esto requiere el manejo de programas de procesamiento de textos,
que nos permiten introducir tablas y casillas para formatear los textos de soporte de las
pruebas, ubicar los ítems o indicar lugares para las respuestas de los alumnos y las
puntuaciones obtenidas por tarea e ítem.
3
2. SELECCIÓN Y TRATAMIENTO DE TEXTOS 1
La selección de los textos y su explotación deberían guiarse por las siguientes pautas:
2.1. Las características (contenido, estructuración, etc.) de los textos que se seleccionen
como soporte para una tarea deberán ser las adecuadas para medir las microdestrezas que
dicha tarea pretenda medir.
2.2. Con el fin de evitar que el alumno pueda conocer textos contenidos en materiales
didácticos, y para ajustarse a la medición de la competencia del alumnado en la
comprensión de textos reales, se seleccionarán materiales auténticos de diversas fuentes y
que no hayan sido previamente explotados.
2.3. Las fuentes de los textos así como el tipo de éstos serán lo suficientemente variados
dentro de cada prueba.
2.4. Los textos podrán ser editados o reescritos cuando se considere conveniente para
adecuar su longitud o evitar pasajes de baja calidad de impresión. Cuando se omitan
elementos o pasajes del texto, se indicará esta operación con puntos suspensivos entre
corchetes. En ningún caso se sustituirán expresiones originales por otras creadas por el
redactor.
2.5. Para todos los textos se consignará su fuente, autor (cuando proceda) y fecha de
publicación. Estos datos se reseñarán al pie del texto y se indicará asimismo si se ha hecho
alguna adaptación, mediante la fórmula Adaptado de © autor/fuente en la lengua
correspondiente.
2.6. Salvo en el caso de que la tarea que el alumno deba realizar consista en emparejar
títulos con textos, todos los textos recogidos en la prueba llevarán un título o epígrafe para
clarificar su contenido.
2.7. Los textos serán de carácter general, esto es, ni especializados ni restringidos a los
intereses y características (edad, profesión, etc.) de ciertos subgrupos de alumnos, y se
ajustarán a las áreas temáticas generales establecidas para el nivel correspondiente.
2.8. Se desestimará cualquier texto que rebase las expectativas y alcance medios de los
alumnos, así como todo aquel cuyo tema o tratamiento del mismo pudiera resultar
escabroso, ofensivo, desagradable o discriminatorio en cualquier sentido para individuos o
colectivos.
2.9. Se procurará que los textos no rebasen el grado de complejidad formal y conceptual
establecido para cada nivel y se desestimarán textos que presenten, entre otros, baja calidad
de impresión, una cantidad de información excesiva y/o muy compactada, líneas
argumentales intrincadas o idiosincrásicas, o un tipo o número de referencias (culturales,
históricas, etc.) que dificulten al alumno la realización de las tareas. Debe ponerse especial
cuidado en la selección de textos literarios para una prueba de competencia general en el
idioma y en especial en niveles bajos de competencia. Estos textos, por mucho que se
ajusten a ciertos estándares generales, tienen muchas particularidades que pueden influir
Los contenidos de este apartado y los siguientes siguen a los recogidos en la Guía para Redactores de
Pruebas de Certificado, documento elaborado en 2001 por Ángeles Ortega para las comisiones
redactoras de pruebas de ciclo de las EEOOII de la Comunidad de Madrid.
1
4
negativamente tanto en la redacción de ítems válidos como en los resultados de los
alumnos.
2.10. Los textos no tendrán un registro excesivamente formal ni coloquial y estarán escritos
en las variedades estándar de la lengua objeto de examen.
2.11. Los textos podrán ser reproducidos en las pruebas en su forma original mediante
escaneado o fotocopiado, siempre que la calidad de la reproducción sea la óptima, o
reescritos en los formatos más convenientes (a una o dos columnas, etc.) y usando un tipo
y tamaño de fuente con un buen grado de legibilidad (p. e. Times New Roman 12 o Arial
10/11).
2.13. Cuando los textos contengan imágenes, gráficos o tablas necesarios para su
comprensión, éstos deberán reproducirse junto con los textos. En cualquier caso, se
pondrá cuidado en seleccionar estos textos, ya que la interpretación de imágenes visuales
comporta una competencia distinta de la de comprender la palabra escrita, y los resultados
pueden sesgarse por este motivo.
2.14. Para niveles hasta B1 (incluido), y con el fin de mantener un equilibrio entre la
autenticidad de los textos y la viabilidad de las tareas, se procurará que el grado de
complejidad de los textos sea el adecuado. Así, se intentará que los textos seleccionados
presenten las siguientes características:
•
•
•
•
•
•
•
•
Con media o baja densidad de información.
De contenidos concretos antes que abstractos.
Con un grado medio de explicitud (es decir, un contenido ni excesivamente elaborado
ni con una falta de nexos explícitos que suponga operaciones complicadas de
deducción por parte del alumno).
De carácter expositivo, descriptivo o narrativo antes que argumentativo.
Con un léxico de alta frecuencia y no muy idiomático.
Con una estructura oracional de corta o media longitud, que respete los órdenes de
palabras convencionales más simples, que no se preste a ambigüedad y en la que el
desarrollo sintagmático (complementación nominal, etc.) no sea complejo.
Con una organización a nivel textual de carácter lineal, es decir, que presenten la
información de manera ordenada y donde las relaciones entre las partes sean claras y
estén explícitamente expresadas.
Con una tipografía y diseño (tipo y tamaño de fuente, espaciados, márgenes, etc.) que
no dificulten la lectura al alumno.
2.15. Para los niveles a partir de B2 (incluido) los textos podrán ser más complejos, tanto
formal (mecanismos de cohesión más elaborados, etc.) como conceptualmente (p. e. temas
más específicos sin llegar a ser especializados), pero se ajustarán igualmente tanto a las
características que se reseñen en las especificaciones de examen correspondientes como a
las pautas generales de selección y tratamiento de textos que pueden aplicarse
independientemente del nivel.
5
3. DISEÑO DE TAREAS
3.1. PAUTAS GENERALES
3.1.1. Para cada prueba, se diseñarán tareas para cubrir todas las microdestrezas
correspondientes que se pretende evaluar según las especificaciones de examen.
3.1.2. El formato de las tareas será variado y adecuado a las microdestrezas que cada tarea
pretenda medir.
3.1.3. Para no influir en ningún sentido en la actuación del alumno, los formatos de tarea
no se repetirán dentro de una misma prueba.
3.1.4. Las diferentes tareas para cada prueba se introducirán independientemente mediante
el epígrafe TAREA 1/2/…, en la lengua objeto de examen.
3.1.5. Siempre que sea posible, en la prueba se ordenarán las tareas y los ítems en cada tarea
por grado de dificultad, emplazando los más sencillos en primer lugar.
3.1.6. Los ítems de las diversas tareas para una misma prueba se numerarán en una serie
correlativa continua, esto es, el primer ítem de una segunda tarea emplazada tras otra que
contenga 5 ítems no se debería numerar con 1 sino con 6.
3.1.7. Todas las tareas deben incluir un ejemplo, o ítem 0, para clarificar el proceso de
resolución de los ítems que incluya.
3.2. TIPOS DE TAREAS Y SU REDACCIÓN
3.2.1. ELECCIÓN MÚLTIPLE
Para evitar que el alumno considere o desestime opciones (a, b, c) por otros motivos que
no sean la referencia obligada al texto,
•
•
•
•
•
•
•
•
no se redactarán partes iniciales (oraciones para completar) de los ítems que no
requieran necesariamente la inserción de ninguna de las opciones;
el redactor se asegurará de que sólo una de las opciones es correcta con respecto al
texto;
todas las opciones tendrán aproximadamente la misma longitud y, cuando se trate de
oraciones, éstas no rebasarán en ningún caso el espacio de una línea;
ninguna opción presentará errores gramaticales, estructuras no convencionales o
elementos léxicos inexistentes o mal formados;
todas las opciones incorrectas deberán poder encajar formalmente como respuesta a la
pregunta inicial o para completar la oración correspondiente;
cuando la resolución del ítem requiera completar una oración, la raíz del ítem no llevará
puntos suspensivos;
las opciones en cada ítem se ordenarán por orden alfabético según la letra de inicio de
la palabra, frase u oración que las constituyan;
no se redactarán opciones correctas que resulten en exceso obvias ni opciones
incorrectas que puedan desestimarse a priori con facilidad (p. e. por distinta longitud,
etc.);
6
•
•
•
•
•
•
•
•
•
•
cuando las opciones incluyan cantidades, y salvo en casos en que sea imposible
indicarlas de tal modo por su longitud, dichas cantidades no se escribirán en número
sino en letra;
las opciones no incluirán en ningún caso el fraseo exacto de sus referencias en el texto;
no se redactará ningún ítem cuya resolución correcta dependa de la resolución de otros
ítems;
no se redactarán ítems que puedan resolverse correctamente con la simple ayuda del
conocimiento enciclopédico o mediante estrategias de inferencia lógica, etc.;
no se diseñarán ítems que requieran del alumno operaciones cognitivas en exceso
complejas (p. e. varios niveles de implicación o complicados cálculos numéricos);
los ítems que se redacten sobre un texto para una misma tarea habrán de seguir el
orden en el que aparecen sus pasajes de referencia en dicho texto;
los ítems de una tarea que hagan referencia a la totalidad del texto se emplazarán en
último lugar;
los ítems se diseñarán sobre la información relevante o saliente que el texto contenga
antes que a partir de información periférica o secundaria;
los ítems tendrán un carácter positivo, esto es, se evitarán aquellos del tipo de ¿Cuál de
las siguientes razones no menciona el autor?;
los ítems se redactarán en un tipo de lenguaje asequible para el nivel correspondiente;
por otro lado, hay que recordar que las tareas constituyen tan parte de la prueba como
los textos mismos, de manera que en ellas se pueden incluir léxico y estructuras que
entren en los repertorios establecidos para el nivel.
3.2.2. PREGUNTAS ABIERTAS
Para garantizar el control sobre las respuestas de los alumnos, y de ahí sobre la fiabilidad de
la prueba, se atenderá a los siguientes aspectos:
•
•
•
•
•
•
No se harán preguntas que supongan una contestación extensa o muy elaborada; la
prueba está midiendo la comprensión de lo leído, no la expresión escrita, y pueden
suscitarse problemas en la evaluación de lo que el alumno comprende si la respuesta
presenta fallos ortográficos o estructurales serios.
Se indicará el número aproximado de palabras de las respuestas esperadas, no siendo
conveniente que éstas rebasen un máximo de 5 palabras.
Se atenderá a que las preguntas no puedan ser contestadas de manera muy diversa. Los
redactores considerarán las posibles respuestas para incluirlas en la Clave de Respuesta.
Este tipo de tarea debe someterse a ensayos previos especialmente cuidadosos, pues en
algunos casos es frecuente que los alumnos produzcan respuestas correctas que no se
habían contemplado previamente.
Los espacios que se reserven para contestar a las preguntas, bien sean rayados o casillas,
serán todos de la misma extensión o tamaño, para no influir en el alumno.
Las preguntas estarán exentas de ambigüedad y en ningún caso se referirán a las
opiniones personales del alumno sobre el texto, o a aspectos puramente lingüísticos o
estilísticos.
Las preguntas se redactarán en un lenguaje asequible para el nivel correspondiente.
7
3.2.3. RELLENAR HUECOS ABIERTOS EN EL TEXTO, CON BANCO DE
OPCIONES
Es conveniente que en este tipo de tarea se ofrezcan al alumno, junto con los distractores
adecuados, las palabras que se han sacado del texto, de manera que se evalúe la
comprensión lectora sin que se vea contaminada por la competencia en expresión escrita: si
no se ofrece banco de palabras, el alumno tendrá que pensar, y escribir, alguna de las
formas posibles que insertar, con los diversos riesgos que ello conlleva (palabras mal
escritas, una serie muy amplia de posibilidades en algunos casos, etc.). El porcentaje de
distractores con respecto a las palabras extraídas del texto debe situarse entre un 20%-30%.
Teniendo en cuenta lo anterior, en la redacción de ítems para estas tareas se tendrán en
cuenta las pautas siguientes:
•
•
•
•
•
•
•
•
•
•
No suprimir ningún elemento del texto que pudiera ser completamente innecesario
para la buena formación de la frase, oración o pasaje en cuestión.
Asegurarse de que, entre las posibilidades ofrecidas, sólo hay una opción válida para
completar cada hueco correctamente.
No deben extraerse del texto formas apostrofadas o elementos idiosincrásicos difíciles
de emplazar.
Los huecos no deben incluir más de una palabra, incluso cuando ésta forme parte de
una expresión más extensa.
Los huecos no serán interdependientes, esto es, no se eliminarán elementos cuya
reinserción correcta dependa de la reinserción correcta de otro elemento próximo.
Para medir convenientemente la comprensión de un texto visto como unidad
comunicativa y no como una mera colección de oraciones, se extraerán del texto
palabras (léxicas o funcionales) de carácter estructural (conectores de diversos tipos),
referencial (proformas, sinónimos u otros elementos relacionados semánticamente con
otros porque resumen, refuerzan o contrastan una idea ya expuesta) y cualesquiera
otros elementos que tengan una incidencia en la cohesión del texto.
Se mantendrá un equilibrio entre los distintos tipos de palabras extraídas.
Para situar al candidato en el texto, no se deben abrir huecos hasta, por lo menos, el
final de la segunda línea. El comienzo del texto se utilizará para emplazar un ejemplo de
realización de la tarea, numerado 0. La palabra extraída de este hueco se colocará,
tachada, en el banco de opciones.
Los huecos se abrirán a distancias equilibradas y se indicarán en el texto con rayados de
la misma extensión para no influir en la respuesta del alumno.
Para facilitar la realización de la prueba y su calificación, en los huecos rayados se
insertarán números en serie consecutiva y que correspondan a los de las celdillas en un
casillero de respuestas al que el alumno habrá de transferir la palabra que en cada caso
haya elegido. Los números en los huecos del texto se colocarán, entre corchetes, en el
centro del hueco para evitar que el alumno pueda asumir que lo que escribe en los
huecos mismos es su respuesta definitiva y olvide de este modo contestar rellenando las
celdillas al uso, o elija dos palabras distintas para rellenar el hueco y la celdilla,
dificultando así la evaluación de sus respuestas. En las instrucciones para la resolución
de estas tareas, como es el caso general, debe quedar claro tanto para el alumno como
para el evaluador dónde se debe responder a los ítems, de modo que no se tomen
decisiones arbitrarias sobre este punto.
8
•
•
Los elementos extraídos y ofrecidos junto con los distractores en el banco de palabras
deben ordenarse en dicho banco por orden alfabético y escribirse en mayúsculas para
no influir en la actuación del alumno.
Los elementos distractores deben pertenecer a las mismas clases de palabras que los
elementos extraídos, pero en ningún caso se incluirán distractores que, por su
significado, puedan utilizarse en lugar de los elementos correctos.
3.2.4. ÍTEMS DE VERDADERO/FALSO/NO SE DICE
•
•
Para diversificar las posibilidades de resolución y minimizar posibles aciertos por azar,
estas tareas incluirán la opción no se dice, teniendo cuidado de no redactar un ítemcomentario sobre el texto que, aunque no haga una referencia explícita a éste, pudiera
ser interpretado en sentido contrario al previsto. Esto sucede con relativa frecuencia en
niveles más altos, en los que los textos que se seleccionan, sobre todo si son de carácter
argumentativo, están abiertos a una mayor diversidad de visiones del mismo por parte
del lector. Por tanto, no se redactarán comentarios ambiguos, abiertos a interpretación
o que posibiliten diversas respuestas correctas.
Se le pedirá al alumno que justifique su elección haciendo referencia al texto. A este
propósito, la medida más apropiada es numerar previamente las líneas del texto, de
cinco en cinco, y pedir al alumno, como parte de la tarea, que escriba el número o
números de la(s) línea(s) donde puede encontrarse la información que apoya la opción
correcta. Cuando la opción V/F/NSD sea la correcta pero la referencia no lo sea, la
resolución del ítem se estimará como incorrecta en su totalidad, de lo que debe ser
informado el alumno en las instrucciones para la realización de la tarea.
3.2.5. RELACIONAR/EMPAREJAR TEXTOS CON TÍTULOS, EPÍGRAFES U
OTROS TEXTOS
Esta tarea presenta diversas variantes. Se le puede pedir al alumno, por ejemplo, que
empareje o relacione pequeños textos con títulos u otro tipo de epígrafes, con otros textos
más extensos, con preguntas, o con imágenes o gráficos, aunque esta última modalidad no
está exenta de problemas (entre los que destaca la posible interpretación errónea del
material visual) y resulta inviable en las pruebas para alumnos con discapacidades visuales.
En la elaboración de estas tareas, se debería tener en cuenta lo siguiente:
•
•
•
•
Para compensar posibles aciertos por azar y para evitar que los últimos ítems se
resuelvan de manera automática, siempre se darán más opciones de las necesarias. La
labor de redacción es más sencilla si se opta por preparar un número mayor de aquellos
elementos más breves y sencillos de fabricar o seleccionar, ya sean los propios textos o
los epígrafes.
En ningún caso se redactarán ítems con diversos posibles emparejamientos.
Los títulos o epígrafes estarán redactados en un lenguaje asequible para el nivel
correspondiente y no deberán hacer referencia a aspectos culturales, históricos, etc.
que, aunque guarden relación con el texto, se presuma puedan resultar dificultosos para
los alumnos, incluso los de niveles más altos. Hay que recordar que, aunque el
conocimiento enciclopédico de un individuo puede contribuir a su mejor comprensión
de lo que lee, nuestros alumnos no estudian la historia o la cultura de los países cuya
lengua es la lengua objeto de examen más que de un modo tangencial.
Para los niveles de Ciclo Superior se podrá estimar la redacción de epígrafes o la
selección de textos de mayor proximidad, esto es, que requieran del alumno una
9
•
comprensión más matizada (p. e. distintas opiniones de los autores de los textos sobre
un mismo tema), pero siempre cuidando de que exista un único emparejamiento
correcto para cada ítem dentro de la tarea.
Los textos deben numerarse o indicarse con letras. Los epígrafes/títulos/preguntas
deben, a su vez, indicarse de algún modo, y ser emplazados por orden alfabético con el
fin de evitar cualquier otro tipo de colocación que pudiera influir en la elección del
alumno.
3.2.6. COMPLETAR TABLA/DIAGRAMA CON INFORMACIÓN DEL TEXTO
La base de esta tarea es la misma que la de contestar a preguntas abiertas, en el sentido de
que no se le ofrece al alumno una serie de soluciones para que elija la correcta. El formato
de tabla/diagrama, sin embargo, suele ser más ordenado e intuitivo que una simple serie de
preguntas para contestar, ya que en este tipo de tarea se le suele pedir al alumno que recoja
una serie de informaciones de detalle del texto en expresiones muy breves, que pueden ser
cantidades o datos de similar carácter, como haría un lector que estuviera tomando notas
puntuales y breves a partir de lo leído.
Estas tareas requieren un buen diseño de las tablas o diagramas que cumplimentar para no
interferir en la actuación del alumno, que puede haber comprendido el texto y, aún así,
tener problemas con los mecanismos de realización de la tarea.
4. REDACCIÓN DE INSTRUCCIONES
Una gran parte de la superación de una prueba consiste en que uno sepa cómo realizarla.
No es infrecuente el caso de alumnos que tienen el nivel de competencia exigido y que
luego fracasan debido a la ausencia de instrucciones adecuadas o a la mala interpretación de
las mismas.
Por lo tanto, todas las tareas de una prueba deberían ir precedidas de unas instrucciones
sobre su realización debidamente señaladas/resaltadas. Dichas instrucciones deben ser
suficientes, claras, relevantes y estar redactadas en la lengua objeto de examen en un tipo de
lenguaje más sencillo que el requerido para la propia realización de la tarea. Además de
estos aspectos, se deberían atender los siguientes:
•
•
•
•
•
Las instrucciones serán uniformes a lo largo de cada prueba y del examen en su
conjunto (presentar el mismo tipo de fraseo, incluir los puntos pertinentes y redactarse
para cada tarea independientemente de que dichas instrucciones puedan ser las mismas
para dos o más tareas).
Para cada tarea debe indicarse su puntuación total y la puntuación de cada uno de los
ítems de los que consta.
Debe indicarse asimismo si existe algún tipo de penalización o franquicia en la
puntuación y con respecto a los ítems involucrados.
A la cabecera de cada tarea es conveniente reservar un espacio, claramente marcado,
para la anotación de la puntuación global obtenida por el alumno en dicha tarea.
Para cada tarea se reservarán igualmente espacios o sistemas adecuados tanto para que
los alumnos escriban sus respuestas como para la anotación, por parte de los
profesores, de las puntuaciones parciales por ítems, esto es, si el ítem se ha resuelto o
no correctamente.
10
•
•
A la cabecera de cada tarea se indicarán igualmente en instrucciones otros detalles que
se consideren pertinentes en cada caso, tales como el número de palabras que deben
contener las respuestas, que se anularán las respuestas dobles en tareas de elección
múltiple u oras, dónde encontrar –en qué paginas– los inputs para las tareas, etc.
Todas las tareas deben contener un ejemplo, ítem 0, para clarificar su realización.
5. ELABORACIÓN DE CLAVES DE RESPUESTA
Los redactores deben elaborar unas Claves de Respuesta para pruebas que, como las de
comprensión lectora, contienen tareas de resolución cerrada. Es más sencillo elaborar estas
claves sobre las plantillas de las pruebas mismas, introduciendo las respuestas correctas en
los huecos, rayados o celdillas destinados al efecto.
Para las tareas en las que se pida a los alumnos consignar los pasajes del texto que apoyan
las respuestas correctas, la Clave debe incluir dichas referencias junto con las respuestas.
En aquellos casos en que se admita más de una respuesta correcta, se harán constar todas
las posibilidades en la Clave correspondiente 2 .
6. ENSAYOS PREVIOS Y ANÁLISIS DE LAS PRUEBAS
Para comprobar si las pruebas elaboradas son lo bastante válidas y fiables y pueden, así, ser
aplicadas con garantías a nuestro alumnado, las tareas producidas suelen ensayarse o
pilotarse antes de su administración. Existen numerosos procedimientos de análisis,
algunos más sencillos y otros más complicados y que requieren importantes medios
técnicos, tiempo y personas expertas en realizar los análisis e interpretar sus resultados.
A la escala en que, como profesores, podemos trabajar, y contando con los medios y el
tiempo de los que disponemos, las pruebas preliminares suelen administrarse, al menos, a
tres grupos de pseudo-candidatos: hablantes nativos, profesores del idioma en cuestión y
estudiantes del idioma objeto de examen con un nivel similar al que se espera de los
alumnos reales a la fecha de administración de las pruebas.
Los hablantes nativos y los profesores del idioma pueden, fundamentalmente, darnos una
perspectiva sobre si el tratamiento de la lengua en las pruebas es el idóneo, si aprecian algo
en los textos, tareas e ítems que, por alguna razón, no es adecuado. Los ensayos con
estudiantes nos dan idea de si el nivel está ajustado y si la duración de la prueba, las
instrucciones y los ítems son apropiados o no. En ocasiones diseñamos ítems que nos
parecen muy buenos y que luego son resueltos por la totalidad del los alumnos o por
ninguno o muy pocos. Hay, en fin, una larga serie de cosas que no solemos apreciar, como
redactores de las pruebas, y en las que tenemos que reflexionar. Por citar solo un ejemplo,
es bastante común que al editar un texto le hayamos quitado parte de su cohesión; nosotros
no solemos notarlo porque podemos suplir mentalmente lo que ya no está, pero los
lectores de ese texto editado no cuentan con esas referencias y en muchas ocasiones no
pueden entenderlo con facilidad incluso aunque su competencia en comprensión lectora
sea superior a la demandada.
Para profundizar en todos los aspectos de elaboración de pruebas reseñados hasta el momento, y
ver ejemplos de su aplicación, se recomienda consultar Alderson, J. C. (2000), Assessing reading,
Cambridge University Press.
2
11
Los ensayos previos con estudiantes de la lengua deberían llevarse a cabo con 20 de ellos
como mínimo (el número mínimo ideal para análisis a gran escala es de 250) y las pruebas
deberían administrárseles con la misma duración y el mismo formato que se hayan previsto
para la administración final. Los resultados de estos ensayos deben analizarse para detectar
los problemas que puedan surgir respecto a la viabilidad de la prueba, las instrucciones de
realización, la idoneidad de los textos de entrada y el grado de dificultad y discriminación de
los ítems. Con respecto a estos últimos índices, se han establecido, en diversos entornos,
medidas muy variadas. En nuestro contexto, y con las herramientas de que disponemos,
podríamos estar satisfechos con que los evaluados resolvieran correctamente los ítems
propuestos en una banda del 45% al 65% de sujetos evaluados. Los ítems con menor o
mayor resolución correcta pueden estar indicando que el nivel es demasiado alto o bajo con
respecto al que se espera.
Estos análisis se pueden hacer “a mano” o con un simple programa de Excel, que calcula
diversos índices 3 . Entre los sistemas más sofisticados de análisis de ítems, y con mayor
capacidad para manejar un elevado número de datos, se encuentran los programas
informáticos ITEMAN, SPSS, WINSTEPS, o FACETS, cuyo manejo requiere un
entrenamiento específico y licencia de uso. Estos programas, por sus características, suelen
utilizarse a nivel institucional y para análisis que se requieren de procesos de medición de
envergadura.
Para operaciones sencillas sobre medias y otras medidas, véanse los apéndices correspondientes en
Alderson et al. (1995), Exámenes de idiomas, Cambridge University Press.
3
12
ANEXO I
MICRODESTREZAS DE COMPRENSIÓN LECTORA
Las microdestrezas susceptibles de ser evaluadas en la destreza de Comprensión Lectora,
en términos generales, son las siguientes:
•
•
•
•
•
•
•
Comprender el sentido general del texto
Comprender los puntos principales
Comprender detalles esenciales
Comprender detalles relevantes
Discriminar entre hechos y opiniones, afirmaciones y ejemplos
Identificar y comprender los puntos de vista, opiniones y actitudes explícitos del autor
Identificar y comprender los puntos de vista, opiniones y actitudes implícitos del autor
Aspectos como reconocer las relaciones internas entre oraciones o pasajes del texto,
conocer los mecanismos de cohesión textual, o deducir el significado de un elemento léxico
desconocido con la ayuda del cotexto o del contexto, entre otros muchos, no son
propiamente microdestrezas sino, dependiendo de los casos, competencias léxicogramaticales, estrategias de aprendizaje o comunicación, u otros. Como tales, constituyen
meramente los medios que nos permiten comprender un texto escrito y, en muchos casos,
no son garantía, por sí mismos, de que esa comprensión tenga lugar.
Antes de proceder a la elaboración de pruebas de comprensión lectora, deben establecerse
claramente las microdestrezas involucradas en la evaluación para cada nivel.
ANEXO II
VALIDACIÓN DE TEXTOS
Los textos seleccionados se pueden considerar válidos cuando cumplen los siguientes requisitos:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
No asumen demasiado conocimiento cultural o local.
La información que presentan no es conocida de antemano por los alumnos.
El tema se ajusta a los establecidos para el nivel y no es demasiado especializado.
No tratan de temas que puedan ofender a los alumnos o discriminar por alguna razón a
individuos o colectivos.
No contienen faltas técnicas o estilísticas, están bien editados y son coherentes.
Presentan una organización adecuada de la información que contienen
Presentan unos rasgos lingüísticos (léxico, estructuras sintagmáticas u oracionales,
variedad de lengua, registro, etc.) idóneos para el nivel que se evalúa.
Son idóneos para evaluar las microdestrezas establecidas.
Son de la longitud suficiente para generar el número necesario de ítems.
Tienen un buen índice de legibilidad.
Estos requisitos deben tenerse en cuenta cuando quiera que se haga un filtrado, tanto por parte del propio
redactor como de otras personas (pseudo-candidatos, supervisores, etc.).
13
ANEXO III
VALIDACIÓN DE TAREAS E ÍTEMS
Las tareas e ítems producidos se pueden considerar válidos cuando cumplen los siguientes requisitos:
1. Las tareas permiten medir las microdestrezas establecidas.
2. La presentación formal de la tarea es clara, ordenada y contribuye a su realización.
3. Las instrucciones de realización son claras, suficientes y asequibles para el nivel.
4. La tarea incluye apartado, debidamente señalados, para la inserción de las respuestas y su
calificación.
5. El ejemplo o ítem 0 es representativo de cómo se debe resolver la tarea.
6. Los ítems
6.1. no se pueden resolver por el conocimiento del mundo o enciclopédico
6.2. miden la comprensión de información prominente antes que periférica
6.3. no miden las apreciaciones personales de los alumnos con respecto a los textos
6.4. no exigen operaciones cognitivas complejas
6.5. no son interdependientes
6.6. están ordenados en la tarea siguiendo el orden de la información que incluye el texto
6.7. están ordenados en la tarea de menor a mayor grado de dificultad
6.8. están formulados en positivo
6.9. son de resolución controlada y tienen una única respuesta clara
6.10. son de lectura sencilla, con lenguaje propio del nivel
7. En los ítems de opción múltiple, las distintas opciones están ordenadas alfabéticamente.
8. En las tareas de transferir información a una tabla, diagrama o esquema de notas, éstos
son de lectura intuitiva y ordenada.
9. En las tareas de relacionar/emparejar textos con títulos/epígrafes/otros textos, las
distintas opciones están ordenadas alfabéticamente.
10. Las tareas están diseñadas para minimizar la demanda de la destreza de expresión
escrita.
Estos requisitos deben tenerse en cuenta cuando quiera que se haga un filtrado, tanto por parte del propio
redactor como de otras personas (pseudo-candidatos, supervisores, etc.).
14