Capacidad de discriminación de las preguntas de un examen escrito

94
Rev. agron. noroeste argent. (2014) 34 (2): 94-96
ISSN 0080-2069 (impresa)
ISSN 2314-369X (en línea)
Capacidad de discriminación de las preguntas de un examen escrito
F. A. Rosales*
Facultad de Agronomía y Zootecnia. Universidad Nacional de Tucumán.
Avenida Néstor Kirchner 1900. 4000 San Miguel de Tucumán, Argentina.
*
Autor de correspondencia: [email protected]
Palabras claves: preguntas escritas, discriminar, conocimiento
Las calificaciones o mediciones que proporcionan las evaluaciones (exámenes), como cualquier
medición tiene error, pero las decisiones que se
toman a partir de la puntuación otorgada, debe
obligar a cuantificar su ineludible existencia. El
docente debe por lo tanto, estar capacitado para
conocer la precisión de las medidas proporcionadas por sus exámenes. La precisión de un instrumento de medición se expresa comparando la lectura obtenida, respecto a un metro, kg, segundo
etc, exacto. Sin embargo eso no es posible en los
exámenes, por la inexistencia del valor exacto al
cual referirlo o compararlo. Según Morales (2012)
una de las formas de aumentar la precisión es con
la repetición (número de preguntas). A partir de
esto, puede buscarse conocer la cuantía en el conocimiento de una sola persona, la comparación
de conocimientos entre los integrantes del grupo o
ambas. Las evaluaciones tienen estrecha relación
con los docentes y alumnos. Con los profesores a
través de: objetivos perseguidos, contenidos, criterios de evaluación, procedimientos de análisis y
calificación de las respuestas. Con los alumnos
pues parte de lo que el alumno estudia, depende
del tipo de preguntas y examen que el espera. El
objetivo necesario y buscado es entonces discriminar entre los que saben, los que no y los ayudados por el azar. Para lograrlo, Muñiz (1998) concluye en que deben realizarse pruebas o exámenes
objetivos, con preguntas con respuestas múltiples.
Para Case y Swanson (1998) el uso de preguntas
con respuestas múltiples tiene ventajas y desventajas; entre las ventajas están que: evita lo tedioso
de corregir “preguntas abiertas” y la tarea se
“vuelve” mecánica, simple, objetiva y hasta delegable. Entre las desventajas: se necesita redactar
buenas preguntas, planificar o discernir los temas
a evaluar (es más fácil o hay más preguntas de lo
que es fácil preguntar y no más preguntas de lo
verdaderamente importante o de lo que se debe saber) y el criterio de clasificación (memoria, comprensión, interpretación, uso de la información,
todo junto). La idea más seguida por los docentes
para conocer si la pregunta es de mala calidad es
tomar todos o parte de los exámenes con mayor
puntuación y marcar las preguntas sin respuestas
pues a ellas se les asigna estar mal redactadas o
que no se entregó información suficiente. Técnicamente, las pruebas o exámenes tienen un grado de
fiabilidad. Para Wikipedia la fiabilidad hace referencia a la ausencia de errores de medida en la
evaluación. Para conocerla con profundidad y precisión, se puede usar el “coeficiente de fiabilidad”,
ya que expresa la probabilidad de que cada alumno se ubique en el lugar de la escala que le corresponde. También existe el “coeficiente de discriminación”, el “error típico” de un examen (indica el
margen de oscilación en la puntuación obtenida
que se puede atribuir al azar) y otros. En el presente trabajo se analizará la capacidad de las preguntas a través de las respuestas en exámenes escritos,
para identificar las fuentes de error en la medición,
relacionadas con la tarea docente y mejorar la calidad de los exámenes. El examen considerado tenía 20 preguntas. La población de alumnos del
ensayo fue una de las comisiones cursando Mecanización Agrícola compuesta de 80 alumnos. Para
el análisis de los resultados se formaron tres grupos de alumnos: los que su puntuación fue de siete
o más; los que su calificación fue menor a cuatro y
los que obtuvieron entre cuatro y siete puntos. En
el muestreo se consideran sólo a dos de los grupos:
el con mayor y el con menor puntuación. De cada
uno de ellos fueron tomados 20 individuos. Serán
denominados: “grupo de puntuación superior” y
“grupo de puntuación inferior”. El análisis más
simple consiste en las medias o promedios estadísticos. El primer promedio buscado fue el de respuestas correctas en toda la muestra y en cada uno
de los grupos. Los integrantes del grupo de puntuación superior tuvieron un total de 278 respuestas correctas, con lo que el promedio para cada
participante fue de 14 respuestas correctas sobre
20 preguntas. Los integrantes del grupo de pun-
Recibido 06/08/14; Aceptado 06/10/14; Publicado en línea 03/11/14.
Rev. agron. noroeste argent. (2014) 34 (2): 94-96
ISSN 0080-2069 (impresa)
ISSN 2314-369X (en línea)
95
Tabla 1. Cantidad de respuestas correctas, capacidad de discriminación e índice de dificultad para cada pregunta.
Tabla 2. Índices de discriminación
tuación inferior tuvieron un total de 141 respuestas correctas, con lo que el promedio fue de siete
respuestas correctas sobre 20 preguntas. El total
de respuestas correctas de los dos grupos fue 419,
con un promedio de 10,5 respuestas correctas de
cada participante. Estos valores o proporciones
son usados para definir otras variables. Así se define el índice de dificultad del examen como el cociente entre el promedio de respuestas correctas y
el número de preguntas del examen. Para los dos
grupos (cuarenta exámenes): Índice de dificultad
del examen= Promedio respuestas correctas/Número de preguntas del examen = 10,5/20 = 0.52.
Puede determinarse el índice de dificultad para el
grupo superior (0,7) y para el grupo inferior (0,35).
Su valor aun expresado como porcentaje, no es
más que la proporción de respuestas correctas de
cada grupo: superior (14/20), inferior (7/20) y total (10,5/20). Queda claro que la denominación de
índice de dificultad no guarda relación con lo que
expresa, pues el grupo de puntuación superior posee un mayor valor numérico del índice. También
se definió el índice de discriminación del examen
(IDiE) como el cociente de la diferencia entre la
puntuación más alta y la más baja obtenidas respecto al número de preguntas. Índice de discriminación del examen = Puntuación alta – Puntuación
baja / Número de preguntas del examen. Su valor
es; (15,5 – 5,1) / 20 = 0,45. Este índice marca la
diferencia entre el individuo que más sabía y el
que menos sabía en las preguntas del examen;
marca que esa diferencia fue de casi la mitad del
total de preguntas. Otro análisis simple, consiste
en considerar cada pregunta en forma individual
dentro de cada grupo, consignando las respuestas
correctas de los individuos en cada combinación
de ellas. En la Tabla 1A se muestra la población de
datos. Las columnas están asignadas al número de
la pregunta (1 hasta 20) y las filas están asignadas
a cada grupo. En la fila superior se lee entonces la
cantidad de respuestas correctas obtenidas para
cada pregunta en el grupo de puntuación más alta
y en la fila inferior al grupo de puntuación más
baja. Si se asigna la condición de “pregunta fácil”
a aquella con más de 50 % de respuestas correctas,
para el grupo con mayor puntuación, 17 tuvieron
esa condición y sólo tres preguntas fueron difíciles: 7, 11 y 20. Para el grupo con menor puntuación, la situación fue la inversa: sólo hubo cuatro
preguntas fáciles: 6, 13, 17 y 19. Los dos grupos
tienen en común que las preguntas 7, 11 y 20 no
fueron respondidas; mientras las preguntas 6, 13,
17 y 19 tuvieron respuesta correcta en la mayoría
de sus integrantes. Estos dos “grupos” de preguntas, constituyen el 35% de las preguntas del examen o lo que es igual el 35% de las preguntas del
examen, fueron muy fáciles o muy difíciles. Se
concluye en que ninguna de ellas cumple la función de discriminar a los alumnos por su conocimiento, unas por fáciles (las contestan todos) y las
otras por difíciles (no las contesta nadie). En la
Tabla N° 1B se muestran coloreadas las respuestas
a las preguntas capaces de discriminar a los
individuos por su conocimiento. Las preguntas 4,
96
Rev. agron. noroeste argent. (2014) 34 (2): 94-96
8, 9, 10, 12, 14, 16 y 18 son aquellas en las que, el
número de respuestas en el grupo de la fila superior
(los de mayor puntuación) es por lo menos el
doble de las respuestas correctas de la fila con
puntuación inferior, ellas constituyen el 40 % del
examen. En las preguntas 1, 2, 3 y 5 el número de
respuestas correctas en la fila superior es muy
próximo a ser el doble de las de fila inferior. Así
como en el análisis del examen se mostró su índice
de dificultad y su índice de discriminación, para el
análisis de las preguntas en forma individual
también están definidos. El índice de dificultad
para una pregunta, se define como el cociente
entre la suma de los aciertos de los dos grupos y el
total de individuos de la muestra. En la Tabla N°
1C se presentan sus valores. En las columnas se
encuentran los valores que corresponden a cada
pregunta, las cuales se numeran en la fila uno. La
fila dos tiene la cantidad total de aciertos. La
tercera fila muestra el índice de dificultad de cada
pregunta. Sus valores van de cero a uno, cuan más
alto su valor la respuesta es más fácil, los más
altos corresponden a las preguntas 6, 13, 17 y 19
tal como se había marcado en la Tabla N° 1A. El
índice de discriminación para cada pregunta, se
define como la diferencia entre el número de aciertos para el grupo superior y el número de aciertos
para el grupo inferior. Índice de discriminación
por pregunta = Número aciertos superior / Número de individuos – Número de aciertos inferior /
Número de individuos. Como el denominador es
el mismo, la ecuación queda como el cociente entre la diferencia de aciertos de los dos grupos, sobre el número de individuos del grupo. En la Tabla
N° 2A se muestran sus valores. Índice de discriminación por pregunta = Número aciertos superior
– Número aciertos inferior / número individuos.
Índice de discriminación pregunta uno = 17,5 –
9,5 / 20. Sus valores oscilan entre uno y menos
uno. Para el caso de que “todos” respondan correctamente o incorrectamente el índice vale cero.
Si responden correctamente solamente todos los
del grupo superior el índice vale uno. Si responden
correctamente solamente todos los del grupo inferior el índice vale menos uno. Una pregunta que
discrimina mucho es aquella en la que, las respuestas correctas se dan solamente y en todos los
individuos del grupo superior. Si son contestadas
sólo por los del grupo inferior su valor será próximo a – 1 (menos uno) e indica que la pregunta
debe ser revisada pues esta mal formulada o tiene
la existencia de un error que induce a los que no
saben a tomarla como correcta. Existe otro índice
de discriminación que expresa la proporción de
ISSN 0080-2069 (impresa)
ISSN 2314-369X (en línea)
aciertos del grupo superior respecto al total de
aciertos. Se lo denominará índice de discriminación 2; Índice de discriminación dos por pregunta
= Número de aciertos superior / Número aciertos
superior + Número aciertos inferior. En la Tabla
N° 2B se presentan sus valores y se colorean los
registros más altos. Se considera que cuando el índice vale 1 (uno) o cuanto más cerca de 1 (uno)
este su valor, la discriminación de la pregunta es
perfecta. Las curiosidades de los valores numéricos se aprecian en las preguntas número 6 (seis) y
7 (siete). Sin embargo, es muy importante el número de acertantes que tiene la pregunta y que todos sean del grupo superior. En otras palabras el
valor del índice será siempre 1 (uno), sin importar
el número de acertantes, mientras pertenezcan todos al grupo superior. Pero, el valor de 1 (uno) en
el índice, será muy válido mientras el número de
acertantes no sea inferior a la mitad de los integrantes del grupo superior. Estos índices transforman en números lo sucedido en el examen, no
aportan información sobre la calidad de sus preguntas. El análisis cualitativo de las preguntas se
pone de manifiesto por ejemplo en las preguntas
11 y 20, las cuales miden la capacidad de aplicar
una información (no la memoria) y cuyos resultados son muy magros. Muchas veces los docentes
se dejan tentar por un bajo índice de discriminación de una pregunta, reemplazándola. Sin embargo debe tenerse presente que ningún análisis de
resultados puede reemplazar a la cuidadosa elaboración de una pregunta. Puede concluirse que en
este examen el 40 % de sus preguntas tienen la
capacidad de discriminar a los alumnos por su conocimiento. El 35 % de sus preguntas no tienen la
capacidad de discriminar por el conocimiento.
Referencias bibliográficas
Case S., Swanson M. (1998). Como elaborar preguntas
para evaluaciones escritas en el área de ciencias básicas y clínicas. Market. Philadelphia. p 182
Morales P. (2012). Análisis de ítems de pruebas objetivas. http://web.upcomillas.es /personal/otrosdocumentos/analisisitemspruebasobjetivas.pdf
Muñiz J. (1998). Teoría Clásica de los tests. Pirámide.
Madrid p 242
www.es.wikipedia.org