Formación continuada. Cómo redactar preguntas con opciones de

Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
Radiología. 2013;55(S1):S28---S36
www.elsevier.es/rx
ARTÍCULO ESPECIAL
Formación continuada. Cómo redactar preguntas con opciones
de respuesta múltiple
R. Soler Fernández, C. Méndez Díaz y E. Rodríguez García ∗
Servicio de Radiología, Complejo Hospitalario Universitario, A Coruña, España
Recibido el 23 de junio de 2012; aceptado el 3 de enero de 2013
Disponible en Internet el 9 de marzo de 2013
PALABRAS CLAVE
Evaluación;
Formación;
Certificación;
Formación médica
continuada
KEYWORDS
Evaluation;
Education;
Certification;
Continuing medical
education
∗
Resumen La evaluación de la competencia profesional en medicina es una tarea difícil pero
indispensable porque permite, en diferentes momentos y desde distintas perspectivas, valorar
en qué medida se han adquirido los conocimientos, habilidades, actitudes y valores necesarios
para el ejercicio profesional.
Las pruebas basadas en preguntas de opciones múltiples han sido y son, una de las herramientas más útiles y utilizadas para evaluar de forma objetiva el aprendizaje en medicina. Cuando
están bien diseñadas y se aplican de forma correcta, además de estimular el aprendizaje,
pueden incluso medir habilidades cognitivas superiores.
Redactar un cuestionario de preguntas con opciones de respuesta múltiple es una tarea difícil que requiere conocimientos sobre la materia que se ha de valorar, aprendizaje de una
metodología y tiempo para su elaboración.
El objetivo de este trabajo es revisar lo que las preguntas de opciones múltiples pueden evaluar, las reglas y normas que deben tenerse en cuenta para su redacción, los distintos formatos
que pueden utilizarse, los errores más frecuentes que suelen cometerse en su elaboración y
como analizar los resultados de los exámenes para poder verificar su calidad.
© 2012 SERAM. Publicado por Elsevier España, S.L. Todos los derechos reservados.
Continuing medical education: How to write multiple choice questions
Abstract Evaluating professional competence in medicine is a difficult but indispensable task
because it makes it possible to evaluate, at different times and from different perspectives,
the extent to which the knowledge, skills, and values required for exercising the profession
have been acquired.
Tests based on multiple choice questions have been and continue to be among the most useful
tools for objectively evaluating learning in medicine. When these tests are well designed and
correctly used, they can stimulate learning and even measure higher cognitive skills.
Designing a multiple choice test is a difficult task that requires knowledge of the material to
be tested and of the methodology of test preparation as well as time to prepare the test.
Autor para correspondencia.
Correo electrónico: [email protected] (E. Rodríguez García).
0033-8338/$ – see front matter © 2012 SERAM. Publicado por Elsevier España, S.L. Todos los derechos reservados.
http://dx.doi.org/10.1016/j.rx.2013.01.001
Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
Formación continuada. Cómo redactar preguntas con opciones de respuesta múltiple
S29
The aim of this article is to review what can be evaluated through multiple choice tests, the
rules and guidelines that should be taken into account when writing multiple choice questions,
the different formats that can be used, the most common errors in elaborating multiple choice
tests, and how to analyze the results of the test to verify its quality.
© 2012 SERAM. Published by Elsevier España, S.L. All rights reserved.
Introducción
La medicina es una ciencia extensa y compleja, cuya
enseñanza y aprendizaje representan un reto en todas
las etapas formativas. La evaluación del proceso de aprendizaje es un aspecto fundamental para conocer si se han
alcanzado los objetivos de cada fase formativa. El estudiante de medicina o el especialista en formación debe
adquirir, además de un elevado volumen de información
médica, las habilidades y valores establecidos para el ejercicio de su profesión, la capacidad para pensar de manera
crítica, para educar, y la habilidad para comunicarse claramente. Todo ello con sentido humanista y social. Si se
consideran esos objetivos educacionales, el médico debe
ser educado y evaluado como clínico, como científico, como
humanista y como docente1 .
La evaluación es una etapa del proceso de aprendizaje
que tiene como finalidad comprobar de manera sistemática los resultados obtenidos en relación con unos objetivos
especificados con antelación. Las pruebas constituidas por
preguntas con opciones de respuesta múltiple (POM) han
sido y son los instrumentos más frecuentemente utilizados a
lo largo de la educación médica para evaluar formalmente
el aprendizaje y el progreso académico de los alumnos de
licenciatura y de posgrado; también se utilizan en los exámenes profesionales, de ingreso a las residencias médicas,
y de certificación y recertificación1,2 .
La gran aceptación de las POM para la evaluación del
conocimiento médico se debe, entre otros motivos, a la
posibilidad que este método proporciona de plantear un
número elevado de preguntas y así abarcar el mayor número
de temas tratados en la disciplina, plan de estudios o
período formativo que se quiere evaluar. La mayoría de
los autores también acepta que cuando las preguntas son
pertinentes, están claramente escritas y bien construidas,
son útiles para medir procesos cognitivos superiores, como
interpretación, síntesis y aplicación del conocimiento, y que
estos exámenes son válidos, discriminatorios, económicos
y fiables2---4 . De hecho, la fiabilidad es la cualidad principal, y más ampliamente aceptada, de los exámenes de
opción múltiple. Además, las POM se pueden aplicar en un
tiempo relativamente corto, pueden ser analizadas de forma
rápida y objetiva tanto de forma manual mediante el uso de
plantillas, etc. como mediante análisis por ordenador que,
además, puede servir como almacén de preguntas5 . Todas
estas características facilitan que las POM se puedan aplicar
simultáneamente a un número alto de estudiantes.
Los sistemas de certificación y recertificación de varios
países europeos, así como el conocido sistema de EE. UU., el
American Board of Radiology, utilizan módulos de autoevaluación basados en las POM. El examen de médicos internos
residentes (MIR) es el ejemplo por antonomasia de las POM
en España, pero cada vez con mayor frecuencia, esta forma
de evaluación se utiliza también en la formación de la
especialidad y en la formación continuada de los especialistas. Algunas revistas radiológicas, como Radiología y
Radiographics, incorporan cuestionarios con las POM relacionadas con artículos de revisión que permiten a los radiólogos
comprobar el nivel de conocimientos adquiridos. Además,
esta herramienta se utiliza cada vez con más frecuencia en
cursos y congresos presenciales, cursos on-line y cursos de
formación en los servicios, para estimular la atención y comprobar los conocimientos adquiridos. Todo esto ha generado
mayores requerimientos de los docentes médicos y mayor
entrenamiento y conocimientos metodológicos en la redacción de las POM2,6 .
Redactar una prueba de POM es una tarea difícil que consume tiempo, incluso para personas entrenadas y habituadas
a hacerlo. El primer aspecto a considerar cuando se va a
elaborar una POM es que el redactor del cuestionario debe
conocer en profundidad el tema a evaluar, así que la correcta
redacción de una POM es una verdadera «puesta al día» de
esa área del conocimiento y un gran ejercicio intelectual
que incrementa los conocimientos del redactor.
Los principios y normas de redacción de las pruebas de
POM están bien documentados; sin embargo, son frecuentes las interpretaciones erróneas y las alteraciones de estos
principios5,6 .
En este artículo se revisan las normas generales para la
elaboración de exámenes con las POM, los errores que deben
evitarse, los formatos más frecuentes y útiles, y como analizar la calidad de los exámenes.
Lo que las preguntas de opción múltiple
pueden evaluar
Los contenidos de aprendizaje pueden ser clasificados en
3 categorías esenciales: conocimientos, destrezas y habilidades. Las POM permiten medir los conocimientos y cuando
están bien escritas, son útiles para medir procesos cognitivos superiores, como interpretación, síntesis y aplicación del
conocimiento (capacidad para resolver los problemas)2---4 .
Conocimientos
El tipo de aprendizaje más importante es el conocimiento.
Puede caracterizarse por medio de hechos, conceptos,
principios y procedimientos. Para el aprendizaje de conocimientos es necesario recordar o comprender7 .
Recordar los conocimientos, representa el producto del
aprendizaje por medio de la memoria. Comprender los conocimientos implica demostrar que se sabe el significado de un
hecho, un concepto, un principio o un procedimiento; lo que
ayuda a pensar de forma crítica y creativa para resolver los
problemas complejos.
Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
S30
R. Soler Fernández et al
Figura 1 Análisis de los conocimientos. Las figuras ilustran la diferencia entre una pregunta que exige recordar un conocimiento
aislado (pregunta 1) y comprender el significado de un hallazgo (pregunta 2).
Las POM permiten medir los conocimientos de forma eficaz. Para demostrar el conocimiento se debe escribir una
pregunta que exija recordar un hecho o un dato aislado
(figs. 1 y 2). Las preguntas de comprensión requieren que
el que está realizando la prueba revise la información dada
en el enunciado (historia clínica, viñeta de un paciente)
y llegue a una conclusión (por ejemplo, un diagnóstico)
(fig. 1)6,7 .
Destrezas
Una destreza es la precisión con la cual se realiza una actividad o un conjunto de actividades que llevan a un resultado;
algunas destrezas son mentales y su desempeño no es siempre obvio6---8 .
El mejor examen para medir el dominio de una destreza
es por medio de la observación, pero las POM ofrecen una
alternativa eficiente para evaluar muchas destrezas6 .
Una forma de evaluar las destrezas consiste en plantear
un caso clínico y a partir de este, establecer una serie de
POM acerca de las técnicas más apropiadas para el estudio
del paciente, interpretación de los signos, su diagnóstico y
los posibles tratamientos6,8 (fig. 2).
Habilidades
La adquisición de conocimientos y de destrezas es el medio
para conseguir la formación de habilidades cognitivas importantes, con el objetivo final de resolver problemas para
alcanzar la competencia profesional. Los exámenes que pretenden medir el nivel de aprendizaje están cada vez más
enfocados en las habilidades y no en los conocimientos y las
destrezas7,9 .
Los formatos de las POM tienen un papel muy limitado
en medir las habilidades. Como ocurre con la evaluación de
la destreza, la mejor manera de medir las habilidades es la
observación de la realización de las mismas. Sin embargo,
algunos formatos novedosos de las POM, como el conjunto
Figura 2 Análisis de las destrezas y de las habilidades. Conjunto de preguntas que analizan el conocimiento (recuerda cuál es la
neoplasia vesical más frecuente) (pregunta 1), las destrezas (conocer cómo influyen otros factores en el diagnóstico) (pregunta 2)
y las habilidades (aplica diferentes conocimientos, analiza la información y resuelve el problema) (pregunta 3).
Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
Formación continuada. Cómo redactar preguntas con opciones de respuesta múltiple
S31
Figura 3 Ejemplo de un enunciado que implica recordar un hecho aislado (evalúa la memoria) (pregunta 1) y otro que analiza la
aplicación de conocimientos (recordar y comprender) (pregunta 2).
de preguntas o miniprueba, pueden contribuir y ser útiles
en la evaluación de las habilidades (fig. 2).
Principios generales de las preguntas
con opciones de respuesta múltiple
La National Board of Medical Examiners (NBME), organismo
encargado de los exámenes para empezar a ejercer la medicina en Estados Unidos, es considerado por la mayoría de
los expertos como una de las instituciones que produce
exámenes de calidad con preguntas bien construidas. Esta
institución ha publicado un manual sobre como redactar preguntas de opciones múltiples en base a su experiencia en los
últimos 20 años6 .
Los componentes de una prueba de POM incluyen: el
enunciado (sentencia o pregunta), opciones de respuesta y
distractores (opciones incorrectas)2,6,10,11 .
Enunciado
Para que una pregunta de una prueba de POM esté bien formulada debe cumplir 2 criterios básicos: debe referirse a
un contenido importante y no añadir dificultades ajenas a la
materia que es evaluada2,6,7,9 .
Antes de seleccionar el contenido de las preguntas deben
haberse establecido los objetivos y niveles del aprendizaje
para cada objetivo, de manera que puedan ser evaluados de
forma eficaz2,6 .
El contenido de las pruebas de POM debe ser concordante
con los objetivos del programa de aprendizaje. Los contenidos más importantes deben tener más relevancia que
los contenidos de menor importancia, el tiempo dedicado
a cada contenido en la prueba debe reflejar la importancia relativa del tema, y la muestra de preguntas debe ser
representativa de las metas de enseñanza6 .
Las POM deben contener 3 categorías de actividad
mental: recordar un hecho aislado (memoria), interpretar la información suministrada para alcanzar la
conclusión deseada (comprensión) y resolver el problema
(razonamiento)12 .
En la figura 3 se ilustra la diferencia entre el enunciado de
una pregunta que evalúa el recuerdo de un hecho aislado
de otra que analiza la aplicación de conocimientos.
La inclusión de datos clínicos e imágenes en el enunciado
de una pregunta es una forma excelente de evaluar la aplicación del conocimiento en nuestra especialidad y es el modelo
que deberíamos seguir en la redacción de este tipo de examen. Cada pregunta debería comenzar con la presentación
del problema clínico del paciente, continuar con la historia
clínica y otros datos relevantes de laboratorio o tratamiento
e incluir una o dos imágenes radiológicas (fig. 4).
Formular las POM utilizando imágenes ayuda a validar la
capacidad de resolución de problemas y a identificar a los
alumnos que son capaces de memorizar gran cantidad de
datos, pero que no pueden utilizar la información de forma
efectiva2,6 .
En cualquier caso, el contenido de la pregunta debe
incluir solo información relevante y necesaria y su enunciado
debe ser conciso y claro. Se debe evitar el uso de palabras o
expresiones confusas que lleven a errores de interpretación
y la pregunta debe poder responderse sin la necesidad de
leer cada respuesta13 .
Opciones de respuesta
El número de opciones de respuesta suele ser entre 4 y 5. Las
opciones deben ser claras y cortas, de longitud parecida y
tener una conexión gramatical y sintáctica con el enunciado
de la pregunta.
En las opciones, solo debe haber una única respuesta
claramente correcta. Cuando varias respuestas pueden ser
verdaderas en términos absolutos, debe quedar claro que
la respuesta correcta lo es en términos relativos (cuál es la
característica más importante, cuál es el hallazgo semiológico más útil para definir.. . .). Además, debe evitarse
incluir respuestas como «todas son correctas. . .» o «todas
son incorrectas. . .»2,6 .
La respuesta correcta debe variar en su ubicación (a-b-co d) ya que se ha demostrado que existe una tendencia a
colocar la respuesta correcta en b o c6,7 .
Distractores u opciones incorrectas
La redacción de distractores u opciones incorrectas requiere
de un profundo conocimiento del tema a evaluar. Los mejores distractores deben responder parcialmente a la verdad,
deben poder ser respuestas posibles pero incorrectas2 .
Una buena fuente de distractores son los errores comunes, las confusiones que por experiencia sabemos que
inducen a cometer errores5,6,12 .
Los distractores deben ser homogéneos en su contenido,
estar en la misma categoría y ser parecidos a la respuesta
correcta. Todos los distractores deben ordenarse de forma
lógica (numérica o en orden alfabético), tienen que ser creíbles, gramaticalmente correctos, lógicamente compatibles
con el enunciado de la pregunta y de la misma longitud que
la respuesta correcta2,6 .
Defectos comunes a evitar
En la tabla 1 se resumen los defectos más comunes
que deben evitarse en la construcción de las POM. Estos
Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
S32
R. Soler Fernández et al
Figura 4
Ejemplo del formato miniprueba o conjunto de preguntas utilizando una viñeta con imágenes.
defectos suelen relacionarse con la habilidad para responder a los exámenes tipo test o con las dificultades añadidas
que son irrelevantes con el contenido del aprendizaje.
Defectos relacionados con la habilidad
para responder exámenes
Es importante evitar incluir distractores que no concuerdan gramaticalmente con el enunciado2,6,14 . Una persona
Tabla 1 Defectos técnicos más comunes que deben evitarse en la construcción de las POM
Relacionados con la
habilidad para responder
a los exámenes tipo test
Distractores que no
concuerdan
gramaticalmente con el
enunciado
Incluir términos absolutos
(siempre, nunca, todas,
ninguna)
Utilizar distractores
heterogéneos en longitud o
complejidad
Utilizar distractores ridículos
o muy parecidos
Repetir palabras del
enunciado en los
distractores
Relacionados con
dificultades irrelevantes
Utilizar enunciados
demasiado largos o
negativos (no es, todas
son ciertas excepto)
Utilizar términos
imprecisos (raramente,
habitualmente)
Distractores complejos
con más de un concepto
Distractores con números
sin orden lógico o con
unidades diferentes
Incluir ninguna de las
anteriores en los
distractores
con habilidad para responder a un examen descartaría de
entrada estas opciones de respuesta.
Los términos absolutos son una indicación de que una
respuesta es errónea. Palabras como «siempre» o «nunca»
no suelen ser verdaderas en la vida real, por lo que casi
nunca son la respuesta correcta de la pregunta6 .
Debe evitarse que la respuesta correcta sea más larga
que el resto de las opciones2,6 . Los autores de preguntas
tienden a poner mayor cuidado en la respuesta correcta que
en los distractores. Quizás por una tendencia de los autores
a ser didácticos, agregan material adicional o información
de importancia secundaria que dan pistas sobre la respuesta
correcta.
Las respuestas incorrectas ridículas, incluso para el que
no sabe nada, o muy parecidas y sinónimas son fáciles de
excluir porque si una es incorrecta, también lo será la otra.
No debe incluirse como opción de respuesta «todo lo
anterior» porque si una persona conoce que una de las anteriores es verdadera, solo tiene que escoger (o adivinar) entre
2 (la que sabe que es correcta y todas las respuestas anteriores). Repetir palabras en las opciones que pueden estar
en el enunciado, indica una respuesta correcta6,12,14 .
Defectos relacionados con dificultades irrelevantes
Los defectos debidos a dificultades irrelevantes hacen que
la pregunta sea más difícil por razones no relacionadas con
el contenido del aprendizaje6,13 .
Los enunciados de las preguntas no deben ser excesivamente largos ni engañosos, y deben evitarse términos vagos
como «raramente» o «habitualmente» porque dificultan la
Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
Formación continuada. Cómo redactar preguntas con opciones de respuesta múltiple
S33
Figura 5 Ejemplos del formato «Verdadero/Falso» en las POM que se requiere seleccionar como «Verdadero» (pregunta 1) o
«Falso» (pregunta 2) la respuesta correcta.
compresión de las preguntas y la elección de las opciones
de respuesta.
Las opciones de respuesta demasiado largas, complicadas
y con más de un concepto dificultan la compresión de las
preguntas.
Las opciones que contienen números deben expresarse de
forma homogénea y lógica. Deben seguir un orden creciente
o decreciente, con el mismo grado de detalle, haciendo
constar las unidades si procede. No es aconsejable mezclar
números con porcentajes o rangos y no incluir cifras que
engloben otras en las opciones de respuesta2,6 .
Incluir «ninguna de las anteriores» como opción de respuesta hace que las preguntas sean más difíciles porque cada
opción tiene que analizarse como más o menos verdadera.
La mayoría de los autores las consideran además menos discriminantes y hacen que la fiabilidad del test completo sea
menor6 .
correcta. La razón está en que cuando se responde con duda
o ignorancia intentando adivinar la respuesta correcta es
más frecuente elegir «Verdadero» como respuesta. La tendencia a responder «Falso» de manera preferente es menos
frecuente14 .
Otro inconveniente de este formato de preguntas es la
ambigüedad. Con frecuencia tiene que adivinarse lo que el
autor de la pregunta tenía en mente al redactarla, porque
las opciones no son completamente falsas ni completamente
verdaderas. Para evitar esta ambigüedad, suelen redactarse
preguntas que evalúan el recuerdo de hechos aislados, que
comprueban sobre todo los conocimientos de memoria, lo
que dificulta la evaluación de la aplicación de los conocimientos, la integración, destrezas o habilidades adquiridas
durante el aprendizaje. Como resultado de ello, organismos reconocidos como la NBME, no utiliza formatos de
«Verdadero/Falso» en sus exámenes6 .
Formatos de las preguntas de respuesta
múltiple
Preguntas de respuesta correcta única (una mejor
respuesta)
Los formatos para la elaboración de las POM son múltiples e
incluyen los convencionales o de respuesta correcta única,
de emparejamiento, «Verdadero/Falso», de opción alternativa, «Verdadero/Falso» múltiple, POM compleja y conjunto
de preguntas o miniprueba2 .
Los formatos más conocidos y utilizados son las preguntas
de «Verdadero/Falso» y las de respuesta correcta única (una
mejor respuesta). El conjunto de preguntas o miniprueba es
el más novedoso y probablemente el más completo.
El formato de preguntas con respuesta correcta única o formato de las POM convencional es el más aceptado y el que
se utiliza con más frecuencia6,7,13,14 . Consiste en un enunciado (por ejemplo la presentación de un caso clínico) y una
pregunta, seguida de una serie de 5 opciones (una respuesta
correcta y 5 distractores). Para que este formato de preguntas esté bien elaborado, la pregunta debe poder responderse
con solo leer el enunciado, sin necesidad de las opciones
(fig. 6).
Las opciones en las preguntas de una mejor respuesta
no necesariamente tienen que ser totalmente incorrectas,
siempre que las opciones correctas puedan ordenarse de
forma lineal, entre más probable y menos probable.
Un aspecto muy importante en este formato de las POM
es no redactar las preguntas de forma negativa («todas las
siguientes son correctas excepto», «cuál de las opciones no
es correcta»), porque pueden inducir a equivocaciones aun
conociendo la respuesta correcta6,7,12 .
Preguntas de «Verdadero/Falso»
El formato «Verdadero/Falso» se utiliza con mucha frecuencia en las POM a pesar de que su calidad es muy discutida. En
este formato se requiere seleccionar «Verdadero» o «Falso»
como respuesta correcta (fig. 5).
Uno de los inconvenientes de este formato es la mayor
probabilidad de adivinar la solución correcta en algunas de las respuestas, sobre todo cuando la correcta es
«Verdadero».
Las preguntas cuya respuesta correcta es «Falso» suelen
ser más discriminantes y tienen por lo tanto una fiabilidad mayor que las que tienen «Verdadero» como respuesta
Conjunto de preguntas o miniprueba
El conjunto de preguntas o miniprueba es el formato más
novedoso de las POM y el que tiene mayores posibilidades de
Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
S34
R. Soler Fernández et al
Figura 6 Ejemplo de las POM con respuesta correcta única o mejor respuesta en el que la pregunta puede responderse con solo
leer el enunciado.
medir el conocimiento en sus niveles más altos, al plantear
la solución de problemas o el pensamiento crítico.
La NBME6 recomienda que todas las preguntas de un
examen sean relevantes, es decir, vinculadas con las tareas
del médico y que para evaluar la capacidad de usar la información se deben construir preguntas que evalúen procesos
cognitivos superiores (interpretación, síntesis y aplicación
de conocimientos). Además, señala que las POM deben constar de una viñeta, una pregunta y de varias opciones de
respuesta.
La viñeta es la presentación de un paciente; siempre
debe incluir edad, sexo, motivo de la consulta, duración de
los síntomas, antecedentes y hallazgos en el examen físico.
La viñeta puede incluir imágenes clínicas o de una técnica
diagnóstica.
Las preguntas se ubican a continuación de la presentación
del paciente y/o problema, que puede referirse a ciencias
básicas, diagnóstico o tratamiento. Cada pregunta aborda
un aspecto algo distinto del caso, considerando la situación
clínica desde varias perspectivas2 (fig. 4).
Las opciones incluyen un listado de 3 o 4 diagnósticos,
medicamentos, medidas terapéuticas, hallazgos de laboratorio, localizaciones anatómicas, patógenos o mecanismos
fisiopatológicos. Una de las opciones es la respuesta correcta
(clave) y las otras son distractores. Todas las opciones deben
ser homogéneas en forma y en contenido.
Además de los principios generales descritos anteriormente en la elaboración de las POM, es importante tener
en cuenta las pistas y el efecto de dependencia.
Debe evitarse dar pistas sugiriendo respuestas a preguntas iniciales en las preguntas que se plantean a continuación,
porque las personas con habilidad para detectar y utilizar
pistas pueden eliminar opciones de respuestas al comparar
las listas de opciones entre varias preguntas.
El efecto de dependencia de un conjunto de preguntas
consiste en formular preguntas con respuestas que es necesario saber para poder responder a otras preguntas. Para
evitarlo, las preguntas deben estar enfocadas en aspectos
diferentes del paciente.
La ventaja de este formato, al plantear un caso clínico
desde varias perspectivas, es que intenta no solo evaluar el conocimiento, sino el razonamiento y la solución
de problemas, acercándose mucho a una prueba objetiva,
estructurada, con múltiples preguntas de base común para
la evaluación de la competencia clínica15 .
Calidad de los exámenes
Una de las tareas más difíciles para elaborar una prueba de
POM es medir su calidad. La tabla 2 muestra una lista
de pautas para escribir las POM eficaces que deben tenerse
en cuenta cuando se analiza la calidad de los exámenes.
Para cuantificar la calidad de un examen debe analizarse
el índice de calidad de las preguntas y los indicadores o
parámetros de las preguntas.
Índice de calidad de las preguntas
Para la NBME6 , el nivel de aplicación del conocimiento
supone que la pregunta promueve un proceso intelectual
superior a la memoria o recuerdo. Pensar la respuesta
requiere razonamiento, interpretar y relacionar datos, sacar
conclusiones y tomar decisiones.
La ausencia de alguno de los criterios se considera un
«defecto» de construcción; según la cantidad de defectos
que tiene la pregunta le corresponde un valor de calidad que
varía entre 1 y 5; el valor 5 es el máximo nivel de calidad
posible (tabla 3).
Tabla 2 Resumen de las guías más importantes para construir las POM eficaces
Contenido de las preguntas
Concordante con los objetivos del aprendizaje
Del mismo nivel de aprendizaje que los objetivos que se
están evaluando
Refleja diferentes niveles de actividad mental (memoria,
comprensión, razonamiento)
Enunciado
Debe referirse a un contenido importante
Incluir solo la información relevante sin añadir
dificultades ajenas a la materia evaluada
Deben evitarse los términos absolutos (siempre, nunca,
todos, ninguno)
No utilizar términos imprecisos (no suele, en ocasiones,
raramente)
Evitar añadir pistas que ayuden a adivinar la respuesta
correcta
Opciones de respuesta
Incluir 4 o 5 opciones de respuesta
Tienen que ser claras, cortas, de longitud parecida
y concordantes gramaticalmente con el texto
Deben relacionarse entre sí (referirse a un diagnóstico,
a una prueba de imagen)
Debe variarse la posición de la respuesta correcta
Seguir un orden lógico (cronológico, numérico)
Los distractores tienen que ser posibles, pero incorrectos
No repetir palabras claves utilizadas en el enunciado
Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
Formación continuada. Cómo redactar preguntas con opciones de respuesta múltiple
Tabla 3 Escala de valores para calcular el índice de calidad
de un examen en su totalidad, utilizando las POM que evalúan
un nivel de conocimiento superior
índice de calidad de un examen
Valor
Criterio
1
Pregunta con o sin viñeta, con 3 o más
defectos de construcción
Pregunta con o sin viñeta, con 2 defectos
de construcción
Pregunta con o sin viñeta, con un defecto
de construcción
Pregunta sin viñeta, sin defectos de
construcción
Pregunta con viñeta, sin defectos de
construcción
2
3
4
5
El promedio de los valores de calidad de las preguntas
expresa el índice de calidad del examen en su totalidad.
Este índice sirve además como un mecanismo de retroalimentación formativo en talleres y sesiones para mejorar la
calidad de la producción de las POM.
La experiencia adquirida por la NBME en el uso de este
índice, indica que se debe intentar al menos obtener un «3»
en una pregunta cuando se evalúa un conocimiento básico,
pero al menos un «4» en exámenes de mayor importancia6 .
Indicadores o parámetros de las preguntas
Los indicadores o parámetros de las preguntas que se utilizan para medir la calidad de un examen son fiabilidad,
objetividad, dificultad y discriminación.
La fiabilidad indica la medida en que los resultados del
examen son consistentes y pueden generalizarse. Es la cualidad principal, y la más ampliamente aceptada, de los
exámenes de opción múltiple y depende del número de
opciones de respuesta incluidas en la prueba, del grado
de homogeneidad y discriminación de las preguntas, y del
grado de dificultad de la prueba16 . La fiabilidad es un concepto estadístico que representa el grado en el cual las
puntuaciones de un examen son parecidas si los alumnos
fuesen examinados de nuevo. Se mide con un coeficiente
de correlación, entre uno (correlación perfecta) y cero
(ninguna correlación), siendo aceptables valores iguales o
superiores a 0,82,6 .
La objetividad es la cualidad que hace que la calificación e interpretación de la prueba sea independiente del
juicio subjetivo del evaluador. Permite comparar el conocimiento de distintas poblaciones en diferentes circunstancias
y tiempos. Guarda además una relación muy estrecha con el
contenido de la prueba, que debe estructurarse según los
objetivos del aprendizaje.
La dificultad de una prueba depende del porcentaje de
alumnos que responden cada pregunta de forma correcta.
Para que la dificultad de una POM sea adecuada, debe contener pocas preguntas que puedan responderse de forma
adecuada por más del 90% y menos del 30% de los alumnos.
El objetivo de las POM con un nivel de dificultad adecuada
S35
es que el 50-75% de los alumnos puedan responder correctamente las preguntas2 .
La discriminación de las preguntas se refiere a la diferencia en porcentajes de respuestas correctas entre 2 grupos
de alumnos. El índice de discriminación para cada pregunta
varía entre −1 y + 1. Cuanto más se acerque a + 1 mayor
será la probabilidad de que una pregunta diferencie a los
alumnos que conocen la materia objeto del examen de
los que no. Se considera que una POM es muy buena si la
discriminación es ≥ 60% y que necesita ser revisada cuando
la discriminación es ≤ 19%. Una pregunta con un índice
de discriminación negativo, indica que los alumnos malos
la contestan de forma correcta con más frecuencia que los
buenos, y debería evitarse11 .
Conclusiones
La necesidad de evaluar la competencia profesional en
medicina es una demanda constante que requiere de personas entrenadas y cualificadas para redactar los exámenes.
Diseñar exámenes de opción múltiple eficaces para medir
el aprendizaje de conocimientos, destrezas mentales, actitudes y habilidades para resolver problemas en medicina,
constituye un reto que puede alcanzarse con el tiempo,
siguiendo una serie de normas y recomendaciones.
Establecer los objetivos y niveles de aprendizaje, redactar un enunciado claro y conciso, así como una respuesta
correcta y distractores posibles aunque incorrectos, es una
tarea que requiere entrenamiento y un gran conocimiento
del tema que se va a analizar por parte del evaluador.
El enunciado de las preguntas debe referirse a un contenido importante y no añadir dificultades ajenas a la materia
que se está evaluando. Las opciones de respuesta deben ser
claras y solo una completamente correcta y los distractores,
posibles pero incorrectos. Ambos constituyen las principales
dificultades para el diseño y elaboración de las POM.
Los resultados de los exámenes en medicina, deberían
utilizarse para analizar y definir las futuras metas de aprendizaje y de esta manera lograr una mayor calidad en la
asistencia.
Autorías
1.
2.
3.
4.
5.
6.
7.
8.
9.
Responsable de la integridad del estudio: RSF.
Concepción del estudio: RSF.
Diseño del estudio: RSF.
Obtención de los datos: no procede.
Análisis e interpretación de los datos: no procede.
Tratamiento estadístico: no procede.
Búsqueda bibliográfica: RSF, CMD y ERG.
Redacción del trabajo: RSF, CMD y ERG.
Revisión crítica del manuscrito con aportaciones intelectualmente relevantes: RSF, CMD, ERG.
10. Aprobación de la versión final: RSF, ERG y CMD.
Conflicto de intereses
Los autores declaran no tener ningún conflicto de intereses.
Documento descargado de http://www.elsevier.es el 27/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
S36
R. Soler Fernández et al
Bibliografía
1. Reddy S, Vijayakumar S. Evaluating clinical skills of radiation oncology residents: parts i and ii. Int J Cancer. 2000;90:
1---12.
2. Collins J. Education techniques for lifelong learning: writing
multiple-choice questions for continuing medical education activities and self-assessment modules. Radiographics.
2006;26:543---51.
3. Anderson J. Multiple choice questions revisited. Med Teach.
2004;26:110---3.
4. McCoubrie P. Improving the fairness of multiple-choice questions: a literature review. Med Teach. 2004;26:709---12.
5. Epstein RM. Assessment in medical education. N Engl J Med.
2007;356:387---96.
6. Case SM, Swanson DB. Guías de la National Board of Medical
Examiners (NBME) sobre cómo elaborar preguntas para evaluaciones escritas en el área de ciencias básicas y clínicas. Website
de la National Board Of Medical Examiners. Publicada la tercera edición en 2006 [consultado 10 Jun 2012]. Disponible en:
http://www.nbme.org/publications/item-writing-manual.html
7. Haladyna TM, Downing SM, Rodríguez M. A review of
multiple-choice item writing guidelines. Appl Meas Educ.
2002;15:309---34.
8. Newble DI, Dauphinee D, Woolliscroft JO, MacDonald,
Mulholland H, Page G, et al. Guidelines for assessing
9.
10.
11.
12.
13.
14.
15.
16.
clinical competence. Teach Learn Med. 1994;6:213--20.
Van der Vleuten CP, Newble DI. How can we test clinical reasoning? Lancet. 1995;345:1032---4.
Schultheis NM. Writing cognitive educational objectives and
multiple-choice test questions. Am J Health Syst Pharm.
1998;55:2397---401.
Vydareny KH, Blane CE, Calhoun JG. Guidelines for writing
multiple-choice questions in radiology courses. Invest Radiol.
1986;21:871---6.
Chew FS. Writing multiple choice questions for AJR integrative
Imaging. Am J Roentgenol. 2005;185:S195.
Palés-Argullós J. ¿Cómo elaborar correctamente preguntas de
elección múltiple? Educ Med. 2010;13:149---55.
Morales Vallejo P. Las pruebas objetivas: normas, modalidades
y cuestiones discutidas. Website del profesor Pedro Morales
Vallejo de la Universidad Pontificia Comillas de Madrid [publicado 17 Dic 2006; consultado 10 Jun 2012]. Disponible en:
http://www.upcomillas.es/personal/peter/otrosdocumentos/
PruebasObjetivas.pdf
Dresch S, Dastugue M, Parafioriti E, Lanosa G, Torino M. Examen
final integrado del ciclo clínico. Análisis y perspectivas. Prens
Med Argent. 2005;92:319---27.
Schuwirth LW, van der Vleuten CP. Different written assessment
methods: what can be said about their strengths and weaknesses? Med Educ. 2004;38:974---9.