Diapositiva 1 - Departamento de Educación Médica Facultad de

Sistema de Calificaciones.
Prof. Adj. Roberto Daniel Cáceres Bauer
Unidad de Evaluación
Departamento de Educación Médica
Facultad de Medicina, UdelaR
Comisión del nuevo plan de estudios, 06/09/2012
Organización y contenido de la Presentación
1.Tipos de Puntuaciones.
2. Puntos de Corte.
3. Definición de relaciones entre
puntuaciones, notas o calificaciones.
4.Convenciones sobre la toma de
decisiones.
Tipos de Puntuaciones.
Proporciones de respuestas correctas porcentuadas.
Ejemplo. En una Prueba con 70 items un estudiante
respondió correctamente un TOTAL =35,
la proporción p de respuestas correctas es
p=35/70
p=0.5, y la puntuación es
P=100p
P=50 puntos.
Proporciones porcentuadas con items ponderados.
Aquí no todos los items corresponden al mismo
puntaje.
Ejemplo. En una Prueba con 70 items un estudiante
obtuvo un puntaje total de TOTAL = 60, el puntaje
total máximo es TOTALmax 110,
EL puntaje es
P = (60/110)100= 54 puntos.
Escalas Típicas Transformadas: Escala T.
Ejemplo. En una Prueba con 70 items un estudiante
respondió correctamente 35, la media fue de 50 y el
desvió de 25 y su puntuación típica es
z=(35-50)/25
z=-0.6
En escala T: t= 10z+50= -6 +50
t= 44 puntos.
Escalas Theta transformada a escala T
Ejemplo. En una Prueba con 70 items un estudiante
respondió correctamente 35. Se uso un modelo 3pl y
se obtuvo un c=0.6 en 5 items, c=0.3 en 10 items y en
los demás c=0 (guessing) y un coeficiente de
discriminación a=0.8 en 15 items, a=1.2 en 20 items,
etc, y, el puntaje theta= -1.8. La media de theta es 0 y
el desvío es 2. El puntaje en escala T a partir de este
valor de theta es
z = (-1.8)/2 = -0.9
En escala T: t= 10z+50= -9 + 50
t = 41 puntos.
Escalas Theta transformada a escala T
Observación 1.
El valor de Theta, es la habilidad estimada del sujeto a
partir de los datos de una prueba, que se calcula
tomando en cuenta y controlando el “guessing” y la
capacidad de discriminación de cada uno de los items.
Escalas Theta transformada a escala T
Observación 2.
En este caso no solo importa cuantos items
respondió bien el sujeto, sino que también cuales,
esto es el patrón de respuesta.
Ejemplo. En una prueba el patrón “1001110” no es lo
mismo que el patrón “1111000”, si bien en puntaje
P=(4/7)100=57 puntos.
PUNTOS DE CORTE
PUNTOS DE CORTE
La definición de puntos de corte sirve para definir categorías en base a la
cuales luego se puede tomar decisiones.
Ejemplo 1. Aprueba / Reprueba un curso o exámen.
Ejemplo 2.
Reprueba Curso /
Aprueba Curso y Gana Derecho a dar Examen /
Aprueba Curso y Exonera /
Ejemplos simples de puntos de corte utilizados
en Facultad de Medicina.
Ejemplo 1. Si el puntaje es igual a un porcentaje de respuestas contestadas
correctamente igual o mayor a 60% aprueba.
Obs. 1. Aquí el punto de corte se fija a priori sin ningún análisis o consideración
adicional.
Obs. 2. En este caso la definición del punto de corte es arbitraria, se fija sin
tomar en cuenta las características de los ítems de la prueba.
Obs. 3. En general se basa en una estadística no suficiente como estimador de
la “habilidad” del sujeto en la prueba (no se usa toda la información disponible)
Ejemplos simples de puntos de corte utilizados
en Facultad de Medicina.
Ejemplo 2.
A) Se toma el 50% central de la distribución de puntos totales en cada periodo.
B) Se calcula para el 50% central media M y desvió D.
C) PC = M-D
D) Si es menor a 50 % , se toma 50% como punto de corte.
Observaciones:
1. Se toma en cuenta las variaciones en la dificultad de la prueba.
2. Se define un criterio basado en la norma.
3. Depende de la muestra de estudiantes en ese período.
Definición de relaciones entre puntuaciones,
notas o calificaciones.
Ejemplo Para Examen Final.
Relación Porcentajes y Calificaciones Finales en Facultad de
Medicina.
Porcentajes
Puntos
Calificación
Final en el
Examen
Aprobación
de Examen
0 hasta 19
0
D.D.D
NO
20 hasta 39
0
D.D.D
NO
40 hasta 59
0
D.D.D
NO
60,61,62
3
R.R.R
SI
63,64,65
4
R.R.B
SI
66,67,68,69
5
B.B.R
SI
70,71,72,73
6
B.B.B
SI
74,75,76,77
7
B.B.MB
SI
78,79,80,81
8
MB.MB.B
SI
82,83,84,85
9
MB.MB.MB
SI
86,87,88,89,90
10
MB.MB.S
SI
91,92,93,94,95
11
S.S.MB
SI
96,97,98,99,100
12
S.S.S
SI
Ejemplo para ECOE
Relación Porcentajes y Calificaciones Finales en el ECOE.
Porcentajes
0
Puntos
Calificación Final en el
Examen
Aprobación de Examen
a
1PC/3
0
D.D.D
NO
1PC/3
a
2PC/3
0
D.D.D
NO
2PC/3
a
3PC/3
0
D.D.D
NO
PC
a
PC +1(100-PC)/10
3
R.R.R
SI
PC +1 (100-PC)/10
a
PC+ 2(100-PC)/10
4
R.R.B
SI
PC+ 2(100-PC)/10
a
PC+ 3(100-PC)/10
5
B.B.R
SI
PC+ 3(100-PC)/10
a
PC+ 4(100-PC)/10
6
B.B.B
SI
PC+ 4(100-PC)/10
a
PC + 5(100-PC)/10
7
B.B.MB
SI
PC + 5(100-PC)/10
a
PC + 6(100-PC)/10
8
MB.MB.B
SI
PC + 6(100-PC)/10
a
PC+ 7(100-PC)/10
9
MB.MB.MB
SI
PC+ 7(100-PC)/10
a
PC+ 8(100-PC)/10
10
MB.MB.S
SI
PC+ 8(100-PC)/10
a
PC+9(100-PC)/10
11
S.S.MB
SI
PC+9(100-PC)/10
a
PC+ 10(100-PC)/10
12
S.S.S
SI
Ejemplo con PC fijo a priori
Calificaciones Finales de Curso, Exoneración y Calificación de Examen
Porcentajes
Punto
s
Calificación
Final en el
Curso
Aprobación
de Curso
Exoneració
n de
Examen
Nota de
Examen por
exoneración
0 hasta 19
0
D.D.D
NO
NO
-
20 hasta 39
0
D.D.D
NO
NO
-
40 hasta 59
0
D.D.D
NO
NO
-
60,61,62
3
R.R.R
SI
NO
-
63,64,65
4
R.R.B
SI
NO
-
66,67,68,69
5
B.B.R
SI
NO
-
70,71,72,73
6
B.B.B
SI
SI
B.B.B
74,75,76,77
7
B.B.MB
SI
SI
B.B.MB
78,79,80,81
8
MB.MB.B
SI
SI
MB.MB.B
82,83,84,85
9
MB.MB.MB
SI
SI
MB.MB.MB
86,87,88,89,90
10
MB.MB.S
SI
SI
MB.MB.S
91,92,93,94,95
11
S.S.MB
SI
SI
S.S.MB
96,97,98,99,100
12
S.S.S
SI
SI
S.S.S
Convenciones sobre la toma de decisiones.
Convenciones sobre la toma de decisiones.
Aspectos a Considerar.
• Se debería considerar las diversas situaciones
que pueden existir en relación a la toma de
decisiones.
• Se debería conocer y documentar la situación
actual.
• En función del punto 1 y 2, y tomando en cuenta
los tipos de puntuaciones y puntos de corte
posibles, definir criterios comunes y pautas.
Situaciones que pueden existir en relación a
la toma de decisiones.
Ejemplo. Un curso está compuesto por 3 componentes A, B, C.
Para el componente A, no hay un examen final. El curso se aprueba o
reprueba dependiendo de los resultados de las evaluaciones en dicho
componente.
Para el componente B, se puede aprobar o no dicho componente según
las evaluaciones realizadas en el componente B, y la aprobación de
dicho componente permite ganar el “derecho” a dar un examen final.
El componente C, es igual al B, pero además se puede exonerar el
examen final, y la nota final de aprobación surge de las evaluaciones
hechas durante el componente C.
Gracias.