Procedimiento de análisis de los cuestionarios de valoración

Oficina de Tratamiento de la Información
Procedimiento de análisis de los cuestionarios de
valoración de la actividad docente
Oficina de Tratamiento de la Información
Autores
Enrique Moreno González
Director de la Oficina de Tratamiento de la Información
José Juan Mengibar
Técnico de de la Oficina de Tratamiento de la Información
06/03/2013
Índice
1. Introducción ........................................................................................1 2. Valoración de los ítems ...........................................................................1 3. Valoración global de la Asignatura .............................................................3 4. Valoración global de la Titulación ..............................................................4 5. Valoración de los Departamentos ..............................................................5 6. Valoración global de Facultades-Escuelas. ...................................................6 7. Valoración global de la UNED. ...................................................................6 Oficina de Tratamiento de la Información
1. Introducción
Los cuestionarios para que los estudiantes valoren la actividad docente de las diferentes
asignaturas que se imparten en los estudios reglados de la UNED, y del curso de Acceso, se
componen de un serie de boques o ejes, en cada uno de los cuáles se plantean un conjunto de
afirmaciones, relacionadas con la definición del bloque, sobre las cuales los estudiantes deben
expresar su grado de desacuerdo - acuerdo en una escala de 6 puntos:
Totalmente en desacuerdo
Muy en desacuerdo
En desacuerdo
De acuerdo
Muy de acuerdo
Totalmente de acuerdo
El proceso de análisis sigue la siguiente pauta: análisis para determinar la valoración de los
ítems; a partir de la valoración de los ítems, se procede a determinar la valoración global de la
asignatura; con la valoración de las asignaturas se determina la valoración de la titulación en
que se imparte; con la valoración de las titulaciones se determina la valoración de la
Facultad/Escuela que gestiona esas titulaciones; y, por último, con la valoración de las
Facultades/Escuelas se determina la valoración global de la UNED, en ese tipo de cuestionarios.
Además, en el mismo proceso se puede determinar la valoración de los departamentos, a partir
de la de las asignaturas impartidas por profesores del departamento.
En los próximos epígrafes explicaremos de forma detallada este proceso de análisis,
comenzando por el de los ítems.
2. Valoración de los ítems
La valoración de cada ítem del cuestionario de una asignatura es el resultado de dividir el
número de cuestionarios recibidos que han valorado el ítem con los tres valores de la escala de
acuerdo (De acuerdo - Muy de acuerdo - Totalmente de acuerdo) entre el número total de
cuestionarios que han respondido a ese ítem, excluyendo los que se han decantado por la opción
Oficina de Tratamiento de la Información. Bravo Murillo 38, 4ª planta
[email protected]
Página 1
Oficina de Tratamiento de la Información
No sabe/No contesta. De este modo, si han respondido el ítem un total de 230 cuestionarios, 170
de los cuales lo han hecho seleccionando alguna de las tres categorías que manifiestan el
"acuerdo", la valoración del ítem, expresada en términos porcentuales, será:
170
× 100 = 73,91%
230
De este modo, se determinan las valoraciones de todos y cada uno de los ítems formulados
en el cuestionario sobre los que el estudiante tiene que expresar su acuerdo o desacuerdo1. Para
cada ítem, se calcula el error de estimación para un nivel de confianza del 95%, de acuerdo a la
siguiente fórmula original:
=
,
× 100 −
−1
1−
,
(2.1)
fórmula que se ha modificado para maximizar el error y contemplar de este modo el sesgo de
autoselección que afecta a este tipo de cuestionarios, que son respondidos de forma voluntaria
por los estudiantes:
=
,
,
1−
50
−1
(2.2)
siendo:
t = Percentil 97,5 de la distribución t de Student con n-1 grados de libertad.
n = n es el número de cuestionarios recibidos en la asignatura.
N = nº de estudiantes dados de alta para que respondan el cuestionario.
Para el ejemplo que hemos planteado, si se hubiera dado de alta a 3500 estudiantes para
que respondieran, el error de estimación con los 230 que han respondido sería:
= 1,97037
1−
230
3500
50
= 6,29
230 − 1
1
En el cuestionario hay otro tipo de preguntas de opción (asistencia a tutorías, tiempo semanal de estudio que dedica a la
asignatura, etc.) cuyo análisis es diferente al de los ítems del tipo acuerdo-desacuerdo.
Oficina de Tratamiento de la Información. Bravo Murillo 38, 4ª planta
[email protected]
Página 2
Oficina de Tratamiento de la Información
se podrían decir que la verdadera valoración que hacen los estudiantes de ese ítem en la
asignatura es:
80,20
⋮
73,91 ± 6,29
67,62
Con objeto de hacer más comprensible el alcance del valor del error de estimación se ha
establecido la siguiente tabla de equivalencias, que es la que se muestra como criterio de
significación estadística en los resultados que se publican en el Portal Estadístico.
Significación Óptima (Error Estimación: <= 3,5%)
Significación Muy Alta (Error Estimación: > 3,5% y <= 6%)
Significación Alta (Error Estimación: > 6% y <= 8%)
Significación Media (Error Estimación: > 8% y <= 11%)
Significación Baja (Error Estimación: > 11% y <= 15%)
Resultado NO VALORABLE: Error de Estimación muy elevado ( > 15%)
De acuerdo con esta tabla la significación del resultado para ese ítem sería Alta, al estar
el error de estimación entre el 6 y el 8%.
3. Valoración global de la Asignatura
Al estar el cuestionario compuesto por una serie de ítems que son los que directamente
valoran los estudiantes, la valoración global de la asignatura se determina a partir de las
valoraciones de los ítems, mediante un promedio ponderado, de acuerdo a la siguiente fórmula:
ó
=
∑
ó Í
∑
(3.1)
siendo:
p = el número de ítems que intervienen en el proceso de cálculo de la valoración de la
asignatura
Valoración Ítemi = el valor de cada ítem (i = 1,....., p)
ni = número de respuestas o cuestionarios que han contestado cada ítem (i = 1,....., p)
Oficina de Tratamiento de la Información. Bravo Murillo 38, 4ª planta
[email protected]
Página 3
Oficina de Tratamiento de la Información
Para comprender mejor el proceso, pensemos en un cuestionario con sólo 6 ítems
interviniendo en el proceso de determinar la valoración global de la asignatura, y sean las
valoraciones de cada unos de esos 6 ítems y el número de respuestas recibidas en cada uno las
que se muestran en la siguiente tabla:
Ítem
Valoración
nº respuestas
1
76,4
230
2
87,5
180
3
65,3
200
4
77,9
195
5
68,9
150
6
90,3
205
De acuerdo con la fórmula (3.1) la valoración de la asignatura sería:
76,4 × 230 + ⋯ + 90,3 × 205
90419
=
= 77,95
230 + ⋯ + 205
1160
Si en esta asignatura ficticia se hubieran dado de alta 6500 estudiantes y hubieran
respondido el cuestionario un total de 463, el error de estimación sería:
= 1,965
1−
463
6500
50
= 4,41
463 − 1
La significación estadística , de acuerdo a la tabla de equivalencias sería Muy Alta.
4. Valoración global de la Titulación
Del mismo modo que se hace para obtener la valoración de la asignatura a partir de la
valoración de los ítems, se hace para obtener la valoración de la titulación, a partir de la
valoración global de las asignaturas que la componen, de acuerdo a la siguiente fórmula:
ó
ó =
∑
ó
∑
(4.1)
siendo:
p = el número de asignatura que han recibido valoración y forma parte de la Titulación
Oficina de Tratamiento de la Información. Bravo Murillo 38, 4ª planta
[email protected]
Página 4
Oficina de Tratamiento de la Información
ni = número de estudiantes que han respondido cada asignatura que forma parte de la Titulación
(i = 1,....., p)
Supongamos, a efectos de ejemplo de cómo se realiza el cálculo, que una titulación consta
de 6 asignaturas, y cada una ha recibido la valoración que se muestra en la siguiente tabla:
VALORACIÓN
.
RESPUESTAS
MUESTRA_TOTAL
ASIG1
78,54
230
5678
ASIG2
80,33
112
3501
ASIG3
66,87
150
4312
ASIG4
85,12
190
3133
ASIG5
77,02
240
7568
ASIG6
59,04
145
5867
1067
30059
ó =
78,54 × 230 + ⋯ + 59,04 × 145
80310,06
=
= 75,27
230 + ⋯ + 145
1067
En conjunto, para este tipo de estudios, se han recibido un total de 1067 cuestionarios, y
se han dado de alta para responder a 30059 estudiantes-asignatura. Tomando estás cifras en
conjunto, el error de estimación para la valoración de la titulación será:
= 1,9622
1−
1067
30059
50
= 2,95
1067 − 1
Siguiendo el mismo procedimiento se obtendría la valoración de las Facultades-Escuelas, y
la valoración de la UNED, para ese tipo de estudios (Grado, Máster, Estudios de 1er y 2º ciclo).
5. Valoración de los Departamentos
El procedimiento para determinar la valoración de los departamentos es idéntico a cómo
se ha explicado en el epígrafe anterior. Se parte de la valoración de las asignaturas que
imparten los profesores de cada departamento, y se realiza una media ponderada a partir de
estos valores. Se puede obtener para cada tipo de estudio, o una valoración global juntando
todos los tipos de estudio; en cualquiera de los casos se sigue el mismo procedimiento, tanto
para obtener la valoración como para calcular el error de estimación.
Oficina de Tratamiento de la Información. Bravo Murillo 38, 4ª planta
[email protected]
Página 5
Oficina de Tratamiento de la Información
6. Valoración global de Facultades-Escuelas.
Siguiendo el mismo esquema, se llega a la valoración global las Facultades-Escuelas en
cada uno de los tipos de estudios ofertados, a partir de la valoración de las titulaciones que
gestionan. Supongamos un Facultad que en un tipo de estudio oferta 4 titulaciones, cuyas
valoraciones son las de la siguiente tabla:
VALORACIÓN RESPUESTAS
MUESTRA_TOTAL
Titulación 1
75,27
1067
30059
Titulación 2
81,24
1234
41234
Titulación 3
73,98
2435
44567
Titulación 4
69,31
2002
43135
6738
158995
La valoración de la Facultad en este tipo de estudios será:
.
=
499463,17
75,27 × 1067 + ⋯ + 69,31 × 2002
=
= 74,13
6738
1067 + ⋯ + 2002
y el Error de estimación será:
= 1,96
1−
6738
158995
50
= 1,168
6738 − 1
7. Valoración global de la UNED.
Por último, a partir de las valoraciones de las Facultades-Escuelas en un tipo de estudios,
se obtiene la valoración global de la UNED para el mismo tipo de estudios.
VALORACIÓN RESPUESTAS MUESTRA_TOTAL
Facultad 1
74,13
6738
158995
Facultad 2
70,33
5612
130245
Facultad 3
79,41
2546
99345
Facultad 4
75,04
3579
112567
18475
501152
La valoración de la UNED será:
.
=
1364925,92
74,137 × 6738 + ⋯ + 75,04 × 3579
=
= 73,88
18475
6738 + ⋯ + 3579
y el Error de estimación será:
Oficina de Tratamiento de la Información. Bravo Murillo 38, 4ª planta
[email protected]
Página 6
Oficina de Tratamiento de la Información
= 1,96
1−
18475
501152
50
= 0,7076
18475 − 1
Oficina de Tratamiento de la Información. Bravo Murillo 38, 4ª planta
[email protected]
Página 7