P2010715

Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
7.15. Diseño y evaluación del uso de secciones temáticas y preguntas abiertas en el diseño de
instrumentos de evaluación docente
Fredy Valenzuela Abaca
University of New England
Australia
[email protected]
Verónica Silva Madariaga
Facultad de Ciencias Económicas y Administrativas
Universidad Católica de la Santísima Concepción
Chile
[email protected]
Claudio Inostroza González
Facultad de Ciencias Económicas y Administrativas
Universidad Católica de la Santísima Concepción
Chile
[email protected]
Claudia Martínez Araneda
Facultad de Ingeniería
Universidad Católica de la Santísima Concepción
Chile
[email protected]
Trabajo Empírico – Investigación
1639
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
1.
Introducción
Con el objetivo de evaluar los procesos de enseñanza, tanto las Universidades nacionales
como extranjeras utilizan encuestas de evaluación docente. Éstas son aplicadas al final del
semestre y/o trimestre. En Chile estos instrumentos de medición incluyen una sección compuesta
por variables/ítems relacionados con diversas áreas del proceso de aprendizaje. En cuanto a las
escalas utilizadas en las encuestas, un porcentaje mayoritario de universidades chilenas utiliza
preguntas cerradas en escala likert. Aquellos que usan preguntas abiertas se limitan a indagar
sobre comentarios generales. Este artículo presenta y evalúa la conveniencia de utilizar una
encuesta de evaluación académica compuesta por varias secciones, tales como profesor, curso y
estudiante.
Enfoque Unidireccional
La evaluación que se realiza a los académicos en Chile pone énfasis en la investigación y
prestación de servicios, aspectos que son más objetivamente evaluables que el desempeño
docente en aula o aspectos de los procesos de enseñanza aprendizaje. Además no existe consenso
en cuanto a los instrumentos a utilizar y son escasos los indicadores para ello.
Existen estudios que vinculan el rendimiento de los alumnos con la personalidad del
profesor y su estilo de enseñanza. Para éstos la clave está en entender al profesor, ya que los
resultados obtenidos dependerán de ello. A esto se le conoce como el paradigma
procesoproducto, según Shulman (1989). Esta perspectiva influye en los enfoques tradicionales
1640
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
de evaluación en donde los instrumentos miden conductas discretas del profesor, relativas a sus
atributos de personalidad o estilos de enseñanza, dándoles a éstos una correlación directa con los
resultados de la eficacia docente.
Este paradigma enfrenta críticas debido al enfoque unidireccional que existe entre el
comportamiento del docente y los resultados que obtiene el estudiante, ya que diversos factores
condicionan dicha relación como lo son: contexto de aula, contenidos, experiencias previas,
expectativas de los estudiantes, estrategia, entre otros. A pesar de ello, el paradigma ha
contribuido a la caracterización del docente, donde se pueden rescatar comportamientos relativos
a cantidad y ritmo de enseñanza, manera de presentar la información, forma de hacer preguntas o
de retroalimentar. Otra crítica que se realiza a menudo es que el protagonismo de la evaluación
está puesto en el docente y deja de lado el contexto en que se desenvuelve la enseñanza. Como
consecuencia de lo anterior, las tendencias que se observan más recientemente privilegian el
aprendizaje, lo que permite cambiar el rol del profesor e incorporar una relación profesor- alumno
que pretende cambiar el rol pasivo del estudiante.
La mirada que se centra en el aprendizaje también cambia el enfoque para evaluar el
desempeño a través de productos medibles u observables más que a través de procesos. Se
pueden observar, en general, cinco áreas de evaluación, según estudios del CINDA (2007):
1. Planificación de las actividades docentes
2. Ejecución de las actividades docentes
3.
Evaluación de los aprendizajes
1641
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
4. Evaluación de la práctica pedagógica
5. Compromiso con el proyecto educativo institucional
Proyecto MECESUP USC 0610 y USC0707
La Universidad Católica de la Santísima Concepción está desarrollando proyectos de
renovación curricular para las Carreras de Ingeniería Comercial y Contador Auditor de la
Facultad de Ciencias Económicas y Administrativas y para Ingeniería Civil Informática,
Ingeniería Civil Industrial y otras tres, de la Facultad de Ingeniería. Estos proyectos MECESUP
USC0707 y USC 0610, respectivamente, tienen un énfasis en perfiles de egreso pertinentes a las
necesidades del mercado, modelo educativo centrado en el estudiante, desarrollo de
competencias, flexibilidad curricular, y una estructura de títulos y grados que estimule la
movilidad y la educación continua. En el marco de estos proyectos se considera necesario diseñar
un modelo de monitoreo de la implementación del rediseño curricular. Parte de ese modelo lo
constituye una encuesta de avaluación docente, resultado de una estadía de especialización en la
UNE, que evalúa tres áreas temáticas (profesor, curso y estudiantes) y preguntas abiertas. El
incluir estas agrupaciones en la encuesta de evaluación docente, permitiría generar resultados
específicos por área, los cuales pueden ser gestionados de forma más localizada y efectiva. En
primer lugar, los profesores obtendrían retroalimentación de su labor docente que les permita el
mejoramiento continuo y oriente en los focos de capacitación. En Segundo lugar, se obtendría
información que permitiría a los jefes de carrera y jefes de departamento mejorar la gestión
académica (por ejemplo mejorar la efectividad de los programas de curso). En tercer lugar, el
instrumento de medición permitiría una autorreflexión de los estudiantes respecto de su
comportamiento frente al curso. En cuanto al uso de preguntas abiertas en la encuesta de
1642
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
evaluación docente, éstas pueden permitir a los alumnos entregar su opinión, libremente, en
relación a las fortalezas y debilidades respecto de cada una de las áreas anteriormente
mencionadas (profesor, curso y estudiante).
Considerando la relevancia de los instrumentos de evaluación docente, y en particular la
propuesta que acá se está haciendo, resulta importante determinar la validez del uso de secciones
y preguntas abiertas en el cuestionario. Por lo mismo, la presente investigación tuvo dos objetivos
principales:
a) diseñar un instrumento para evaluar la docencia y
b) la evaluación del instrumento de medición.
Este último objetivo implicó el determinar las percepciones tanto de estudiantes como de
profesores, respecto del tema en cuestión.
2.
Metodología
Para responder estos objetivos, en primer lugar, se diseñó un instrumento de evaluación
docente considerando diferentes instrumentos utilizados por universidades chilenas y extranjeras,
así como la revisión literaria. Este instrumento incluyó 3 secciones con el objetivo de evaluar el
curso, al profesor y una autoevaluación del propio estudiante. Además incluyó preguntas abiertas
al final de cada sección tendientes a determinar las fortalezas y debilidades de cada aspecto
evaluado. Para validar el instrumento de medición propuesto, se diseñó y aplicó una encuesta online usando el software Qualtrics. En esta encuesta se solicitó a los alumnos responder la encuesta
de evaluación docente, y luego responder tres preguntas abiertas adicionales referidas a sus
1643
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
opiniones referente a las tres secciones de la encuesta y una pregunta referente a la comparación
del cuestionario propuesto y el actualmente utilizado para la evaluación docente. Emails fueron
enviados a 183 estudiantes de las carreras de Ingeniería Comercial, Ingeniería Civil Informática e
Ingeniería Civil Industrial y se obtuvo una tasa de respuesta del 41%. La encuesta también fue
enviada a profesores de las carreras mencionadas obteniéndose 12 respuestas. El análisis de datos
fue tanto cuantitativo como cualitativo. En primer lugar y considerando las respuestas que los
estudiantes dieron a la encuesta, se revisó el supuesto de normalidad en cada ítem incluido en la
encuesta para luego determinar la confiabilidad de cada sección del estudio. En cuanto a la
evaluación de la encuesta por parte de los estudiantes y profesores, se confeccionaron matrices
con los conceptos principales obtenidos de las respuestas a las preguntas abiertas dadas tanto por
estudiantes como profesores.
3. Resultados Principales
El estudio mostró resultados importantes tanto en la parte cuantitativa como cualitativa.
En términos cuantitativos, los datos mostraron seguir una distribución normal y las tres secciones
del cuestionario mostraron ser confiables, con alphas de 0,88, 089 y 0,68 para las secciones
profesor, curso y estudiante, respectivamente.
En cuanto al análisis cualitativo, las opiniones tanto de profesores como de estudiantes
pueden agruparse en cinco áreas: tiempo, rapidez, secciones, precisión y posibilidad de opinar. La
tabla # 1 muestra un resumen de los comentarios realizados por los estudiantes y profesores para
1644
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
cada uno de estos conceptos. El Anexo # 1 por su parte muestra todos los comentarios realizados
por estudiantes y profesores.
Tabla # 1
Resumen Comentarios Realizados por Estudiantes y Profesores
A continuación se discutirá en breve cada uno de las cinco áreas mencionadas más arriba,
la cual incluye dos ejemplos de citas dadas por los alumnos y/o profesores.
El “tiempo” requerido para contestar la encuesta, mostró una tendencia negativa en el caso
de los estudiantes con un 71% de las opiniones en esta dirección. Se destacan opiniones como:
“La debilidad de esta encuesta es que es demasiado larga y el encuestado se distrae”,
1645
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
“Se debe dedicar mucho tiempo para responder”.
Los profesores por su parte no se pronunciaron al respecto.
La “rapidez” para contestar la encuesta tuvo principalmente opiniones positivas en el
grupo de los profesores (100%) pero no así en el de los estudiantes (sólo un 44%).
“Es quizás un poco extenso y por esto, hace tedioso el proceso”
“La debilidad es que es demasiado larga y el encuestado se distrae”
Las “secciones” en que se subdividió la encuesta fueron muy bien evaluadas, por
considerar a los distintos actores del curso. En este caso, el 83% de las opiniones recogidas de los
estudiantes, mencionan este aspecto como fortaleza; un 75% de los profesores también lo
considera fortaleza. Entre las opiniones que se destacan se tiene:
“Además de considerar el proceso de enseñanza- aprendizaje y los métodos de evaluación,
incorpora la autoevaluación de los estudiantes, les permite ser autocríticos de sus aciertos
y/o errores”,
“Lo bueno es que se pueden nombrar las fortalezas y debilidades en varios aspectos como
curso, profesor y el alumnado”.
1646
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
La “precisión” de las preguntas fue evaluada positivamente por un 91% de las respuestas
captadas desde los estudiantes y un 67% en el caso de los profesores, destacando que puede ser
respondida más directamente. Ejemplos de comentarios realizados por los estudiantes se
encuentran abajo.
“Esta encuesta es más precisa y evalúa sólo los aspectos relevantes”
“Me gusta más esta encuesta es más precisa”
La “posibilidad de opinar” fue también muy bien valorada por los estudiantes, un 90%
coincide con que permite a los estudiantes, entregar su opinión, apoyando la obtención de
información no contemplada en el instrumento original. Se destacan opiniones como:
“Lo que me gusta de esta encuesta es que da la posibilidad de que el alumno de
recomendaciones de acuerdo a su punto de vista”,
“permite a los alumnos responder claramente lo que piensan a través de preguntas de
desarrollo”.
Cabe desatacar que los profesores no se pronunciaron en este aspecto.
4. Conclusión Final
Como conclusión general, se puede decir que tanto los estudiantes como los profesores
valoraron positivamente la incorporación, en la evaluación docente, de las secciones: curso,
profesor y estudiante. Asimismo, ellos tuvieron una percepción positiva respecto del uso de
1647
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
preguntas abiertas en cada una de las secciones mencionadas. Por lo mismo se recomienda
diseñar instrumentos de medición que desagreguen y/o adicionen secciones temáticas y preguntas
abiertas. Cabe destacar que este instrumento debería ser parte del modelo de monitoreo de la
implementación del rediseño curricular de las Facultades involucradas. En cuanto a los
profesores, se recomienda que el instrumento sea una guía que facilite el mejoramiento continuo,
que invite a la autorreflexión, capacitación y compromiso docente. Además, debería estar ligado
a una política de incentivos, así como a la evaluación y jerarquización académica. En relación al
curso, se recomienda facilitar el acceso a la parte de la información que sea relevante, tanto para
los jefes de carrera como para los de departamento. Por último, para mejorar el acceso a la
información por parte de los estudiantes, se recomienda la socialización de los resultados. Por
ejemplo, al inicio del semestre el profesor podría dar a conocer algunos comentarios relativos a la
sección de autoevaluación, realizados por estudiantes que tomaron el curso en semestres
anteriores.
Bibliografía
Shulman L.S (1989). “Paradigmas y programas de investigación en el estudio de la enseñanza:
una perspectiva contemporánea”. Barcelona: Paidós
Centro Interuniversitario de Desarrollo (2007). Evaluación del desempeño docente y calidad de la
docencia universitaria. Santiago de Chile
1648
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
Anexo # 1
Análisis Cualitativo Encuesta Completa (Estudiantes-Profesores)
1649
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
1650
Proceedings del XXVI Encuentro Nacional de Facultades de Administración y Economía
ENEFA Proceedings - Vol. 3, Año 2010
ASFAE
1651