Relato_de_evaluacion - Hospital Dr. Horacio Heller
Anuncio
Día de tormenta Mario Alvarez Como era habitual, el examen final de clínica de 6to año había sido convocado para el día lunes en el hospital a las nueve de la mañana. Me dirigí a la facultad a buscar la lista de alumnos inscriptos. En el pasillo me encontré con un grupo de alumnos, muy numeroso, que esperaba, quizás, rendir la primera materia de la carrera: Anatomía. Fue inevitable, pero me invadió una avalancha de recuerdos de aquel día en el que yo, como alumno, rendí aquella materia. Recuerdo que ese día llovía torrencialmente. Había repasado, antes de salir de casa, toda la materia y realmente sentía que la dominaba. Me sentía seguro y nada, ni aún aquella tormenta, ni nadie iba a impedir que ese día rindiera Anatomía. Llegué a la facultad empapado. Fui al baño y traté de aliñarme. En la cátedra había sólo ocho alumnos y yo esperando la apertura de la puerta del aula. Cuando finalmente la puerta se abrió, allí apareció el profesor titular: -¡Buen día alumnos! Pasen por aquí.- y respondimos todos al unísono. -¡Buen día Profesor!Todos ingresamos en un inminente silencio. En ese momento sentí que todo estaba dado y que no había vuelta atrás. Vi antes mis ojos llegar a otros dos profesores adjuntos con un gran bolillero de madera y colocarlo sobre el único escritorio que había en la habitación. El instrumento era una esfera enrejada hueca con una manivela en un extremo lateral y una pequeña compuerta superior. Esta última fue abierta y allí colocaron cuarenta y cinco bolillas que correspondían a las unidades del programa de Anatomía. Creo que en ese momento me impresioné o fue allí donde me percaté de lo extensa que era la materia y comencé a sentirme un poco asustado. Me hice consciente de que mi corazón latía mucho más intenso que de costumbre y las manos me comenzaron a sudar. Aun así, estaba convencido de que podía rendir el examen porque creía que controlaría la situación. Como siempre sucedía, fui de las primeras personas a quienes llamaron los profesores porque mi apellido comienza con A. Me acerqué a la mesa, el bolillero fue girado por uno de los profesores a través de la manivela y el repiqueteo de las bolillas chocando en el interior agudizó la intensidad de mis latidos cardíacos que retumbaban en mis oídos. 1 Día de tormenta -Rinde la bolilla dos y la bolilla seis.- Sentenció el profesor. Anoté los números de las bolillas en mi programa al mismo tiempo que el profesor las anotaba en su planilla. -El siguiente…-Y me retiré al fondo de la sala en donde había un grupo de sillas alineadas para que nos sentáramos a repasar, es decir, ¡en capilla! Hasta que nos volvieran a llamar. Creí que tendría que repasar pero en realidad estaba más preocupado por controlar este desajuste emocional que sentía en mí. Mi cuerpo estaba intoxicado de adrenalina y en algún momento tuve la loca intención de salir corriendo por la puerta, pero pude dominar aquel fugaz arrebato. Por lo demás, traté de pensar en algo agradable, en la serenidad de un lago, en una agradable caminata por el bosque en una mañana de primavera. Y estando allí, en esa calma, oí que volvían a llamarme, más calmado y sereno. Rendí la primera bolilla y el examen estuvo enlentecido por constantes baches de amnesia momentánea que si bien no impidieron que aprobara la unidad, los profesores lo interpretaron como “falta de concepto”. Para lo cual volvieron a enviarme a repasar la siguiente bolilla en un clima de solemnidad implacable. Cuando volvieron a llamarme, convencido de que debía esforzarme y demostrar lo mejor de mi o retirarme de la mesa, un empuje denodado surgió repentinamente de mi interior. De forma clara y dinámica proseguí con el examen revirtiendo el resultado y logrando aprobarlo. Salí airoso y en el exterior un sol radiante gobernaba un firmamento totalmente despejado que desestimaba la oscura e iracunda tormenta de ese día… REFLEXIONES En el presente microrrelato se plasma mi vivencia como docente y como alumno; trataré de describir y asociar los párrafos con los conocimientos adquiridos durante este módulo teniendo en cuenta la bibliografía, el trabajo grupal virtual y el aporte de la actividad presencial, como así también el intercambio con el grupo en la wiki y foros. En primer lugar había ido a buscar la lista de alumnos, generalmente son cinco, que evaluaría a través de mini-cex en el Hospital Dr. Horacio Heller de Neuquén, el mismo sería el número 10 de los realizados a través del año. Mi rol docente es realizar la observación directa del alumno y recolectar datos en una lista de cotejo durante 2 Día de tormenta 20minutos y luego darle un feedback al alumno. Este instrumento de evaluación lo venimos utilizando hace aproximadamente 2 años y como dice Alves De Lima en la actividad presencial, esta estudiado en el pregrado y posgrado. Este autor recomienda que lo realicen los docentes que les gusta mirar y debe haber consenso en què y cómo mirar. Con un número de 10 a 15 se puede realizar una evaluación sumativa. Como docente previamente selecciono pacientes ambulatorios o internados y se evalúan las 6 competencias propuestas por Alves de Lima; mientras el alumno realiza el interrogatorio y el examen físico. En conclusión, esa mañana iba a evaluar a través del mini-cex la cima de la pirámide de Miller de estos alumnos de 6to año de medicina, objetivando su desempeño (el hace..).La bibliografía (Durante 2006) concluye que con 10 observaciones por año este es un instrumento confiable para evaluar la competencia clínica siempre y cuando no haya demora entre la observación y la documentación de las calificaciones; debe realizarse con formularios estructurados y considerar que el observador puede estar influenciado por el estado de ánimo, humor y cambios de atención. El mini-cex es un instrumento que tiene alta confiabilidad y validez con un muy aceptable impacto educacional, pero es costoso por la cantidad de horas docentes dedicadas a la observación. Con respecto a mi recuerdo del examen de Anatomía, hoy cursando este módulo, me pregunto ¿Qué valor tiene el repasar antes de un examen? ¿Cómo sería el curriculum en el que estaba inserta la asignatura? ¿Qué objetivos de aprendizaje se habría propuesto el docente? ¿Cómo con este examen se motivaría y estimularía el aprendizaje? Estas preguntas hoy las comprendo luego de estudiar a (Brailovsky 2001) donde el autor sustentado en Georges Miller propone que la evaluación orienta el curriculum y dirige el aprendizaje; de esta manera los objetivos de aprendizaje, los contenidos y la evaluación están estrechamente vinculados. De lo contrario puede suceder lo que propone este autor “ se puede pensar que se evalúa lo que no se está evaluando”. Según (Jacques Tardif 1993) para comprender la evaluación hay que entender la naturaleza del aprendizaje y es aquí dónde retomo el repasar desde una perspectiva constructivista donde el alumno construyó su aprendizaje significativo con andamiaje a sus conocimientos previos a través de estructuras significativas. El repasar es recordar de forma memorística y esto no tiene sentido como acceso a la memoria a largo plazo. En los expertos están organizadas y jerarquizadas, son las responsables dela expertise. Es necesario que la persona pueda comprender por què sabe lo que sabe y, de esta manera poder medir sus habilidades metacognitivas (Durante 2005).Este punto se relaciona con una propuesta de evaluación autentica 3 Día de tormenta que a través del tiempo permita evaluar la comprensión y la metamorfosis cognitiva del estudiante (Jacques Tardif 1993). Analizando lo expuesto hasta aquí parecería que el ambiente de solemnidad, el repasar, el espacio en silencio y el estar en capilla no parecen ser el mejor estímulo para abordar estos procesos cognitivos que a su vez tanto como la motivación se ven influenciados por los estímulos emocionales y afectivos. La psicología de la motivación depende del estilo docente y de la evaluación. Esta es la contracara de la motivación y algunos autores como (Huertas 2009) destacan “el evaluar el aprendizaje para el aprendizaje” A continuación analizaré el recuerdo del bolillero de madera con las 45 bolillas del programa de Anatomía, el tener que rendir la bolilla 2 y 6, el examen oral , mis baches de amnesia momentánea, la falta de concepto y el salir airoso de ese día de tormenta: “ el examen”.¿ Haber aprobado este examen garantiza la competencia? ¿Las 45 bolillas representan los contenidos y los objetivos que planificaron los docentes de Anatomía? Considerando lo aprendido en la actividad presencial y lo estudiado en la bibliografía, el examen oral sin lista de cotejo es similar a los casos largos en los cuales no hay un muestreo significativo de los contenidos; el evaluador no tiene claro que debe preguntar y además tiene un alto grado de subjetividad, o sea son pruebas con baja confiabilidad, poca validez y muy poco o nulo impacto educativo. A estos exámenes les falta confiabilidad intercasos e interobservador, es decir que el instrumento tiene baja precisión, es como si quisiéramos medir la presión arterial con un termómetro. Según la bibliografía (Durante 2005) sustentado en la teoría psicométrica para un examen final de una materia un test debe tener un coeficiente de confiabilidad de 0,80 además de una adecuada validez, o sea que mida lo que pretende medir; a este examen oral le falta validez de contenido porque no está claro si se evaluaban conocimientos, problemas, demostrar topografías de órganos o utilizar los conocimientos para resolver problemas en distintos contextos. El impacto educacional de estos exámenes orales es casi nulo porque orienta el aprendizaje a la memorización y no tiene retroalimentación. La bibliografía sustentada en la investigación aplicada (Durante 2006) demuestra que para alcanzar un índice alfa de 0.8 de Cronbach se necesita una evaluación con 10 casos y así también se podría alcanzar una adecuada confiabilidad con diferentes observadores. El examen de Anatomía se realizó con solo 2 bolillas, con temas aislados, por lo que es muy dificultoso emitir una opinión analizando la bibliografía obligatoria de este módulo. Es difícil saber si luego de aquel día de tormenta, en el que 4 Día de tormenta salí airoso, continúe con incompetencia en el área de Anatomía o realmente tenía un conocimiento profundo de la materia. Siguiendo con la filosofía que la evaluación debe guiar el aprendizaje y debe ser realizada de acuerdo a los objetivos de aprendizaje o competencias esperadas considero que mi recuerdo de la vivencia del examen de Anatomía dista de forma considerable de una evaluación auténtica en la cual se evaluara la comprensión y metamorfosis cognitiva ( Tardif 1993). Retomando el microrrelato esa mañana había ido a la facultad a buscar la lista de los alumnos a los que evaluaría como docente con mini-cex. Con respecto a este punto la evaluación de las competencias clínicas se deben realizar con instrumentos validados que sean útiles por su validez, confiabilidad, aceptabilidad e impacto educativo; para ello se utiliza como marco teórico el modelo piramidal de Miller (Durante 2006). Para evaluar el (Demuestra… y el hace…) los instrumentos validados con alta confiabilidad, validez e impacto educativo son, según la bibliografía del módulo: ECOE, Mini-Cex, y Portfolio. En lo personal al inicio de este relato narre algunos aspectos de mis vivencias con Mini-Cex, con respecto a portfolio tengo experiencia en posgrado para la formación permanente en Clínica Médica y en OSCE solo conozco el método por la bibliografía y algunos talleres presenciales. Es importante destacar que la confiabilidad para medir las competencias dependen del contexto: por ejemplo, la evaluación de un paciente con neumonía en internación no acredita para la evaluación en el ámbito ambulatorio de un paciente con la misma patología .Para aumentar la confiabilidad hay que aumentar la muestra y es por eso que en la bibliografía con respecto al ECOE se recomiendan aproximadamente 13 estaciones de 15minutos de duración lo que equivale a un examen de 4 a5 horas ( Durante 2005) Con respecto a los exámenes escritos, los ensayos, los de preguntas abiertas y el test de concordancia de Scripts para evaluar el razonamiento clínico me resultan muy novedosos y constructivos. Hace un tiempo estoy intentando aprender y comprender la dinámica del Scripts para poder implementarlo. Según presencial se pueden diseñar para diagnóstico, Brailovsky en la actividad tratamiento y exámenes complementarios. Los exámenes escritos tienen diferentes fortalezas y debilidades, no hay uno superior, siempre hay que incorporar procesos de revisión. Es más importante el estímulo que el formato de la respuesta (Schuwirth 2004). 5 Día de tormenta En síntesis, luego del estudio virtual y presencial del módulo, la lectura de la bibliografía, los talleres presenciales, además de las actividades grupales en los foros de intercambio puedo sacar algunas conclusiones que detallo a continuación: 1-Un programa de evaluación debe diseñarse de acuerdo al curriculum, objetivos de aprendizaje y competencias esperables. 2-Para entender la evaluación hay que entender la naturaleza del aprendizaje. 3-La evaluación autèntica considera la metacogniciòn y la metamorfosis cognitiva del estudiante. 4-Un programa de evaluación debe utilizar varios instrumentos. 5-Los instrumentos deben calibrarse para que tengan alta confiabilidad y validez. 6-Deben tener impacto educativo y ser aceptados por los alumnos. 7-Hay que definir claramente ¿Por qué evaluar? ¿Qué evaluar? ¿Cómo evaluar? ¿Para quién se evalúa? 8-La filosofía y orientación del curriculum deben considerarse en la evaluación. 6 Día de tormenta BIBLIOGRAFÌA Alves de Lima A. (2005). Claves para la evaluación efectiva... Alves de Lima A et al. (2007). Validity, reliability, feasibility and... Brailovsky C. (2001). Educación médica, evaluación de las competencias. Buckley S et al (2009). The educational effects of portfolio... Drissen EW et al (2005). Conditions for successful reflective use of... Durante E (2005). La evaluación de los conocimientos: lo que parece ser ¿realmente lo es? Durante E (2006). Algunos métodos de evaluación de las competencias: escalando la pirámide... Schuwirth LWT, Van der Vleuten CPM (2004). Different written assessment... Tardiff J (1993). L´Evaluation dans le paradigme constructiviste (en español). 7