Claves para la evaluacion efectiva del residente

EDUCACIÓN MÉDICA
Claves para la evaluación efectiva del Residente
Alberto E. Alves de Lima
INTRODUCCIÓN
La evaluación comienza con la identificación de los objetivos de aprendizaje y finaliza con la determinación en
qué nivel esos objetivos fueron alcanzados. Debe ser un
proceso sistemático, que tiene un rol fundamental para una
enseñanza efectiva.
Para ello resulta imprescindible clarificar qué será evaluado, seleccionar el instrumento de evaluación adecuado y
conocer las limitaciones de cada instrumento que aplicamos. La evaluación es un medio hacia el final y no un
final en sí mismo1.
Michael Kane definió competencia clínica como el grado
en que un individuo puede usar sus conocimientos, habilidades y el criterio asociado a su profesión para llevar adelante eficientemente en diferentes escenarios los problemas de su práctica2.
Esta definición resalta elementos claves del concepto de
competencia clínica. Los evaluadores están interesados no
sólo en poder evaluar a los médicos Residentes en una
actividad definida, sino también poder generalizar en relación a otras actividades en un rango de situaciones clínicas similares.
Estimar la competencia clínica de un profesional requiere
tener en cuenta tres elementos centrales: a) evaluar la calidad de la habilidad observada; b) describir una conclusión
general de la habilidad de la persona para desenvolverse en
un universo de situaciones similares y c), poder extrapolar
el desempeño observado en las prácticas a otras no observadas. Este último punto, entre lo que el estudiante puede
hacer y hace en situaciones no supervisadas, introduce valores individuales (por ejemplo, razonabilidad, conceptos
éticos) a los factores (conocimientos, destrezas y habilidades) que definen su comportamiento en la práctica3.
Miller ilustra claramente en su modelo conceptual de competencia clínica qué es lo que los educadores deben evaluar. Este autor concibe a la competencia clínica como una
pirámide: la base corresponde a la información o al conocimiento fáctico, es decir el “saber”; en un nivel superior,
a la habilidad de uso del conocimiento en un contexto particular, es decir, el “saber cómo”. Esto está directamente
vinculado a la resolución de problemas y al razonamiento
clínico. En un nivel superior, refleja la habilidad de la persona de actuar apropiadamente en situaciones prácticas,
es decir, el “mostrar cómo”. El nivel más alto refleja el
desempeño actual en la práctica diaria, es decir, el ·"hacer”. Cuanto más alto en la pirámide se encuentre la habilidad evaluada, más autenticidad o realismo clínico deberá poseer el examen4 (fig. 1).
CARACTERÍSTICAS DE LA COMPETENCIA CLÍNICA
MULTIDIMENSIONALIDAD
El término competencia clínica induce en algunos casos a
pensar en términos de capacidades focales o unitarias. Esto
es una simplificación inapropiada del término. La mayoría de los encuentros entre médicos y pacientes obliga a
integrar y desempeñar por lo menos diez componentes: a)
clarificación del problema del paciente; b) recolección de
información en forma detallada y cronológica; c) integrar,
organizar e interpretar los datos obtenidos para alcanzar
una impresión diagnóstica e inclusive redefinirla a medida que aparecen nuevos datos; d) definir objetivos de manejo; e) hacer procedimientos; f) comunicarnos y relacionarnos efectivamente con el paciente y su grupo familiar;
g) trabajar en equipo con otros profesionales; h) evaluar
críticamente la información disponible; i) monitorear las
destrezas y habilidades individuales y actualizarse en forma sistemática; y j), desempeñarse en forma responsable5.
ESPECIFICIDAD DE CASO
Los datos de investigación en educación médica son consistentes en demostrar que el desempeño clínico es específico por caso. Es decir, los médicos que son exitosos en
el diagnóstico y manejo de una situación clínica no son
necesariamente competentes en otras, inclusive siendo
Figura 1.Pirámide de Miller
Hace
Acción
Es capaz
de hacer
Desempeño
Sabe cómo
Competencia
Sabe
Conocimiento
Recibido: 10 dic. 2005
Aceptado: 22 dic. 2005
Instituto Cardiovascular de Buenos Aires. Correspondencia: [email protected]
URL:http://revista.hospitalitaliano.org.ar
108
Rev. Hosp. Ital. B.Aires
éstas muy parecidas. Van der Vleuten y Swanson concluyeron que la mayor fuente de variación de los puntajes en
29 exámenes de competencia clínica con pacientes estandarizados fue la variación del desempeño en diferentes
situaciones. Además, sugieren que son necesarias 16 horas de observación de desempeño a través de una gran
variedad de situaciones clínicas para obtener estimaciones reproducibles de competencia clínica6. En una experiencia llevada a cabo en la Sociedad Argentina de
Cardiología, se concluyó que se necesitan al menos 10
observaciones estructuradas al año para obtener resultados reproducibles de competencia clínica7.
CONTEXTO
En general, el contexto de evaluación es indefinido y no
controlado. La evaluación tradicional se caracteriza porque
un docente observa a un Residente mientras interroga y examina un paciente, hace la historia clínica y presenta su estrategia diagnóstica y terapéutica. Por otra parte, el evaluador
examina al Residente con ese paciente a lo largo de diferentes dimensiones. El tiempo aproximado de esta acción no
es menor a 120 minutos8. En el mejor de los casos, la evaluación del desempeño es volcada en una escala “global”
con ítems más o menos definidos. El resultado de esto es
que el Residente es observado de la misma forma en casos
de variable complejidad. Los estándares usados para los
casos pueden variar porque en general un sólo experto observa el encuentro entre el Residente y el paciente y los
expertos rara vez estudian los casos en profundidad3,9.
PROBLEMAS EN LA CALIDAD DE LA EVALUACIÓN
FALTA DE DIRECTA OBSERVACIÓN
Probablemente, el mayor problema en la evaluación de
las habilidades clínicas es la falta de observación por parte
de los docentes a los Residentes. Por décadas, los docentes han tomado como veraces las historias clínicas y los
resultados del examen físico informados por los Residentes en las recorridas de sala sin que el docente haya
visto al Residente efectuar dicho interrogatorio y examen físico9.
EXACTITUD
En un estudio randomizado diseñado para evaluar la exactitud de los docentes en la evaluación de las habilidades
clínicas de los Residentes, Noel y col., solicitaron a 203
docentes que observaran a un Residente mientras desempeñaban un examen clínico en un paciente. Los docentes
evaluaron inmediatamente las habilidades clínicas del
Residente. El 50% de los evaluadores utilizó un formulario abierto, y la otra mitad un formulario estructurado.
Observaron que cuando los formularios no eran estructurados, una típica característica de los formularios de eva-
Vol. 25 Nº 3/4, diciembre 2005
luación que se utilizan en la práctica clínica, los docentes
detectaban sólo el 30% de las debilidades y fortalezas. Las
fortalezas fueron omitidas con mayor frecuencia que las
debilidades. La evaluación de estas fortalezas y debilidades aumentaron un 60% con los docentes que utilizaban
formularios estructurados10,14.
Para adquirir mayor exactitud, se requiere la utilización
de pacientes estandarizados o al menos el uso de escalas
específicas para el caso a observar. Por otra parte, existe
en general demora entre la observación y la trascripción
de las calificaciones obtenidas en el encuentro. La demora
introduce error en las calificaciones. En un estudio experimental con 180 participantes, Heneman demostró que
las calificaciones transcriptas por los evaluadores de 1 a 3
semanas más tarde eran de menor exactitud que las transcriptas inmediatamente11.
VARIACIONES INTER E INTRA OBSERVADORES
Existen variaciones intra-observador vinculadas a cambios
de la atención, de perspectiva, de estándares, de humor o
de estado de ánimo. Kalet y colaboradores le solicitaron a
un grupo de docentes que re-evaluaran entrevistas videograbadas luego de un período de 3 a 6 meses. Se observó
una bajísima correlación en las calificaciones asignadas al
proceso de la entrevista12.
Existen variaciones inter-observadores. Diferencias de criterios, de puntos de vista, de rigor son algunas fuentes de
este problema.
Elliot y Hickam organizaron grupos de 3 docentes y observaron al mismo alumno mientras efectuaba el interrogatorio y examen físico a un paciente. Todos los docentes
estaban familiarizados con la tarea que tenían que hacer y
se creó un ámbito donde se evitaba todo tipo de interrupciones. Todos utilizaron un formulario o guía de observación con una detallada lista de cotejo. Debían calificar cada
ítem con una escala predefinida. Los investigadores observaron en los evaluadores que el acuerdo fue malo en 17
de las 53 maniobras evaluadas, bueno en 18, y pobre en
18. El desacuerdo se presentó principalmente en maniobras de palpación y percusión, en donde la evaluación no
depende sólo de la observación13. Es importante destacar
también que la calidad de la observación es otro elemento
crucial. Existe una crítica concurrente en relación a los
métodos que evalúan la competencia clínica; es que los
evaluadores no distinguen en forma consistente diferentes
niveles de desempeño de los estudiantes. Noel y Herber,
en dos estudios sobre la evaluación de habilidades clínicas a través del examen clínico tradicional con el paciente, objetivaron una marcada discordancia en los puntajes
otorgados por los diferentes docentes frente al mismo problema. Además, demostraron que los docentes fallaron en
detectar el 68% de los errores cometidos por los Residen-
Alves de Lima AE.
Claves para la educación efectiva del Residente
tes al observar un vídeo diseñado para evaluar desempeños marginales10. Kalet y col. evaluaron la confiabilidad y
la reproducibilidad de la observación de los docentes durante habilidades de comunicación a través de entrevistas
grabadas y observaron que los docentes eran inconsistentes tanto en identificar el uso de preguntas abiertas o cerradas, como en la evaluación de la empatía, y que el valor
predictivo positivo de las evaluaciones de los docentes no
era mayor al 12%12.
•
•
•
•
•
CONCLUSIONES FINALES
En conclusión, en base a lo antes expuesto, se proponen
las siguientes recomendaciones:
• Los estudiantes deben ser observados en un amplio
espectro de situaciones clínicas y procedimientos, y
•
•
•
•
109
por múltiples evaluadores. La bibliografía en general
sugiere al menos entre 7 a 11 observaciones para obtener conclusiones razonables de la competencia clínica
global del estudiante o el Residente14-16.
Utilizar formularios cortos y estructurados (anexo 1 y 2).
Definir claramente las consignas.
Dar tiempo para la evaluación.
Maximizar el valor de devolución (feed-back) como
herramienta formativa.
Solicitar la trascripción inmediata de las calificaciones luego del examen.
Complementar observaciones formales con informales.
Considerar trabajar en grupo para tomar decisiones de
promoción.
Entrenar y calibrar a los evaluadores.
Chequear los instrumentos de evaluación.
BIBLIOGRAFÍA
1. Linn, R Gronlund N. Measurements and
assessment in teaching. USA: Prentice-Hall;
2000
2. Kane MT. The assessment of professional
competence. Evaluation and the Health
Professions 1992;15:163-82.
3. Williams RG, Klamen DA, McGaghie WC.
Cognitive, social and environmental sources of
bias in clinical performance ratings. Teach
Learn Med 2003; 15(4): 270-92.
4. Miller GE. The assessment of clinical skills/
competence/performance. Acad Med 1990;
65(9 Suppl): S63-7.
5. Alguire P, et al. Portfolio for internal
medicine residency programs [en línea], 20012002. Disponible en: URL: http://www.im.org/
AAIM/Tools/Docs/Forms/competencies.pdf
[Consulta: 20/01/06].
6. Stillman P, Swanson D, Regan MB, et al.
Assessment of clinical skills of residents
utilizing standardized patients. A follow-up
study and recommendations for application.
Ann Intern Med 1991; 114(5): 393-401.
7. Castillo Costa Y, Alves de Lima A. Ejercicio
de examen clínico reducido (EECR): una
herramienta para evaluar la competencia
clínica. Resultados Preliminares. Rev Argent
Cardiol 2004; 72(Sup 3):174, Abstract 251.
8. Holmboe ES, Hawkins RE, Huot SJ. Effects
of training in direct observation of medical
residents’ clinical competence: a randomized
trial. Ann Intern Med 2004; 140(11): 874-81.
9. Holmboe ES. Faculty and the observation of
trainees’ clinical skills: problems and
opportunities. Acad Med 2004; 79(1): 16-22.
10. Noel GL, Herbers JE Jr, Caplow MP, et al.
How well do internal medicine faculty members
evaluate the clinical skills of residents? Ann
Intern Med 1992; 117(9): 757-65.
11. Heneman RL. The effects of time relay in
rating and amount of information observed on
performance rating accuracy. Acad Manag J
1983; 26:677-86.
12. Kalet A, Earp JA, Kowlowitz V. How well
do faculty evaluate the interviewing skills of
medical students? J Gen Intern Med 1992; 7(5):
499-505.
13. Elliot DL, Hickam DH. Evaluation of
physical examination skills. Reliability of
faculty observers and patient instructors. JAMA
1987; 258(23): 3405-8.
14. Alves de Lima A. Observación directa del
desempeño del residente: una práctica en
desuso. Rev Argent Cardiol 2005; 73(1):39-43.
15. Norcini JJ, Blank LL, Arnold GK, et al. The
mini-CEX (clinical evaluation exercise): a
preliminary investigation. Ann Intern Med
1995; 123(10): 795-9.
16. Alves de Lima A, Henquin R, Thierer J, et
al. A qualitative study of the impact on learning
of the mini clinical evaluation exercise in
postgraduate training. Med Teach 2005; 27(1):
46-52.
110
Rev. Hosp. Ital. B.Aires
Vol. 25 Nº 3/4, diciembre 2005
ANEXO 1
PAUTAS PARA LA IMPLEMENTACIÓN DE EJERCICIO DE EXAMEN CLÍNICO REDUCIDO (EECR)
El EECR se centra en las habilidades básicas que los Residentes demuestran en el encuentro con el paciente. Los médicos
de planta pueden implementarlo fácilmente como una forma de evaluación de rutina, transparente, en cualquier ámbito. El
EECR proporciona un panorama general en 15-20 minutos de la interacción Residente/paciente. Desarrollado sobre la
base de múltiples encuentros a lo largo del tiempo, este método ofrece una medición válida y confiable del desempeño del
Residente. Se insta a los médicos de planta a realizar un EECR por Residente durante cada rotación.
Ámbitos para la Puesta en Marcha de EECR
Área de Internación. Áreas Criticas (UTI/UCIC)
Área ambulatoria, Área emergencia
Servicios de Consulta Externa o Internación
Examinadores de EECR
Médicos de planta
Médicos jefes de Sección y/o Servicio
EECR, Ejercicio de Examen Clínico Reducido; UTI, Unidad de Terapia Intensiva; UCIC, Unidad de Cuidado Intensivos Coronarios.
Una vez completado el formulario, se debe entregar el “original” al director del
programa y la “copia” al Residente. Se utiliza una escala de calificación de nueve puntos, definiéndose a la puntuación 4
como “marginal”, con la cual se expresa la posibilidad de que con un recuperatorio el Residente alcanzará los niveles
exigidos para obtener la aprobación.
Formularios y Escala de Puntuación:
DESCRIPTORES DE LAS COMPETENCIAS DEMOSTRADAS POR EL RESIDENTE DURANTE EL EECR
Habilidades para la Conducción de la Entrevista Médica: Facilita la explicación al paciente de su situación, usa eficazmente las
preguntas y da instrucciones precisas y adecuadas para obtener la información necesaria; responde apropiadamente a las
señales afectivas, verbales y no verbales.
Sigue una secuencia efectiva y lógica; equilibrio entre los pasos de
detección/diagnóstico del problema; información al paciente; sensibilidad al bienestar y pudor del paciente.
Habilidades para la Conducción del Examen Físico:
Cualidades Humanísticas/profesionalismo: Muestra respeto, consideración, empatía; genera confianza; atiende las necesi-
dades del paciente en cuanto a bienestar, pudor, confidencialidad e innovación.
Criterio Clínico:
Ordena, selecciona los estudios diagnóstico en forma apropiada, considera los riesgos, beneficios.
Explica los fundamentos del estudio/tratamiento, obtiene el consentimiento del paciente; instruye/aconseja con respecto a la conducta a seguir.
Habilidades para el Asesoramiento del Paciente:
Organización/eficiencia:
Prioriza; es oportuno; sucinto.
Competencia Clínica Global:
Demuestra criterio, síntesis, atención y cuidado, eficacia y eficiencia.
Alves de Lima AE.
Claves para la educación efectiva del Residente
111
EJERCICIO DE EXAMEN CLÍNICO REDUCIDO (EECR)
Examinador: ............................................................................................. Fecha: ................................................................................................................
❍ R-1
Residente:
❍ R-2
❍R-3
Problema del Paciente / diagnóstico: ...................................................................................................................................................................................
Ámbito:
❍ Ambulatorio
❍ Internación Gral.
Paciente:
Edad: ...............................
Complejidad:
❍ Baja
Énfasis:
❍ Recopilación de Datos ❍ Diagnóstico
2
❍ Moderada
3
4
Insatisfactorio
2
3
4
Insatisfactorio
2
1
2
3
4
3
6. Organización / eficiencia
2
6
7
8
9
Sobresaliente
(❍ No se observan)
5
6
7
8
9
Sobresaliente
5
6
7
8
9
Satisfactorio
Sobresaliente
4
7
5
6
8
9
Sobresaliente
(❍ No se observan)
4
Insatisfactorio
1
(❍ No se observan)
Satisfactorio
5. Habilidades para el Asesoramiento del Paciente
2
❍ Asesoramiento
(❍ No se observan)
3
Insatisfactorio
1
❍ Terapéutico
(❍ No se observan)
Insatisfactorio
4. Criterio Clínico
❍ Seguimiento
❍ Alta
Satisfactorio
3. Cualidades Humanísticas / profesionalismo
1
5
❍ Emergencia
❍ Primera Vez
Satisfactorio
2. Habilidades para la Conducción del Examen Físico
1
❍ UCIC
Sexo: ................................
1. Habilidades para la Conducción de la Entrevista Médica
1
❍ UTI
5
6
7
8
9
Satisfactorio
Sobresaliente
4
7
(❍ No se observan)
3
Insatisfactorio
5
6
Satisfactorio
8
9
Sobresaliente
7. Competencia Clínica Global como Especialista de Consulta (❍ No se observan)
1
2
3
4
Insatisfactorio
5
6
7
Satisfactorio
8
9
Sobresaliente
Tiempo de Desarrollo del EECR:
Observación ........ min.
Satisfacción del examinador con el EECR
BAJA
1
2
3
4
5
Devolución: ................. min.
6
7
8
9
ALTA
Satisfacción del Residente con el EECR
BAJA
1
2
3
4
5
6
7
8
9
ALTA
COMENTARIOS:
...............................................................................................................................................................................................................................................
Firma del Residente
Firma del Examinador