Cómo valorar objetivamente las competencias?
Anuncio
HACIA UN NUEVO MODELO DE EVALUACIÓN DEL RESIDENTE DE FARMACIA HOSPITALARIA ¿Cómo valorar objetivamente las competencias? Francisco José Farfán Sedano Grupo Tutores Comunidad de Madrid / Grupo Tutores SEFH INDICE 1 Objetivo 2 Material y métodos 3 Resultados 4 Discusión ¿Cómo valorar objetivamente las competencias? INDICE 1 2 3 4 Objetivo Material y métodos Resultados Discusión ¿Cómo valorar objetivamente las competencias? 1. Objetivo Reevaluar a los residentes de 2012-2013 con el nuevo modelo d l de d competencias t i y comparar ell resultado lt d con ell obtenido en la evaluación anual con la Ficha 1. Valorar la aplicabilidad de las nuevas fichas de Evaluación por Competencias (EPC). Conocer las impresiones de los tutores/evaluadores. ¿Cómo valorar objetivamente las competencias? INDICE 1 2 3 4 Objetivo Material y métodos Resultados Discusión ¿Cómo valorar objetivamente las competencias? 2. Material y métodos Recogida de datos 4 Áreas ¿Cómo valorar objetivamente las competencias? 2. Material y métodos Recogida de datos Básicas ¿Cómo valorar objetivamente las competencias? 2. Material y métodos Recogida de datos AF ¿Cómo valorar objetivamente las competencias? 2. Material y métodos Recogida de datos ¿Cómo valorar objetivamente las competencias? 2. Material y métodos Resultados calificación: • • Ficha 1 EPC Encuesta • Fichas Evaluación por Competencias. • Anexos (Criterios evaluación). • Examen. • Encuesta. ¿Cómo valorar objetivamente las competencias? 2. Material y métodos Recogida de datos y tratamiento datos FICHA 1 Peso en evaluación Ficha EPC Peso en evaluación CONOCIMIENTOS / HABILIDADES 0, 7 CONOCIMIENTOS 0, 3 ACTITUDES 0, 3 HABILIDADES 0, 4 ACTITUDES 0, 3 CONOCIMIENTOS / HABILIDADES 0, 7 ACTITUDES 0, 3 Recogida de información retrospectiva Recálculo para poder comparar con Ficha 1. ¿Cómo valorar objetivamente las competencias? 2. Material y métodos Recogida de datos. Encuestas PREGUNTAS ¿Consideras que el modelo de evaluación de competencias es adecuado para los FIR? ¿Las competencias evaluadas en el modelo te han parecido adecuadas? ¿Las competencias evaluadas en el modelo te han parecido ( fi i t / (suficientes/muchas/pocas)? h / )? ¿Te parece adecuado evaluar los conocimientos con un examen? ¿Has utilizado alguna herramienta objetiva de evaluación de las habilidades? ¿Has utilizado alguna herramienta objetiva de evaluación de las actitudes?, Si es así indícala. ¿Consideras que el modelo de competencias mejora la actual Ficha 1? Has tenido dificultades para evaluar las competencias, competencias si es así indícalas indícalas. ¿Cómo valorar objetivamente las competencias? 2. Material y métodos Análisis de datos Evaluación método Análisis descriptivo por Área y por residente. Prueba t para muestras emparejadas: Comparación de medias: Pares: Ficha1- Evaluación por Competencias • Conocimientos/Habilidades • Actitudes • Calificación global Encuestas: Análisis descriptivo. ¿Cómo valorar objetivamente las competencias? INDICE 1 2 3 4 Objetivo Material y métodos Resultados Discusión ¿Cómo valorar objetivamente las competencias? 3. Resultados Hospitales y evaluaciones HOSPITALES EVALUACIONES Hospitales participantes: 18. Hospitales que respondieron a la prueba piloto: Número de residentes evaluados: 75 Por Área: • • • • A3: 20 residentes A4: 20 residentes A9: 19 residentes B1: 16 residentes ¿Cómo valorar objetivamente las competencias? 14 residentes 3. Resultados Dispersión de datos por Área evaluada Habilidades y Conocimientos. Evaluación por Competencias (EPC) 2,80 2,80 2,68 Ficha 1 2,5 Callificación 2,32 2,48 2,06 1,78 -23% Elaboración -17% Validación -11% PEX -29% G. Riesgo ¿Cómo valorar objetivamente las competencias? 3. Resultados Dispersión de datos por Área evaluada Actitudes. 2 80 2,80 2 83 2,83 2, 40 2,78 Evaluación por Competencias (EPC) 2,63 2,5 Ficha 1 Callificación 2,61 1,93 -10% Elaboración -8% Validación -6% PEX -28% G. Riesgo ¿Cómo valorar objetivamente las competencias? 3. Resultados Dispersión de datos por Área evaluada Calificación global (Habilidades+Conocimientos+Actitudes) 2,86 2,8 Evaluación por Competencias (EPC) 2,67 2,55 2,37 2,56 Callificación 2,16 Ficha 1 1,83 -19% Elaboración -15% Validación -6% PEX -29% G. Riesgo ¿Cómo valorar objetivamente las competencias? 3. Resultados Comparación entre métodos ÁREA A3. ELABORACIÓN Y CONTROL DE FORMAS FARMACÉUTICAS *Prueba t para muestras emparejadas Ficha 1 EPC Diferencia de medias N=20 SE 95% Intervalo de confianza para la diferencia Inferior Superior Significación bilateral 0 08 0,08 0 05 0,05 0 37 0,37 0 012 0,012 0,26 0,08 0,09 0,42 0,004 0,12 0,07 -0,03 0,27 0,277 Media SD Media SD Total Evaluación 2 55 2,55 0 45 0,45 2 34 2,34 0 37 0,37 0 21 0,21 Conocimientos y Habilidades 2,53 0,46 2,27 0,09 Actitudes 2,60 0,42 2,48 0,38 Se detectan diferencias estadísticamente significativas en la evaluación total y la evaluación de los conocimientos/habilidades entre ambos métodos. ¿Cómo valorar objetivamente las competencias? 3. Resultados Comparación entre métodos ÁREA A4. VALIDACIÓN DE LA PRESCRIPCIÓN Y DISPENSACIÓN *Prueba t para muestras emparejadas Ficha 1 EPC Diferencia de medias N=20 SE 95% Intervalo de confianza para la diferencia Inferior Superior Significación bilateral 0 06 0,06 0 18 0,18 0 45 0,45 0 000 0,000 0,37 0,07 0,23 0,452 0,000 0,17 0,08 0,01 0,33 0,036 Media SD Media SD Total Evaluación 2 66 2,66 0 39 0,39 2 35 2,35 0 31 0,31 0 31 0,31 Conocimientos y Habilidades 2,64 0,42 2,27 0,34 Actitudes 2,71 0,38 2,53 0,31 Se detectan diferencias estadísticamente significativas en la evaluación total, la evaluación de los conocimientos/habilidades y evaluación de actitudes entre ambos métodos. ¿Cómo valorar objetivamente las competencias? 3. Resultados Comparación entre métodos ÁREA A9. ATENCIÓN FARMACÉUTICA A PACIENTES EXTERNOS *Prueba t para muestras emparejadas Ficha 1 EPC Diferencia de medias N=19 SE 95% Intervalo de confianza para la diferencia Inferior Superior Significación bilateral 0 04 0,04 0 22 0,22 0 40 0,40 0 000 0,000 0,36 0,05 0,25 0,46 0,000 0,21 0,09 0,02 0,40 0,032 Media SD Media SD Total Evaluación 2 70 2,70 0 30 0,30 2 39 2,39 0 39 0,39 0 31 0,31 Conocimientos y Habilidades 2,71 0,32 2,35 0,36 Actitudes 2,69 0,35 2,48 0,50 Se detectan diferencias estadísticamente significativas en la evaluación total y la evaluación de los conocimientos/habilidades y evaluación de actitudes entre ambos métodos. ¿Cómo valorar objetivamente las competencias? 3. Resultados Comparación entre métodos ÁREA B1. GESTIÓN DEL RIESGO *Prueba t para muestras emparejadas Ficha 1 EPC Diferencia de medias N=5 SE 95% Intervalo de confianza para la diferencia Inferior Superior Significación bilateral 0 14 0,14 0 22 0,22 1 01 1,01 0 012 0,012 0,50 0,20 -0,06 1,05 0,069 0,92 0,28 0,15 1,68 0,029 Media SD Media SD Total Evaluación 2 48 2,48 0 45 0,45 1 86 1,86 0 28 0,28 0 62 0,62 Conocimientos y Habilidades 2,42 0,52 1,91 0,51 Actitudes 2,65 0,30 1,72 0,48 Calificación por EPC: 16 residentes. Tres no evalúan. Limitación: Sólo 5 residentes presentaron datos de evaluación en la Ficha 1 y por Evaluación por Competencias, por tanto es una muestra muy pequeña para sacar conclusiones. ¿Cómo valorar objetivamente las competencias? 3. Resultados Evaluación global por cada residente evaluado Diferencias entre resultado global por método. Calificación 3 2 1 Elaboración Validación Calificación por Ficha 1 Residentes con mayor Calificación por EPC que en Ficha 1. Calificación por EPC Sólo evaluados por EPC. PEX Misma calificación. Gestión Riesgo 3. Resultados Evaluación global por cada residente evaluado Diferencias entre resultado global por método. Calificación 3 2 1 Se excluyeron los residentes que no presentaban datos en la evaluación de la Ficha 1.(11) El 80 % (51) de los residentes presentan calificaciones inferiores en la E l Evaluación ió por Competencias C t i que en la l obtenida bt id en la l Ficha Fi h 1. 1 El 14% (9) obtienen una calificación superior a la obtenida en la Ficha 1. Igual calificación: 6%(4) Elaboración Validación Calificación por Ficha 1 Residentes con mayor Calificación por EPC que en Ficha 1. Calificación por EPC Sólo evaluados por EPC. PEX Misma calificación. Gestión Riesgo 3. Resultados Resultado encuestas N=56 PREGUNTAS RESPUESTAS ¿Consideras que el modelo de evaluación de competencias es adecuado para los FIR? Sí: 100% ¿Las L competencias evaluadas en ell modelo d l te t han h parecido id adecuadas? Sí: 100% ¿Las competencias evaluadas en el modelo te han parecido (suficientes/muchas/pocas)? • Pocas: 7,8% • Suficientes: 86,3% • Muchas: 5,9% ¿Te parece adecuado evaluar los conocimientos con un examen? Sí: 82,6% ¿Has utilizado alguna herramienta objetiva de evaluación de las habilidades? •Ninguna: 40% •Caso práctico: 10% •Actividad supervisada: 41% •Otros: 9% ¿Has utilizado alguna herramienta objetiva de evaluación de las actitudes?, Si es así indícala. No: 96% ¿Consideras C id que ell modelo de competencias mejora la actual Ficha 1? Sí: 100% Has tenido dificultades para evaluar las competencias, si es así indícalas. No: 71,2% Sí: 28,8%: Fundamentalmente comprensión de habilidades. ¿Cómo valorar objetivamente las competencias? 3. Resultados Limitaciones N=56 Sesgo por desconocimiento Desconocimiento de las FICHAS EPC al realizar la rotación y la evaluación: • Conocer el contenido de la rotación y el sistema d evalaución de l ió mejorará j á ell resultado. ¿Cómo valorar objetivamente las competencias? 3. Resultados Limitaciones N=56 Sesgo por desconocimiento Desconocimiento de las FICHAS EPC al realizar la rotación y la evaluación: • Conocer el contenido de la rotación y el sistema d evalaución de l ió mejorará j á ell resultado. Exámenes Son de carácter general y ligados al contenido de las nuevas fichas: •Cada tutor deberá hacer su propio examen. examen ¿Cómo valorar objetivamente las competencias? INDICE 1 2 3 4 Objetivo Material y métodos Resultados Discusión ¿Cómo valorar objetivamente las competencias? 4. Discusión Las diferencias de calificaciones son menores en todas las áreas. áreas ¿Cómo valorar objetivamente las competencias? 4. Discusión Las diferencias de calificaciones son menores en todas las áreas. Protocolizar y orientar la evaluación. ¿Cómo valorar objetivamente las competencias? 4. Discusión Las diferencias de calificaciones son menores en todas las áreas. Protocolizar y orientar la evaluación. Requiere mayor tiempo y mayor compromiso. ¿Cómo valorar objetivamente las competencias? 4. Discusión Las diferencias de calificaciones son menores en todas las áreas. Protocolizar y orientar la evaluación. Requiere mayor tiempo y mayor compromiso. Menor variabilidad residentes. residentes en las ¿Cómo valorar objetivamente las competencias? calificaciones de los 4. Discusión Las diferencias de calificaciones son menores en todas las áreas. Protocolizar y orientar la evaluación. Requiere mayor tiempo y mayor compromiso. Menor variabilidad residentes residentes. en las Rotaciones transversales. ¿Cómo valorar objetivamente las competencias? calificaciones de los 4. Discusión Las diferencias de calificaciones son menores en todas las áreas. Protocolizar y orientar la evaluación. Requiere mayor tiempo y mayor compromiso. Menor variabilidad residentes residentes. en las calificaciones de los Rotaciones transversales. Evaluación de actitudes: Complicada y tiene mayor componente subjetivo (falta de herramientas implantadas). ¿Cómo valorar objetivamente las competencias? Muchas gracias por su atención Francisco José Farfán Sedano Grupo Tutores Comunidad de Madrid Grupo Tutores SEFH ¿Cómo valorar objetivamente las competencias?
