Introducción: La evaluación de performance ha aumentado en los

lx congreso chileno de anestesiología
Herramienta de evaluación de procedimientos: Validación
y determinación de sus propiedades psicométricas
en la realidad anestésica chilena
Delfino Alejandro1, Altermatt Fernando1, Corvetto Marcia1, Echevarria Ghislaine1
División de Anestesiología, Pontificia Uniersidad Católica de Chile.
1
Introducción: La evaluación de performance ha
aumentado en los últimos años. Diversas herramientas, que genéricamente reciben el nombre de
Evaluación en Sitio de Trabajo, han sido desarrolladas. Dentro de ellas, destaca la herramienta Observación Directa de Procedimientos (ODP), de
probada validez y confiabilidad en realidades foráneas1, no aplicada en nuestro medio.
Objetivo General: Los objetivos de éste estudio
fueron crear una versión modificada de ODP adaptada al contexto anestésico chileno y establecer sus
propiedades psicométricas.
Material y Métodos: Desarrollo del instrumento
Para lograr consenso sobre la estructura y contenido
de la nueva ODP, una serie de entrevistas y una
encuesta de consenso fue realizada. El objetivo de
las entrevistas fue identificar que dominios del ODP
original debían ser incluidos en la versión Chilena,
procedimiento efectuado hasta alcanzar saturación.
Para validar el prototipo resultante del proceso
anterior, una encuesta de consenso fue efectuada,
calculándose el Índice de Validez Contextual
(CVI) y coeficiente Kappa. Para ser incluidos en
la versión final, estos debían ser mayores a 0,78 y
0,60, respectivamente Aplicación del instrumento
Empleando una modificación de los criterios de
Mulcaster2, las intubaciones desarrolladas por los
residentes de anestesia fueron evaluadas durante
4 meses, una vez al día, dos veces por semana.
La determinación de confiabilidad y consistencia
interna del nuevo ODP fue establecida mediante
teoría de la generalización. Una encuesta de
satisfacción fue enviada a todos los participantes.
Resultados: La entrevista sugirió un ODP con 12
Rev Chil Anest 2012; 41: 209-218
dominios, todos los cuales fueron incluidos en la
versión final ya que los valores individuales de CVI
y del coeficiente kappa estuvieron sobre 0,9 y 0,8,
respectivamente. En relación al CVI para la escala
global, estos fueron 0.83 y 0.98, empleando la
definición universal y promedio, respectivamente.
585 procedimientos fueron evaluados. El
coeficiente de generalización fue 0,9, con un Philambda de 0,96. La intubación efectuada por los
residentes debe ser evaluada con ODP al menos 6
veces para obtener un coeficiente de generalización
de 0,8. Sobre el 70% de los staff considera DOPS
como una herramienta útil, mientras que el 80%
de los residentes la incorporaría para evaluar otros
procedimientos. Ambos estamentos consideran el
feedback como la principal debilidad.
Conclusiones: El ODP modificado es una herramienta válida, confiable y práctica para evaluar
procedimientos en el contexto anestésico Chileno,
permitiendo esto potencialmente mejorar la calidad
de la instrucción efectuada. El elevado coeficiente
de generalización alcanzado permite poder emplear
el instrumento con objetos de evaluaciones sumativas. Mayores esfuerzos se requieren para mejorar
la capacidad de feedback de los staff con objeto de
obtener los máximos beneficios de la herramienta.
Referencias
1. Wragg A, Wade W, Fuller G, Cowan G, Mills P. Assessing
the performance of specialist registrars. Clin Med. 2003;
3(2): 131-134.
2. Mulcaster JT, Mills J, Hung OR, MacQuarrie K, Law JA,
Pytka S, et al. Laryngoscopic intubation: learning and performance. Anesthesiology. 2003; 98(1): 23-27.
211