MANUAL DE EQUIPOS DE EVALUADORES EXTERNOS Premio

MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012
MAN-COP-002
Versión: 06
Pág. 1 de 9
Premio Nacional a la Calidad y Reconocimiento a Prácticas Promisorias
1.0 Objetivo
Establecer el procedimiento a seguir por los Equipos Evaluadores Externos en el proceso de
evaluación de las instituciones postulantes al Premio Nacional a la Calidad.
2.0 Evaluación Externa. Definición
Es el proceso de verificación, por parte de un Equipo de Evaluadores Externos, de la
documentación y las evidencias suministradas por el organismo postulante para su revisión,
validación y precalificación al Premio Nacional a la Calidad y el Reconocimiento a las Prácticas
Promisorias en el Sector Público. Esta fase aporta la revisión minuciosa y detallada del
Velatorio por parte de un Equipo Evaluador Externo que emitirá un juicio sobre las evidencias
aportadas por el organismo postulante.
2.1 Etapas





Análisis Individual de la Memoria de Postulación
Consenso Calificación preliminar a otorgar
Visita al Organismo Postulante
Consenso del Equipo sobre la Calificación final
Elaboración Informe de Retorno
3.0 Equipo Evaluador Externo:
Es el equipo que tiene a su cargo realizar la labor de evaluación de las Memorias de Postulación
al Premio Nacional a la Calidad y al Reconocimiento a las Prácticas Promisorias, que
han sido presentadas por los organismos postulantes del sector público. Los miembros de este
equipo son seleccionados de instituciones del sector público no postulantes, así como del
sector privado y personas independiente.
3.1 Requisitos de los miembros del Equipo Evaluador Externo.






Ser graduado o estudiante universitario.
Conocimiento y/o experiencia en gestión de Calidad.
Entrenado en la metodología CAF y en el proceso de Evaluación.
Capacidad de análisis y sentido crítico.
Comprometido con la mejora de procesos en la administración pública.
Con demostrada discreción y comportamiento ético.
MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012
MAN-COP-002
Versión: 06
Pág. 2 de 9
3.2 Conformación del Equipo.
El Equipo de Evaluadores Externos de una institución está conformado por un Coordinador y
2 a 5 evaluadores. El Coordinador es seleccionado en la primera reunión mediante un
acuerdo entre los miembros del equipo.
3.3 Responsabilidades del Coordinador del Equipo Evaluador Externo.
El Coordinador del Equipo Evaluador Externo asume el mayor compromiso del proceso de
evaluación ante el MAP, el Comité del Premio, el Jurado y la organización evaluada.
Una vez seleccionado, el Coordinador debe asegurarse de que los miembros comprenden el
proceso y aclarar la manera en que debe ser presentada la información necesaria para llevar a
cabo la reunión de consenso.
Sus principales responsabilidades son las siguientes:







Coordinar y velar por el cumplimiento de- la agenda de trabajo del Equipo y los plazos
establecidos, tanto para la evaluación individual como para la fase de consenso.
Convocar y coordinar las reuniones del equipo, velando por la efectividad de las
mismas.
Asignar, dentro del equipo evaluador, responsabilidades individuales respecto a la
revisión, localización de evidencias y posterior redacción de algunos criterios para el
Informe de Retorno.
Facilitar la interacción entre los miembros del equipo y de éstos con el resto de la
organización evaluada, a fin de agilizar el proceso de obtención de las informaciones
requeridas, en caso de visita.
Coordinar las acciones del equipo para la elaboración del Informe de Retorno,
estableciendo tiempos límites para la consecución de cada fase, asegurando la
coherencia del documento final.
Remitir al Comité Coordinador del Premio, el Informe de Retorno elaborado por el
Equipo, para fines de presentación al Jurado Examinador.
Suministrar, en nombre del Equipo, la documentación y cualquier información
requerida por el Jurado, a través del Comité Coordinador del Premio durante la fase
de escogencia de ganadores.
3.4 Responsabilidades de los miembros del Equipo Evaluador Externo
Son responsabilidades del Equipo de Evaluadores Externos:

Realizar, de manera individual, un análisis exhaustivo de la memoria, atendiendo al
despliegue de los criterios y sub-criterios del Modelo CAF.
MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012






MAN-COP-002
Versión: 06
Pág. 3 de 9
Comparar con el “Guía de Evaluación CAF”, enlistando los puntos fuertes, áreas de
mejora y puntos a verificar en la visita, en lo relativo a cada subcriterio. De manera
especial, debe enfatizar en el análisis del o los criterios asignado(s) por el
Coordinador.
Asignar puntuación preliminar, de acuerdo al Panel de Valoración suministrado por el
Comité Coordinador del Premio.
Participar en las reuniones de consenso concertadas por el Coordinador del Equipo,
realizando los ajustes requeridos en la puntuación previamente asignada.
Realizar visitas a las instituciones asignadas, en caso que la puntuación preliminar
otorgada por el grupo alcance 25% o más de la puntuación máxima posible.
Asignar, junto a los demás evaluadores, la puntuación definitiva después de realizada la
visita.
Colaborar con la elaboración general del Informe de Retorno y redactar la parte
correspondiente al criterio o criterios asignados por el Coordinador.
4.0 Procedimiento para Evaluación Externa
Para realizar éste proceso, los miembros del Equipo Evaluador Externo siguen los siguientes
pasos:
4.1 Previo a la Evaluación:




Reciben entrenamiento en el proceso de Evaluación Externa basado en Metodología CAF
por parte del MAP.
Participan en la primera reunión de trabajo, donde seleccionan coordinador (a).
Bajo la dirección del Coordinador, el Equipo Evaluador Externo elabora Plan de trabajo y
cronograma de actividades.
Cada miembro recibe del Coordinador del Equipo la(s) Memoria(s) de Postulación que le
corresponde evaluar.
4.2 Evaluación Individual.




Cada miembro del equipo, por separado, realiza el análisis y evaluación de los documentos
remitidos por el organismo postulante, utilizando la Guía para la Evaluación CAF .
Registra en el Formulario de Evaluación, por cada subcriterio, los puntos fuertes, áreas de
mejora y aspectos que deben verificarse en la visita.
Asigna puntuación preliminar (Usando la Tabla de Valoración CAF).
Aunque todos los evaluadores deben trabajar la Memoria completa, el Coordinador
asignará uno o dos criterios a cada evaluador, para que lo analice más a profundidad y
redacte el Informe final del mismo.
Es importante que, en esta etapa, el evaluador no realice consulta alguna al coordinador o al
resto del equipo, a fin de que los resultados sean producto de su propio criterio, el cual
deberá sustentar en la reunión de consenso frente a los demás miembros del Equipo.
MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012
MAN-COP-002
Versión: 06
Pág. 4 de 9
4.3 Fase de Consenso.
4.3.1. El Coordinador organiza y convoca las reuniones de consenso con el objetivo de
discutir las respuestas individuales y buscar el consenso para cada uno de los criterios y sub
criterios. Previo a la reunión, el Coordinador debe:
 Recabar -vía física o electrónica- copia de los resultados de las evaluaciones
individuales realizadas por cada miembro del Equipo Evaluador.
 Remitir a cada miembro del equipo los resultados individuales del (los) criterio (s)
asignado (s), para que éste lo vacíe en un formulario de evaluación reservado para
este fin.
 Diseñar la agenda de la reunión con el Equipo Evaluador, basada en los puntos de
mayor discrepancia entre los miembros del equipo.
4.3.2 Durante la reunión:





Atendiendo a una agenda previamente diseñada, el Coordinador promueve la
discusión sobre los temas de discrepancia entre las puntuaciones individuales
otorgadas, velando porque cada uno sustente sus opiniones, para llegar a un
resultado global que unifique los juicios.
El Coordinador debe asegurarse de que cada uno de los participantes tenga la
oportunidad de exponer sus criterios y de sustentar adecuadamente -basado en
evidencias- las puntuaciones otorgadas a cada criterio, a fin de que se consiga un
verdadero consenso.
Como fruto de esta discusión, cada miembro del equipo realiza los ajustes que
considere pertinentes tanto en su reporte de evaluación (en el formulario) como en
las puntuaciones otorgadas a los diferentes criterios y subcriterios.
Cada miembro del equipo registra en el formulario de consenso del criterio que le
corresponde, los acuerdos finales sobre puntos fuertes, áreas de mejora y aspectos
a considerar en la visita.
El Coordinador asigna la puntuación preliminar resultante del consenso del equipo.
4.3.3 Si la evaluación preliminar arroja el 25% de la puntuación total posible a alcanzar (250 de
1000 en la evaluación de Premio a la Calidad), el Equipo decide realizar visita al organismo
evaluado.
4.3.4 Si la puntuación es menor del 25%, el Coordinador establece el plazo para entrega del
Informe de Retorno, de acuerdo a los criterios previamente asignados a cada uno de los
miembros.

Para fines del Informe, se usarán los resultados de consenso del Equipo sobre
puntos fuertes y áreas de mejora.
MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012
MAN-COP-002
Versión: 06
Pág. 5 de 9
4.3.5 El Coordinador remitirá al Comité Organizador del Premio, el resultado del consenso
incluyendo la recomendación o no de la visita, para que proceda a informar oficialmente al
organismo.
4.4 Fase de Visita.
Posterior al proceso de consenso, el Coordinador del Equipo remite el Comité Organizador
del Premio, el Plan de Visita al o los organismo (s) que le corresponda evaluar.
4.4.1 Objetivos de la visita:




Ampliar la visión y comprensión de los evaluadores respecto a la gestión de la
organización evaluada en el informe previo (Memoria de Postulación).
Verificar y calificar evidencias que, por su volumen o grado de confidencialidad, no
pudieron ser incluidas en la Memoria.
Aclarar dudas y considerar información no reportada debidamente en la Memoria.
En caso de hallazgo de actividades que ya existían antes de presentar la Memoria
pero que se omitieron en la misma, los evaluadores pueden decidir considerarlas y
ajustar la puntuación en los subcriterios siempre que no excedan el 15% de la
puntuación total, SIEMPRE QUE HAYA POSIBILIDAD DE DEMOSTRAR QUE YA
EXISTIAN al momento de elaborar la Memoria.
4.4.2 Preparación de la Visita.
Antes de proceder a la visita, es importante que el Coordinador del Equipo Evaluador siga los
siguientes pasos:




Listar los aspectos y temas claves a verificar en la visita por subcriterio, atendiendo a lo
acordado entre los evaluadores.
Asignar responsabilidades dentro del Equipo: qué aspectos/criterios debe verificar cada
evaluador y a quién(es) debe entrevistar.
Elaborar un Plan de entrevistas: qué preguntas realizar y a quién, según la estructura
organizativa del organismo y la naturaleza de las preguntas a realizar.
Asegurar que cada evaluador disponga de una Hoja de Registro de Datos de la visita
para hacer las anotaciones de lugar.
Corresponde al Comité Organizador del Premio establecer la comunicación con la persona
contacto de la organización evaluada con al menos una semana de antelación a la fecha
prevista, enviando la agenda de trabajo (evidencias a verificar, áreas y unidades a visitar,
personas a entrevistar, etc.) para que se realice la debida coordinación.
4.4.3 Puntos a verificar en las Visitas.
Para seleccionar los aspectos a verificar se deben tener en cuenta los siguientes criterios:
MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012



MAN-COP-002
Versión: 06
Pág. 6 de 9
Impacto en la puntuación global.
Facilidad para recabar la información necesaria.
“Equilibrio” de la visita (entrevistar a diferentes muestras de personal, visitar diferentes
áreas o unidades, examinar distintas fuentes de información: gráficos, documentos
internos, informes, auditorias, etc.).
En relación con las preguntas a formular, tener en cuenta:




Evitar preguntas demasiado abiertas para que no haya lugar a respuestas muy largas.
Asegurar que la respuesta obtenida realmente servirá para aclarar un aspecto y su
impacto en la puntuación.
Mantener un tono neutral, evitando que sus preguntas parezcan un cuestionamiento a
la gestión o a los líderes de la organización.
Evitar emitir el más mínimo juicio -favorable o desfavorable- sobre algún aspecto de la
organización. Este simple aspecto podría echar a perder todo el proceso.
Confeccionada la lista de preguntas, el plan de la visita responderá a las siguientes cuestiones:





¿A qué criterio corresponde cada pregunta?
¿Quién se encargará de hacer cada pregunta?
¿A quién se le hará cada pregunta?
¿A qué áreas o unidades de la organización van dirigidas las preguntas?
¿Qué hará el equipo con las respuestas?
En la elaboración del plan de visita, las preguntas estarán agrupadas por unidades o
departamentos y en un orden lógico. Igualmente, conviene que para distribuir las preguntas
entre los evaluadores se tengan en cuenta sus conocimientos técnicos específicos, fijándose,
por último, qué áreas o unidades hay que visitar, quién se encargará y cuándo.
4.4.4 Consideraciones prácticas sobre la preparación de las Visitas



Normalmente la visita ocupará un día. En ningún caso habrá visitas sorpresa ni al margen de
las fechas preestablecidas.
Evitar programar actividades para las horas finales del día, ya que los evaluadores deberían
reservarse algún tiempo para comparar sus notas.
Debe recordarse que los recursos y el tiempo de las personas son limitados, por lo que
conviene jerarquizar (no querer abarcar demasiado).
MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012
MAN-COP-002
Versión: 06
Pág. 7 de 9
4.4.5 Durante la Visita.
La visita se inicia formalmente con una reunión entre el Equipo Directivo de la organización y
el Equipo Evaluador, en la cual el Coordinador del Equipo Evaluador presenta a los miembros
del mismo al equipo directivo de la organización visitada.
Además, realizará una breve explicación del objetivo de la visita, confirmando las evidencias a
verificar y aclarando que sólo se entrevistará a algunas personas clave para el proceso.
Por su parte, los representantes de la institución deben estar disponibles para responder a las
preguntas y aclarar dudas sobre los aspectos generales que requieran los evaluadores.
4.4.6 Recorrido por las instalaciones.
No es necesario que los miembros del equipo directivo acompañen a los evaluadores en su
desenvolvimiento por el centro de trabajo. No obstante, la alta Dirección debe designar a una
persona de alto nivel de la organización, familiarizada con el conjunto de sus operaciones, para
que los acompañe para ayudar a responder eventuales preguntas durante los desplazamientos.
Los evaluadores deben moverse horizontal y verticalmente a través de la organización y
pueden entrevistar a una muestra del personal de forma aleatoria, si así estuviera programado,
evitando que los entrevistados tengan acceso a las puntuaciones previas o a las preguntas u
observaciones escritas.
4.4.7 Entrevistas
El tiempo del que disponen los entrevistados siempre es limitado, por lo que el evaluador debe
haber solicitado previamente cualquier documentación que requiera.
Los aspectos que debe considerar el Equipo Evaluador para asegurar el resultado óptimo en la
entrevista son los siguientes:




Presentarse de manera adecuada y cortés, creando un ambiente tranquilizador para el
entrevistado.
Mantener el contacto visual.
Adelantar las líneas generales de la entrevista y sus necesidades.
Enfatizar el aspecto confidencial de la entrevista y que tomará notas sólo para
completar aspectos ya analizados.
A medida que el evaluador entra en la fase de recogida de datos, deberá:






Explicar cuidadosamente lo que solicita.
Comenzar con preguntas que propicien la discusión.
Evitar preguntas que parezcan “amenazantes” o inquisitivas.
Escuchar activamente.
Mantenerse enfocado en sus objetivos específicos.
Tener en cuenta su agenda y tiempos.
MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012


MAN-COP-002
Versión: 06
Pág. 8 de 9
Evitar emitir juicios de valor sobre los hallazgos encontrados.
Mantener un solo interlocutor a la vez.
La entrevista debe concluir de manera que deje una buena impresión del evaluador y del
equipo en su conjunto, debiendo para ello:



Indicar que la entrevista ha finalizado.
Expresar su agradecimiento por las respuestas, tiempo e interés del entrevistado.
Evitar comentar el posible impacto de lo comunicado sobre la puntuación.
4.4.7 Solicitud de documentación durante la Entrevista
La documentación apropiada sobre los asuntos recogidos en la Memoria debe estar disponible.
Si, por ejemplo, en la Memoria se ha hecho referencia a determinados comités, puede pedirse
a la organización que muestre las actas de las reuniones.
También puede hacerse lo mismo respecto a la documentación de encuestas al personal, a los
clientes, de los indicadores esenciales de funcionamiento, etc.
Los evaluadores pueden solicitar, asimismo, que se les muestren los archivos y hojear
documentos de trabajo para comprender mejor determinados aspectos.
Bajo ninguna circunstancia, los evaluadores pueden sacar de la organización ningún documento
confidencial.
4.4.8 Recomendaciones Generales
Durante las charlas de los evaluadores con los representantes del organismo postulante, es
importante evitar la presencia de terceras personas ajenas al proceso.
Es conveniente que:






Se formulen preguntas claras y precisas, asegurándose de que el entrevistado entiende
cabalmente la pregunta.
Se aclaren los asuntos según vayan surgiendo.
Se mantenga una actitud positiva y se optimice el tiempo.
Hacer el esfuerzo por entender y respetar la cultura de la organización.
Evitar a toda costa discusiones o polémicas entre evaluadores delante de los
entrevistados.
Se eviten interrupciones tales como teléfonos móviles, beepers, etc.
MANUAL DE EQUIPOS DE EVALUADORES
EXTERNOS
Fecha de emisión: Agosto 2012
MAN-COP-002
Versión: 06
Pág. 9 de 9
4.5 Después de la visita
Posterior a la visita, el Equipo Evaluador debe reunirse para tomar las decisiones
correspondientes como resultado de los hallazgos encontrados. Esta reunión tiene como
objetivos:




Intercambiar opiniones generales acerca de la organización y del proceso de visita a la
misma.
Revisar y/o validar el puntaje previamente asignado.
Fundamentar los motivos de los cambios sustanciales –si los hubiere- en la puntuación de
cada subcriterio.
Asignar puntuación definitiva al organismo.
Esta primera reunión, tiene como objetivos:





Adelantar en lo posible el Informe de Retorno.
Asegurar que ninguno de los hallazgos de la visita quede fuera por olvido.
Revisar el desarrollo de la visita.
Servir de información en caso de que el Coordinador del Equipo sea llamado por el Jurado
para fundamentar algunas decisiones asumidas.
Servir de referencia en el caso de que la organización evaluada solicite una reunión con el
Coordinador para aclarar dudas acerca de su Informe de Retorno tras la visita.
Es responsabilidad del Coordinador:





Completar y remitir al Comité Coordinador del Premio, un informe que recoja los
pormenores de la visita.
Establecer el plazo para que cada miembro del Equipo complete el Informe de Retorno del
o los criterios que les fueron asignados.
Convocar segunda reunión para revisión, corrección y ajustes finales del Informe de
Retorno.
Remitir el Informe al Comité Organizador del Premio.
Asegurar que todos los documentos relacionados con el proceso sean recogidos y
devueltos al Comité Organizador del Premio.
Una vez concluidas todas las etapas de la evaluación, el Comité Organizador debe asegurarse
de que los informes de la visita, y toda la información complementaria obtenida durante el
proceso sea destruida.