Plan de Supervisión, Monitoreo y Evaluación
Anuncio
CURSO DE GESTIÓN EN LAS REDES DE ESTABLECIMIENTOS Y SERVICIOS DE SALUD SUPERVISIÓN, MONITOREO Y EVALUACIÓN Programa de Fortalecimiento de Servicios de Salud 3 SUPERVISIÓN, MONITOREO Y EVALUACIÓN Ministerio de Salud Dr. Marino Costa Bauer Ministro de Salud Dr. Alejandro Aguinaga Recuenco Vice Ministro de Salud Programa de Fortalecimiento de Servicios de Salud (PFSS) Dr. Augusto Meloni Navarro Coordinador General Dr. Ricardo Corcuera Rodríguez Sub Director Técnico Ing. Fernando Ferrero Pavía Sub Director Administrativo Dra. Luisa Hidalgo Jara Coordinadora Área de Capacitación y Apoyo a la Gestión Revisión: CPC Carmen Solar Fulchi Dra. Julia Rosa Torero Chang Cuidado de edición: Eduardo Arenas Silvera Noviembre de 1998 © MINISTERIO DE SALUD Programa de Fortalecimiento de Servicios de Salud Área de Capacitación y Apoyo a la Gestión Av. Salaverry, cuadra 8 s/n CT MINSA 431-0410, Fax 431-6665 [email protected] http://www.minsa.gob.pe Jesús María, Lima-Perú DISTRIBUCIÓN GRATUITA 4 ÍNDICE Introducción Texto de Autoformativo Índice Guía de Trabajo Aplicativo Índice Texto de Apoyo Índice 9 17 19 169 171 219 221 5 El presente Módulo ha sido elaborado por la Oficina de Gestión de Proyectos de la Facultad de Medicina de la Universidad Nacional Mayor de San Marcos, en el marco del Concurso Nº 006/MINSA-BID. Participaron en la elaboración: Responsables: Dr. Aníbal Velásquez Valdivia Dr. Juan Pablo Murillo Peña 6 Colaboradora: Dra. Irma Lobón Ramos Asesor Pedagógico: Mag. Manuel Heredia Alarcón PRESENTACIÓN Uno de los objetivos del Programa de Fortalecimiento de Servicios de Salud es el contribuir a elevar la capacidad de gestión de las redes de servicios de salud, a fin de mejorar progresivamente la equidad, calidad y eficiencia de la atención de salud a la población. En este contexto se inscribió la ejecución de los Cursos de Gestión en redes de establecimientos y servicios de salud, orientados a contribuir al desarrollo de la capacidad de gestión interna de los niveles directivos de establecimientos y servicios de salud, fortaleciendo especialmente su capacidad para formular un Plan de Supervisión, Monitoreo y Evaluación. Estos cursos se desarrollaron bajo una metodología de enseñanza-aprendizaje mixta, que combina una fase previa de autoaprendizaje, de una duración aproximada de 30 días, con un refuerzo presencial de 4 días destinado a solucionar las áreas críticas en el manejo de los instrumentos de gestión puestos a su alcance. La validación de esta metodología a nivel nacional, nos ha demostrado que los elementos claves para el éxito de la misma lo constituyen el diseño adecuado de materiales autoinstruccionales y las tutorías locales durante las fases de autoaprendizaje. En ese sentido, el Programa de Fortalecimiento de Servicios de Salud, financió la elaboración de un juego de materiales de capacitación, validados en un grupo de establecimientos de salud, los mismos que reproducimos para su distribución a nivel nacional. El presente documento compila tres tipos de materiales de capacitación: Un Texto Autoformativo, diseñado en un lenguaje coloquial que pretende paulatinamente introducir al lector en el tema de gestión seleccionado. Una Guía para el diseño de un Trabajo Aplicativo, que permite aplicar en su propio establecimiento los módulos aprendidos en el texto autoinstruccional, llevando paso a paso al lector en el diseño, aplicación o adaptación de instrumentos de gestión. Un Texto de Apoyo, que resulta de la selección de lecturas recomendadas para reforzar los contenidos del texto autoinstruccional. Nos sería de mucho interés recibir información relacionada a la aplicación y utilidad de éstos en el mejoramiento de la gestión de los establecimientos de salud; para ello, sírvase enviar sus comentarios al Ministerio de Salud - Programa de Fortalecimiento de Servicios de Salud. Esperamos que este documento logre sensibilizarlo, motivarlo y comprometerlo en la aplicación de herramientas de gestión que permitirán lograr una atención de salud con calidad, equidad y eficiencia. Augusto Meloni Navarro Coordinador General PFSS-MINSA 7 Supervisión, Monitoreo y Evaluación 8 Introducción INTRODUCCIÓN La estrategia para lograr el cambio y la modernización de las Redes de Establecimientos y Servicios de Salud, se desarrolla a través de un proceso continuo de capacitación, lo que permitirá el mejoramiento de las competencias del personal de los establecimientos de salud, requisito para alcanzar los cambios reales en la estructura y dinámica de dichos centros. Proponemos una capacitación sustentada en el autoaprendizaje, proceso que se caracteriza por ser autoformativo y se basa en la convicción de que los participantes tienen expectativas, intereses y compromiso con la capacitación permanente. Partiendo de sus conocimientos y experiencias, cada uno de los participantes puede asumir responsablemente las actividades autoinstructivas que proponemos. Mediante el desarrollo de las actividades de este material, los participantes consolidarán y mejorarán sus competencias respecto a la gestión de los establecimientos de salud. Cada una de las partes de este módulo brindan información teórica y metodológica acerca del diseño y ejecución de los instrumentos de gestión. Para lograr una participación dinámica se propone una serie de actividades aplicativas en relación directa a lo desarrollado teóricamente y a sus responsabilidades laborales. ¿QUÉ CONTENIDOS Y CON QUÉ METODOLOGÍA SE DESARROLLA EL CURSO? 1. ¿Qué contenidos estudiar? Generalmente los cursos de capacitación determinan los objetivos educativos a lograr y ofrecen para ello un programa establecido de conocimientos a desarrollar. Nosotros consideramos que los participantes tienen experiencias, conocimientos, habilidades, actitudes y también inquietudes, dudas y expectativas respecto a los instrumentos de gestión; de acuerdo a esto, usted puede seleccionar entre los contenidos ofrecidos aquellos que responden mejor a sus intereses y necesidades. Lo invitamos a tomar una decisión respecto a los contenidos a estudiar tomando en cuenta: a) La información acerca de los objetivos y contenidos de cada unidad. b) La relación que guardan esos contenidos con sus actividades de gestión en el establecimiento de salud y su interés por estos temas. 1.1 Selección de contenidos y asignación de tiempo De acuerdo a lo anterior, usted podrá considerar que algunos temas están directamente vinculados a sus actividades como miembro del Equipo de Gestión y los reconocerá como de gran interés, estos temas serán elegidos para un estudio detenido y con profundidad. Otros temas, aún cuando son vinculados a su labor de gestión, si los considera como de mediano interés, podrán ser estudiados con menor detenimiento y aquellos de interés mínimo serán revisados ligeramente, de este modo seleccionará los contenidos del módulo que necesite y desee estudiar. 9 Supervisión, Monitoreo y Evaluación De la selección realizada podrá considerar necesario el estudio completo de todos los temas o elegir algunos para un estudio profundo y detenido, dejando otros para una revisión superficial. Inclusive puede ocurrir que algún participante haya decidido realizar sólo una revisión de repaso de todos los temas de este módulo por considerarlos ya conocidos. De acuerdo a su decisión usted abordará el estudio de todos o parte de los contenidos teóricos del módulo y luego deberá realizar todas las actividades aplicativas propuestas que generalmente se realizan en equipo. El desarrollo completo de este módulo autoinstruccional comprende 72 horas académicas, aproximadamente 24 días, correspondientes al estudio teórico de todos los temas y al desarrollo de los trabajos aplicativos. El tiempo sugerido para estudiar cada día es de tres horas. La modalidad de estudio autoformativo requiere de una planificación personal en la que hay que tomar en cuenta los siguientes aspectos: a) Los temas seleccionados. b) El tiempo disponible personalmente. c) La conformación del equipo de estudio y el tiempo disponible para los trabajos grupales. De acuerdo a lo expuesto ahora usted podrá seleccionar los temas para su estudio y asignarles el tiempo necesario con la siguiente actividad. 2. ¿Con qué metodología estudiar? 2.1 Metodología del curso La metodología del presente curso corresponde al Modelo pedagógico de la problematización. Esta metodología considera como base de la capacitación los conocimientos, habilidades, actitudes, en suma las competencias previas de los participantes a partir de las cuales se produce una reconstrucción y mejoramiento del nivel de competencias para diseñar, seleccionar, adaptar, aplicar y evaluar instrumentos de gestión de los establecimientos de salud. Las técnicas didácticas que corresponden al modelo autoinstruccional son: a. b. Lectura y análisis individual: De los contenidos de los temas desarrollados en el Texto Autoformativo. De las lecturas seleccionadas en el Texto de Apoyo. Ejercicios interactivos individuales o grupales. c. Trabajos grupales para actividades aplicativas: 10 Estos ejercicios se presentan en los temas desarrollados en el Texto Autoformativo. Se presentan en el Texto Autoformativo y tienen instrucciones específicas y herramientas para su ejecución en la Guía de Trabajo Aplicativo. Introducción 2.2 Materiales educativos Cada módulo tiene como materiales educativos los siguientes: a. Un Texto Autoformativo. b. Una Guía de Trabajo Aplicativo. c. Un Texto de Apoyo. d. Un video educativo. ¿CÓMO REALIZAR EL AUTOAPRENDIZAJE? 1. Actitudes favorables para el autoaprendizaje Llamamos actitud favorable para el autoaprendizaje a una buena disposición y a un positivo estado de ánimo que se debe tener frente a las actividades de aprendizaje. Si su actitud es negativa, usted se encontrará siempre luchando contra una actividad necesaria e importante que nos mantiene actualizados y activos intelectualmente y que además realizaremos toda la vida. Si aceptamos esto no debemos rechazar el medio para nuestro perfeccionamiento profesional. Revisaremos a continuación diferentes aspectos que debemos considerar para desarrollar esa actitud favorable en el estudio de este curso. 1.1 Metas y expectativas Usted tiene actualmente determinadas metas personales y profesionales y seguramente, en aras de la modernidad institucional, ha pensado en cambios apropiados, que generan expectativas en usted y en su equipo de trabajo. Alcanzar las metas de calidad expresadas en la Visión y Misión del Sector salud requiere del aprendizaje o desarrollo de competencias para un mejor desempeño profesional. Si comprendemos que esas competencias pueden ser fortalecidas con el desarrollo de este tipo de cursos estamos seguros que usted realizará el esfuerzo necesario para lograrlas. Le sugerimos considerar lo siguiente: Usted tiene conocimientos, habilidades, actitudes y experiencia profesional, y se encuentra actualmente en una situación que llamamos A. El futuro próximo lo visualizamos con mejores conocimientos, con mayor destreza y con actitudes que facilitan su desempeño, a esta situación la llamamos B. Para pasar de la situación A a la futura situación B el camino es el fortalecimiento de sus competencias mediante su capacidad de autoaprendizaje. 1.2 El interés Para lograr éxito en el aprendizaje es indispensable tener interés en el conocimiento o la competencia que se está estudiando, ese interés le brindará una fuerza motivadora para realizar el esfuerzo en su autoaprendizaje. El interés es garantía de éxito y su ausencia es causa directa del fracaso en el aprendizaje, esto lo puede comprobar personalmente si responde a estas preguntas: 11 Supervisión, Monitoreo y Evaluación a) Cuando leyó un tema de su interés ¿Se cansó o se aburrió? b) Si asistió a una conferencia que le causó interés, ¿mantuvo su atención y logró su comprensión? c) Cuando observó una situación interesante ¿la recordó mejor posteriormente?. La respuesta a estas interrogantes puede demostrar la importancia del interés. Sin embargo más importante será entender de qué depende que en algunos casos nuestro interés sea mayor y en otros disminuya o esté ausente. El interés o la fuerza motivadora para el aprendizaje tiene una causa totalmente objetiva: la real necesidad del conocimiento que será estudiado. Si usted no necesita saber un tema, si no carece de esa habilidad, si sus competencias de gestión institucional tienen un alto nivel, entonces no tiene porque tener interés en este curso. De lo contrario si usted reconoce que debe mejorar sus conocimientos y técnicas para mejorar la gestión de su establecimiento, entonces estamos seguros que tendrá un gran interés, y eso garantizará su éxito en este curso. 1.3 La voluntad La voluntad es la capacidad de cumplir lo que usted se propuso realizar, es una determinación interior que permite emprender y terminar las jornadas de estudio resistiendo otras tentaciones: sueño, fastidio, diversión, juegos, etc. Esto no significa que deba dejar todas sus otras ocupaciones y distracciones, sino que las realice en otros momentos respetando los horarios de estudio establecidos. El cumplir con férrea voluntad con sus horas de estudio tiene una gran ventaja al realizar sus otras actividades: que no habrá ningún conflicto, ni preocupación por tareas pendientes y podrá disfrutar mejor incluso de sus diversiones. La voluntad permite iniciar oportunamente su jornada de autoaprendizaje o su reunión para realizar los trabajos aplicativos, la perseverancia es mantener esa fuerza de voluntad aun cuando las jornadas duren bastante o los trabajos se hagan difíciles. Sin embargo, si ha llegado a su nivel de resistencia entonces será razonable suspender el estudio y descansar o distraerse. 1.4 La satisfacción Existen dos actividades que permiten el desarrollo personal y social: el estudio y el trabajo y ambos son fuente genuina de satisfacción, sobre todo cuando se realizan con libertad, sin imposiciones y con éxito. Usted tiene diversas expectativas y metas, y conseguirlas, naturalmente le causa satisfacción. Si este curso responde a sus necesidades de realización personal e institucional, debe generar en usted expectativas y el lograrlas le producirá un gran placer. Su autoaprendizaje le permitirá lograr los objetivos de capacitación previstos y lo hará sentir satisfecho y feliz. 12 Introducción 2. El proceso de autoaprendizaje En el proceso de autoaprendizaje, al usar los textos autoformativos se presentan tres actividades fundamentales: leer, comprender y memorizar. Veamos a continuación como realiza usted estas actividades. 2.1 Leer La lectura le permite recibir y asimilar la información ofrecida en los textos. Para hacerlo con eficiencia debe considerar que este ingreso se realiza por medio de sus conocimientos previos y está influido por sus actitudes favorables en su autoaprendizaje, entre las cuales una de las más importantes es el interés con que lo haga. Se recomienda leer y volver a leer el texto cuantas veces sea necesario. No debemos sentirnos mal por tener que consultar nuevamente el texto. La lectura debe realizarse primero en forma individual y luego puede ser grupal, sin embargo, advertimos que esta segunda forma debe ser usada luego de una lectura personal pues no se adecua a la velocidad y estilo de comprensión individual de todos los del grupo. 2.2 Comprender El texto leído para ser asimilado, requiere de una comprensión del significado de la información. En algunos párrafos esta asimilación requiere sólo de una lectura rápida, pues su contenido puede ser para usted relativamente fácil. Otros párrafos demandan una lectura lenta e inclusive una nueva lectura con mayor esfuerzo. Para comprender mejor se recomienda: Buscar las ideas principales. Descubrir los aspectos comprendidos en las ideas principales. Encontrar las relaciones entre los aspectos estudiados. Relacionar lo estudiado con las situaciones reales. La comprensión de un texto requiere de diversas operaciones mentales entre las cuales analizar, relacionar y sintetizar son las más importantes. Más adelante se desarrollan unas técnicas acerca de estas operaciones, que sirven para fortalecer su competencia de comprensión. 2.3 Memorizar La memorización de lo aprendido es un proceso indispensable si quiere utilizar posteriormente los conocimientos o habilidades adquiridos. La aplicación de sus competencias para la gestión sólo es posible si las tiene conservadas en su memoria y la recuperación depende de cómo fue grabada en su cerebro. Consideramos que una conservación eficaz depende principalmente de tres condiciones: a. El Interés por aprender un determinado asunto o una determinada actividad. Si desea saber o poder hacer algo habrá cumplido con una primera condición. b. La comprensión de un contenido garantiza su retención, si una información tiene significado claro para usted, es seguro que lo recordará con más seguridad. 13 Supervisión, Monitoreo y Evaluación c. La repetición de una información, la práctica reiterada de una acción o el repaso de un tema aseguran su memorización siempre y cuando se hayan cumplido antes los requisitos a) y b). La sola repetición no es suficiente para un aprendizaje eficaz produciendo una memorización mecánica. Una forma eficaz de fortalecer nuestra memorización es realizar con verdadero interés una síntesis escrita de lo estudiado y repasar luego ese resumen. Como puede comprobarse, esta propuesta cumple las tres condiciones anteriores. 3. Técnicas de estudio Las técnicas de autoaprendizaje más adecuadas son: Para analizar: El subrayado y las anotaciones Para sintetizar: El resumen Para relacionar conceptos: Esquemas y gráficos 3.1 El subrayado Subrayar un texto significa identificar las ideas principales o párrafos significativos para nosotros. Como es comprensible esto requiere un análisis cuidadoso del texto. Es recomendable realizar el subrayado sólo después de haber realizado una lectura detenida que ha hecho significativa la información. Generalmente el subrayado ocurre en la segunda o tercera lectura de un texto. Podemos usar diferentes formas de subrayado, usar una línea para ideas secundarias y dos líneas para las ideas principales, o colocarlas dentro de un cuadro. Recomendamos usar líneas para ideas importantes y encuadrar los conceptos básicos. En este texto usamos como técnica equivalente al subrayado el colocar en negrilla los conceptos clave. 3.2 Las anotaciones El subrayado se complementa con las notas colocadas al margen de los textos que identifican lo encontrado, señalan su importancia o establecen relación con otro asunto conocido o tratado. Las anotaciones también sirven para mostrar dudas o falta de comprensión del asunto tratado en estos casos se anotan preguntas al margen del texto. Las páginas de los textos están diagramadas para permitirle escribir sus apuntes a los costados de los párrafos que deseen comentar. 3.3 El resumen El resultado de un proceso de aprendizaje es la asimilación comprensiva de un contenido o una competencia. Este resultado se facilita cuando toda la información recibida y todos los componentes asimilados se integran mediante un esfuerzo de síntesis que se presenta como un resumen escrito. El resumen debe presentar las ideas básicas en una secuencia adecuada, en forma abreviada y en lo posible usando nuestro lenguaje personal, nuestras propias palabras. 14 Introducción Se recomienda lograr un resumen que se presente en una extensión que no exceda la tercera o cuarta parte del texto total. 3.4 Los esquemas y gráficos Hacer un esquema acerca de un contenido es mostrar su estructura. El esquema debe mostrar los términos que contienen las nociones principales y las relaciones que identificamos entre ellas, es decir con un esquema o un gráfico logramos la mejor síntesis de un texto. Un esquema es adecuado y útil si presenta: Información fundamental e importante. Contenido elaborado con palabras propias. Relaciones entre los conceptos clave. Información clara y abreviada. Contenido coherente y comprensible. Si durante el estudio de este curso usted usa su texto autoformativo elaborando esquemas le aseguramos que mejorará su asimilación significativa. Existen diversas formas de esquematizar entre ellas sugerimos las siguientes: a. Esquema vertical. Es la presentación de los principales temas y tópicos de un texto, se construye de arriba hacia abajo y es llamado también cuadro sinóptico. Esta forma permite presentar frases cortas. b. Esquema vertical con llaves. Es similar al anterior, pero es construido además de izquierda a derecha para incluir divisiones, partes o clasificaciones. c. Diagrama o esquema. Es la forma más sintética que permite destacar las ideas centrales y además graficar las relaciones entre ellas mediante líneas o flechas. El módulo presenta al principio un mapa de contenidos que es un buen ejemplo de este tipo de esquemas. 15 Supervisión, Monitoreo y Evaluación 16 TEXTO AUTOFORMATIVO 17 Supervisión, Monitoreo y Evaluación 18 ÍNDICE Introducción 21 Unidad I: Evaluación del Plan Operativo 25 Unidad II: Indicadores de Supervisión, Monitoreo y Evaluación 45 Unidad III: Evaluación de Objetivos 71 Unidad IV: Monitoreo del Plan Operativo 95 Unidad V: Supervisión del Plan Operativo 135 19 Supervisión, Monitoreo y Evaluación 20 Texto Autoformativo INTRODUCCIÓN La gestión de los servicios públicos de salud en el país, en el actual momento, está orientada a lograr la satisfacción del usuario con eficiencia y eficacia en todos sus procesos, a fin de obtener resultados favorables y un impacto real para elevar el nivel de salud y calidad de vida de la población usuaria de las redes de servicios de salud. En este proceso de gestión juegan un papel fundamental la supervisión, el monitoreo y la evaluación, que son fundamentales en el ciclo de planificación estratégica y operativa de los servicios de salud. El presente módulo forma parte del Curso de Gestión en las Redes de Establecimientos y Servicios de Salud, organizado por el Ministerio de Salud, luego de haber identificado la necesidad de capacitación en supervisión, monitoreo y evaluación de los establecimientos de salud. La evaluación es un procedimiento que permite obtener información y emitir juicios para tomar decisiones, en consecuencia la supervisión y el monitoreo son formas particulares de evaluación. Por esta razón, con el fin de elaborar el Plan de Supervislón, Monitoreo y Evaluación comenzaremos diseñando la evaluación de los objetivos. En el presente módulo se diseñará el plan de evaluación de objetivos y el plan de monitoreo de las actividades del Plan Operativo, y se diseñará el plan de supervisión de las actividades y del desempeño del personal. Al finalizar el presente Módulo los participantes deben presentar el Plan de Supervisión, Monitoreo y Evaluación (PSME) que debe contener el diseño de la evaluación de objetivos, la supervisión y el monitoreo que se realizará al POI. En la Unidad I se desarrolla el marco teórico de la evaluación, se define lo que se va a evaluar y se describe el Plan de Supervisión, Monitoreo y Evaluación. En la Unidad II se explica cómo construir indicadores, cómo identificar indicadores y cómo se seleccionan indicadores para el PSME. En la Unidad III se desarrolla la Evaluación de Objetivos para poder diseñar el Plan de Evaluación. En la Unidad IV se explica como elaborar un Plan de Monitoreo de actividades tanto del POI como de las que se realizan rutinariamente en el establecimiento de salud. En la Unidad V se presenta un modelo de Plan de Supervisión tanto de actividades como del desempeño del personal. Por ser un curso autoformativo cada actividad práctica tiene una actividad grupal, correspondiendo a cada actividad individual en el Texto Autoformativo una actividad grupal en las Guías de Trabajos Aplicativos, asimismo, se ha realizado una recopilación de textos que refuerzan y profundizan los temas tratados en cada unidad del presente Módulo (Texto de Apoyo). 21 Supervisión, Monitoreo y Evaluación ¿POR QUÉ LEER ESTE MÓDULO? Como miembros del equipo de gestión de un establecimiento de salud del sector público a menudo tenemos sobrecarga de trabajo, por lo que se requiere ser más efectivo y eficaz, lo que sólo es posible si se tiene sistematizado la información y los criterios para poder identificar problemas en los procesos, medir el grado de avance del plan y la calidad de los productos y procesos. Este módulo está diseñado para facilitar el trabajo de evaluación del equipo de gestión, debido a que si se tiene un PSME completo y factible de ejecutar, va a permitir obtener información clave en forma oportuna. La metodología de trabajo es grupal, considerando en todo momento el trabajo diario que se realiza en los servicios, basando el aprendizaje en la práctica misma de la gestión. ¿CÓMO LEER ESTE MÓDULO ? Este módulo está dividido en varias unidades. Entre ellas existe una interrelación que aconseja su lectura y estudio secuencial. Sin embargo, si el lector está interesado en algún tema en especial, puede leer directamente la unidad preferida. Sugerimos, en todo caso, que siempre se lea y desarrolle la primera unidad, antes de pasar a la unidad preferida. A continuación presentamos varias sugerencias para el mejor aprovechamiento del módulo. 22 Se recomienda al usuario volver a leer y analizar el módulo cuántas veces sea necesario. Debe considerarse como un material de ayuda para todo el proceso de aprendizaje y recordar que este proceso nunca termina. Es importante considerar las recomendaciones contenidas en el módulo a la luz de la experiencia del lector o el grupo de lectores, sin rigidez excesiva ni tampoco con demasiada flexibilidad. Es importante realizar los ejercicios individuales o de grupo, que propone el módulo. Se sugiere practicar en todo momento las destrezas sugeridas o descritas en el texto, no sólo durante las fases presenciales de la capacitación, sino en todo momento. En lo posible debe privilegiarse el uso del material modular para un trabajo en grupos, más que para un aprendizaje individual. Sin embargo, advertimos del riesgo innecesario de realizar lecturas en grupo a alta voz, en los que uno lee y los otros escuchan o siguen (o pretenden seguir) la lectura. Esta última forma de uso del material no respeta la velocidad individual y personal de comprensión de la lectura. Las páginas de los materiales de lectura están diagramadas para permitir al lector escribir sus apuntes a los costados de los párrafos que deseen comentar. Se recomienda sistematizar el TIEMPO destinado al uso del material y las diferentes actividades de aprendizaje consideradas en el programa del taller grupal. Es muy importante conceder el tiempo suficiente para las actividades educativas, pero también es muy útil controlar la pérdida innecesaria del mismo en el desarrollo de estas actividades. A veces se programa muy poco tiempo para una actividad de aprendizaje, con lo que su desarrollo suele concentrarse sólo en aspectos teóricos. Texto Autoformativo Es conveniente considerar esta propuesta como parte de un proceso que requiere un mejoramiento continuo en la práctica misma de la supervisión, monitoreo y evaluación de los servicios de salud. Es bueno recordar, sin embargo, que siempre o casi siempre el mejoramiento de los procesos requiere una práctica sistemática, rigurosa y creativa. Finalmente, se sugiere usar el módulo con el mejor de los ánimos, predispuestos a aprender y sacar el máximo provecho del tiempo invertido en su lectura y discusión. PRE REQUISITOS Este módulo está dirigido al personal con responsabilidad en los equipos de gestión de los servicios y/o redes de salud. Puede usarse también, con algunas adaptaciones, especialmente de las actividades prácticas, en la formación de nuevos recursos humanos para la gestión de los servicios de salud. El usuario del módulo debe tener alguna experiencia en la elaboración y conducción de planes operativos en los servicios de salud. Asumimos que el usuario está interesado en su autoformación y en el desarrollo de su capacidad gerencial. OBJETIVO GENERAL DEL MÓDULO Mejorar el nivel de competencias del equipo de gestión de los establecimientos de salud en el diseño del Plan de Supervisión, Monitoreo y Evaluación de los servicios y programas de salud, a fin de lograr su modernidad e incrementar la calidad, la eficiencia, la rentabilidad y la satisfacción del usuario de los servicios de salud. ESTRUCTURA DEL MÓDULO El material bibliográfico básico para el desarrollo del módulo consta de 3 partes: 1. Texto Autoformativo. 2. Guía de Trabajo Aplicativo. 3. Texto de Apoyo. 23 Supervisión, Monitoreo y Evaluación MAPA DE CONTENIDOS PLAN DE SUPERVISIÓN, MONITOREO Y EVALUACIÓN PLAN OPERATIVO UNIDAD I LA EVALUACIÓN DEL PLAN OPERATIVO UNIDAD II INDICADORES DE SUPERVISIÓN, MONITOREO Y EVALUACIÓN 24 UNIDAD IV UNIDAD III UNIDAD V MONITOREO DEL PLAN OPERATIVO EVALUACIÓN DE OBJETIVOS SUPERVISIÓN DEL PLAN OPERATIVO Unidad I Evaluación del Plan Operativo 25 Supervisión, Monitoreo y Evaluación 26 Texto Autoformativo UNIDAD I EVALUACIÓN DEL PLAN OPERATIVO 27 Supervisión, Monitoreo y Evaluación 28 Texto Autoformativo: Unidad I UNIDAD I EVALUACIÓN DEL PLAN OPERATIVO Luego que el equipo de gestión ha elaborado el Plan Operativo en el cual se han definido los objetivos, las actividades y las tareas, se necesita conocer si las actividades y los recursos que han propuesto permitirán alcanzar los objetivos, por lo que seguidamente se debe elaborar un Plan de Supervisión, Monitoreo y Evaluación (PSME). El PSME debe definir los objetivos, los procesos, los resultados, el impacto y las actividades que se necesitan supervisar, monitorear y evaluar; y debe describir las técnicas, las metodologías e instrumentos que se van a emplear (Fig. 1.1). FIG.1.1. OBJETO DEL PLAN DE EVALUACIÓN EN EL PLAN OPERATIVO Plan de Evaluación Plan Operativo OBJETIVO RECURSOS ¿Qué y cómo monitorear? ¿Qué y cómo supervisar? ¿Qué resultados evaluar? ¿Cómo evaluar los resultados? ç IMPACTO ¿Qué procesos evaluar? ¿Cómo evaluar el proceso? ç ç ç RESULTADOS P R O C E S O ç ç ACTIVIDADES ¿Qué objetivos evaluar? ¿Cómo evaluar el impacto? ¿Qué impacto evaluar? En el PSME se describen técnicas y procedimientos que permiten elegir el curso de acción para alcanzar con mayor certeza el resultado que se quiere conseguir, y para elegir el curso de acción que consiga más y mejores resultados al menor costo. Las técnicas y procedimientos que tienen estos fines, se circunscriben en un conjunto de acciones o actividades organizadas y sistemáticas que se realizan para reconocer los avances y logros de un Plan Operativo, y a su vez sirven para reforzarlo y continuarlo. 29 Supervisión, Monitoreo y Evaluación 1.1 ¿QUÉ ES EVALUACIÓN? En el presente Módulo se considera que el monitoreo y supervisión son una forma de evaluación, en razón que cumplen el mismo fin, el brindar información y juicios para tomar decisiones y mejorar las actividades que permitan cumplir los logros del POI. Evaluación es la comparación de los objetivos con los resultados y la descripción de cómo dichos objetivos fueron alcanzados Una evaluación nos indica qué está funcionando y qué no lo está, qué debemos mantener y qué debemos cambiar. Las evaluaciones constituyen una herramienta para tomar decisiones, pero ellas por sí solas no toman decisiones ni hacen los cambios. La evaluación es un conjunto de acciones o actividades organizadas y sistemáticas que se realizan para reconocer los avances y logros de un programa, y a su vez sirven para reforzarlo o desactivarlo. También se utiliza para detectar los problemas y obstáculos, hacer modificaciones y evitar errores, de tal manera que se incrementen los resultados positivos. Si bien tradicionalmente la evaluación es un espacio de trabajo que se da al final de la ejecución del Plan Operativo, de acuerdo a lo observado en la Figura 1.1, la evaluación es un proceso que se puede realizar en cualquiera de los niveles de ejecución del Plan Operativo, es por lo tanto una actividad permanente durante el proceso de gestión de un establecimiento de salud. Es indispensable contar con objetivos claros y susceptibles de ser medidos de una manera confiable, que permitan guiar la ejecución del programa, de tal manera que en el seguimiento (monitoreo) o evaluación que debe hacerse del mismo, se detecten a tiempo los problemas para poder conseguirlo sobre la marcha. Lo más común es realizar una contabilidad de las actividades realizadas y del número de participantes en cada una de ellas, con menos frecuencia se incluyen en los objetivos los parámetros que permiten medir el efecto de dichas actividades, en consecuencia no se han establecido puntos de comparación entre una situación inicial y los resultados obtenidos. Por esta razón, antes de poder proponer actividades e indicar los recursos, previamente se requiere definir claramente la población objetivo, tener información concreta sobre la situación inicial, que constituya los datos de base y que sea previa al inicio de un Plan Operativo, sin este requisito no es posible definir objetivos concretos que indiquen, en forma objetiva, los resultados a los que se desea llegar. Integración de la Evaluación a la Planificación La evaluación no es una actividad aislada que se lleva a cabo después de iniciar un programa. El proceso de evaluación comienza en la planeación. El gerente de un establecimiento de salud no puede determinar si un programa es efectivo, a menos que los objetivos estén claramente definidos desde el momento en que se inicia el diseño del mismo. Los objetivos son el único medio mediante el cual, posteriormente, se podrá determinar qué se va a medir y con relación a qué se va a medir. Cuando los objetivos se definen de manera vaga, por ejemplo, Reducción de la transmisión de las ETS/VIH a 30 Texto Autoformativo: Unidad I una tasa no especificada en un tiempo no especificado, ¿Cómo registrarse una reducción de la transmisión? ¿y cómo el gerente del establecimiento de salud puede atribuir dicha reducción al Plan Operativo? Es responsabilidad de la gestión el asegurar que el diseño del proyecto contenga objetivos que se puedan medir y que sean alcanzables. ¿Qué es lo que estamos evaluando? La clave del éxito de la evaluación radica en la selección apropiada de objetivos y resultados. La correcta aplicación de esos objetivos asegura que los resultados se logren adecuada y eficientemente. Los encargados de realizar el diseño de los programas deben tener en cuenta que los que conducirán la evaluación no sólo se fijarán en los logros del programa, sino también en la medida en que se lograron. Los objetivos son los resultados deseados. El tener objetivos claros es fundamental en la solución de problemas. Al definir los objetivos en términos de resultados que se puedan medir, los diseñadores del Plan Operativo de un servicio de salud, pueden validar sus resultados. Cuando no existe una relación directa entre lo que buscan lograr y lo que logran, no pueden determinar si los objetivos se lograron o no, ni pueden afirmar que el cambio o cambios que se presenten en la población objetivo se deben a la existencia del proyecto. Un objetivo debe poder ser medido, para que se pueda monitorear y evaluar; debe ser Específico para evitar interpretaciones diferentes; debe indicar el tiempo preciso; debe ser Adecuado para los problemas, metas y estrategias; y debe ser sobre todo realista y viable de acuerdo a las características y contexto del establecimiento de salud. Los resultados están directamente relacionados con los objetivos del programa, los resultados, a diferencia de los objetivos, son más descriptivos, e indican qué es lo que se va ha obtener si se cumplen los objetivos. Los resultados sirven como medida para determinar si el programa logró o no sus objetivos. Las actividades son los pasos que se llevan a cabo para lograr los objetivos. Incluyen una amplia gama de procedimientos que se realizan durante la vida de un programa. Es importante reconocer la diferencia entre objetivos y actividades. Las actividades que se realizan para lograr los objetivos no constituyen en si mismas los objetivos a evaluar. El Plan Operativo no sólo termina con los resultados deseados, sino con los efectos residuales del programa o de sus actividades una vez concluido los mismos, a esto se le denomina IMPACTO, que puede ser a corto plazo (seis meses posteriores a su finalización) y a largo plazo se centra más en el impacto del programa sobre la comunidad o en la contribución del programa a los indicadores nacionales o demográficos. Los que realizan las programaciones deben tener en cuenta que el éxito de un programa se basa en lograr los resultados (productos, efectos e impactos) descritos en el Plan Operativo. El Modelo de Evaluación La teoría de causa y efecto es una premisa básica en la evaluación. Lo que se incluya en el Plan Operativo tendrá un impacto positivo o negativo sobre lo que se quiere modificar, en consecuencia el Plan Operativo se constituye en una intervención (causa) y las modificaciones en la población objetivo o en un servicio (efecto). Los recursos necesarios para realizar las actividades darán los productos, los efectos de los objetivos específicos, el efecto del objetivo general y el impacto. Los recursos consti- 31 Supervisión, Monitoreo y Evaluación tuyen los insumos, las actividades constituyen el proceso, y los productos son consecuencia de las actividades, y los efectos de los objetivos específicos son consecuencia de los productos, el efecto del objetivo general es consecuencia de los efectos de los objetivos específicos y el impacto es el efecto que se atribuye sólo al Plan Operativo. El impacto es la medición del grado en que el cambio en el indicador se atribuye a la acción del Plan Operativo (Fig. 1.2). FIG. 1.2. LA LÓGICA DE EVALUACIÓN Basado en este modelo, la evaluación del Plan Operativo se realizará a partir de la selección de los objetivos que se van a evaluar, para luego proponer la metodología a emplear. FIG. 1.3. LÓGICA DE PROGRAMACIÓN Y EVALUACIÓN. RELACIÓN DEL POI Y EL PLAN DE SUPERVISIÓN, MONITOREO Y EVALUACIÓN PLAN DE EVALUACIÓN Componentes Componentesdel delPOI POI OBJETIVO OBJETIVO GENERAL GENERAL OBJETIVOS OBJETIVOS ESPECÍFICOS ESPECIFICOS ACTIVIDADES ACTIVIDADES RECURSOS RECURSOS Financieros, Financieros,Tecnológicos, Tecnológicos, Personal, Personal,Infraestructura Infraestructura 32 TIPO DE EVALUACIÓN EFECTO IMPACTO EFECTOS RESULTADOS COSTOS PROCESOS INDICADORES INDICADORES INDICADORES INDICADORES INDICADORES EVALUACIÓN DE IMPACTO Y DE EFECTOS EVALUACIÓN DE EFECTOS EVALUACIÓN DE PRODUCTOS Y MONITOREO EVALUACIÓN DE EFICIENCIA MONITOREO INSUMOS INDICADORES MONITOREO Y SUPERVISIÓN Texto Autoformativo: Unidad I En la Fig. 1.3. se presenta la lógica de programación con relación a la lógica de evaluación. Cada componente del POI debe ser evaluado, para lo cual se construyen indicadores para cada componente. Cada tipo de indicador tiene una metodología de evaluación diferente. Con fines de elaborar el Plan de Evaluación se sigue la lógica de Programación del Plan Operativo, sin embargo, en el momento de ejecutar la evaluación se comienza a evaluar cuando el proyecto está en marcha, por lo general, se inicia con la evaluación de las actividades (monitoreo) tanto administrativas como de los procesos en los que se desarrollan, y al final del POI se evalúan los efectos y el impacto del Plan. En este libro se comienza a elaborar el Plan de evaluación desde los objetivos hasta las actividades con la finalidad de ir construyendo las matrices del Plan de Evaluación. Continuando con la lógica de evaluación, luego de tener identificado y operacionalizado los indicadores, se procederá a determinar el tipo de evaluación y luego la metodología a emplear, la que se va a detallar en el Plan de Evaluación. En la Fig. 1.3. se representa la secuencia lógica que se va a seguir para elaborar el Plan de Evaluación. Los Objetivos Generales y los Objetivos Específicos serán evaluados mediante una evaluación de efectos e impacto. Las actividades y sus componentes: procesos, costos y productos, serán evaluados tanto en su estructura como en los procesos administrativos mediante el supervisión y monitoreo. La evaluación de los recursos es netamente administrativa. El tipo de evaluación depende de la fase del Plan Operativo, si el Plan Operativo estuviera en la fase de diseño entonces la evaluación a realizarse sería de necesidades, tal como se muestra en el Cuadro 1.1, en vista de que en nuestro caso el Plan Operativo ya está diseñado y programado, se debería presentar un plan de evaluación monitoreo y supervisión que indique la metodología a emplear y el tipo de evaluación que corresponde a cada componente del Plan Operativo. En el Cuadro 1.1 se observa que el tipo de evaluación se realiza según la Fase del Plan Operativo, mientras el proyecto se está desarrollando se realizan evaluaciones formativas o evaluaciones de procesos que están relacionados al cumplimiento de los objetivos, en otras palabras, referidas a la estructura del plan, si en esta misma fase de ejecución del Plan Operativo se requiere también realizar una evaluación administrativa en consecuencia se debe desarrollar acciones de Monitoreo, Supervisión y Auditoría; una vez concluida alguna actividad, una etapa del Plan Operativo, o al final del mismo se realizan evaluaciones integradoras: de productos, de efectos, o de impacto. Para cada etapa se tienen los indicadores definidos en la unidad anterior. 33 Supervisión, Monitoreo y Evaluación CUADRO 1.1. TIPOS DE EVALUACIÓN SEGÚN LA FASE DEL PLAN OPERATIVO Evaluación Estructurada Diseño del Plan Operativo Implementación del Plan Operativo Identificación de Necesidades Evaluación formativa (Evaluación de necesidades) Evaluación Administrativa (Evaluación del procedimiento) Monitoreo Supervisión Seguimiento del Plan Operativo Evaluación de Resultados y de Efectos (Evaluación sumativa) Evaluación de Impacto (identificación de Impactos) Evaluación de la Eficiencia Auditoría Objetivo de la Evaluación Identificar las necesidades para planear el P.O. y establecer las bases de comparación. Mejorar el desarrollo del proyecto mediante la evaluación de los procedimientos de las actividades, de los recursos y del personal que intervienen en las actividades. Determinar el nivel de cumplimiento de los resultados de las actividades y de los efectos de los objetivos específicos. Medir los impactos del proyecto, principalmente en el área objetivo del Plan Operativo. IND. DE EFECTOS DE LOS O.E. IND. DE IMPACTO Tipo de Indicador IND. DE PROCESO IND. DE INSUMOS IND. DE COSTOS IND. DE PRODUCTOS IND. DE EFECTO DEL O.G. El Monitoreo evalúa o juzga el Plan Operativo de manera continuada. El Plan Operativo describe todas las actividades. Para un monitoreo efectivo se requiere identificar actividades esenciales y realizar un juicio continuo de las mismas. El monitoreo depende de los sistemas de información gerencial y de la observación para evaluar las actividades del proyecto, constituyendo un procedimiento clave para apoyar el logro de los objetivos del POI. 34 Texto Autoformativo: Unidad I La Supervisión evalúa los logros del personal que intervienen en el Plan Operativo y la calidad de su trabajo. Determina si el desempeño de cada uno de los miembros del personal concuerda con su descripción de trabajo, identifica las necesidades de capacitación del personal, con el fin de mejorar el desempeño del personal. 1.2. EL PLAN DE SUPERVISIÓN, MONITOREO Y EVALUACIÓN En las siguientes Unidades del Texto Autoformativo se irán desarrollando paso a paso los componentes del Plan de Supervisión, Monitoreo y Evaluación del Plan Operativo de un Establecimiento de Salud, el cual deberá ser desarrollado y presentado por los participantes al finalizar el presente módulo. El Plan de Supervisión, Monitoreo y Evaluación se realiza junto con el Plan Operativo, a continuación se describe la metodología que se va a utilizar para elaborar el PSME. Metodología del PSME La Metodología responde a: ¿Qué, cómo, cuándo y quién debe evaluar? ¿Qué se va a evaluar? 1. Definir los resultados (efectos, impacto, productos), procesos e insumos del Plan Operativo institucional. La metodología de como hacerlo se presenta en esta Unidad. 2. Construir y seleccionar indicadores para cada uno de los resultados, procesos e insumos del POI. La forma de hacerlo será explicado en la Unidad II. 3. Construir y seleccionar indicadores de las actividades rutinarias de los servicios que se realizan en el establecimiento de salud para el monitoreo y supervisión de las actividades. La forma de realizarlo será desarrollado en la Unidad II. FIG. 1.4. DIAGRAMA QUE REPRESENTA EL QUÉ EVALUAR EN UN ESTABLECIMIENTO DE SALUD OBJETIVOS Objetivos Generales PLAN OPERATIVO INSTITUCIONAL Objetivos Específicos ACTIVIDADES RECURSOS EFECTO IMPACTO CALIDAD CANTIDAD CALIDAD CANTIDAD 35 Supervisión, Monitoreo y Evaluación En primer lugar, se necesitan identificar los productos, resultados, efectos, insumos y procesos del Plan Operativo Institucional, luego identificar y construir indicadores para la supervisión, monitoreo y evaluación de los componentes del POI. Definir el ¿Qué se va a evaluar? se realiza seleccionando indicadores1 que midan los componentes del POI, tomando en cuenta la estructura y las actividades del establecimiento de salud, según la calidad y cantidad de los procesos y los productos, así como de la eficiencia y eficacia de sus resultados, tal como se esquematiza en la Fig, 1.4. ¿Cómo evaluar? 1. Diseñar el Plan de Evaluación de objetivos, corresponde a la Unidad III. 2. Diseñar un Plan de Monitoreo de las actividades del POI y de los servicios de un establecimiento de salud que será desarrollado en la Unidad IV. 3. Diseñar un Plan de Supervisión que será desarrollado en la Unidad V. En el caso de la evaluación del Plan Operativo: los objetivos se evalúan, las actividades se evalúan, monitorean y supervisan. Los objetivos serán evaluados determinando los efectos e impacto, y las actividades serán monitoreadas y supervisadas. ¿Con qué, cuándo y quién evaluar? 1. Definir los instrumentos de recolección de datos 2. Indicar los responsables del PSME. 3. Indicar cuándo cronogramar las actividades del PSME. Se presentan matrices para designar los instrumentos y técnicas de recolección de información que medirán los indicadores, y las personas responsables de las evaluaciones. ¿Para qué evaluar? Para proveer información. Esto significa que la evaluación no se realiza al azar sino en forma sistemática. Debe ser un proceso permanente constituido por pasos que se toman en forma lógica y secuencial. Para permitir emitir juicios. Es decir es una actividad analítica. Su propósito es juzgar si los esfuerzos desplegados han tenido o están teniendo éxito. Para tomar decisiones. Una vez que se tiene idea de cómo va el programa, se debe decidir qué hacer para maximizar su éxito o superar sus limitaciones. La evaluación, para que tenga valor, debe ser un instrumento para la toma de decisiones, y no simplemente un instrumento académico. 1 Propuestas por Aga Khan en el Módulo de Monitoreo y Evaluación de Programas, publicado por el Ministerio de Salud del Perú. 36 Texto Autoformativo: Unidad I 1.3. DEFINIENDO EL IMPACTO, LOS EFECTOS, LOS PRODUCTOS Y LOS INSUMOS DEL PLAN OPERATIVO El Plan Operativo del Centro de Salud Miguel Angel Honores, luego de haber priorizado y seleccionado problemas y de haber encontrado nudos críticos, ha formulado sus objetivos generales y específicos y ha propuesto las actividades que van a permitir cumplir con los objetivos. A continuación se presenta una matriz de ejemplo, donde se define el impacto, los efectos, los resultados y los insumos. MATRIZ 1.1. DEFINICIÓN DEL EFECTO E IMPACTO DE LOS OBJETIVOS CENTRO DE SALUD: MIGUEL ANGEL HONORES OBJETIVO GENERAL EFECTO Disminuir la morbimortalidad de la población infantil de la comunidad de Lurín, mediante actividades preventivo promocionales y mejorando la calidad de atención de los Centros de Salud de la zona en un periodo de 2 años. Reducción de la tasa de mortalidad infantil en un 10% y de la tasa de morbilidad infantil en 20% en la comunidad de Lurín. OBJETIVOS ESPECÍFICOS EFECTOS 1. 1. Incremento de un 80% de padres de familia informados y educados en prevenir infecciones intestinales. 2. 100% de padres satisfechos con la atención en el Centro de Salud. 2. Incrementar en un 80% las actividades preventivo-promocionales sobre enfermedades infecciosas intestinales en la comunidad de Lurín en un período de 6 meses. IMPACTO Reducción de la tasa de mortalidad infantil por infecciones intestinales en 100% y las tasas de morbilidad infantil por infecciones intestinales 50% en la comunidad de Lurín, debido a las acciones planificadas en el Plan Operativo. Brindar un trato adecuado al 100% de la población infantil y sus padres que acuden al Centro de Salud Miguel Angel Honores de la comunidad de Lurín en un período de un año. 37 Supervisión, Monitoreo y Evaluación MATRIZ 1.2. DEFINICIÓN DE LOS PRODUCTOS, PROCESOS Y COSTOS DE LAS ACTIVIDADES CENTRO DE SALUD: MIGUEL ANGEL HONORES ACTIVIDADES PRODUCTOS 1.1. Capacitar promotores de salud de la propia comunidad en promoción y prevención de enfermedades infecciosas intestinales. 1.1. Veinte promotores de salud capacitados. 1.2. Programar actividades de IEC para los habitantes sobre la higiene de los alimentos, y de las manos antes de consumir alimentos. 1.3. Realizar cloración del agua de consumo a nivel domiciliario. 2.1. Capacitar al personal de salud en calidad de atención desde la perspectiva del usuario. 2.2. Implementar un circulo de calidad con personal del equipo de salud. 1.2. Ciento veinte charlas educativas, 600 visitas domiciliarias por promotor de salud en seis meses. 1.3. Cloración de los carros cisterna dos veces por semana. 2.1. Personal del equipo de salud capacitado en reconocer deficiencias en la calidad de atención del Centro de Salud desde la perspectiva del usuario. 2.2. Acciones correctivas realizadas por el círculo de calidad. PROCESOS 1. Desplazamiento del usuario en los servicios del Centro de Salud. 2. Organización de las actividades educativas con la comunidad. 3. Cloración del agua de consumo a nivel domiciliario. 4. Identificación de deficiencias de la calidad de atención e implementación de las medidas correctivas. COSTOS 38 1. Costo en Soles por promotor de salud capacitado. 2. Costo por charla educativa realizada. Costo por visita domiciliaria efectuada. 3. Costo por cloración de cada carro cisterna. 4. Costo por personal del equipo de salud capacitado en reconocer deficiencias en la calidad de atención. 5. Costo por acciones correctivas realizadas por el círculo de calidad. Texto Autoformativo: Unidad I MATRIZ 1.3. DEFINICIÓN DE LOS INSUMOS CENTRO DE SALUD: MIGUEL ANGEL HONORES RECURSOS INSUMOS 1.1. Viáticos para 20 promotores de salud por 20 días al mes por seis meses. 1.1. 24,000 Nuevos Soles para viáticos de los Promotores de Salud. 4,000 Nuevos Soles mensuales. 1.2. Material de IEC (rotafolios, folletos, afiches). 1.2. 15,000 Nuevos Soles para material de IEC. 1.3. Cloro para los camiones cisterna. 1.3. 20 rotafolios sobre infecciones intestinales 1.4. Profesores en calidad de atención desde la perspectiva del cliente. 1.5. Un médico, una enfermera, un técnico, y un administrativo para constituir el círculo de calidad de atención. 1.4. 5,000 folletos sobre infecciones intestinales 1.5. 1,000 afiches sobre infecciones intestinales 1.6. 10,000 Nuevos Soles para Cloro. 1.7. 6,000 Nuevos Soles para el pago de profesores y organización del Taller de capacitación en calidad de atención desde la perspectiva del cliente. 1.8. 20,000 Nuevos Soles para gastos en las medidas correctivas de calidad de atención sugeridas por el Círculo de Calidad. 39 Supervisión, Monitoreo y Evaluación ACTIVIDAD Nº 1 1. Seguido a continuación existen matrices en blanco. Tomando como ejemplo lo realizado por el Centro de Salud Miguel Angel Honores desarrolle el impacto, los efectos, los resultados y los insumos necesarios para alcanzar los objetivos y actividades planteados en el Plan Operativo de su establecimiento, desarrollado en el Texto Autoformativo del Módulo I Plan Operativo Institucional: Establecimiento de Salud: OBJETIVO GENERAL EFECTO IMPACTO Establecimiento de Salud: OBJETIVO ESPECÍFICO 40 EFECTO Texto Autoformativo: Unidad I Establecimiento de Salud: ACTIVIDADES PRODUCTOS PROCESOS COSTOS Establecimiento de Salud: RECURSOS 2. INSUMOS Luego de realizar esta actividad individual proceda a reunirse con su equipo de gestión y desarrollen la Actividad Nº 1 de la Guía de Trabajo Aplicativo. 41 Supervisión, Monitoreo y Evaluación AUTOEVALUACIÓN DE LA UNIDAD I Usted ha terminado de estudiar la presente unidad, lo invitamos a realizar la autoevaluación de contenidos de esta unidad. 1. ¿Qué debe definir el Plan de Supervisión, Monitoreo y Evaluación? a. Las personas que van a evaluar b. Los recursos del Plan Operativo destinados a la evaluación c. Los lugares donde se va a realizar la evaluación d. Los objetivos, procesos, resultados, actividades y el impacto 2. La evaluación del Plan Operativo se realiza para: a. Tomar decisiones b. Reconocer los avances y logros del POI c. Detectar los problemas y los obstáculos d. Todas las anteriores 3. ¿Cuál es la diferencia entre productos, efectos e impacto de un POI? a. Los productos son resultado de las actividades, los efectos son consecuencia de los objetivos, y el impacto es el efecto que se atribuye solamente al POI. b. Los resultados, los efectos y el impacto no son diferentes c. Los productos son resultado de las actividades realizadas, los efectos y el impacto son consecuencia que depende del POI únicamente d. Todos son resultados 4. ¿Qué son los indicadores? a. Son variables numéricas que contienen un numerador y un denominador b. Son variables que sirven para medir los cambios c. Una medida que permite cerciorarnos si estamos o no logrando los objetivos propuestos d. b y c son correctas 5. Los pasos para construir indicadores son: a. Determinar los valores finales del indicador, fijar criterios para asignar los valores e indicar el procedimiento de medición. 42 Texto Autoformativo: Unidad I b. Definir el efecto, identificar el indicador y operacionalizarlos c. Seleccionar el objetivo, identificar el numerador y definir el denominador d. Ninguna de las anteriores Clave de respuestas 1. D 2. D 3. A 4. D 5. A Criterios de evaluación Comprensión suficiente: 5 respuestas correctas Comprensión parcial: 4-3 respuestas correctas Comprensión insuficiente: 0-2 respuestas correctas En caso de tener una comprensión insuficiente o parcial, anote los puntos de mayor dificultad, para luego volver a revisar cuidadosamente los materiales del tópico y si subsisten las dificultades, solicitar el apoyo del tutor local. En caso de persistir algunas dudas estas deberán ser expuestas y subsanadas en la actividad presencial. RESUMEN En la Unidad I se han desarrollado contenidos teóricos y prácticos sobre la evaluación del Plan Operativo, se ha presentado la importancia de la evaluación y la utilidad para tomar decisiones, basado en juicios proporcionados por las evaluaciones. En razón que para poder llevar a cabo la evaluación se necesita identificar y operacionalizar los indicadores, tarea que sería imposible cumplir sin definir los resultados de los objetivos y de las actividades. Se brindan elementos para poder construir indicadores y para poder seleccionar los mejores. El sub producto que se espera obtener son indicadores de los componentes del Plan Operativo que desarrolló en el Módulo del Plan Operativo Institucional. BIBLIOGRAFÍA 1. Testa, Mario (1990). Pensamiento Estratégico y Lógica de Programación. Argentina: Lugar Editorial S.A. 2. Organización Mundial de la Salud (1981). Información Necesaria en Preparación de Indicadores para Vigilar los Progresos Realizados en el Logro de la Salud para Todos en el Año 2000. Serie Salud Para Todos Nº 4, Ginebra. 3. Navarro, Juan Carlos (1992). Evaluación de Programas de Salud y Toma de decisiones. OPS, Washington DC. 4. Velásquez, Aníbal (1997). Manual de Evaluación Estratégica de Programas de Salud. INPPARES, Lima. 5. García Núñez, J. Evaluación de Programas de Planificación Familiar. Guía detallada para Administradores y Evaluadores. Profamilia, Bogotá, 1995. 43 Supervisión, Monitoreo y Evaluación 6. Organización Panamericana de la Salud. Evaluación para el Planeamiento de Programas de Educación para la Salud. Guía para técnicos medios y auxiliares, Washington D.C., 1990. 7. Bertrand J., Magnani R., Rutenberg N. (1996). Evaluating Family Planning Programs. The evaluation Project, USAID. 8. Bertrand J., Tsui A. (1995). Indicators for Reproductive Health Program Evaluation. The Evaluation Project. USAID, Washington. 9. Booth J, Callaghan E. (1995). A working Guide for the Implementation of a Clinical Indicator Program. ACHS, Sydney. 10. Kazandjian V. Wood P., Lawthers J. Balancing Science and Practice in Indicator Development: The Maryland Hospital Association Quality Indicator Project, Int. Journal for Quality in Health Care, Vol 7, Nº 1, 1995, 39-46. 11. Chassin M. Quality of Health Care-Improving the Quality of Care, N. England J. Medicine 1996; 335(14). 12. Torres W. Manual de Análisis y Uso de Información Gerencial en Salud. Grupo Quipus, DGI, 3ª ed. 1998. 44 Unidad II Indicadores de Supervisión, Monitoreo y Evaluación 45 Supervisión, Monitoreo y Evaluación 46 Texto Autoformativo UNIDAD II INDICADORES DE SUPERVISIÓN, MONITOREO Y EVALUACIÓN OBJETIVOS ESPECÍFICOS Al finalizar la presente Unidad el participante estará en capacidad de: A Construir indicadores para cada componente del POI B Seleccionar los indicadores más apropiados para el PSME PRODUCTO INDICADORES SELECCIONADOS PARA EL PSME C O N T E N ID O S CONTENIDOS 2.1. Indicadores de evaluación 2.2. o construir indicadores? 2.1¿Cóm Indicadores de evaluación 2.3. Indicadores de estructura, de proceso/producto y de del PO I indicadores? 2.2resultados ¿Cómo construir 2.4. Indicadores de m onitoreo y supervisión de los de un establecim iento de salud. 2.3servicios Selección de indicadores para el PSME 2.5. Selección de indicadores para el PEMS LECTURAS SELECCIONADAS DEL TEXTO DE APOYO 1. Torres W. Manual de Análisis y Uso de Información Gerencial en Salud, 3a. ed., DGI, 1998, p: 56-111 2. Aga Khan University, Aga Khan Health Services y col. Monitoreo y Evaluación de Programas. Ministerio de Salud, Programa de Fortalecimiento, Módulo 5, Guía de Usuario 51-97. 47 Supervisión, Monitoreo y Evaluación 48 Texto Autoformativo: Unidad II UNIDAD II INDICADORES DE EVALUACIÓN, MONITOREO Y SUPERVISIÓN 2.1. INDICADORES DE EVALUACIÓN La medida que permite cerciorarnos si estamos o no logrando los objetivos que nos hemos propuesto durante el desarrollo de un programa, se llama indicador de evaluación. El indicador es lo que nos permitirá evaluar los logros de nuestro programa, por lo cual no debe olvidarse de incluirlo cuando formule el objetivo. Tenga cuidado de ser realista y objetivo al escribir su indicador, ya que en base a él, se juzgará el éxito o fracaso de su programa. Las herramientas para medir los insumos, los procesos, los resultados y los impactos de un programa, se denominan indicadores. Indicadores de Insumo Indicadores de Proceso Indicadores de Productos y Efectos Indicadores de Impacto ¿Qué es un indicador? Como su nombre lo indica, los indicadores son un índice reflejo de una situación determinada. En las normas de la OMS para la evaluación de programas de salud, se les define como variables que sirven para medir los cambios. Los indicadores miden los diferentes aspectos de un Plan Operativo: los insumos, procesos, resultados, efectos e impacto. En muchos casos, se recurre en particular a los indicadores cuando no es posible medir directamente esos cambios. Habiéndoles atribuido categoría científica, los indicadores ideales deberían reunir, por ejemplo, los requisitos siguientes: ser válidos, es decir, medir realmente lo que se supone que deben medir; ser confiables, esto es, dar el mismo resultado cuando la medición es hecha por personas distintas en circunstancias análogas; ser sensibles, es decir tener la capacidad de captar los cambios ocurridos en la situación de que se trate. En la vida real existen muy pocos indicadores que cumplen todos estos criterios. Un indicador puede tener asignado un valor numérico (un porcentaje, un promedio, un rango, un número absoluto) o una escala de si/no (Ejm.: presencia versus ausencia). La recolección de indicadores por sí sola no constituye una evaluación. Los indicadores sirven antes que todo para detectar problemas, y un problema puede definirse como una diferencia entre la situación deseada esto es, la meta prevista- y el desempeño real alcanzado por el programa en un momento dado. 49 Supervisión, Monitoreo y Evaluación A nivel de los servicios los indicadores de mayor utilidad corresponden a indicadores de utilización de servicios y de salud propiamente dichos. Con el objeto de obtener una adecuada interpretación de los hallazgos de la evaluación es conveniente sin embargo considerar algunos indicadores sociales y económicos. 2.2. ¿CÓMO CONSTRUIR INDICADORES? Los pasos para construir indicadores incluyen: PRIMERO: Identificar el indicador para cada componente del Plan Operativo Continuando con la evaluación del Plan Operativo del Centro de Salud Miguel Angel Honores, ellos propusieron su Objetivo General, luego definieron el efecto y ahora se identifica el indicador: OBJETIVO GENERAL Disminuir la morbimortalidad de la población infantil de la comunidad de Lurín, mediante actividades preventivo-promocionales mejorando la calidad de atención de los Centros de Salud de la Zona en un período de 2 años. DEFINIR EL EFECTO Reducción de la tasa de mortalidad infantil en un 10% y de la tasa de morbilidad infantil en 20% en la comunidad de Lurín. INDICADORES Tasa de Mortalidad Infantil Tasa de Morbilidad Infantil De la misma forma se procede a identificar los indicadores de cada componente del Plan Operativo teniendo en cuenta lo que se pretende medir con cada indicador. 50 Texto Autoformativo: Unidad II A continuación se presenta la siguiente matriz donde se identifican los indicadores para cada componente del Plan Operativo del Centro de Salud Miguel Angel Honores: MATRIZ 2.1. COMPONENTE DEL PLAN OPERATIVO PRODUCTOS E INSUMOS INDICADORES OBJETIVO GENERAL EFECTO INDICADORES DE EFECTO Disminuir la morbimortalidad de la población infantil de la comunidad de Lurín, mediante actividades preventivo-promocionales y mejorando la calidad de atención de los Centros de Salud de la zona en un período de 2 años. Reducción de la tasa de mortalidad infantil en un 10% y de la tasa de morbilidad infantil en 20% en la comunidad de Lurín. Tasa de Mortalidad Infantil. Tasa de Morbilidad Infantil. Reducción de la tasa de mortalidad infantil por infecciones intestinales en 100% y las tasas de morbilidad infantil por infecciones intestinales 50% en la comunidad de Lurín, debido a las acciones planificadas en el Plan Operativo. Tasa de mortalidad infantil por infecciones intestinales. Tasa de morbilidad infantil por infecciones intestinales. OBJETIVOS ESPECÍFICOS EFECTOS 1. Incrementar en un 80% las actividades preventivo-promocionales sobre enfermedades infecciosas intestinales en la comunidad de Lurín en un período de 6 meses. 2. Brindar un trato adecuado al 100% de la población infantil y sus padres que acuden al Centro de Salud Miguel Angel Honores de la comunidad de Lurín en un período de un año. 1. Incremento de un 80% de padres de familia informados y educados en prevenir infecciones intestinales. 2. 100% de padres satisfechos con la atención en el Centro de Salud. INDICADORES DE EFECTOS ACTIVIDADES PRODUCTOS 1.1. Programar actividades de IEC para los habitantes sobre la higiene de los alimentos, y de las manos antes de consumir alimentos. 2.1. Implementar un círculo de calidad con personal del equipo de salud. 1.1 Ciento veinte charlas educativas, 600 visitas domiciliarias por promotor de salud en seis meses. 2.1. Acciones correctivas realizadas por el círculo de calidad. IMPACTO INDICADORES DE IMPACTO 1.1. Número de padres de familia informados y educados en prevenir infecciones intestinales. 1.2. Porcentaje de incremento de padres de familia informados y educados en prevenir enfermedades infecciosas intestinales. 2.1. Porcentaje de padres satisfechos con la atención en el Centro de Salud. INDICADORES DE PRODUCTOS 1.1. Nº de charlas educativas realizadas por promotor 1.2. Nº de visitas domiciliarias realizadas por promotor 1.3. Porcentaje de cumplimiento por promotor 2.1. Nº de acciones correctivas realizadas por el círculo de calidad. 2.2. Nº de problemas detectados por el círculo de calidad. 51 Supervisión, Monitoreo y Evaluación PROCESOS Organización y coordinación de las actividades educativas con la comunidad. Identificación de deficiencias de la calidad de atención e implementación. COSTOS Costo de las charlas educativas. Costo de las visitas domiciliarias. Costo de las acciones correctivas realizadas por el círculo de calidad. 52 RECURSOS INSUMOS 1.2. Material de IEC (rotafolios, folletos, afiches). 1.5. Un médico, una enfermera, un técnico y un administrativo para constituir el círculo de calidad de atención. 1.2. 15,000 Nuevos Soles para material de IEC. 1.3. 20 rotafolios sobre infecciones intestinales 1.4. 5,000 folletos sobre infecciones intestinales. 1.8. 20,000 Nuevos Soles para gastos en las medidas correctivas de calidad de atención sugeridas por el Círculo de Calidad. INDICADORES DE PROCESOS 1.1. Porcentaje de charlas con más de 10 personas. 1.2. Porcentaje de visitas domiciliarias donde se encontró a los padres y aceptaron la charla educativa. 2.1. Porcentaje de acciones correctivas efectivas. 2.2. Porcentaje de acciones correctivas realizadas. INDICADORES DE COSTOS Costo por charla educativa realizada. Costo por visita domiciliaria efectuada. Costo por visita domiciliaria efectiva. Costo por charla educativa efectiva. Costo por acciones correctivas realizadas por el círculo de calidad. Costo por las acciones correctivas efectivas. INDICADORES DE INSUMOS 1.1. Porcentaje del presupuesto gastado en material de IEC. 1.2. Porcentaje de Charlas educativas realizadas con los rotafolios. 1.3. Porcentaje de las visitas domiciliarias realizadas con los folletos. 2.1. Porcentaje del presupuesto gastado en medidas correctivas de calidad de atención sugeridas por el círculo de calidad. Texto Autoformativo: Unidad II ACTIVIDAD Nº 1 1. De la misma forma que en el ejemplo anterior proceda a identificar indicadores de los componentes de su POI COMPONENTE DEL PLAN OPERATIVO OBJETIVO GENERAL INDICADORES EFECTO INDICADORES DE EFECTO IMPACTO INDICADORES DE IMPACTO OBJETIVOS ESPECÍFICOS EFECTOS INDICADORES DE EFECTOS ACTIVIDADES PRODUCTOS INDICADORES DE PRODUCTOS PROCESOS INDICADORES DE PROCESOS COSTOS INDICADORES DE COSTOS INSUMOS INDICADORES DE INSUMOS RECURSOS 2. PRODUCTOS E INSUMOS Una vez realizada esta actividad reúnase con su equipo de gestión y desarrolle la Actividad Nº 2 de la Guía de Trabajos Aplicativos. 53 Supervisión, Monitoreo y Evaluación EJERCICIO Nº 1 En los esquemas que abajo se presentan escriba Ud. la operacionalización de un indicador de producto de su Plan Operativo individual, siguiendo como modelo el ejemplo presentado anteriormente. ACTIVIDAD DEFINIR EL PRODUCTO IDENTIFICACIÓN DEL INDICADOR COMPONENTES DE LA OPERACIONALIZACIÓN DEL INDICADOR Valores finales del indicador Escala: Criterios para asignar los valores Procedimientos de medición DEFINICIÓN OPERACIONAL DEL INDICADOR 54 Texto Autoformativo: Unidad II SEGUNDO: Operacionalice los indicadores La operacionalización de los indicadores consiste en identificar cómo será medido el indicador. Ello establece las normas y procedimientos que se realizarán para medir el indicador. La operacionalización de los indicadores se realiza teniendo en cuenta el objeto de medición, la fuente de información, el grado de manipulación del indicador y de los procedimientos de recolección de datos. Los componentes de la definición operacional de los indicadores son: a) valores finales del indicador, b) criterios para asignar los valores y c) procedimiento de medición. Continuando con el ejemplo del Centro de Salud Miguel Angel Honores se realiza la operacionalización de los indicadores identificados tomando en cuenta estos tres componentes. OBJETIVO ESPECÍFICO Brindar un trato adecuado al 100% de la población infantil y a sus padres que acuden al Centro de Salud Miguel Angel Honores de Lurín, en un período de un año. DEFINIR EL EFECTO 100% de padres satisfechos con la atención del Centro de Salud IDENTIFICACIÓN DEL INDICADOR Porcentaje de padres satisfechos con la atención en el Centro de Salud. COMPONENTES DE LA OPERACIONALIZACIÓN DEL INDICADOR Valores finales del indicador Criterios para asignar los valores Procedimiento de medición Escala: porcentual El porcentaje de padres satisfechos con la atención recibida en el Centro de Salud. Se obtendrá del cociente de padres satisfechos dividido entre el total de padres entrevistados. Se considerará padre satisfecho al padre que utilizó los servicios del C.S. y respondió que estaba satisfecho y no tenía ninguna observación desfavorable sobre la atención recibida. Para la medición del indicador se utilizará un cuestionario que contendrá preguntas sobre la calidad de atención en cuanto a infraestructura del lugar, trato del equipo de salud, capacidad técnica del personal de salud, disponibilidad de recursos y equipamiento, información, educación y comunicación y sobre seguimiento del paciente, el cual será aplicado a una muestra representativa de los padres cada mes durante un año. DEFINICIÓN OPERACIONAL DEL INDICADOR Se expresará el nivel de satisfacción de los padres con la atención en el Centro de Salud en porcentaje de padres satisfechos, en relación al total de entrevistados, se considerará satisfecho cuando responda que está satisfecho con todos los componentes de la calidad de atención preguntadas en el cuestionario que será aplicado a una muestra representativa de los padres cada mes durante un año. 55 Supervisión, Monitoreo y Evaluación A continuación se presentan algunos ejemplos desarrollados, para que pueda comprender la lógica del proceso de construcción de un indicador. Objetivo General: Disminuir la morbimortalidad de la población infantil de la comunidad de Lurín mediante actividades preventivo-promocionales y mejorando la calidad de atención de los Centros de Salud de la zona, en un período de 2 años. Indicador Valor final del indicador Criterios para asignar el valor Procedimiento de medición DE EFECTO Tasa de Mortalidad Infantil Escala: Proporción Número de menores de un año muertos, por 1000 nacidos vivos en el período de un año. Se considerará niño muerto menor de un año a los registrados en Lurín y el denominador serán los nacidos vivos registrados en Lurín durante un año. La mortalidad infantil se obtendrá de las partidas de defunción registrados en el año y los nacidos vivos se obtendrán de las partidas de nacimiento registrados en el año en Lurín. Objetivo Específico: Brindar un trato adecuado al 100% de la población infantil y sus padres que acuden al Centro de Salud Miguel Angel Honores de la comunidad de Lurín en un período de un año. Indicador Valor final del indicador Criterios para asignar el valor Procedimiento de medición DE EFECTO Porcentaje de padres satisfechos con la atención en el Centro de Salud. Escala: porcentual Número de padres satisfechos con la atención recibida en el Centro de Salud / padres entrevistados por cien. Se considerará padre satisfecho al padre que utilizó los servicios del C.S. y respondió que estaba satisfecho y no tenia ninguna observación desfavorable sobre la atención recibida Para la medición del indicador se utilizará un cuestionario que contendrá preguntas sobre la calidad de atención el cual será aplicado a una muestra representativa de los padres cada mes durante un año Actividad: Implementar un círculo de calidad con 3 personas del equipo de salud. 56 Indicador Valor final del indicador Criterios para asignar el valor Procedimiento de medición INDICADORES DE PRODUCTOS Nº de acciones correctivas realizadas por el círculo de calidad. Escala: continua Número de acciones correctivas realizadas por el círculo de calidad. Se considerarán acciones correctivas a las actividades realizadas por el círculo de calidad y que hayan sido expresadas en un plan luego de haber detectado un problema de calidad de atención. Las acciones serán registradas en un cuaderno de incidencias, y serán presentadas en un plan de acciones. Se contarán los planes ejecutados mensualmente. Texto Autoformativo: Unidad II INDICADORES DE PROCESOS Razón de acciones correctivas/problemas detectados. Escala: continua Número de acciones correctivas / problemas detectados. INDICADORES DE COSTOS Escala: continua Costo por acciones Soles por acción correcticorrectivas realiza- va realizada. das por el círculo de calidad Las acciones correctivas ya fueron definidas. Los problemas detectados serán todos los problemas de calidad que se hayan detectado por evaluaciones de calidad, de procesos, monitoreo o supervisión. Los costos se refieren a los costos directos e indirectos que se utilizan para realizar las actividades correctivas Los problemas al igual que las acciones serán registrados en un cuaderno de incidencias. El conteo de los problemas detectados se realizará mensualmente. Los costos serán obtenidos en forma manual de los datos proporcionados por contabilidad. Recursos: Financiamiento del círculo de calidad y de sus actividades Indicador Valor final del indicador Criterios para asignar el valor Procedimiento de medición INDICADORES DE INSUMOS Porcentaje del presupuesto gastado en medidas correctivas de calidad de atención realizadas Escala: continua Soles gastados / soles asignados al Círculo de Calidad por 100. El financiamiento asignado será el que aparezca en el presupuesto claramente especificado para este rubro. Se obtendrán reportes mensuales de los gastos realizados por cada acción correctiva realizada. 57 Supervisión, Monitoreo y Evaluación ACTIVIDAD Nº 2 1. En la siguiente matriz escriba los componentes de la operacionalización de indicadores seleccionados en la propuesta individual de su establecimiento, utilizando como modelo lo realizado en los ejemplos anteriores. Es conveniente que revise la publicación de la Organización Munidal de la Salud que aparece en el Texto de Apoyo en las lecturas correspondientes a la Unidad I. Objetivo General: Indicador Valor final del indicador DE EFECTO Escala: Criterios para asignar el valor Procedimiento de medición Objetivo Específico: Indicador DE EFECTO Valor final del indicador Criterios para asignar Procedimiento de el valor medición Escala: Actividad: Indicador Valor final del indicador INDICADORES Escala: DE PRODUCTOS 58 Criterios para asignar el valor Procedimiento de medición Texto Autoformativo: Unidad II INDICADORES Escala: DE PROCESOS INDICADORES DE COSTOS Escala: Recursos: Indicador IND. DE INSUMOS 2. Valor final del indicador Criterios para asignar el valor Procedimiento de medición Escala: Una vez realizada esta actividad individual reúnase con el equipo de gestión y desarrollen la Actividad Nº 2 de la Guía de Trabajos Aplicativos. 59 Supervisión, Monitoreo y Evaluación 2.3. SELECCIÓN DE INDICADORES PARA EL PSME Una vez construidos los indicadores el siguiente paso consiste en seleccionar los indicadores que van a ser incluidos en el Plan de Supervisión, Monitoreo y Evaluación. Es importante tener criterios para construir o seleccionar indicadores, debido a que se corre el riesgo de considerar indicadores difíciles de medir o de alto costo de medición. Los indicadores deben ser fáciles de obtener, deben existir fuentes de datos y la obtención de la información debe ser de bajo costo. Los indicadores llegan a ser problemáticos cuando no se pueden medir, cuando no se pueda recolectar información, que sea irrelevante para el objetivo, o que se realice una medición tan infrecuente que deje de ser útil. El Centro para el Desarrollo de Información y Evaluación de USAID y otros han sugerido muchos criterios para considerar en la selección de indicadores en el nivel del programa: 1. ¿Está el indicador orientado hacia los resultados y está en un nivel correcto? Es importante incluir un indicador que esté relacionado a los resultados esperados, apropiados a la escala de la intervención. Ejemplo, si la intención es reducir las enfermedades de transmisión sexual (ETS) en grupos con conductas sexuales de riesgo de una comunidad, utilizar como indicador la prevalencia de ETS de toda la comunidad, no sería el más conveniente, debido a que no mide el resultado del programa, la prevalencia de ETS en el grupo con conductas sexuales de riesgo sería el indicador más adecuado. 2. ¿Cuál es la disponibilidad de la información, con qué frecuencia y cuáles son las fuentes? y ¿cuál es la calidad de los datos? El esfuerzo debería estar dado en los indicadores de alta prioridad y con menos dificultades de medición. Naturalmente la prioridad debería estar dado por los indicadores basados en mediciones de calidad conocida. Por ejemplo, en un programa de planificación familiar es prioritario tener una medida de las tasas de discontinuación del uso de métodos anticonceptivos, debido a que se ha reportado que en el Perú más del 50% de las usuarias abandonan el método antes del año. Sin embargo, la medición de este indicador requiere de mayores recursos, más tiempo y de personal calificado para el análisis. 3. ¿Cuál es el grado de comparabilidad de los resultados del indicador? La comparabilidad es importante para tomar decisiones sobre la eficacia y efectividad de los programas y de los planes operativos, a nivel de redes y del nivel central. Por tanto, los criterios de medición y los instrumentos de recolección tienen que ser similares para poder comparar los resultados. Por ejemplo, si se reportan casos de ETS cuando cumplen los parámetros del diagnóstico sindrómico, los casos de ETS serán mayores en este establecimiento que en otro donde sólo consideren caso de ETS por diagnóstico de laboratorio. 4. ¿Cuál es la sensibilidad al cambio que tiene el indicador? Lo más importante de un indicador es que pueda medir el cambio que se produce por la intervención de un POI o un programa. Algunos indicadores requieren de poco tiempo 60 Texto Autoformativo: Unidad II para modificarse, y otros como cambios en la mortalidad materna son más difíciles, pero no deben ser abandonados para medir el efecto del POI. Sin embargo, el tiempo que dure en producirse un cambio del indicador tiene que estar acorde al tiempo en que va a durar la intervención y el tiempo en que se espera ver cambios. Paso 1: Identificar los tipos de datos y el tipo de recolección de datos necesarios para cada indicador. Para cada indicador seleccionado especifique la fuente necesaria para medir el indicador. Determine en cada caso si los datos existen en las estadísticas de servicio, encuestas u otros documentos, o si va a ser necesario colectar nuevos datos, mediante entrevistas con clientes, personal, grupos focales, encuestas de hogares. Ejemplo Indicador DE EFECTO Tasa de Mortalidad Infantil DE EFECTO Porcentaje de padres satisfechos con la atención en el Centro de Salud. INDICADORES DE PRODUCTOS Nº de acciones correctivas realizadas por el círculo de calidad. INDICADORES DE PROCESOS Razón de acciones correctivas/problemas detectados. Procedimiento de medición La mortalidad infantil se obtendrá de las partidas de defunción registrados en el año y los nacidos vivos se obtendrán de las partidas de nacimiento registrados en el año en Lurín. Para la medición del indicador se utilizará un cuestionario que contendrá preguntas sobre la calidad de atención, el cual será aplicado a una muestra representativa de los padres cada mes durante un año. Las acciones serán registradas en un cuaderno de incidencias, y serán presentadas en un plan de acciones. Se contarán los planes ejecutados mensualmente. Los problemas al igual que las acciones serán registrados en un cuaderno de incidencias. El conteo de los problemas detectados se realizará mensualmente. Los costos serán obtenidos en forma manual de los datos proporcionados por contabilidad. INDICADORES DE COSTOS Costo por acciones correctivas realizadas por el círculo de calidad. Se obtendrán reportes mensuaIND. DE INSUMOS Porcentaje del presupuesto les de los gastos realizados por gastado en medidas correc- cada acción correctiva realizada. tivas de calidad de atención realizadas Datos ya existen en el Servicio Requieren de información nueva ü ü ü ü ü ü 61 Supervisión, Monitoreo y Evaluación ACTIVIDAD Nº 3 Considerando el ejemplo anterior proceda a identificar los tipos de datos y el tipo de recolección de datos necesarios para cada indicador. Para lo cual le presentamos la siguiente matríz: INDICADOR DE EFECTO DE EFECTO INDICADORES DE PRODUCTO INDICADORES DE PROCESOS INDICADORES DE COSTOS IND. DE INSUMOS 62 Procedimiento de medición Datos ya existen en el Servicio Requieren de información nueva Texto Autoformativo: Unidad II Paso 2: Construir y completar la matriz de evaluación de indicadores Los indicadores identificados someterlos al siguiente juicio: Importancia del indicador para el programa ALTA IMPORTANCIA Recolección de datos Fácil A Alta prioridad BAJA IMPORTANCIA D La recolección es importante solo si parte del instrumento es para un indicador importante Requiere esfuerzo B Difícil C La información es La información es valiosa pero requiere valiosa pero requiere esfuerzo obtenerla esfuerzo obtenerla E La recolección sólo se hace si parte del instrumento es para otro indicador importante F Baja prioridad Ejemplo: INDICADORES INDICADORES DE EFECTO Tasa de Mortalidad Infantil DE LURÍN Tasa de Morbilidad Infantil DE LURÍN INDICADORES DE IMPACTO Tasa de Mortalidad infantil por infecciones intestinales. Tasa de Morbilidad infantil por infecciones intestinales. INDICADORES DE EFECTOS 1.1 Número de padres de familia informados y educados en prevenir infecciones intestinales. 1.2 Porcentaje de incremento de padres de familia informados y educados en prevenir enfermedades infecciosas intestinales. 2.1 Porcentaje de padres satisfechos con la atención en el Centro de Salud. INDICADORES DE PRODUCTOS 1.7 Nº de charlas educativas realizadas por promotor. 1.8 Nº de visitas domiciliarias realizadas por promotor. 1.9 Porcentaje de cumplimiento por promotor. 2.1 Nº de acciones correctivas realizadas por el círculo de calidad. 2.4 Nº de problemas detectados por el círculo de calidad. INDICADORES DE PROCESOS 1.5 Porcentaje de charlas con más de 10 personas. 1.6 Porcentaje de visitas domiciliarias donde se encontró a los padres y aceptaron la charla educativa. 2.1 Porcentaje de acciones correctivas efectivas. 2.4 Porcentaje de acciones correctivas realizadas INDICADORES DE COSTOS 1.9. Costo por charla educativa realizada. 1.10 Costo por visita domiciliaria efectuada. 1.11 Costo por visita domiciliaria efectiva. 1.12 Costo por charla educativa efectiva. 2.1 Costo por acciones correctivas realizadas por el círculo de calidad. 2.2 Costo por las acciones correctivas efectivas. INDICADORES DE INSUMOS 1.6 Porcentaje del presupuesto gastado en material de IEC. 1.7 Porcentaje de las visitas domiciliarias realizadas con los folletos. PRIORIDAD B B B B B B A A A A B B B B B B B B B B B B B B 63 Supervisión, Monitoreo y Evaluación ACTIVIDAD Nº 4 Construya y complete la matriz de evaluación de indicadores utilizando los indicadores que usted identificó, los someterá al siguiente juicio: Recolección de datos Importancia del indicador para el programa Fácil A ALTA IMPORTANCIA Alta prioridad BAJA IMPORTANCIA D La recolección se realiza si parte del instrumento es para otro indicador importante INDICADORES INDICADORES DE EFECTO INDICADORES DE IMPACTO INDICADORES DE EFECTOS INDICADORES DE PRODUCTOS INDICADORES DE PROCESOS INDICADORES DE COSTOS INDICADORES DE INSUMOS 64 Requiere esfuerzo B Valiosa recolección depende de los recursos E La recolección se realiza si parte del instrumento es para otro indicador importante Difícil C Valiosa recolección depende de los recursos F Baja prioridad PRIORIDAD Texto Autoformativo: Unidad II Paso3: Interprete los resultados de la matriz Dé importancia a los indicadores de alta prioridad y que pueden ser más fáciles de medir (ver celda A de la tabla). Dé baja prioridad a esos que son juzgados menos importantes y difíciles de medir (ver celda F de la tabla). Discutir las ventajas y desventajas del significado de los indicadores (Celdas B,C,D y E). Considere si los indicadores de las Celdas B y C versus D y E valen la pena la inversión. Ejemplo: En el caso del Centro de Salud Miguel Angel Honores pocos indicadores son importantes y fáciles de obtener, éstos se han clasificado en la categoría A. Los indicadores que tienen la categoría B son importantes para la evaluación, y su medición va a requerir un esfuerzo adicional que se refleja en tiempo y asignación de recursos para efectuar la evaluación, el monitoreo o la supervisión. En el caso de los indicadores de objetivos tienen una prioridad B, sin embargo, por ser los indicadores que van a demostrar el efecto e impacto del POI es que se acepta incluirlo en el PSME, teniendo en cuenta que la información del numerador no es del todo confiable, debido a que la fuente de la información no es completa. No todos los casos de mortalidad infantil son declarados, y no todas las partidas de defunción son llenadas correctamente. Los indicadores de los efectos en relación al número de padres informados y educados en prevenir infecciones intestinales serán obtenidos de un cuestionario que debe ser aplicado en la comunidad, se deben realizar esto por ser importante para demostrar el efecto del POI. El cuestionario puede ser realizado por los enfermeros del establecimiento de salud cada tres meses. Los indicadores de productos referidos al número de acciones correctivas realizadas y a los problemas detectados por el círculo de calidad tienen su dificultad en la medición debido a que es una actividad nueva de evaluación, sin embargo, son prioritarios para poder detectar problemas. 65 Supervisión, Monitoreo y Evaluación Los indicadores de procesos referidos al porcentaje de charlas con más de 10 personas, porcentaje de visitas domiciliarias efectivas, y porcentaje de acciones correctivas efectivas del círculo de calidad tienen categoría B, debido a que se requiere un esfuerzo de poder verificar la efectividad de las visitas domiciliarias y de las acciones correctivas, mediante llenado de fichas de monitoreo a cargo de los mismos promotores de salud y de los supervisores de campo que son el personal de enfermería. Los indicadores de costos en categoría B, se deben a que la fuente de datos de los costos no existe en la actualidad y esto significa realizar un cálculo de los costos directos e indirectos de cada actividad antes de realizar el monitoreo o evaluación. En relación a los indicadores de insumos, el porcentaje de presupuesto gastado en IEC requiere tener un reporte desagregado de los gastos realizados, sin embargo, es importante conocerlo, por lo que es incluido en el PSME. Paso 4: Agrupe los indicadores seleccionados por fuentes de datos, a fin de ver cuáles comparten la misma fuente. Ejemplo: En el Centro de Salud Miguel Angel Honores se agruparon los indicadores por fuente de información. FUENTE Cuestionario a hogares. Certificados de defunción. Partidas de nacimiento INDICADOR Porcentaje de padres informados y educados en prevenir infecciones intestinales. Tasa de mortalidad infantil. Tasa de mortalidad infantil por infecciones intestinales. Tasa de mortalidad infantil. Tasa de mortalidad infantil por infecciones intestinales. Cuestionarios de salida a usuarios del Porcentaje de padres de familia satisfechos con la atención. Centro de Salud Costo por charla educativa Informes económicos de Contabilidad Costo por visita domiciliaria Costo por acciones correctivas Porcentaje del presupuesto gastado en material de IEC Porcentaje de visitas domiciliarias realizadas con los folletos Número de acciones correctivas realizadas por el círculo de calidad Cuaderno de incidencias Número de problemas detectados por el círculo de calidad Porcentaje de acciones correctivas efectivas. Fichas de rendimiento y de actividades Número de charlas educativas por promotor realizadas por los promotores de salud Número de visitas domiciliarias por promotor Porcentaje de visitas domiciliarias efectivas Porcentaje de charlas efectivas 66 Texto Autoformativo: Unidad II ACTIVIDAD Nº 5 1. Priorice los indicadores por la importancia y la facilidad de obtención de datos, considerando la matriz de evaluación de indicadores. 2. Agrupe los indicadores seleccionados por fuentes de datos, a fin de ver cuáles comparten la misma fuente, según el ejemplo presupuesto. FUENTE 3. INDICADOR Luego de terminar reúnase con su equipo de gestión para desarrollar la Actividad Nº 3 de la Guía de Trabajos Aplicativos. 67 Supervisión, Monitoreo y Evaluación AUTOEVALUACIÓN DE LA UNIDAD II Ud. ha terminado de estudiar la presente unidad, lo invitamos a realizar la autoevaluación de los contenidos de esta unidad. 1. ¿Qué son los indicadores? a. Son variables numéricas que contienen un numerador y un denominador b. Son variables que sirven para medir los cambios c. Una medida que permite cerciorarnos si estamos o no logrando los objetivos propuestos. d. b y c son correctas 2. Los pasos para construir indicadores son: a. Determinar los valores finales del indicador, fijar criterios para asignar los valores e indicar el procedimiento de medición. b. Definir el efecto, identificar el indicador y operacionalizarlos. c. Seleccionar el objetivo, identificar el numerador y definir el denominador. d. Ninguna de las anteriores. 3. Sobre la evaluación del POI se puede afirmar: a. Se requieren indicadores de los objetivos y actividades, además de indicadores de calidad y calidad de estructura y de los productos/procesos de un establecimiento de salud. b. Sólo es necesario evaluar los objetivos y actividades propuestos en el POI. c. La supervisión, monitoreo y evaluación del POI es independiente de las actividades rutinarias del servicio de salud. d. Todas son correctas 4. De los siguientes indicadores anote cuáles son de efecto (E), de impacto (I), de producto (P) y de proceso (Proc) ( ) Número de charlas educativas sobre ETS ( ) Tasa de incidencia de malaria ( ) Eficiencia del tratamiento antituberculoso ( ) Tiempo de espera de los pacientes en el servicio de salud Clave de respuestas 1. D. 68 2.A. 3. A 4. P, E o I, E, Proc. Texto Autoformativo: Unidad II Criterios de evaluación Comprensión suficiente: 5 respuestas correctas Comprensión parcial: 4-3 respuestas correctas Comprensión insuficiente: 0-2 respuestas correctas En caso de tener una comprensión insuficiente o parcial, anote los puntos de mayor dificultad, y luego vuelva a revisar cuidadosamente los materiales del tópico, y si subsisten las dificultades, solicitar el apoyo del tutor local. En caso de persistir algunas dudas estas deberán ser expuestas y subsanadas en la actividad presencial. RESUMEN En la Unidad II, Ud. ha identificado los componentes que intervienen en el cumplimiento de un objetivo del Plan Operativo Institucional. En seguida se identificaron los indicadores de producto, efecto e insumos de los servicios que rutinariamente se realizan en el establecimiento de salud. Luego de identificar los indicadores del POI se procedió a seleccionar los indicadores que van a ser incluidos en el PSME basados en criterios de importancia y facilidad para obtener la información que permita medirlos. Una vez seleccionados los indicadores se puede desarrollar en las siguientes Unidades la metodología de supervisión, monitoreo y evaluación. El sub producto obtenido son la selección de los indicadores para el PSME. BIBLIOGRAFÍA 1. Navarro, Juan Carlos (1992). Evaluación de Programas de Salud y Toma de decisiones, OPS, Washington DC. 2. Bertrand J., Magnani R., Rutenberg N (1996). Evaluating Family Planning Programs. The evaluation Project , USAID. 3. Bertrand J., Tsui A (1995). Indicators for Reproductive Health Program Evaluation. The Evaluation Project. USAID, Washington. 4. Chassin M. Quality of Health Care-Improving the Quality of Care. N. England J. Medicine 1996; 335(14). 5. Torres W. Manual de Análisis y Uso de Información Gerencial en Salud. Grupo Quipus, DGI, 3ª ed. 1998. 6. Aga Khan University y col. Monitoreo y Evaluación de Programas, Módulo 5 Guía de Usuario. Ministerio de Salud, Programa de Fortalecimiento de Servicios de Salud, pp. 51-97. 69 Supervisión, Monitoreo y Evaluación 7. Testa Mario (1990). Pensamiento Estratégico y Lógica de Programación, Argentina: Lugar Editorial S.A. 8. Organización Mundial de la Salud (1981). Información Necesaria en Preparación de Indicadores para Vigilar los Progresos Realizados en el Logro de la Salud para Todos en el Año 2000, Serie Salud Para Todos Nº 4, Ginebra. 9. Booth J, Callaghan E. (1995). A working Guide for the Implementation of a Clinical Indicator Program, ACHS, Sydney. 10. Kazandjian V., Wood P., Lawthers J. Balancing Science and Practice in Indicator Development: The Maryland Hospital Association Quality Indicator Project, Int. Journal for Quality in Health Care, Vol 7, Nº 1, 1995, 39-46. 70 Unidad III Evaluación de Objetivos 71 Supervisión, Monitoreo y Evaluación 72 Texto Autoformativo UNIDAD III EVALUACIÓN DE OBJETIVOS OBJETIVOS ESPECÍFICOS Diseñar la evaluación de los objetivos A comparando los resultados con el estudio de la situación inicial. Al finalizar la presente unidad el participante estará en capacidad de: Diseñar la evaluación de objetivos B comparando con estándares o metas programadas. C Realizar el Plan de Evaluación de Los Objetivos del Plan Operativo. PRODUCTO PLAN DE EVALUACIÓN DE LOS OBJETIVOS CONTENIDOS CONTENIDOS 2.1. Indicadores de evaluación 3.1.¿Cómo La lógica causalindicadores? del Plan Operativo. 2.2. construir 2.3. de estructura, de proceso/producto y de 3.2.Indicadores Metodología de la evaluación de objetivos. resultados del POI A. Comparación con la situación inicial 2.4. Indicadores de monitoreo y supervisión los B. Comparación con un estándar dederendimiento servicios de un establecimiento de salud. 3.3. Matriz del Plan de Evaluación de Objetivos 2.5. Selección de indicadores para el PEMS LECTURAS SELECCIONADAS DEL TEXTO DE APOYO 1. García Núñez José. Estudiar la Muestra Evaluación de Programas de Planificación Familiar, Guía detallada para Administradores y Evaluadores. Profamilia, Bogotá 1995, p: 71-84. 2. Breihj J., García Núñez. Recolección de datos. Organización Panamericana de la Salud. 3. Fisher Andrew. Laing J. Stoecket J., Towsend J. Análisis de Datos, en Manual para el Diseño de Investigación Operativa en Planificación Familiar, U.S. Agency for International Development, Population Council, 2a. Ed. México 1995, p: 70-84. 73 Supervisión, Monitoreo y Evaluación 74 Texto Autoformativo: Unidad III UNIDAD III EVALUACIÓN DE OBJETIVOS 3.1. LA LÓGICA CAUSAL DEL PLAN OPERATIVO La lógica de la planificación consiste en que el Plan Operativo es una intervención que se propone para producir un cambio o un efecto en el establecimiento de salud o en la comunidad a la cual se atiende. Este efecto debe ser medido a fin de conocer si el plan está cumpliendo con sus objetivos, sin embargo el efecto no sólo depende del plan sino también de otros factores. Si no tenemos un nivel de comparación, por más que se cumplan las actividades como se habían planeado, no se podrá afirmar que el efecto se debe al Plan Operativo, por esta circunstancia lo ideal sería controlar los factores que pueden influir en los resultados o efectos esperados y que no tengan que ver con nuestro Plan Operativo. Idealmente se necesitaría anular todos los factores extraños al proyecto, sin embargo en la realidad esto no es posible. Por esta razón es que existen diferentes diseños metodológicos para medir el efecto de un Plan Operativo, que dependen principalmente del grado de control de las variables o factores extraños al proyecto. En la Fig. 3.1. se muestra la intervención de variables extrañas al Plan Operativo antes, durante y después de que se implemente el plan, y que los cambios en el efecto esperado sean afectados por estas variables o factores extraños. FIG. 3.1. FACTORES EXTRAÑOS QUE AFECTAN EL EFECTO ESPERADO POR LA INTERVENCIÓN CON EL PLAN OPERATIVO OBJETO DE INTERVENCIÓN FACTORES EXTRAÑOS QUE AFECTAN EL OBJETO DE INTERVENCIÓN PLAN OPERATIVO EFECTO ESPERADO EN EL OBJETO DE INTERVENCIÓN FACTORES EXTRAÑOS QUE AFECTAN LA INTERVENCIÓN Y EL OBJETO DE INTERVENCIÓN FACTORES EXTRAÑOS QUE AFECTAN EL OBJETO DE INTERVENCIÓN Y LA MEDICIÓN DE LOS EFECTOS Por consiguiente, la metodología de la evaluación tiene por objeto controlar estas variables extrañas, ya sea antes, durante o después de la intervención. 75 Supervisión, Monitoreo y Evaluación El control de las variables o factores extraños al proyecto antes de la intervención se realiza con el diseño metodológico, haciendo comparaciones con grupos similares donde uno recibe la intervención y el otro no, si la asignación de estos grupos es aleatoria entonces la comparación es de mejor calidad debido a que los grupos son equivalentes y las diferencias entre ellos sólo se deben al azar, y esto puede ser medido por las leyes de la probabilidad. Los factores extraños que afectan la intervención, por lo general impiden que se ejecuten las actividades tal como se habían planeado debido a situaciones que están fuera del control de los planificadores, se pueden controlar midiendo el efecto que podrían ocasionar en los resultados o monitorizando las actividades para su cabal cumplimiento. La medición de estos factores se puede realizar estadísticamente mediante curvas de control o series de tiempo, identificando el comportamiento del objeto de intervención en el tiempo que dura el plan. Las variables o factores extraños que afectan el objeto de estudio después de la intervención se pueden controlar con un diseño estadístico clasificando el objeto de estudio según los factores que se sospecha que lo afectan, a fin de determinar estadísticamente la magnitud o la asociación estadística de la intervención realizada cuando el factor extraño está presente y cuando está ausente. La influencia de factores extraños que están fuera del alcance del planificador y que afectan la medición del efecto debería ser contemplada en el momento de la planificación de la evaluación identificando la fuente y el instrumento de medición, para poder considerar el grado de compromiso en el efecto; este es un problema frecuente especialmente cuando se trata de registros de fuentes secundarias. La decisión de utilizar alguna metodología o técnica para evaluar objetivos, depende principalmente de: 1) si se va a comparar los productos en grupos de individuos bajo una misma intervención, con grupo control (EVALUACIÓN DEL IMPACTO) o 2) si se va a comparar los efectos con la variable del efecto antes de la intervención o con un estándar (EVALUACIÓN DE EFECTOS). Mientras en el primer grupo lo que interesa es evaluar el IMPACTO de un Programa, en el segundo grupo se evalúa para determinar en cuánto se han cumplido los objetivos comparados con un estándar, una meta o una información inicial. Con fines prácticos y para el desarrollo del presente módulo se desarrollarán dos modelos factibles de realizar en el nivel de los establecimientos de salud: A) Comparación con la situación inicial, B) Comparación con un estándar de rendimiento. 76 Texto Autoformativo: Unidad III 3.2. METODOLOGÍA DE LA EVALUACIÓN DE LOS OBJETIVOS DEL PLAN OPERATIVO FIG. 3.2. METODOLOGÍA DE LA EVALUACIÓN DEL OBJETIVO GENERAL Y DE LOS OBJETIVOS ESPECÍFICOS OBJETIVO GENERAL OBJETIVO ESPECÍFICOS EVALUACIÓN DE IMPACTO Comparación con la Situación Inicial EVALUACIÓN DE EFECTO Comparación con la Situación Inicial Comparación con un estándar EVALUACIÓN DE EFECTO Comparación con la Situación Inicial Comparación con un estándar de rendimiento Esta evaluación se utiliza para medir los logros del Plan Operativo. La evaluación sumativa nos ayuda a responder la pregunta ¿Cuán bien lo hemos hecho? Por lo general, se realiza hacia el final del período del programa o de una etapa determinada del mismo. La medición del éxito del programa se realiza comparando lo que se ha hecho, con un estándar (patrón o medida) de excelencia previamente establecido. De ahí nuestra insistencia en la necesidad de incluir en los objetivos, un indicador de evaluación que nos permita constatar si hemos logrado el objetivo propuesto. El principal estándar para la evaluación está dado por los objetivos. Otro estándar útil, es comparar la situación al terminar el período del Plan Operativo con la existente antes de comenzar su ejecución. De ahí la importancia de realizar el diagnóstico de la situación. En el caso del Plan Operativo la situación inicial se encuentra en el problema priorizado y en los nudos críticos que deberían ser precisados en el estudio de la situación inicial a fin de cuantificar su magnitud. Si la comparación de ambas situaciones muestra un mejoramiento, entonces hay razón para asumir que el Plan Operativo ha tenido éxito. Si por el contrario la situación problemática no ha cambiado, tendremos que revisar lo realizado partiendo del primer paso del proceso de planeamiento. 77 Supervisión, Monitoreo y Evaluación A. Comparación con la situación inicial Consiste en desarrollar un estudio inicial de la situación que se pretende cambiar y luego medir el efecto que se producirá luego de la ejecución del Plan Operativo para comparar con la situación inicial (Fig. 3.3.). FIG. 3.3. EVALUACIÓN DE OBJETIVOS COMPARANDO CON LA SITUACIÓN INICIAL EVALUACIÓN DE LA SITUACIÓN INICIAL MEDICIÓN DEL EFECTO DEL PLAN OPERATIVO COMPARACIÓN DEL EFECTO CON LA SITUACIÓN INICIAL La evaluación de la situación inicial se realiza luego de tener el Plan Operativo, en consecuencia debe estar descrito y programado en el Plan de Evaluación. El problema priorizado fue: EJEMPLO: OBJETIVO ESPECÍFICO Incrementar en un 80% las actividades preventivo promocionales sobre enfermedades infecciosas intestinales en la comunidad de Lurín en un período de 6 meses INDICADOR DE EFECTO Porcentaje de incremento de padres de familia informados y educados en prevenir enfermedades infecciosas intestinales METODOLOGÍA COMPARACIÓN CON LA SITUACIÓN INICIAL ESTUDIO DE LA SITUACIÓN INICIAL (ESI) Determinar el porcentaje de padres de familia informados y educados en prevenir enfermedades infecciosas intestinales antes de comenzar a ejecutar el Plan Operativo MEDIR EL EFECTO DEL PLAN OPERATIVO Determinar el porcentaje de padres de familia informados y educados en prevenir enfermedades infecciosas intestinales después de ejecutar el Plan Operativo COMPARAR EL EFECTO CON LA SITUACIÓN INICIAL Calcular porcentaje de incremento de padres de familia informados y educados en prevenir enfermedades intestinales % padres informados y educados en EII al final del POI- % padres de la situación inicial 78 Texto Autoformativo: Unidad III Los resultados de esta evaluación permiten tomar decisiones, si los resultados no demuestran un cambio significativo, entonces se deberían evaluar con más detenimiento las actividades, a fin de poder identificar aquellas que no se han cumplido a cabalidad, o la necesidad de incorporar o cambiar actividades por otras más eficaces que permitan lograr el efecto esperado. A continuación se presenta un ejercicio para realizar una evaluación de objetivos con la comparación con la situación inicial, y de los parámetros que se tienen que tener en cuenta antes de decidir evaluar los objetivos con un estudio de la situación inicial (ESI). 79 Supervisión, Monitoreo y Evaluación EJERCICIO Nº 1 Basado en el ejemplo anterior elija un objetivo específico de su POI, identifique el indicador de efecto, describa en forma general en qué va a consistir el estudio de la situación inicial, cómo va a medir el efecto del Plan Operativo, y cómo va a comparar con el estudio de la situación inicial. En cada celda que a continuación se presenta escriba lo que corresponda. ESCRIBA EL OBJETIVO ESPECÍFICO ESCRIBA EL INDICADOR DE EFECTO METODOLOGÍA COMPARACIÓN CON LA SITUACIÓN INICIAL DESCRIBA BREVEMENTE EL ESTUDIO DE LA SITUACIÓN INICIAL (ESI) INDIQUE CÓMO VA A MEDIR EL EFECTO DEL PLAN OPERATIVO INDIQUE CÓMO VA A COMPARAR EL EFECTO CON LA SITUACIÓN INICIAL 80 Texto Autoformativo: Unidad III ¿Cómo realizar el Estudio de la Situación Inicial (ESI)? 1. Definir lo que se quiere medir: la operacionalización del indicador de efecto del objetivo es el que se debe medir antes de ejecutar el Plan Operativo. 2. Definir el objeto o sujeto en el que se pretende producir un cambio: se debe conocer el tamaño y las características del objeto o sujeto de cambio que se beneficiará de las acciones del Plan Operativo. 3. Definir en quiénes se va a medir el indicador de efecto: indicar si se va a medir en todos los objetos o sujetos objetivo del Plan Operativo, o si se va a tomar una muestra representativa de los mismos. 4. Indicar la fuente de dónde se va a obtener la información para medir el indicador. 5. Describir las técnicas e instrumentos que se van a utilizar para recolectar los datos que va a medir el indicador. 6. Describir el análisis que se realizará para comparar la situación inicial con los resultados obtenidos al final del POI. 7. Indicar los responsables de la evaluación. 8. Presentar el cronograma de ejecución del ESI. Ejemplo: Continuando con el ejemplo anterior se planifica el Estudio de Situación Inicial en los siguientes esquemas: 81 Supervisión, Monitoreo y Evaluación 1. DEFINIR LO QUE SE QUIERE MEDIR Se expresará el nivel de información de los padres de familia en prevenir enfermedades infecciosas intestinales en porcentaje de padres bien informados en relación al total de padres entrevistados, se considerará bien informado cuando el padre responda por lo menos a 8 de 10 preguntas de un cuestionario preparado y validado para tal fin. 2. DEFINIR EL OBJETO O SUJETO EN EL QUE SE PRETENDE PRODUCIR UN CAMBIO Los padres a los que se dirigirán las actividades educativas serán aquellos que viven en Lurín y que tienen niños menores de 5 años. En Lurín según el censo poblacional hay 215 padres de familia (madres y padres) con hijos menores de 5 años. A todos los padres se les impartirán actividades educativas sobre prevención de enfermedades infecciosas intestinales. Antes del proyecto se van a entrevistar a todos los padres y se evaluará el nivel de información que tienen antes de realizar las actividades del POI. 3. DEFINIR EN QUIENES SE VA A MEDIR EL INDICADOR DE EFECTO Todos los padres de Lurín que tienen hijos menores de 5 años serán entrevistados a fin de evaluar el nivel de información sobre enfermedades infecciosas intestinales. 4. INDICAR LA FUENTE DE DONDE SE VA A OBTENER LA INFORMACIÓN PARA MEDIR EL INDICADOR La información para medir el indicador se va a obtener de la entrevista con los padres de familia. 5. DESCRIBIR LAS TÉCNICAS E INSTRUMENTOS QUE SE VAN A UTILIZAR PARA RECOLECTAR LOS DATOS QUE MEDIRÁN EL INDICADOR Se utilizará una técnica cuantitativa mediante el uso de un cuestionario de 10 preguntas, que tienen que ver con conocimiento sobre signos de alarma para detectar riesgo de muerte por infecciones intestinales, sobre factores de riesgo para que los niños menores de 5 años presenten infecciones intestinales, y sobre medidas preventivas de infecciones intestinales, y acciones apropiadas para manejar los casos de infecciones intestinales en sus hijos. El cuestionario será diferente al de la situación inicial, pero sobre los mismos temas. 6. DESCRIBIR EL ANÁLISIS QUE SE REALIZARÁ PARA COMPARAR LA SITUACIÓN INICIAL CON LOS RESULTADOS OBTENIDOS AL FINAL DEL POI Se restará el porcentaje de padres que contestaron correctamente más de 8 preguntas del cuestionario de 10 preguntas al final del Plan Operativo menos las respuestas de los padres que contestaron más de 8 preguntas del cuestionario en el estudio de la situación inicial. 7. INDICAR LOS RESPONSABLES DE LA EVALUACIÓN Los responsables de la evaluación son los miembros del equipo de gestión. 8. PRESENTAR EL CRONOGRAMA DE EJECUCIÓN DEL ESI La recolección de datos se realizará durante el mes anterior a la ejecución del Plan Operativo, el análisis y la presentación de los resultados se presentarán durante el primer mes de ejecución del POI. 82 Texto Autoformativo: Unidad III ACTIVIDAD Nº 1 1. Continuando con el ejercicio, con el fin de adiestrarse en el planeamiento de un estudio de situación inicial. Planifique con más detalle el ESI propuesto en el ejercicio anterior. Para desarrollar este ejercicio es necesario que consulte la Bibliografía del Texto de Apoyo sobre Recolección de Datos; si es que se propone estudiar el indicador en una muestra de la población, sujeto de intervención, deberá leer el texto de García-Nuñez sobre Estudiar la Muestra; y para indicar el análisis de los datos puede leer el texto de Fisher y col. Siguiendo el ejemplo anterior, proceda a llenar las celdas que corresponden al planeamiento de un estudio de situación inicial para evaluar el objetivo que seleccionó. 2. Al finalizar reúnase con su equipo y desarrolle la Actividad Nº 1 de la Guía de trabajos aplicativos. 1. DEFINIR LO QUE SE QUIERE MEDIR 2. DEFINIR EL OBJETO O SUJETO EN EL QUE SE PRETENDE PRODUCIR UN CAMBIO 3. DEFINIR EN QUIENES SE VA A MEDIR EL INDICADOR DE EFECTO 4. INDICAR LA FUENTE DE DONDE SE VA A OBTENER LA INFORMACIÓN PARA MEDIR EL INDICADOR 5. DESCRIBIR LAS TÉCNICAS E INSTRUMENTOS QUE SE VAN A UTILIZAR PARA RECOLECTAR LOS DATOS QUE MEDIRAN EL INDICADOR 6. DESCRIBIR EL ANÁLISIS QUE SE REALIZARÁ PARA COMPARAR LA SITUACIÓN INICIAL CON LOS RESULTADOS OBTENIDOS AL FINAL DEL POI 7. INDICAR LOS RESPONSABLES DE LA EVALUACIÓN 8. PRESENTAR EL CRONOGRAMA DE EJECUCIÓN DEL ESI 83 Supervisión, Monitoreo y Evaluación B. Comparación con un estándar de rendimiento Consiste en establecer estándares de rendimiento para cada indicador de efecto de los objetivos propuestos en el POI. El estándar de rendimiento permite comparar con los resultados al final del Plan Operativo y determinar si las actividades implementadas han tenido resultados exitosos y efectivos. Un estándar de rendimiento es usualmente cuantificado. Por ejemplo, suponga que el objetivo es que la población utilice letrinas, y se selecciona el indicador % de hogares que usan letrinas, entonces para determinar el estándar se debe responder a la pregunta ¿Qué porcentaje de hogares deberán utilizar letrinas al final del Plan Operativo?, y se asume que sólo se puede decir que los resultados fueron aceptables si se cumple con este estándar de rendimiento. Estos estándares son los denominadores en el cálculo del rendimiento. Un indicador comprende un numerador (que se logró o el rendimiento real) y un denominador (el rendimiento planificado). Por ejemplo: % de hogares que usan letrinas ( 35%) % de hogares que usan letrinas planificados (50%) __ x100 = 70% de rendimiento El resultado muestra que el POI cumple con el 70% de su objetivo, asimismo, muestra que la cobertura real fue 35% ó 15% por debajo de la meta. ¿Cómo construir los estándares de rendimiento? La fijación del estándar depende de los recursos disponibles, de los antecedentes, de la implementación de nuevas estrategias, de la capacidad instalada, del apoyo de otros sectores, de decisiones políticas, de intereses nacionales, de la magnitud de las necesidades locales, de normas nacionales o institucionales. Para construir un estándar de rendimiento se recomienda tomar en cuenta lo siguiente: 84 1. Definir el indicador que se quiere medir: la operacionalización del indicador de efecto del objetivo es el que se debe utilizar para determinar el estándar. 2. Establecer los estándares de rendimiento para cada indicador, basado en la siguiente información: Revisar información de documentos del establecimiento de salud, del Ministerio de Salud y otros, sobre resultados anteriores referidos al objetivo que se propone alcanzar con el POI. Revisar los recursos disponibles para la ejecución del Plan Operativo y el tiempo del personal destinado a las actividades que permitirán alcanzar el objetivo. Revisar el análisis de la oferta y la demanda, así como el análisis FODA realizado en el POI a fin de identificar situaciones que favorezcan o impidan el cumplimiento del objetivo. Revisar si hay metas nacionales o institucionales a fin de determinar en cuanto va a contribuir el POI a esas metas. Revisar las metas o estándares si es que existían anteriormente a fin de reajustarlas en función de las necesidades o de los recursos. Texto Autoformativo: Unidad III 3. Establecer el estándar numéricamente. 4. Definir en quienes se va a medir el indicador de efecto: Definir el objeto o sujeto en el que se pretende producir un cambio (se debe conocer el tamaño y las características del objeto o sujeto de cambio que se beneficiará del las acciones del Plan Operativo), luego indicar si se va a medir en todos los objetos o sujetos objetivo del Plan Operativo, o si se va a tomar una muestra representativa de los mismos. 5. Indicar la fuente de donde se va a obtener la información para medir el indicador. 6. Describir las técnicas e instrumentos que se van a utilizar para recolectar los datos que va a medir el indicador. 7. Describir el cálculo que se realizará para determinar el rendimiento. 8. Indicar los responsables de la evaluación. 9. Indicar la frecuencia con que se va a recopilar información sobre los indicadores de rendimiento, en el caso del objetivo general siempre es al final del POI. Ejemplo: en el siguiente esquema se muestra un ejemplo que utilizará la evaluación con un estándar de rendimiento. El objetivo es de promover el uso de letrinas en los hogares que tienen niños menores de cinco años en Lurín. 85 Supervisión, Monitoreo y Evaluación 1. DEFINIR LO QUE SE QUIERE MEDIR La magnitud del uso de letrinas por los hogares que tienen niños menores de 5 años, el porcentaje de hogares que usan sobre el total de hogares que tienen niños menores de 5 años, se considerará que los hogares usan letrinas cuando se compruebe en las visitas domiciliarias que las letrinas fueron construidas y que son utilizadas por los miembros de la familia. a) b) c) d) 2. ESTABLECER LOS ESTÁNDARES DE RENDIMIENTO PARA CADA INDICADOR Basado en los antecedentes de la localidad de Lurín sólo el 10% de la población utiliza letrinas. Los recursos disponibles para el cumplimiento de este objetivo en el POI, permite construir 100 letrinas en hogares con niños menores de cinco años. En la Dirección de Salud se ha propuesto que todos los hogares con niños menores de cinco años deben tener letrinas o servicio de alcantarillado. Anteriormente no existían metas o estándares sobre el porcentaje hogares que utilizan letrinas. 3. ESTABLECER EL ESTÁNDAR DE RENDIMIENTO NUMÉRICAMENTE: EL 50% DE LOS HOGARES DEBEN UTILIZAR LETRINAS AL FINAL DEL POI 4. DEFINIR EN QUIENES SE VA A MEDIR EL INDICADOR DE EFECTO En todos los hogares que se va a construir letrinas y que tienen niños menores de 5 años de Lurín 5. INDICAR LA FUENTE DE DONDE SE VA A OBTENER LA INFORMACIÓN PARA MEDIR EL INDICADOR La información para medir el indicador se va a obtener de las visitas domiciliarias a los hogares en las que se ha programado construir letrinas 6. DESCRIBIR LAS TÉCNICAS E INSTRUMENTOS QUE SE VAN A UTILIZAR PARA RECOLECTAR LOS DATOS QUE MEDIRÁ EL INDICADOR Se utilizará una cualitativa mediante el uso de una guía de observación para las visitas domiciliarias que considera, la existencia de la letrina, el estado funcional de las letrinas, y evidencias de uso de las letrinas por los miembros del hogar. Las visitas domiciliarias estarán a cargo del promotor de salud 7. DESCRIBIR EL CÁLCULO QUE SE REALIZARÁ PARA DETERMINAR EL RENDIMIENTO El rendimiento será obtenido de dividir el porcentaje de hogares que utilizaron las letrinas entre el porcentaje de hogares programados, multiplicado por 100 8. INDICAR LOS RESPONSABLES DE LA EVALUACIÓN Los responsables de la evaluación son los miembros del equipo de gestión 9. INDICAR LA FRECUENCIA DE RECOLECCIÓN DE INFORMACIÓN SOBRE LOS INDICADORES DE RENDIMIENTO La recolección de datos se realizará trimestralmente 86 Texto Autoformativo: Unidad III ACTIVIDAD Nº 2 En los siguientes esquemas diseñe la evaluación de objetivos utilizando estándares de rendimiento, para lo cual utilice el mismo esquema que se presentó en el ejemplo anterior. Seleccione otro objetivo específico de su Plan Operativo individual. Al finalizar reúnase con su equipo de gestión para desarrollar la Actividad Nº 2 de la Guía de Trabajos Aplicativos. OBJETIVO: 1. DEFINIR LO QUE SE QUIERE MEDIR 2. ESTABLECER LOS ESTÁNDARES DE RENDIMIENTO PARA CADA INDICADOR 3. ESTABLECER EL ESTÁNDAR DE RENDIMIENTO NUMÉRICAMENTE: 4. DEFINIR EN QUIENES SE VA A MEDIR EL INDICADOR DE EFECTO 5. INDICAR LA FUENTE DE DONDE SE VA A OBTENER LA INFORMACIÓN PARA MEDIR EL INDICADOR 6. DESCRIBIR LAS TÉCNICAS E INSTRUMENTOS QUE SE UTILIZARÁN PARA RECOLECTAR LOS DATOS QUE VA A MEDIR EL INDICADOR 7. DESCRIBIR EL CÁLCULO QUE SE REALIZARÁ PARA DETERMINAR EL RENDIMIENTO 8. INDICAR LOS RESPONSABLES DE LA EVALUACIÓN 9. INDICAR LA FRECUENCIA CON QUE SE VA A RECOPILAR INFORMACIÓN SOBRE LOS INDICADORES DE RENDIMIENTO 87 Supervisión, Monitoreo y Evaluación 3.3. MATRIZ DEL PLAN DE EVALUACIÓN DE OBJETIVOS Continuando con la elaboración del Plan de Evaluación en este caso se completará la Matriz 3.1. para evaluar los Objetivos en la cual se debe detallar el procedimiento metodológico a emplear para evaluar el objetivo general y los objetivos específicos. En la matriz se añade lo siguiente: Componente del Plan Operativo: se refiere a los objetivos, tanto general como específicos del POI. Indicadores: se refiere a los indicadores seleccionados para medir el efecto de los objetivos. Metodología: se debe indicar si se va a utilizar un estudio de la situación inicial o estándares de rendimiento para evaluar los objetivos. Parámetro de comparación: En el caso de realizar un ESI se coloca los datos que se obtendrán del ESI, y si se trata de la evaluación por estándares de rendimiento se debe colocar en la columna correspondiente el estándar numérico establecido luego del análisis correspondiente (según el paso dos de la evaluación por estándares). Sujetos de estudio: se necesita indicar cuál es el grupo de sujetos en quienes se va a medir el efecto, puede ser la totalidad o una muestra. Tienen que ser especificados el tamaño de la muestra y los criterios de selección (Ver lectura en Texto de Apoyo sobre Muestreo). Fuente: se debe indicar la fuente de información de donde se van a obtener los datos sobre el indicador del efecto o impacto, pueden ser primarias cuando se obtiene directamente de los usuarios, o secundarios cuando se obtienen de registros estadísticos, historias clínicas u otros. Instrumentos: se debe indicar el instrumento que se va a utilizar para recolectar la información sobre el indicador del efecto, así como la periodicidad de recolección (ver recolección de datos en el texto de apoyo). Cálculo de la comparación: se debe indicar el cálculo de comparación entre los resultados y lo encontrado en la situación inicial o con el estándar de rendimiento programado. Responsable: anotar la persona o el equipo que será responsable de efectuar la evaluación de cada objetivo. Frecuencia: indicar la frecuencia con que van a realizar la recolección de información y la cronogramación en el caso de realizar un ESI. 88 MATRIZ 3.1. PLAN DE EVALUACIÓN DE LOS OBJETIVOS DEL PLAN OPERATIVO Establecimiento de Salud: Miguel Angel Honores de Lurín Técnicas e Cálculo de Responsable comparación y frecuencia Instrumentos Indicadores Tipo de evaluación (Qué evaluar) Metodología Parámetro de comparación Sujetos de estudio Estándar de ESI rendimiento OBJETIVO GENERAL Disminuir la morbimortalidad de la población infantil de la comunidad de Lurín mediante actividades preventivo promocionales y mejorar la calidad de atención de los Centros de Salud de la zona en un periodo de 2 años INDICADORES DE IMPACTO Tasa de mortalidad infantil por infecciones intestinales. EVALUACIÓN DEL EFECTO Comparación con el Estudio de Situación Inicial y con un estándar de rendimiento Los resultados del ESI realizadas antes de ejecutar el POI determinarán la tasa de mortalidad infantil por infecciones intestinales Reducir en 10% la tasa de mortalidad infantil por infecciones intestinales. Todos los niños menores de un año que murieron por infecciones intestinales en Lurín y que fueron registrados cada mes. Registro Ficha de de Mor- recolección talidad mensual infantil en la Municipalidad de Lurín y en el Centro de Salud OBJETIVOS ESPECÍFICOS Incrementar en un 80% las actividades preventivopromocionales sobre enfermedades infecciosas intestinales en la comunidad de Lurín en un período de 6 meses. INDICADORES DE EFECTO EVALUACIÓN DE LOS EFECTOS Comparación con un estándar de rendimiento No corresponde 80% de padres bien informados sobre infecciones intestinales Todos los padres con hijos menores de 5 años de Lurín Primaria. Entrevistas a los padres atendidos Porcentaje de padres de familia bien informados en prevenir enfermedades infecciosas intestinales. Fuente Cuestionario sobre conocimientos de infecciones intestinales Tasa de mortalidad obtenida al final del POI menos la tasa de mortalidad determinada al inicio del POI El equipo de gestión % de padres bien informados sobre % de padres que deberían estar informados por cien. Equipo de gestión Al final del POI Introducción Componente del Plan Operativo Se recolectará información cada seis meses 89 ACTIVIDAD Nº 3 1. Utilizando la información de su trabajo individual, proceda a elaborar el Plan de Evaluación de sus objetivos generales y específicos según la Matriz 3.1. en la siguiente matriz. Establecimiento de salud: Componente del Plan Operativo Indicadores OBJETIVO GENERAL INDICADORES DE IMPACTO OBJETIVOS ESPECÍFICOS INDICADORES DE EFECTO 2. Tipo de evaluación (Qué evaluar) Metodología Parámetro de comparación Sujetos de Fuente Técnicas e Cálculo de Responsable Instrumentos comparación y frecuencia estudio Estándar de ESI rendimiento EVALUACIÓN DEL IMPACTO EVALUACIÓN DE LOS EFECTOS Una vez concluida esta Actividad reúnase con el equipo de gestión y realice la actividad Nº 3 de la Guía de Trabajos Aplicativos. Texto Autoformativo: Unidad III AUTOEVALUACIÓN DE LA UNIDAD III Ud. ha terminado de estudiar la presente unidad, lo invitamos a realizar la autoevaluación de los contenidos de esta unidad. 1. En relación a la evaluación de objetivos, de las siguientes afirmaciones marque verdadero o falso según corresponda: ( ) La evaluación de resultados se realiza cuando se termina de ejecutar un POI, se termina una etapa del POI o se termina alguna actividad. ( ) El estudio de la situación inicial se realiza al inicio del Plan Operativo. ( ) La evaluación por estándares de rendimiento se realiza después de haber realizado el POI. ( ) La evaluación por estándares de rendimiento se pueden combinar con evaluaciones que comparen con la situación inicial. ( ) El diseño ideal para evaluar el impacto del objetivo general es el experimental. 2. La evaluación de objetivos se realiza para: a. Conocer si el programa cumplió con sus actividades b. Evaluar para mejorar la calidad de atención, mejorar los procesos y probar nuevos procedimientos y tecnologías c. Reajustar los objetivos y las metas programadas del POI d. Determinar el efecto del POI 3. La evaluación por comparación con la situación inicial permite conocer: a. Cómo se han efectuado las actividades del programa y los resultados programáticos logrados b. Los efectos producidos por el POI c. Las metas del POI d. La demanda del cliente, las actitudes y capacidad técnica del proveedor de servicios, y los problemas que afectan la ejecución del POI. 4. Es una técnica que permite evaluar los resultados de un POI con la participación de personas representativas de los beneficiarios de alguna intervención, en la cual se discute si el POI ha alcanzado sus objetivos: a. Entrevista estructurada b. Grupos focales c. Observación directa d. Análisis de contenido 91 Supervisión, Monitoreo y Evaluación 5. La medición del indicador del efecto del POI se realiza con: a. Encuestas b. Guías de observación c. Grupos focales d. Todas las anteriores Clave de respuestas 1. V,V,F,V,V 2. D 3. B 4. B 5. D Criterios de evaluación Comprensión suficiente: 5 respuestas correctas Comprensión parcial: 4-3 respuestas correctas Comprensión insuficiente: 0-2 respuestas correctas En caso de tener una comprensión insuficiente o parcial, anote los puntos de mayor dificultad, y luego vuelva a revisar cuidadosamente los materiales del tópico y si subsisten las dificultades, solicitar el apoyo del tutor local. En caso de persistir algunas dudas, éstas deberán ser expuestas y subsanadas en la actividad presencial. RESUMEN En la Unidad III, Ud. ha desarrollado las actividades individuales y ha estudiado la metodología de las evaluaciones de objetivos con el fin de que pueda Ud. elaborar el Plan de Evaluación. Se ha revisado la metodología para evaluar los objetivos según la lógica causal, en donde el POI es la causa que espera obtener un resultado, para lo cual se presentaron dos metodologías: 1) Comparación con la situación inicial y 2) Comparación con estándares de rendimiento Cada objetivo del POI requiere tener un parámetro de comparación y puede ser mediante un estudio de la situación inicial o estableciendo estándares de rendimiento o metas programadas que se esperan obtener cuando se concluya el POI. El subproducto obtenido es el Plan de Evaluación de los Objetivos utilizando una matriz que considera el qué, cómo, quién y cuándo realizar la evaluación. BIBLIOGRAFÍA 92 1. Navarro, Juan Carlos (1992). Evaluación de Programas de Salud y Toma de decisiones. OPS, Washington DC. 2. Velásquez, Anibal (1997). Manual de Evaluación Estratégica de Programas de Salud. INPPARES, Lima. 3. García Núñez J. Evaluación de Programas de Planificación Familiar. Guía detallada para Administradores y Evaluadores. Profamilia, Bogotá, 1995. 4. Organización Panamericana de la Salud. Evaluación para el Planeamiento de Programas de Educación para la Salud. Guía para técnicos medios y auxiliares, Washington DC, 1990. Texto Autoformativo: Unidad III 5. Bertrand J., Magnani R., Rutenberg N (1996). Evaluating Family Planning Programs. The evaluation Project , USAID. 6. Aga Khan University, Fundación Aga Khan, Aga Khan Health Services, University Research Corporation Center of Human Services. Monitoreo y evaluación de programas. Módulo 5. Guía de usuario. Editado por el Programa de Fortalecimiento del MINSA. 7. Torres W. Manual de Análisis y uso de información gerencial en salud. DGI Grupo Quipus. 3ª ed. 8. Pavon H. Evaluación de Servicios de Salud. Fondo de Investigaciones. Centro de Apoyo para el desarrollo de la Salud. Universidad del Valle, Cali, 1985. 93 Supervisión, Monitoreo y Evaluación 94 Unidad IV Monitoreo del Plan Operativo 95 Supervisión, Monitoreo y Evaluación 96 Texto Autoformativo UNIDAD IV MONITOREO DEL PLAN OPERATIVO A OBJETIVOS ESPECÍFICOS Exponer los fundamentos del Monitoreo Identificar los proceso del estableB cimiento susceptibles de ser monitoreados Al finalizar la presente unidad el participante estará en capacidad de: C Planificar el Monitoreo de servicios de salud PRODUCTO MATRIZ DE MONITOREO DEL PLAN OPERATIVO CONTENIDOS CO NTENIDO S 2.1. Indicadores de evaluación 4.1 El Monitoreo 2.2. ¿Cómo construir indicadores? 4.2 Identificación de las Actividades a Monitorear 2.3. Indicadores de estructura, de proceso/producto y de 4.3 Establecer la meta o indicador estándar de rendimiento resultados del POI 4.4 Diseño y manejo de sistemas de información a nivel local 2.4. Indicadores de monitoreo y supervisión de los 4.5 Técnicas de observación a utilizar en las actividades de servicios de un establecimiento de salud. Monitoreo. 2.5. Selección de indicadores para el PEMS 4.6 Matriz del Plan de Monitoreo LECTURAS SELECCIONADAS DEL TEXTO DE APOYO 1. 2. 3. Cómo dirigir exitosamente equipos de trabajo. Establezca puntos de control. Randolph W. Y. Posner B. Estrategia y Sistema de Información. Andreu R, Ricart J. Y Valor Ilustre graficamente el programa de trabajo. Randolph, Posner 97 Supervisión, Monitoreo y Evaluación 98 Texto Autoformativo: Unidad IV UNIDAD IV MONITOREO DEL PLAN OPERATIVO 4.1. EL MONITOREO El Monitoreo como una actividad permanente de la actividad individual y de los servicios El Monitoreo es una de las actividades cotidianas que realizamos los profesionales de la salud. En la gestión de los servicios se realizan cotidianamente numerosas actividades de Monitoreo. Un ejemplo clásico es el uso de la curva o canal endémico, un instrumento que nos permite observar el comportamiento semanal de una enfermedad, y en función de éste, determinar si existe propagación activa de un daño y de acuerdo a ello, tomar la decisión de realizar una acción preventiva o no. La notificación semanal que hace el establecimiento de enfermedades de notificación obligatoria e inmediata, a través de la Red Nacional de Epidemiología, es otro ejemplo de una típica actividad de Monitoreo. Otro ejemplo, lo constituyen la emisión de los consolidados periódicos del sistema de información HIS, con el cual podemos observar las características de la demanda de los diversos servicios del establecimiento, así como los informes que cada cierto tiempo se envían a los programas a nivel subregional o central. Si analizamos los ejemplos anteriores encontramos un común denominador caracterizado por: Existencia de una tarea concreta o situación problemática a la cual debemos de dar una solución inmediata. La tarea o situación problemática en mención es compleja y dinámica, y se realiza en un contexto cambiante y frente a ello es necesario introducir sistemáticamente ajustes a nuestra acciones para lograr el cumplimiento óptimo de nuestros objetivos. Para saber cuando es necesario tomar acciones, se deben realizar continuamente observaciones periódicas con una sistemática que nos garantice la producción de los mejores elementos de juicio posibles. En resumen podemos concluir: El Monitoreo es un proceso de control gerencial destinado a observar sistemáticamente un conjunto de procesos de la gestión, con el fin de hacer los ajustes necesarios en las actividades y estrategias con el próposito de cumplir de manera óptima los objetivos de la gestión, expresados en el Plan Operativo, con un manejo adecuado de los recursos humanos, tecnológicos y financieros. 99 Supervisión, Monitoreo y Evaluación 4.1.1. El Monitoreo con enfoque estratégico El Monitoreo con enfoque estratégico trata de superar una visión pasiva y burocrática de esta actividad y se caracteriza por: 1. Ser un instrumento de información para poder implementar una dirección estratégica del establecimiento de salud y ser el generador de las informaciones más próximas al gerente del establecimiento de salud. 2. Proveer información para los procesos de evaluación de la gestión. 3. Contribuir a crear una unidad en la gestión. 4. Ser un instrumento de coordinación, no solamente a nivel del establecimiento sino que afecta también a la integración de lo económico, lo técnico y lo social. 5. Incorporar tres escenarios de observación: El contexto, los clientes y los procesos de gestión. En la práctica cotidiana el Monitoreo es un elemento administrativo, es decir realiza un control cronológico tanto del cumplimiento de las acciones previstas en el Plan Operativo como del ritmo de ejecución de las partidas del presupuesto. La información que se genera en torno al Monitoreo con este enfoque gira en torno a si realizamos o no una actividad o si ejecutamos o no el presupuesto. El Monitoreo con un enfoque estratégico es una herramienta de la dirección del establecimiento que provee de insumos para la mejor utilización de los recursos, el cumplimiento óptimo de las actividades previstas en las mejores condiciones de calidad técnica y la satisfacción tanto del cliente como del trabajador. Los diversos procesos que son susceptibles de observación y control mediante acciones de Monitoreo se observan en el siguiente gráfico: PROCESOS SUSCEPTIBLE DE OBSERVACIÓN MEDIANTE EL MONITOREO CON ENFOQUE ESTRATÉGICO Proceso de trabajo Presupuesto y Costos Monitoreo Entorno Clientes 100 Metas Impacto Logística Texto Autoformativo: Unidad IV El Monitoreo con enfoque estratégico, plantea diversos abordajes en lo que se refiere al desarrollo de sistemas de información destinados a la observación continua y sistemática de fenómenos o dimensiones complejas (como por ejemplo la calidad de atención). De otro lado, se debe de tener claro que el marco de desarrollo de este instrumento es una gestión con un enfoque estratégico. Ello implica entre otras cosas, la capacidad de ajustar la dinámica de la gestión a los elementos de juicio desarrollados en el Monitoreo. En resumen las diferencias entre el enfoque tradicional de Monitoreo y un enfoque de Monitoreo estratégico las podemos observar en la siguiente tabla: TABLA N° 4.1. DIFERENCIAS ENTRE MONITOREO TRADICIONAL Y ESTRATÉGICO Enfoque tradicional Enfoque estratégico Orientado al pasado (a lo que se hizo o dejó de hacer) Orientado al futuro ( a lo que se va a hacer) Fuerte orientación a la estructura organizativofuncional Orientado a los procesos y resultados Información orientada al control de resultados. Información orientada a la creación de alternativas. Orientado en los flujos financiero-contables Orientado más a los flujos económicos Orientado a responsabilidades funcionales Orientado con énfasis en la resolución de riesgos y en la motivación del personal. Se centra en identificar o caracterizar procesos Se centra en determinar desviaciones o incumplimientos Válido en escenarios administrativo-burocráticos sin grandes exigencias de adaptación. Necesario en sistemas abiertos, descentralizados orientados a estrategias de gestión en escenarios cambiantes y de elevada competividad Su valor informativo radica en su capacidad de extrapolación. Su información se orienta a los cambios de comportamientos. 4.1.2. El Monitoreo Estratégico como herramienta de la gestión Se ha señalado que el Monitoreo estratégico está al servicio del gerente de un establecimiento de salud, esto es, nos facilita el soporte de información que necesitamos para tener una idea de marcha de nuestro establecimiento y de los ajustes que debemos hacer para el cumplimiento de los objetivos de la gestión. No solamente en cumplimiento de metas o calendarios administrativos, sino, fundamentalmente en el desarrollo de acciones de calidad, optimizando los recursos disponibles con satisfacción plena tanto del usuario como del trabajador. 101 Supervisión, Monitoreo y Evaluación Una visión de cómo se constituye el Monitoreo como herramienta de gestión la tenemos en el siguiente gráfico: ROL DE MONITOREO ESTRATÉGICO EN LA DIRECCIÓN DE UN ESTABLECIMIENTO DE SALUD Dirección Estratégica Función Administrativa Control de actividades relacionadas con la asignación de tareas y responsabilidades Acciones de control Administrativo Análisis del Entorno Observación de cumplimiento de objetivos del establecimiento Toma de decisiones estratégicas Tradicionalmente nos hacemos las siguientes preguntas ¿Se cumplieron las acciones programadas?, ¿Se ejecutó la partida del presupuesto?, ¿Se envió el consolidado de atenciones del establecimiento?. Sin embargo, podríamos plantearnos los siguientes cuestionamientos: ¿Las actividades se están realizando con un nivel óptimo de calidad?, ¿Las partidas ejecutadas del presupuesto se están ejecutando eficientemente?, ¿Cúal es la tendencia de la demanda de atención de los servicios? El primer grupo de preguntas responde al uso común que tiene el Monitoreo: El control administrativo. Esto tiene el problema que sólo nos da una idea parcial y fragmentada del cumplimiento de los logros de la gestión, sólo nos indica si se cumplió tal o cual actividad. El segundo grupo de preguntas se orienta más al cumplimiento de los objetivos de la gestión, a una visión integradora de los procesos en función de los productos finales de la actividad del establecimiento y destinado al análisis de procesos y por ende a la toma de decisiones. 102 Texto Autoformativo: Unidad IV 4.1.3. El Monitoreo y su relación con otros procesos de la gestión del establecimiento. El Monitoreo es una actividad que se articula con todas las actividades de la gestión del establecimiento tal como lo observamos en la siguiente tabla: RELACIÓN DEL MONITOREO CON LAS ACTIVIDADES DE LA GESTIÓN Actividad Tipo de Relación con el Monitoreo Planificación Ofrece criterios que son la columna vertebral de las actividades de Monitoreo. Ejecución El Monitoreo provee de información para ajustar los procesos al cumplimiento óptimo de las metas previstas en el Plan Operativo. Supervisión El Monitoreo identifica procesos en los cuales existen problemas de desempeño. Muchas veces ambas actividades se realizan en forma simultánea. Evaluación El Monitoreo provee de información para la evaluación del establecimientos, ya sea a nivel general, de la gestión del establecimiento, a un nivel específico respecto al cumplimiento de las metas del Plan Operativo. Existe cierta confusión respecto a algunos alcances del Monitoreo. Este último realiza el seguimiento del cumplimiento de las metas del Plan Operativo en lo específico, o selecciona elementos del escenario intra o extra-institucional cuyo conocimiento es crítico para hacer ajustes al Plan Operativo, en términos de plazos de cumplimiento de diversas actividades o acciones (Monitoreo estratégico). En todo caso, la mayoría de ponderaciones se relacionan con el porcentaje de cumplimiento del Plan Operativo. Una cosa muy diferente son las evaluaciones de actividades o de proceso, donde a través de indicadores (indicadores de proceso) analizamos los procesos en su dinámica interna y el cumplimiento de los objetivos e impactos del Plan Operativo. Esto último se trató extensamente en los capítulos precedentes. De otro lado, el Monitoreo provee de la información necesaria para determinar que tanto se está cumpliendo el desarrollo del Plan Operativo, en ese sentido, los datos obtenidos de las acciones de Monitoreo, suelen integrarse en las denominadas ¨ salas de situación¨, en las cuales se representa en paneles o posters, los diferentes procesos sujetos a Monitoreo y su estado de funcionamiento y avance al momento de la última observación, de manera integrada con elementos de evaluación. 103 Supervisión, Monitoreo y Evaluación 4.1.4. Pasos para diseñar un plan de Monitoreo 1. Identificar las actividades a monitorear: sistemáticamente en función de los objetivos del Plan Operativo y las necesidades de la gestión del establecimiento. Para ello se toma como referencia el Plan Operativo. En el Plan Operativo se tienen especificados los objetivos y las actividades del establecimiento de salud. 2. Establecer la meta o indicador estándar de rendimiento: para realizar un seguimiento de las actividades es necesario determinar indicadores estándar a fin de evaluar el grado de cumplimiento. 3. Diseño y manejo de sistemas de información: definir la forma en que estos hechos pueden ser registrados en forma oportuna, continua y confiable. Una vez establecido claramente las actividades que van a ser monitoreadas se tiene que definir cómo se va a registrar y esto significa establecer un sistema de información específico. La forma de registro depende de la naturaleza del hecho observado, por ejemplo, si vamos a realizar el Monitoreo de la demanda de atención, el uso de los reportes del HIS es suficiente para registrar la cantidad y características de las actividades del establecimiento. Pero si nuestro objetivo es el Monitoreo de la calidad de atención a través del grado de satisfacción del usuario, necesitamos la realización de entrevistas específicas para ello. Existen tres requisitos importantes a tener en cuenta en este proceso: Oportunidad: los hechos deben ser observados y registrados de tal forma que podamos tomar decisiones o medidas correctivas rápidamente. Continuidad: Los hechos deben ser observados con una determinada regularidad, independientemente de las actividades o contingencias presentadas en el establecimiento. Sólo una observación continua me permite analizar y tomar decisiones sobre un determinado proceso. Confiabilidad: Los hechos registrados, deben serlo de manera fidedigna, de tal manera que representen fielmente los procesos que estamos sometiendo a observación. 104 4. Identificar las técnicas de observación a utilizar en el Monitoreo: Se establecen los instrumentos que permitan obtener información para la toma de decisiones que contribuyan al logro de los objetivos del establecimiento, por el cumplimiento adecuado de las actividades. 5. Elaboración de la matriz del plan de Monitoreo: En la matriz se incluyen las actividades, los indicadores estándar, el sistema de información gerencial, las técnicas de información, los responsables del Monitoreo y la periodicidad. Texto Autoformativo: Unidad IV 4.2. IDENTIFICACIÓN DE LAS ACTIVIDADES A MONITOREAR El proceso de Monitoreo al estructurarse en función del Plan Operativo, es en la práctica un conjunto de pasos para verificar el oportuno cumplimiento de las acciones establecidas por dicho plan. Si asumimos que el eje instrumental del Plan Operativo es la matriz de programación, el diseño de una matriz de Monitoreo se puede realizar a partir de esta última matriz. Las actividades que se van a Monitorear son las actividades que fueron seleccionadas en las Actividades de la Unidad II de este Módulo, para lo cual debemos separar las Actividades del POI y las Actividades rutinarias de los servicios de un establecimiento de salud. Ejemplo de identificación de Actividades y de Indicadores para ser Monitoreados El Centro de Salud Miguel Ángel Honores en su POI tiene como objetivo: Incrementar en un 80% las actividades preventivo-promocionales sobre enfermedades infecciosas intestinales en la comunidad de Lurín en un período de 6 meses. 105 Supervisión, Monitoreo y Evaluación Actividades e indicadores del POI que van a ser monitoreados Actividades Visitas domiciliarias Indicadores DE ESTRUCTURA: Disponibilidad Charlas educativas Para informar y educar a los padres de familia con hijos menores de cinco años sobre prevención y manejo de infecciones intestinales Disponibilidad = Cantidad de promotores de salud disponibles para efectuar actividades P.P. Cantidad de sujetos a atender Disponibilidad equitativa = Cantidad de promotores de salud disponible para actividades P.P. Cantidad de promotores de salud necesarios para realizar P.P. DE PROCESO / PRODUCTO: Cantidad: Producción = Nº de charlas educativas y Nº de Visitas domiciliarias Cobertura Padres de familia visitados en el domicilio = Padres de familia por visitar Concentración: Concentración = Productividad: Productividad = Productividad por = promotor por semana Número de visitas domiciliarias Número de padres de familia Cantidad total de visitas domiciliarias realizadas Número de promotores de salud Cantidad de visitas domiciliarias Número de promotores de salud x número de semanas en seis meses Costos y Beneficios = Costo en Soles / Visita domiciliaria Calidad: Continuidad Número de veces que se han visitado los hogares de los padres de familia de Lurín. Excelencia técnica Nivel de conocimientos de los promotores de salud sobre infecciones intestinales. DE RESULTADOS Cobertura: Nº de Visitas domiciliarias a padres de familia Nº de padres de familia con niños menores de 5 años que viven en Lurín Eficiencia: Costo efectividad= Costo /padre de familia bien informado Eficacia= Número de padres de familia bien informados en prevenir infecciones intestinales/número de padres de familia con niños menores de 5 años existentes en Lurín. 106 Texto Autoformativo: Unidad IV Actividades e indicadores de los servicios que se realizan en forma rutinaria en el establecimiento de salud (Centro de Salud Miguel Ángel Honores) que van a ser monitoreados SERVICIOS DE APS Servicios de APS Indicadores Visita a Hogares para APS general Producto (P): Número de hogares visitados. Insumo (I): Número de hogares por promotor de salud. Educación en salud Efecto (E): Número de encuestados que recuerda los mensajes de educación en salud. P: Porcentaje de promotores de salud que usaron una o más técnicas de atención en salud (dramatizaciones, demostraciones, y otras técnicas). I: Porcentaje de promotores de salud capacitados en educación en salud. Atención prenatal E: Número de madres embarazadas identificadas como de alto riesgo. P: Número de mujeres que recibieron por lo menos una visita prenatal mientras estuvieron embarazadas. I: Número de días que no estuvo la obstetriz. Parto seguro E: Número de partos institucionales. P: Número de casos de complicaciones obstétricas tratados. I: Número de parteras tradicionales capacitadas en planificación familiar, reconocimiento de complicaciones obstétricas, y prácticas de parto higiénico, vinculadas con el sistema formal de prestación de servicios de salud. Atención postnatal E: Número de mujeres que después del parto regresan para visitas de seguimiento. P: Número de mujeres que reciben atención postnatal de promotores de salud. I: número o porcentaje de promotores de salud que experimentan escasez de equipos y suministros esterilizados para la atención adecuada del cordón umbilical. Planificación familiar E: Número de embarazos no planificados. P: Número de mujeres que reciben métodos del promotor de salud por método anticonceptivo. I: Número de días que experimentaron escasez de stock de métodos anticonceptivos por método. Infecciones Respiratorias Agudas E: Número de casos de IRA atendidos adecuadamente por un promotor de salud. P: Número de mujeres con hijos menores de cinco años a quienes un PS les informó respecto a los síntomas de IRA. I: Número de días que el centro de salud experimentó escasez de stock el último mes. Lactancia E: Número de madres que dieron calostro al bebé. P: Número de madres que han dado a luz y tienen hijos menores de dos años, que recibieron folletos, panfletos u otros materiales educativos sobre la lactancia. I: Número de promotores que han sido capacitados en educación sobre lactancia . E: Número de madres que usaron SRO, o una bebida casera recomendada y continuaron dando alimentos durante el último episodio de diarrea. P: Número de promotores de salud que orientaron a las madres respecto a la preparación y administración de SRO en el último mes. I: Número de días que experimentaron escasez de SRO en el último mes. Control de diarrea/ terapia de rehidratación oral Vacunación en la niñez E: Número de niños protegidos. P: Número o porcentaje de promotores de salud. I: Número de días que el refrigerador no ha estado a una temperatura entre cero y ocho grados centígrados. 107 Supervisión, Monitoreo y Evaluación SERVICIOS ADMINISTRATIVOS Servicios de Administración 108 Indicadores Planificación P: Número de personas que conocen y han participado del Plan Operativo I: Porcentaje del personal que tienen información respecto a la población que atienden. Administración del personal E: Número de puestos vacantes. Duración promedio por trabajador P: Número de personal cuya descripción de funciones ha sido actualizada el año pasado. I: Número del personal que tiene descripción de sus funciones. Capacitación E: Número de personal que mostraron mejoras entre las pruebas previas y posteriores. P: Porcentaje de promotores de salud que han recibido capacitación que permitieron a los participantes poner en práctica el nuevo conocimiento adquirido durante la capacitación I: Número de capacitadores que han recibido instrucción en métodos de capacitación Supervisión E: Número de PS que consideran que están recibiendo apoyo adecuado de sus supervisores P: Número de supervisados visitados por sus supervisores o que se reunieron con éstos durante el último período. I: Número de personal que conoce los lineamientos y protocolos de supervisión. Administración de personal E: Número de promotores a quienes se les pagó a tiempo en el último periodo. P: Existencia de archivos de contabilidad actualizados y con balance mensual. I: Número de personal que ha sido capacitado en administración financiera. Administración logística E: Número de actividades que se suspenden por falta de insumos. P: Intervalo promedio entre la fecha en que se efectúa una solicitud y recibe los suministros solicitados. I: Número de unidades de salud con listas de chequeo establecidas. Administración de la información E: Número de personas que usan información de Monitoreo para identificar problemas y fortalezas. P: Número de reportes de estadística de servicios al mes I: Soles utilizados en la recolección de la información. Organización comunal E: Número de miembros comunitarios que manifiestan que los servicios de APS son accesibles y convenientes P: Número de comités comunitarios que se reúnen al menos mensualmente durante el último trimestre. I: Número de organizadores capacitados. Texto Autoformativo: Unidad IV ACTIVIDAD Nº 1 Siguiendo el ejemplo anterior seleccione las actividades que van a ser monitoreadas, tanto de su POI de su establecimiento de salud. Seleccione un objetivo de su POI individual y escriba en la siguiente matriz todas las actividades que se van a realizar para cumplir con el objetivo y luego escriba los indicadores que va a utilizar para efectuar el Monitoreo. Establecimiento de Salud: ................................................................................................ Objetivo del POI: Actividades e indicadores del POI que van a ser monitoreados Actividades Indicadores DE ESTRUCTURA: Disponibilidad Disponibilidad = ......................................................................................................................... Disponibilidad equitativa = ................................................................................................ DE PROCESO / PRODUCTO: Cantidad: Producción = Cobertura = .................................................................................................................................... Concentración: Concentración = ........................................................................................................................ Productividad: Productividad = ........................................................................................................................... Productividad por promotor por semana = ............................................................. Costos y Beneficios = Calidad: Continuidad Excelencia técnica DE RESULTADOS Cobertura: ....................................................................................................................................... Eficiencia Costo efectividad= Eficacia= 109 Supervisión, Monitoreo y Evaluación SERVICIOS DE APS Servicios de APS 110 Indicadores Visita a Hogares para APS general Producto (P): Educación en salud Efecto (E): P: I: Atención prenatal E: P: I: Parto seguro E: P: I: Atención postnatal E: P: I: Planificación familiar E: P: I: Infecciones Respiratorias Agudas E: P: I: Lactancia E: P: I: Control de diarrea/ terapia de rehidratación oral E: P: I: Vacunación en la niñez E: P: I: Insumo (I): Texto Autoformativo: Unidad IV SERVICIOS ADMINISTRATIVOS Servicios Administrativos Indicadores Planificación E: P: I: Administración del personal E: P: I: Capacitación E: P: I: Supervisión E: P: I: Administración de personal E: P: I: Administración logística E: P: I: Administración de la información E: P: I: Organización comunal E: P: I: 2. Reúnanse con su equipo de gestión y procedan a desarrollar la actividad Nº 1 de la Guía de Trabajos Aplicativos. 111 Supervisión, Monitoreo y Evaluación 4.3. ESTABLECER LA META O EL INDICADOR ESTÁNDAR DE RENDIMIENTO ¿Cómo construir los estándares de rendimiento? La fijación del estándar depende de los recursos disponibles, de los antecedentes, de la implementación de nuevas estrategias, de la capacidad instalada, del apoyo de otros sectores, de decisiones políticas, de intereses nacionales, de la magnitud de las necesidades locales, de normas nacionales o institucionales. Para construir un estándar de rendimiento se recomienda tomar en cuenta lo siguiente: 1. Definir el indicador que se quiere medir: la operacionalización del indicador de producto de cada actividad es el que se debe utilizar para determinar el estándar. 2. Establecer la siguiente información: - Revisar información de documentos del establecimiento de salud, del Ministerio de Salud y otros sobre resultados anteriores referidos al objetivo que se propone alcanzar con el POI. - Revisar los recursos disponibles para la ejecución del Plan Operativo y el tiempo del personal destinado a las actividades que permitirán alcanzar el objetivo. - Revisar si hay metas nacionales o institucionales a fin de determinar en cuánto va a contribuir el POI a esas metas. - Revisar las metas o estándares si es que existían anteriormente a fin de reajustarlas en función de las necesidades o de los recursos. 3. Establecer el estándar numéricamente. 112 4. Definir en quiénes se va a medir el indicador de producto: Definir el objeto o sujeto en el que se pretende producir un cambio (se debe conocer el tamaño y las características del objeto o sujeto de cambio que se beneficiará del las acciones del Plan Operativo), luego indicar si se va a medir en todos los objetos o sujetos beneficiarios de cada actividad, o si se va a tomar una muestra representativa de los mismos. 5. Indicar la fuente de dónde se va a obtener la información para medir el indicador. 6. Describir las técnicas e instrumentos que se van a utilizar para recolectar los datos que medirán el indicador. 7. Describir el cálculo que se realizará para determinar el rendimiento. 8. Indicar a los responsables de la evaluación. 9. Indicar la frecuencia con que se va a recopilar información sobre los indicadores de rendimiento, en el caso del objetivo general siempre es al final del POI. Texto Autoformativo: Unidad IV Ejemplo: en el siguiente esquema se muestra un ejemplo que utilizará la evaluación con un estándar de rendimiento. La actividad es: Oferta simultánea de un conjunto de servicios y tratamientos que satisfagan las necesidades, solicitudes y expectativas de los usuarios del Centro de Salud Miguel Ángel Honores. 1. DEFINIR LO QUE SE QUIERE MEDIR Se considerará el nivel de satisfacción del usuario con la oferta de servicios en base al número de servicios que el usuario solicita relacionado al tipo de servicios que existen en el Centro de Salud, la información será obtenida del cuestionario que se aplicará a una muestra representativa de usuarios del Centro de Salud Miguel Ángel Honores. 2. ESTABLECER LOS ESTÁNDARES DE RENDIMIENTO PARA CADA INDICADOR a) Basado en los antecedentes del Centro de Salud hay servicios que solicitan los usuarios y no se ofrecen. b) Los recursos disponibles para el cumplimiento de esta actividad está sujeta a los recursos limitados, sin embargo, como no se conoce la magnitud de la necesidad de otros servicios no se toma la decisión de implementarlo. c) En el Dirección de Salud se ha propuesto que todos los usuarios deben recibir una atención integral, en consecuencia deberían recibir todos los servicios que necesitan. d) Anteriormente no existían metas o estándares sobre este indicador. 3. ESTABLECER EL ESTÁNDAR DE RENDIMIENTO NUMÉRICAMENTE El tipo y número de veces que el usuario solicite al Centro debe ser igual al tipo y servicios que se ofrece en el Centro de Salud. 4. DEFINIR EN QUIENES SE VA A MEDIR EL INDICADOR DE PRODUCTO En una muestra representativa de usuarios. 5. INDICAR LA FUENTE DE DONDE SE VA A OBTENER LA INFORMACIÓN PARA MEDIR EL INDICADOR La información para medir el indicador se va a obtener de un cuestionario de satisfacción de usuarios. 6. DESCRIBIR LAS TÉCNICAS E INSTRUMENTOS QUE SE VAN A UTILIZAR PARA RECOLECTAR LOS DATOS QUE MEDIRAN EL INDICADOR Se utilizará un cuestionario dirigido a los usuarios del Centro de Salud. 7. DESCRIBIR EL CÁLCULO QUE SE REALIZARÁ PARA DETERMINAR EL RENDIMIENTO Se calculará del cociente obtenido del número de servicios solicitados sobre el número de servicios utilizados por los usuarios. 8. INDICAR LOS RESPONSABLES DE LA EVALUACIÓN Los responsables de la evaluación son los miembros del equipo de gestión. 9. INDICAR LA FRECUENCIA CON QUE SE VA A RECOPILAR INFORMACIÓN SOBRE LOS INDICADORES DE RENDIMIENTO La recolección de datos se realizará trimestralmente. 113 Supervisión, Monitoreo y Evaluación EJERCICIO En los siguientes esquemas construya estándares de rendimiento para el Monitoreo de actividades, para lo cual utilice el mismo esquema que se presentó en el ejemplo anterior. Seleccione una actividad de su Plan Operativo individual. ACTIVIDAD: 1. DEFINIR LO QUE SE QUIERE MEDIR 2. ESTABLECER LOS ESTÁNDARES DE RENDIMIENTO PARA CADA INDICADOR 3. ESTABLECER EL ESTÁNDAR DE RENDIMIENTO NUMÉRICAMENTE 4. DEFINIR EN QUIENES SE VA A MEDIR EL INDICADOR DE EFECTO 5. INDICAR LA FUENTE DE DONDE SE VA A OBTENER LA INFORMACIÓN PARA MEDIR EL INDICADOR 6. DESCRIBIR LAS TÉCNICAS E INSTRUMENTOS QUE SE VAN A UTILIZAR PARA RECOLECTAR LOS DATOS QUE MEDIRAN EL INDICADOR 7. DESCRIBIR EL CÁLCULO QUE SE REALIZARÁ PARA DETERMINAR EL RENDIMIENTO 8. INDICAR LOS RESPONSABLES DE LA EVALUACIÓN 9. INDICAR LA FRECUENCIA CON QUE SE VA A RECOPILAR INFORMACIÓN SOBRE LOS INDICADORES DE RENDIMIENTO 114 Texto Autoformativo: Unidad IV EJEMPLO: Indicadores estándar de rendimiento de las actividades seleccionadas para el Monitoreo. Establecimiento de Salud: Centro de Salud Miguel Ángel Honores Actividades e indicadores del POI que van a ser monitoreados Actividades Visitas domiciliarias Indicadores Nº promotores de salud disponible Indicadores stándar 1 promotor por 60 familias en 6 meses Cantidad de sujetos a atender Charlas educativas Nº promotores de salud disponible 1 promotor disponible por 1 necesario Nº promotores de salud necesarios Nº de charlas educativas Nº de Visitas domiciliarias Padres de familia visitados en el domicilio 120 charlas y 600 visitas domiciliarias en 6 meses 100% de hogares programados para visita domiciliaria Padres de familia por visitar Número de visitas domiciliarias 2 visitas domiciliarias por padre de familia Número de padres de familia Cantidad total de visitas domiciliarias realizadas 60 visitas domiciliarias por promotor Número de promotores de salud Cantidad de visitas domiciliarias Número de promotores de salud x número de semanas 3 visitas por promotor por semana Nivel de conocimientos de los promotores de salud sobre infecciones intestinales. 100% de las preguntas contestadas correctamente Nº de Visitas domiciliarias a padres de familia 100% de hogares programados Nº de padres de familia con niños menores de 5 años 115 Supervisión, Monitoreo y Evaluación SERVICIOS DE ADMINISTRATIVOS Servicios de Administración Planificación Indicadores Indicadores estándar P: Número de personas que conocen y han participado del Plan Operativo. I: Porcentaje del personal que tienen información respecto a la población que atienden. 100% de las personas conocen y han participado del POI. 100% conocen a la población que atienden. Administración del personal E: Número de puestos vacantes. Duración promedio por trabajador. P: Número de personal cuya descripción de funciones ha sido actualizada el año pasado. I: Número del personal que tiene descripción de sus funciones. Ningún puesto vacante. 3 años de duración promedio por trabajador. 100% de actualización de funciones. 100% del personal tiene descrito sus funciones. Capacitación E: Número de personal que mostraron mejoras entre las pruebas previas y posteriores. P: Porcentaje de promotores de salud que han recibido capacitación que permitieron a los participantes poner en práctica el nuevo conocimiento adquirido durante la capacitación. I: Número de capacitadores que han recibido instrucción en métodos de capacitación. 100% del personal mejoró. Supervisión E: Número de PS que consideran que están recibiendo apoyo adecuado de sus supervisores. P: Número de supervisados visitados por sus supervisores o que se reunieron con éstos durante el último período. I: Número de personal que conoce los lineamientos y protocolos de supervisión. 100% de promotores consideran que reciben apoyo. 100% de supervisados recibieron supervisiones. 100% del personal conoce los protocolos de supervisión. Administración de personal E: Número de promotores a quienes se les pagó a tiempo en el último periodo. P: Existencia de archivos de contabilidad actualizados y con balance mensual. I: Número de personal que ha sido capacitado en administración financiera. 100% recibieron su paga a tiempo. Todos los archivos de contabilidad están actualizados. 100% del personal profesional capacitado en administración financiera. Administración logística E: Número de actividades que se suspenden por falta de insumos. P: intervalo promedio entre la fecha en que se efectúa una solicitud y recibe los suministros solicitados. I: Número de unidades de salud con listas de chequeo establecidas. 0 % de actividades que se suspenden por falta de insumos. Una semana promedio en que se efectúa una solicitud y se recibe los suministros. % de unidades de salud con listas de chequeo. 100% usan información. Administración de la información E: Número de personas que usan información de Monitoreo para identificar problemas y fortalezas. P: Número de reportes de estadística de servicios al mes. 4 reportes por mes. Organización comunal E: Número de miembros comunitarios que manifiestan que los servicios de APS son accesibles y convenientes. P: Número de comités comunitarios que se reúnen al menos mensualmente durante el último trimestre. 100% de los comités de reúnen al menos una vez al mes. 116 100% de promotores recibieron capacitación. 100% de capacitadores son capacitados. 100% refieren que son accesibles y convenientes. Texto Autoformativo: Unidad IV SERVICIOS DE APS Servicios de APS Indicadores Indicadores estándar Visita a Hogares para APS general Producto (P): Número de hogares visitados. Insumo (I): Número de hogares por promotor de salud. Efecto (E): número de encuestados que recuerda los mensajes de educación en salud. P: Porcentaje de promotores de salud que usaron una o más técnicas de IEC (dramatizaciones, demostraciones, y otras técnicas). I: Porcentaje de promotores de salud capacitados en educación en salud E: Número de madres embarazadas identificadas como de alto riesgo. P: Número de mujeres que recibieron por lo menos una visita prenatal mientras estuvieron embarazadas. I: Número de días que no estuvo la obstetriz. E: Número de partos institucionales P: Número de casos de complicaciones obstétricas tratados I: Número de parteras tradicionales capacitadas en planificación familiar, reconocimiento de complicaciones obstétricas, y prácticas de parto higiénico, vinculadas con el sistema formal de prestación de servicios de salud. E: Número de mujeres que después del parto regresan para visitas de seguimiento. P: Número de mujeres que reciben atención postnatal de promotores de salud. I: número o porcentaje de promotores de salud que experimentan escasez de equipos y suministros esterilizados para la atención adecuada del cordón umbilical. E: número de embarazos no planificados. P: Número de mujeres que reciben métodos del promotor de salud por método anticonceptivo. I: número de días que experimentaron escasez de stock de métodos anticonceptivos por método. E: Número de casos de IRA atendidos adecuadamente por un promotor de salud. P: Número de mujeres con hijos menores de cinco años a quienes un PS les informó respecto a los síntomas de IRA I: Número de días que el centro de salud experimentó escasez de stock el último mes. E: Número de madres que dieron calostro al bebé. P: Número de madres que han dado a luz y tienen hijos menores de dos años, que recibieron folletos, panfletos u otros materiales educativos sobre la lactancia. I: Número de promotores que han sido capacitados en educación sobre lactancia. E: Número de madres que usaron SRO, o una bebida casera recomendada y continuaron dando alimentos durante el último episodio de diarrea. P: Número de promotores de salud que orientaron a las madres respecto a la preparación y administración de SRO en el último mes. I: Número de días que experimentaron escasez de SRO en el último mes E: Número de niños protegidos P: Número o porcentaje de promotores de salud que vacunaron I: Número de días que el refrigerador no ha estado a una temperatura entre cero y ocho grados centígrados 1200 hogares visitados. Educación en salud Atención prenatal Parto seguro Atención postnatal Planificación familiar Infecciones Respiratorias Agudas Lactancia Control de diarrea/ terapia de rehidratación oral Vacunación en la niñez 100 hogares por promotor. 70% recuerdan los mensajes. 100% de los promotores utilizaron técnicas de IEC. 100% de los promotores capacitados. 100% de madres embarazadas identificadas. 100% de mujeres embarazadas recibieron visita prenatal. 30 días al años que no estará la obstetriz. 100% son partos institucionales. todos las complicaciones obstétricas tratadas. 100% de parteras capacitadas. 100% de mujeres que regresan después del parto. 100% de las mujeres recibieron atención postnatal. ningún promotor debe tener escasez de equipos o suministros esterilizados. 10% de embarazos no planificados. 100% de las mujeres reciben métodos del promotor. 0 días de escasez. 100% de los casos de IRA atendidos. 100% de mujeres son informadas. 0 días de escasez de stock. 100% de las madres dieron calostro. 100% madres recibieron folletos. 100% de promotores capacitados. 100% de madrees usan SRO. 100% de promotores orientaron a las madres sobre SRO. 0 días con escasez de SRO. 100% de protegidos. 100% vacunaron. 0 días que el refrigerador no funcione. 117 Supervisión, Monitoreo y Evaluación ACTIVIDAD Nº 2 1. Siguiendo el modelo del ejemplo anterior proponga indicadores estándar para cada actividad seleccionada de su POI y de los servicios de su establecimiento, utilizando las actividades e indicadores seleccionados en la Actividad Nº 1. Establecimiento de Salud: Actividades e indicadores del POI que van a ser monitoreados Actividades 118 Indicadores Indicadores Estándar Texto Autoformativo: Unidad IV Actividades e indicadores rutinarios que se realizan en su establecimiento SERVICIOS DE APS Servicios de APS Indicadores Indicadores estándar 119 Supervisión, Monitoreo y Evaluación SERVICIOS ADMINISTRATIVOS Servicios de Administración 2. 120 Inidicadores Indicadores estándar Al finalizar esta actividad reúnase con su equipo de gestión y desarrollen la Actividad Nº 2 de la Guía de Trabajos Aplicativos. Texto Autoformativo: Unidad IV 4.4. DISEÑO Y MANEJO DE SISTEMAS DE INFORMACIÓN A NIVEL LOCAL COMO HERRAMIENTA DE LAS ACTIVIDADES DE MONITOREO Las actividades de Monitoreo siempre implican el desarrollo de sistemas de información. Cuando escuchamos esta palabra, nos suena a procesos relativamente complicados. Sin embargo, al entender el concepto, vemos como hacemos un uso empírico y cotidiano de él. ¿Qué es un sistema de información? Sistema de información es un conjunto de elementos que nos permiten recolectar de manera sistemática un conjunto de manifestaciones de la realidad, organizarlas, sistematizarlas y convertirlas en una representación de la realidad denominada información. Un sistema de información en su forma más simple se compone de tres elementos fundamentales: Estructura: Un conjunto de herramientas que nos permiten identificar fenómenos de la realidad (hechos), en este caso, los diversos elementos de la realidad a ser sometidos a Monitoreo. Estos hechos van a ser sometidos a una calificación, asignándoles una cualidad o valor, por lo tanto, se transforman en datos y posteriormente se almacenan en unidades denominadas registros. Proceso: Es un conjunto de pasos destinados a organizar los registros, que representan a los hechos sujetos a Monitoreo, de la mejor manera posible, para una adecuada interpretación de los datos. Análisis: Es la interpretación de los datos, que representan a los hechos sometidos a Monitoreo en función de criterios determinados. El producto final del proceso es la conversión de los datos (hechos sometidos a Monitoreo) en información (Conocimiento, es decir en una representación de los procesos de gestión). En ese sentido la estructura de un Sistema de Información se representa en el siguiente esquema: Componentes de un sistema de información Estructura Hechos (Instrumentos de Observación) Proceso Organización de Observaciones Proceso de recolección de Observaciones Resultado Analisis. Transformación de observaciones en información 121 Supervisión, Monitoreo y Evaluación De acuerdo a ello, podemos observar que el funcionamiento de nuestro establecimiento está enmarcado dentro de un conjunto de sistemas de información. Las historias clínicas, los consolidados de actividades de los programas, la hoja HIS, los reportes de notificaciones de enfermedades de declaración inmediata, los registros de Farmacia, todos ellos son sistemas de información, que operan bajo su propia dinámica y responden a determinados procesos. Muchas veces observamos que hacemos grandes esfuerzos para consignar información para monitorear determinado proceso en un servicio, y tenemos que la dinámica de trabajo del establecimiento nos impide un procesamiento óptimo y las más de las veces cuando tenemos la información procesada o no sabemos que hacer con ella o nos remitimos a llenar los planillones, matrices o informes que nos solicitan regularmente en la subregión, sin generar información relevante para mejorar la gestión del establecimiento. Por lo expresado anteriormente, vemos que la información generada actualmente no solamente es una representación de los procesos de gestión del establecimiento, sino que representa los procedimientos de tipo administrativo, técnico u operativo que la generan y las personan que lo implementan. Pasos para el diseño de un sistema de información gerencial a nivel de un establecimiento orientado al desarrollo de acciones de Monitoreo. 122 1. Identificar los objetivos a corto y largo plazo del establecimiento, definidos en el Plan Operativo. 2. Identificar la información necesaria para la gestión en función de hechos que deben ser observados continuamente. A este nivel se deben integrar las herramientas participativas señaladas anteriormente. También en este nivel se deben de identificar a los usuarios de la información generada (equipo de gestión, promotores de salud, supervisores de programas, red local de establecimientos, Subregión de Salud, etc.). 3. Realizar el Plan de Monitoreo en función de la matriz señalada anteriormente. 4. Determinar cuáles de los formularios y procedimientos actuales para recolectar, registrar, tabular, analizar y difundir información son sencillos, confiables, no requieren demasiado tiempo y cubren las necesidades del equipo de gestión y los diferentes trabajadores, y qué formularios y procedimientos necesitan mejorarse de acuerdo a los requerimientos del plan de Monitoreo. 5. Eliminar la información que se recolecta pero que no se utiliza. 6. Establecer o mejorar los sistemas manuales, visuales o informatizados (bases de datos) para tabular, analizar y ofrecer la información para que sean más útiles a los diferentes trabajadores del establecimiento. 7. Desarrollar procedimientos para confirmar la exactitud de los datos. Esto es de gran importancia, si el sistema recolecta sistemáticamente información compleja, como por ejemplo: entrevistas de satisfacción de usuarios del establecimiento. 8. Capacitar y supervisar al personal en el uso de nuevos formularios, registros, hojas de resumen y otros instrumentos para recolectar, tabular, analizar, presentar y utilizar la información. 9. Presentación de información (Cuadros, Gráficos, Boletines). Uso para la toma de decisiones Texto Autoformativo: Unidad IV Por ello, luego de identificar los hechos a monitorear, uno debe definir si va a tener que implementar un sistema de información o trabajar con uno ya existente, y en este último caso tener en cuenta sus posibilidades o limitaciones. En resumen el rol de un sistema de información gerencial en un proceso de Monitoreo se resume en el siguiente esquema: Relación entre un sistema de Información Gerencial y el Monitoreo Presupuesto y Logística Proceso de trabajo Metas Sistema de Información Gerencial Entorno Identifica Recolecta Procesa Informa Impacto Clientes Monitoreo Sin embargo, debemos advertir que un sistema de información gerencial depende más de las personas, de la forma como organizan y hacen su trabajo, de la claridad de objetivos y estrategias de la gestión (Planes Operativos), mucho más que de los elementos tecnológicos involucrados en un sistema de información. 123 Supervisión, Monitoreo y Evaluación Ejemplo: Para poder realizar el Monitoreo de las actividades que el Centro de Salud Miguel Ángel Honores se necesita definir en qué va a consistir su Sistema de Información, el cual se muestra a continuación: SISTEMA DE INFORMACIÓN LOCAL Indicador Ingreso de datos Proceso de los datos Análisis y emisión de resultados Nº de servicios deseados/ Nº de servicios ofrecidos Nº de pacientes que solicitaron un servicio que no se ofrecía en el servicio de salud. Encuestas a usuarios que se acercan a admisión una vez por mes Manual Tabulación y distribución de frecuencias. Reporte mensual. Nº de personas referidas atendidas/número de referencias Ficha de control de pacientes diario Manual Reporte de indicador mensual Promedio de (horas de atención horas de llegada)/valor esperado (tiempo estándar) Ficha de observación para la medición del tiempo un día por mes Manual Reporte mensual % de fracasos de tratamientos por tipo Tarjetas sobre pacientes citados a control diario Manual Reporte mensual Tiempo de desabastecimiento de insumos para los tratamientos Reporte de Logística sobre desabastecimiento por semana Manual Reporte mensual Cumplimiento de los protocolos de atención Guía de observación basado en los protocolos existentes una vez por mes Manual Reporte mensual % de historias clínicas con información incompleta Revisión de historias clínicas una vez por mes Manual Reporte mensual % de clientes satisfechos con el trato Encuestas de salida trimestral Manual Reporte trimestral % de clientes que no vuelven al control 124 Texto Autoformativo: Unidad IV EJERCICIO Utilizando el ejemplo anterior como modelo, proceda a identificar los componentes de su sistema de información local para cada indicador que propuso monitorear de su propio POI. Establecimiento de salud: Sistema de información local Indicador Ingreso de datos Proceso de los datos Análisis y emisión de resultados 125 Supervisión, Monitoreo y Evaluación 4.5. TÉCNICAS DE OBSERVACIÓN A UTILIZAR EN LAS ACTIVIDADES DE MONITOREO Su elección depende del tipo de fenómeno a Monitorear y de las posibilidades de obtener información confiable. Dentro de las técnicas de observación más utilizadas existen las siguientes: Revisión de Registros y Fuentes Secundarias Se considera como registro a todo elemento que consigne información respecto a una actividad realizada en el establecimiento. Para su utilización en acciones de Monitoreo partimos de el supuesto que es perfectamente posible visualizar el proceso de realización de una actividad a partir de los documentos que consignan su realización, como una historia clínica, un parte diario, registro de actividades de un programa, documentos de los proyectos realizados a nivel de los establecimientos, informes de supervisión, consolidados del HIS, etc. Se adjunta a la recolección de información mediante esta técnica, una estimación de su confiabilidad, de acuerdo a la calidad de los registros. En términos generales disponemos en los servicios de las siguientes fuentes secundarias: Estadísticas de prestaciones de servicios (HIS), así como los cuadernos de registro de actividades de los diversos programas de salud. Informes de análisis de la oferta de servicios, incluyendo sus recursos (humanos, físicos y financieros) y su especificación por establecimientos o en red. Informes de evaluación, supervisión o monitoreo por parte de diversos programas o por el nivel subregional. Inventarios de materiales e insumos. Registros de salidas de almacén de insumos y materiales. Registros del sector comercial sobre ventas de medicamentos que se realizan a nivel de farmacias u otros sistemas de distribución comercial. Sondeos sobre la calidad de los servicios a usuarios externos o potenciales. Solicitud de prestación de servicios por parte de las diferentes comunidades de la jurisdicción u otros actores sociales. Observación La observación de los ambientes de trabajo, dinámica de atención y desempeño de los trabajadores es una buena herramienta de identificación de problemas. Sin embargo muchas veces, esta técnica no es tan sencilla. Lo ideal es estructurar una guía de observación, para sistematizar la acción de Monitoreo y pueda ser comparable con procesos similares. Muchas veces ocurre que al diseñar la guía, recién reparamos en algunos aspectos que aparentemente pasan desapercibidos, lo que enriquece la actividad de observación. Otro aspecto importante es que la existencia de la guía, permite la comparación objetiva de los datos recolectados, lo cual elimina los sesgos o distorsiones por el observador. Un tipo de observación especial es la denominada observación participante. En este caso, el observador esta integrado en la ejecución de la tarea, de tal modo que puede monitorear directamente los aspectos de su ejecución. Esta técnica es particularmente sensible para el Monitoreo de algunos procesos. 126 Texto Autoformativo: Unidad IV Entrevistas Para efecto de monitorear el desarrollo de actividades y la percepción de los procesos de trabajo y atención al paciente que tienen el personal y los usuarios del establecimiento se pueden desarrollar entrevistas periódicas. Generalmente son instrumentos de rápida aplicación y centrados en puntos específicos. Pueden estar estructuradas en función de opciones o respuestas cerradas, este tipo de encuestas se denominan entrevistas estructuradas. A veces cuando estudiamos fenómenos muy complejos, como la satisfacción del usuario, preguntamos de una forma abierta, dejando en libertad al entrevistado para formular sus respuestas. Este tipo de entrevistas se denominan no estructuradas. Este tipo de instrumentos suelen aplicarse con regularidad y sólo son útiles, cuando tenemos rápidamente información disponible para monitorear la marcha de un determinado proceso. Vigilancia de Incidentes Críticos La vigilancia de incidentes críticos, se basa en la observación activa de incidentes que revelan una alteración en la dinámica del servicio y nos da una alerta que nos lleva a tomar medidas rápidas o a profundizar la observación de algunos procesos. Por ejemplo, la presencia de basura en la sala de atención, un tiempo de espera exagerado, la aparición de conflictos entre el personal, retrasos en los envíos de notificaciones o informes a los programas, son episodios que revelan fallas en la cadena de atención o en el proceso de trabajo Registro Individual El registro individual es una forma de automonitoreo por la cual los trabajadores consignan directamente los observaciones pertinentes a un proceso específico que estamos observando. Por ejemplo, si estamos preocupados por la conducta organizacional y la motivación del equipo de salud, podemos utilizar un instrumento denominado Animómetro, donde los trabajadores marcan al finalizar la jornada de trabajo unos puntos en una caritas, alegres o tristes según su estado de ánimo. Ello nos da un registro muy sensible, por un lado y aceptado por concenso por todos. Existen instrumentos específicos para que el trabajador anote sus observaciones, así como sus percepciones de su labor cotidiana que constituyen excelentes fuentes de información, más aún cuando el trabajador ha participado en su diseño y validación. Lista de Chequeo Muchas veces no podemos realizar el Monitoreo del cumplimiento de muchas actividades por la complejidad de las acciones del establecimiento, en esos casos, seleccionamos algunas acciones que por su complejidad, nos indican la marcha de todo un proceso. Por ejemplo, si estamos interesados de monitorear las acciones del PAI, a través de una lista de chequeo debemos hacer un análisis del significado del cumplimiento de la actividad en función del funcionamiento del programa. Sin embargo, cabe remarcar que la Lista de Chequeo es una herramienta y no la actividad misma de Monitoreo, la cual como vimos anteriormente necesita de un diseño y organización especial. 127 Supervisión, Monitoreo y Evaluación Ejemplo: 128 Actividades Técnicas de observación Oferta simultánea de un conjunto de servicios y tratamientos que satisfagan las necesidades, solicitudes y expectativas de estos usuarios Cuestionario Implementación de mecanismos de referencia y contrareferencia Hoja de registro Disminuir el tiempo en que el usuario llega al establecimiento a solicitar atención y el momento inicial en que es atendido por el personal de salud Guía de observación Implementación de mecanismos que aseguren la continuidad de los tratamientos indicados hasta la cura y rehabilitación del paciente Hoja de registro Disponibilidad y accesibilidad de normas del personal que da la atención Guía de observación Uso de historia clínica en forma adecuada Ficha de evaluación de historia clínica Mejora de la calidez humana en el trato a los usuarios Encuesta Texto Autoformativo: Unidad IV EJERCICIO 1. Según el ejemplo anterior proceda a escribir en la siguiente matriz las actividades y las técnicas de recolección de información para las actividades que serán monitoreadas. Actividades Técnicas de observación 129 130 4.6 MATRIZ DE PLAN DE MONITOREO Ejemplo: Matriz de Monitoreo del Centro de Salud "Miguel Ángel Honores" Fecha: Nº Nombre: Actividades y Producto Indicadores Indicadores estándar (A) 1 3 Instrumento Responsable Rendimiento real (B) % de Indicador estandar alcanzado (B/A) Análisis de rendimiento real Acciones a realizar 66.7% Falta de apoyo técnico y logístico para la capacitación Garantizar financiamiento de actividades de capacitación Se prioriza el trabajo individualista e inadecuada relación interpersonal Capacitación en desarrollo organizacional Cumplimiento de la actividad Mantener la supervisión sobre el uso de protocolos Capacitación a 75 promotores % de promotores capacitados 75 % de promotores capacitados Informe mensual Informe de Supervisor capacitación de campo 50 Formación de 4 equipos de trabajo en servicios estratégicos # de equipos formados 4 equipos formados en establecimientos de salud Informe mensual Reportes de personal 3 Supervisión del uso adecuado de protocolos de tratamiento de gestante por el promotor capacitado % de promotores que usan adecuadamente el protocolo 80% de promotores que usan adecuadamente el protocolos Manuales de Tratamiento Supervisor Lista de chequeo / IS de campo Nº de promotores que usan adecuadamente el protocolo Nº promotores capacitados Personal directivo 30x100= 75% 40 75% 93% Supervisión, Monitoreo y Evaluación 2 SIG Sistema de información gerencial ACTIVIDAD Nº 3 Siguiendo el ejemplo anterior desarrolle la matriz de Monitoreo que va a emplear para su Plan Operativo, llenando las celdas respectivas. Al finalizar esta actividad reúnase con su equipo de gestión y desarrolle la Actividad 3 de la Guía de Trabajos Aplicativos. Estableciemiento de Salud: Actividades e indicadores del Plan Operativo que van a ser monitoreadas. Actividades Indicadores Indicadores estándar SIG Rendimiento real Sistema Instrumentos Responsable de información % de Indicador estándar alcanzado Análisis de rendimiento Acciones Texto Autoformativo: Unidad IV Nº 131 Supervisión, Monitoreo y Evaluación AUTOEVALUACIÓN DE LA UNIDAD IV Luego del desarrollo de cada uno de los tópicos, lo que incluye el desarrollo de lecturas y trabajos individuales o grupales correspondientes, responda las siguientes preguntas de autoevaluación: 1. Señale la afirmación que no es verdadera respecto al Monitoreo: a. b. c. d. e. 2. Es una herramienta de control gerencial. Permite la capacitación en servicio del trabajador. Nos ayuda a determinar el cumplimiento del Plan Operativo. Nos ayuda a un manejo adecuado de nuestros recursos. Nos permite observar el desarrollo de las acciones de gestión del establecimiento Señale lo verdadero respecto al Monitoreo con enfoque estratégico a. Se basa en la aplicación del análisis FODA. b. Opera con independencia del Plan Operativo. c. Incorpora la observación del contexto, los clientes y los procesos de gestión d. Se caracteriza por estar integrado a la Supervisión. e. Esta en relación con los procesos de evaluación. 3. Señale que característica no corresponde al Monitoreo tradicional a. b. c. d. e. 4. Se centra en encontrar desviaciones o incumplimientos Da énfasis a los procesos de tipo administrativo. Su valor informativo radica en su capacidad de extrapolación Se centra en identificar procesos. Orientado a responsabilidades funcionales. Señalar lo falso en lo referente a la implementación del Monitoreo estratégico a. La realización del análisis FODA hace que no sea necesario tomar en cuenta el Plan Operativo. b. Es importante definir los procesos a observación. c. El análisis de la forma del registro de los procesos sometidos a Monitoreo nos permite generar información confiable. d. Si la información generada a través del Monitoreo no es oportuna para la toma de decisiones no es útil. e. La información generada durante el Monitoreo debe ser oportuna, continua y confiable. 132 Texto Autoformativo: Unidad IV 5. Señalar lo incorrecto respecto al Monitoreo con base participativa. a. Establece concenso respecto a las acciones de control a través del Monitoreo. b. Permite la participación de los trabajadores en el proceso lo que mejora la calidad de la observaciones. c. Facilita su implementación en términos administrativos. d. Enriquece la propuesta de Monitoreo con los aportes del equipo de salud. e. Ayuda a identificar los procesos realmente relevantes para el Monitoreo. 6. Respecto a la relación del Monitoreo con otros procesos de Gestión señalar lo incorrecto: a. La planificación ofrece criterios que son el eje de las acciones de Monitoreo. b. El Monitoreo al ser un proceso administrativo no tiene ninguna relación con la Evaluación. c. El Monitoreo identifica procesos que tienen relación con problemas de desempeño, por lo que es de utilidad en las acciones de Supervisión. d. El Monitoreo es de utilidad para observar la ejecución del Plan Operativo. Luego de una minuciosa lectura consulte la clave de respuesta. El tiempo óptimo para responder el cuestionario es de 15 minutos. Clave de respuestas 1. b, 2. c, 3. d, 4. a, 5. c, 6. b Criterios de evaluación Comprensión suficiente: 6 respuestas correctas Comprensión parcial: 4-5 respuestas correctas Comprensión insuficiente: 0-3 respuestas correctas En caso de tener una comprensión insuficiente o parcial, anote los puntos de mayor dificultad, para luego volver a revisar cuidadosamente los materiales del tópico y si subsisten las dificultades, solicitar el apoyo del tutor local. En caso de persistir algunas dudas estas deberán ser expuestas y subsanadas en la actividad presencial. RESUMEN El Monitoreo es una actividad fundamental para la gestión de un establecimiento de salud. Provee de información indispensable para la ejecución del Plan Operativo, así como para las acciones de supervisión y evaluación. En la actualidad, se presenta como una actividad de simple control administrativo, mediante la generación rutinaria de reportes y consolidados para satisfacer los requerimientos de instancias superiores. Un enfoque moderno de gestión en salud plantea una 133 Supervisión, Monitoreo y Evaluación alternativa para un trabajo eficiente y de calidad: El Monitoreo con enfoque estratégico. En esta propuesta, el Monitoreo es una herramienta indispensable para la gestión y engloba aspectos tanto relacionados a la ejecución del Plan Operativo (cumplimiento de actividades, ejecución de presupuesto), así como elementos del proceso de atención, ajuste de costos, satisfacción del usuario, conducta organizacional, entorno del establecimiento, etc. El diseño de un plan de Monitoreo parte de las actividades del Plan Operativo, así como de la identificación de elementos de la realidad del establecimiento o de su entorno que deben ser observados sistemáticamente. Posteriormente, se debe definir la forma en que estos hechos pueden ser registrados en forma oportuna, continua y confiable. Para ello, debemos de identificar fuentes de información, sistemas de recolección y responsables específicos, productos y frecuencia de reportes. Para ello, se proponen un conjunto de herramientas de base participativa que permiten la incorporación del establecimiento en la implementación de un Sistema de Información Gerencial, como herramienta para el cumplimiento de los objetivos planteados en el plan de Monitoreo, bajo un marco de concenso y compromiso mutuo que garantiza la viabilidad del sistema y la producción de información confiable y oportuna. Un punto clave para el manejo, legitimidad y utilidad del Monitoreo es el uso sistemático de la información generada y su uso intensivo en la gestión del establecimiento. BIBLIOGRAFÍA 1. Pumpin, C., Echevarría. Estrategia Empresarial. Editorial Díaz de Santos, Madrid 1993. 2. Andreu R, Ricart J, Valor J. Estrategia y Sistemas de Información. McGrawHill, Madrid, 2da. Edición, 1996. 3. OPS-OMS. Planificación y Monitoreo de las Actividades. Curso de Gerencia para responsables de actividades de CED. 1988 4. Guarnizo C, Químper M. Módulo de Gestión de Servicios de Salud Locales. Programa de Enseñanza para Administradores Locales de Salud (PEAS-PERU). Versión Preliminar. UNMSM- MINSA-DSE. 1996. 5. Rizo A, Aramburú C, Murray N, Wulf D. Editores. Manual del Administrador de Planificación Familiar. Management Sciences for Health Pathfinder International. 1994. 6. Curso de actualización en la Enseñanza de Salud Pública. Módulo Epidemiología y Salud en Población. UNISAP. ANR-GTZ-OPS 1995. 7. Pait VS, Flit SI. Monitoreo y Evaluación de Impacto para proyectos de desarrollo. CONCYTEC-Rutas S.A. , Lima 1995. 8. Torres ZW. Manual de análisis y uso de información gerencial en salud. Grupo Quipus-DGI, Lima, 3ra. Edición 1998. Monitoreo y evaluación de programas. Serie Manuales de gestión. Módulo 5. Fundación Aga Khan, MINSA-Perú, 1997. 134 Unidad V Supervisión del Plan Operativo 135 Supervisión, Monitoreo y Evaluación 136 Texto Autoformativo UNIDAD V SUPERVISIÓN DEL PLAN OPERATIVO A OBJETIVOS ESPECÍFICOS Al finalizar la presente unidad el participante estará en capacidad de: Exponer los fundamentos de las Acciones de Supervisión Identificar las situaciones del B establecimiento, susceptibles de ser supervisados C Diseñar el Plan de Supervisión del POI PRODUCTO PLAN DE SUPERVISIÓN DEL POI C O N T E N ID O S 2.1 . Ind ica d o res d e evaCONTENIDOS luac ió n 2.2 . ¿ Có m o co nstruir ind ica d o res? 2.3 . Ind ica d o res d e estructura , d e p ro c eso /p rod ucto y d e 5.1 re sulta La do Supervisión s del PO I 2.4 . Ind ica d o res d ede m oSupervisión nito reo y sup ervisió n d e Operativo lo s 5.2 se rvic ElioPlan del Plan s d e un es tab lecim ie nto de s alud . Institucional 2.5 . Selec ció n d e ind ica do re s p a ra el PEM S LECTURAS SELECCIONADAS DEL TEXTO DE APOYO Vallejos, H. Introducción a la Supervisión 137 Supervisión, Monitoreo y Evaluación 138 Texto Autoformativo UNIDAD V LA SUPERVISIÓN DEL PLAN OPERATIVO 5.1. LA SUPERVISIÓN La supervisión es una herramienta muy útil en todas las fases de un Programa, un Proyecto o del funcionamiento de un servicio de salud. Especialmente en la fase de ejecución. La supervisión es muy importante para lograr la eficiencia, eficacia y calidad de los servicios de salud. Es una piedra angular para garantizar una adecuada ejecución de los planes y programas. Tradicionalmente la supervisión en los servicios de salud ha sido vista como una actividad improductiva. Las personas encargadas de la supervisión han privilegiado la fiscalización de los actos de sus subordinados. Esto ha conducido a desarrollar en el trabajador operativo un temor por la supervisión. En otros casos los trabajadores se han tornado indiferentes y, luego de prometer una serie de cosas al momento de ser supervisados, apenas el supervisor se ha retirado, todo ha seguido igual, en consecuencia, es muy poco lo que se logra mejorar el desempeño de los trabajadores y la satisfacción de los usuarios de los servicios. Una investigación reciente sobre la supervisión en las instituciones de salud en el Perú, realizada el año 1995, por encargo del Programa de Fortalecimiento de Servicios de Salud, encontró algunos aspectos positivos de la supervisión en los servicios de salud a cargo del Ministerio de Salud. Entre estos aspectos podemos citar el desarrollo de instrumentos de supervisión por los Programas de Salud y la participación de la comunidad en la supervisión de los servicios de salud, a través de los Comités Locales de Administración de Servicios de Salud (CLAS), que se desarrollan en el Perú desde 1994. Esta investigación, sin embargo, ha señalado nítidamente una serie de importantes aspectos de la supervisión que se requieren mejorar. Entre estos podemos citar la concepción de la supervisión como sinónimo de control o fiscalización; los resultados de la supervisión no son utilizados para los procesos de planificación y programación; la supervisión está desvinculada de la toma de decisiones y de los procesos de acreditación; la supervisión es sobre todo correctiva y no preventiva; la existencia de recursos insuficientes para la supervisión; muy poca consulta a los usuarios sobre sus opiniones de la calidad de los servicios que reciben en los establecimientos de salud. A pesar de lo mencionado en el párrafo anterior, es importante destacar que la supervisión puede jugar un papel muy importante en el mejoramiento continuo de la calidad de los servicios, proyectos y programas de salud. La supervisión contribuye a obtener los resultados previstos en el Plan Operativo, al descubrir a tiempo los problemas en la ejecución del plan, analizarlos y elegir las soluciones adecuadas. La supervisión puede prevenir la presentación de problemas y eventos indeseables en la ejecución de las actividades en los servicios, proyectos o programas de salud. 139 Supervisión, Monitoreo y Evaluación La supervisión es una actividad muy valiosa que permite observar la calidad de los procesos al interior de los servicios de salud. Al darnos información de cómo se ejecutan las actividades, puede indicarnos cómo se pueden reorientar si fuere necesario. La supervisión permite realimentar al equipo de trabajo y posibilita, de este modo, la superación continua de su desempeño, elevando su autoestima y su rendimiento. La supervisión ayuda a obtener los resultados previstos en el Plan Operativo, al descubrir a tiempo los problemas en la ejecución del plan relacionados con el desempeño del trabajador, analizarlos y elegir las soluciones adecuadas. ¿CUÁL ES LA UTILIDAD DE LA SUPERVISIÓN? La supervisión es muy útil para: Capacitar permanentemente a los trabajadores, para mejorar su desempeño. Motivar al trabajador para el desarrollo de su trabajo. Mejorar la calidad técnica de la atención y la satisfacción del usuario de los servicios de salud. Realimentar inmediatamente al equipo de trabajo y todo el proceso de ejecución de las actividades. Reorientar a tiempo la ejecución de actividades si fuere necesario. ¿QUÉ ESTILOS DE SUPERVISIÓN EXISTEN? En los servicios de salud suelen utilizarse la supervisión democrática o participativa y la supervisión autoritaria o vertical. En la mayor parte de casos debemos privilegiar la supervisión participativa, pues permite el desarrollo del trabajador en un clima de armonía y tolerancia. Supervisión democrática (participativa) La supervisión democrática esta orientada hacia el trabajador, considera que el personal es bueno por naturaleza. Toma en cuenta la adaptación de los planes a la realidad local y aprovecha la planificación y el trabajo en equipo. La supervisión democrática o participativa motiva al trabajador en la ejecución correcta de las actividades y permite mejorar su autoconfianza y productividad. Rescata su experiencia y sugerencias para mejorar los procesos. Por lo que es más eficaz. La supervisión democrática consulta, no impone. La supervisión participativa construye, no conquista, está dirigida fundamentalmente a lograr una mejora del desempeño en forma concertada y con la participación activa del trabajador. Supervisión autoritaria o vertical La supervisión de estilo autoritario está dirigida a la tarea, busca el cumplimiento de las actividades sin importar la participación del trabajador. El supervisor establece y supervi- 140 Texto Autoformativo: Unidad V sa los métodos de trabajo orientados a la consecución de objetivos y establece procedimientos y directivas para el cumplimiento de una tarea determinada, sin importarle la opinión del trabajador, su percepción de la tarea, o si esta es posible desarrollarse en el contexto o en el escenario cotidiano del trabajo en el establecimiento de salud. Este estilo de supervisión puede ser de utilidad y estar justificado en varias circunstancias: Cuando la aplicación rigurosa de una norma o estrategia es imprescindible para el éxito de una actividad. Su cumplimiento no puede ser discutido por el personal. Tiene que ejecutarse sin modificación alguna. Por ejemplo: Una técnica de vacunación; un esquema de tratamiento; el procedimiento de esterilización del material quirúrgico. En todos estos casos la verticalidad de la supervisión no debe ser vista como sinónimo de un trato descortés, cortante, ofensivo o despectivo, como, desgraciadamente, nos hemos acostumbrado a pensar o sentir la supervisión. El autoritarismo de la supervisión está dado por la preocupación en el cumplimiento de la norma, a como dé lugar. El eje central o la principal preocupación de la supervisión de estilo vertical es el control, la inspección. En una situación de emergencia en la que se precisa actuar de inmediato. Es crucial la rápida y oportuna intervención. No es posible consultar más opiniones. Por ejemplo: Una acción de bloqueo ante la aparición de un brote de sarampión en un distrito o un operativo frente a un brote de cólera en una comunidad. Ambas situaciones son una emergencia. Alguien tiene que tomar las decisiones y todos actuar rápidamente en función de acciones rígidas ajustadas generalmente a un protocolo. En una situación de conflicto insoluble por los medios habituales. En estos casos es conveniente tomar decisiones en forma vertical. Estos dos estilos de supervisión se pueden expresar así: Supervisión democrática: «Pongámonos de acuerdo en lo que es conveniente hacer». Supervisión autoritaria: «Haga usted lo que yo digo!» ¿CÓMO PREPARARSE PARA SER UN BUEN SUPERVISOR ? Es conveniente que la persona que va a supervisar se prepare con anticipación para adquirir algunas destrezas y actitudes que favorezcan el éxito de la supervisión. Para ello debe: Conocer a profundidad el trabajo a supervisar. Debe ser un técnico en la materia. »Ponerse en la Piel» o lugar del supervisado. considerar sus preocupaciones, motivaciones o temores. 141 Supervisión, Monitoreo y Evaluación Considerarse un FACILITADOR del aprendizaje y no un EXPERTO infalible. El supervisor no va a solucionar los problemas; él va a apoyar en la solución de los problemas por el equipo local. El(la) supervisor(a) no va a enseñar; va a ayudar a aprender. Si bien el(la) supervisor(a) es, por lo general, un(a) superior(a) en la jerarquía de la organización, debe privilegiar un trato cordial con el personal a supervisar, por lo que debe ejercitarse para brindar dicho trato. El buen supervisor se hace, no nace. Durante su preparación puede usar los sociodramas y la misma práctica para adquirir el trato horizontal con los equipos supervisados. ¿CÓMO PROGRAMAR LA SUPERVISIÓN? El desprestigio, la poca importancia que se le ha concedido habitualmente, la percepción del trabajador del carácter fiscalizador y desaprobador de la supervisión, han contribuido a que no se la programe con anticipación y se le atribuya una dudosa utilidad en el desarrollo de las actividades de los servicios de salud. En la asignación del presupuesto de los programas, proyectos o servicios, muchas veces se ignora o minimiza los recursos para la supervisión. Es necesario saber de antemano lo que se va a supervisar. Para ello es preciso conocer las actividades que debe realizar el trabajador supervisado. Se deben delimitar las responsabilidades dentro del equipo de trabajo. Debemos construir un listado sencillo de las tareas programadas, con los correspondientes indicadores y estándares de calidad de las mismas. Estos aspectos deben ser conocidos de antemano por todas las instancias, desde los responsables de conducir la gestión hasta el trabajador operativo. ¿QUÉ SUPERVISAR? Los recursos financieros son cada vez más escasos, por lo que es necesario priorizar las actividades que se van a supervisar. Para ello se sugiere considerar: Las actividades o tareas más importantes para el éxito del programa, proyecto o servicio de salud. Aquellas, por ejemplo, cuya incorrecta ejecución puede traer consecuencias funestas: mayor mortalidad o morbilidad, o un impacto positivo nulo o muy insignificante en la salud de la población, como la ejecución defectuosa de la inmunización para el Sarampión en una población de niños de un albergue, por ejemplo. Las actividades o tareas más difíciles de realizar por el trabajador operativo. Es probable que el trabajador requiera apoyo para la realización adecuada de estas actividades, el cual lo puede y debe recibir durante la supervisión. Las actividades o tareas nuevas o recién aprendidas por el personal. Después de una capacitación es muy conveniente supervisar el desempeño del trabajador capacitado, para reforzar los logros o corregir los defectos. La capacitación sin seguimiento es como una golondrina que por sí sola no hace un verano. Es una flor solitaria y aislada que rápidamente se marchita, sin dejar frutos importantes. Lo que consideran más importante los trabajadores o los usuarios del servicio. Es bueno que ellos sepan que concedemos importancia a sus preocupaciones o quejas. En el presente Módulo se pretende realizar la supervisión del desempeño en razón de que de esta circunstancia va a depender el éxito del POI. En razón de que la supervisión busca, sobre todo, o, en última instancia, prevenir los problemas, detectarlos a tiempo y, finalmente, solucionarlos de la forma más conveniente. 142 Texto Autoformativo: Unidad V ¿QUÉ ES UN PROBLEMA DE DESEMPEÑO? Un problema es una situación en la cual algo se está haciendo mal. Alguien (una persona o un equipo) está haciendo mal algo. Esta situación impide que se obtengan los resultados planeados, con la eficacia y eficiencia deseadas. Un problema de desempeño afecta definitivamente la calidad y la productividad de los servicios que brindamos. Un programa o un servicio pueden tener muchos problemas; sin embargo, no todos los problemas afectan por igual la satisfacción de las necesidades de nuestros usuarios. Generalmente son sólo unos pocos los problemas que más afectan negativamente la calidad y la productividad de nuestras actividades. PASOS EN LA SOLUCIÓN DE UN PROBLEMA DE DESEMPEÑO Frente a un problema de desempeño necesitamos dar los siguientes pasos para solucionarlo: Identificar el problema. Describir o definir el problema. Decidir la importancia del problema para el éxito del programa o servicio. Analizar el problema: identificar sus causas. Identificar las soluciones viables del problema. Ejecutar y evaluar la solución seleccionada del problema. 1. ¿Cómo identificar un problema de desempeño? Nuestra actitud debe ser la de considerar que todo lo que estamos haciendo puede ser mejorado mucho más. Para identificar un problema de desempeño debemos definir claramente las tareas que se deberían realizar, de acuerdo a normas y procedimientos previamente definidos y para los cuales se han establecido los estándares correspondientes. Luego se observa cómo se están realizando las tareas en la actualidad y se compara con la forma en que deberían realizarse. Si existe una diferencia puede que hayamos descubierto un problema. Esta puede ser una excelente oportunidad para mejorar nuestro trabajo. 2. Describir el problema de desempeño Es conveniente y necesario precisar con algún detalle la naturaleza del problema. Mientras más claras estén las características del problema, más fácil será definir su importancia, buscar sus causas y encontrar la mejor solución. Para facilitar la descripción del problema es conveniente usar el flujograma de las actividades. Así podemos darnos cuenta, en forma gráfica y participativa, dónde es que se produce el problema y detectar los verdaderos «cuellos de botella» o «nudos críticos». La participación de los diferentes agentes puede permitir identificar desde cuándo se presenta el problema, quiénes parecen ser los responsables del problema y a quiénes afecta el problema. 143 Supervisión, Monitoreo y Evaluación 3. ¿Cómo decidir si el problema de desempeño es importante? Como decíamos anteriormente, no todos los problemas tienen la misma importancia para la ejecución de las actividades. Necesitamos definir la importancia del problema, antes de seguir invirtiendo tiempo en analizarlo o en buscar alguna solución. ¿ Cómo darnos cuenta si un problema es importante ?: es conveniente decidir si: ¿ Es grave el problema ? ¿Qué efectos negativos tiene este problema? para: - La continuidad exitosa de las actividades programadas. - La satisfacción de nuestros usuarios. - El desarrollo de otros componentes del programa, proyecto o servicio. - El bienestar de los diferentes agentes participantes en las actividades. ¿ Es urgente? ¿ Si no lo solucionamos ahora qué puede pasar? ¿ Sus efectos parecen ser irreversibles? ¿ El problema mejora o se agrava? Determinar si el problema tiende a mejorar o empeorar. 4. Identificar las causas del problema de desempeño Antes de pensar en la solución del problema es preciso analizar o identificar sus posibles causas. Para ello debemos responder a la pregunta ¿Por qué se produce el problema? Esto puede hacerse mediante lluvia de ideas, usando tarjetas o registrando en una pizarra o papelógrafo las opiniones. Para ampliar la red causal se puede preguntar a su vez y por qué se presenta cada una de las causas. Para un mejor análisis de las causas de un problema es conveniente agruparlas en categorías más o menos definidas. Un problema de ejecución puede deberse a: El trabajador (o el equipo) no está capacitado para realizar la tarea en forma adecuada. El trabajador no tiene el conocimiento o las destrezas necesarias para un buen desempeño. Existen obstáculos para la realización de las tareas. El trabajador puede carecer de las facilidades necesarias para cumplir con su trabajo. Muchas veces, por poca información de sus superiores, el trabajador ni siquiera sabe lo que se espera que él haga. El trabajador (o el equipo) no está motivado para realizar las tareas. No está identificado con los objetivos que se persiguen en la institución, por lo que no tiene el más mínimo interés en hacer la tarea. El desempeño inadecuado es más atractivo que el desempeño adecuado. Al trabajador le representa un beneficio su mal desempeño. Las consecuencias de un deficiente desempeño son favorables para el trabajador. Definidas las causas podemos iniciar la búsqueda de posibles soluciones de un problema de ejecución. 5. Identificar las opciones de solución al problema de desempeño La clara identificación de las causas de un problema puede ser el inicio del camino, a veces difícil, para una solución exitosa. Frente a una causa de un problema de desempeño pueden existir varias opciones de solución. La solución elegida debe: 144 Texto Autoformativo: Unidad V Eliminar la causa específica del problema. Mucho mejor si la solución enfrenta o elimina varias causas a la vez. Es factible de realizar. Mientras más fácil de hacer, mejor. Es poco costosa, tanto en cifras absolutas como en relación al beneficio, eficacia o utilidad. El equipo local piensa que es posible realizarla con éxito y está dispuesto a ponerla en práctica. 6. Llevar a la práctica y evaluar la solución elegida Una vez decidida la solución se procede a ejecutarla, para lo cual se elabora un plan de trabajo, que debe ser monitorizado y evaluado periódicamente. Este plan debe contar con un cronograma de actividades y definir la persona o instancia responsable de ejecutar la solución. ¿CÓMO SUPERVISAR? La supervisión se puede hacer usando varias técnicas, dependiendo de los recursos, el tiempo, los sistemas de información, la importancia de la calidad técnica, el momento o fase de desarrollo de un programa, proyecto o servicio de salud. Las técnicas pueden ser: La observación directa de la ejecución de las actividades. Permite evaluar el desempeño del trabajador. El trabajador observado puede modificar voluntaria o involuntariamente su desempeño durante la supervisión. Es conveniente, por lo tanto, brindar al personal observado un clima de tranquilidad y naturalidad. La entrevista con el trabajador. El diálogo permite captar las opiniones y los conocimientos que el personal tiene sobre las actividades o tareas que forman parte de su trabajo. Este momento puede usarse para estimular al personal por los aspectos positivos de su labor. Permite también recoger información sobre los problemas detectados por el trabajador operativo en el desempeño de sus tareas, permite también enterarnos de las innovaciones hechas en la práctica a las actividades inicialmente diseñadas para el servicio o programa. La entrevista con el usuario. Permite conocer la calidad sentida por los usuarios de los servicios. Puede dar información sobre la accesibilidad y la aceptabilidad de los servicios o intervenciones de salud. Es conveniente resaltar que el usuario carece muchas veces de la información necesaria para evaluar con objetividad la calidad de los servicios de salud y del desempeño del trabajador en términos de calidad técnica, sin embargo nos puede brindar información relevante sobre la actividad y actitud del trabajador de salud durante el proceso de atención, lo que nos permite tener un abordaje que complementa muy bien las técnicas anteriores. Si el usuario dice que nuestro servicio es bueno, debemos considerar que necesitamos, en realidad, mejorar mucho más, para brindar un servicio de calidad. La verificación del abastecimiento y uso adecuado de insumos necesarios para el desarrollo de las actividades. El análisis de la información estadística. Es importante observar la validez de la información en el terreno de los hechos. Esta es una magnífica ocasión para observar la información «en vivo y casi en directo». Es el momento para darnos cuenta si existen incongruencias en la información, es decir entre los parámetros de desempeño observa- 145 Supervisión, Monitoreo y Evaluación dos y lo que aparece en los registros de realización de actividades. Es importante también observar si el nivel local está usando la información del servicio o programa para la toma de decisiones. La capacitación o realimentación del personal que en toda supervisión debemos practicar . Es el momento de solucionar los problemas específicos del desempeño del trabajador, en el mismo «campo de batalla». A nivel de la observación directa del desempeño es posible utilizar herramientas como la lista de chequeo, la cual se discutirá detalladamente más adelante. 5.2. EL PLAN DE SUPERVISIÓN DEL PLAN OPERATIVO INSTITUCIONAL El Plan de Supervisión del POI se refiere a la elaboración de una guía de supervisión de las actividades que se han programado, en cuanto al desempeño del personal que va a intervenir en el desarrollo de la actividad programada. El Plan de Supervisión debe contener: 1. Un calendario de supervisión: permite al supervisor organizar las reuniones futuras y planear los detalles de las mismas. Hay que realizar sesiones de supervisión con todos los empleados que se supervisen. 2. Definir las actividades: las actividades a supervisar son las mismas que fueron seleccionadas para el monitoreo, en consecuencia se supervisa el cumplimiento de los indicadores estándar, y los problemas que se presentan. 3. Determinar las tareas más importantes para supervisar: las tareas más importantes para supervisar se determinan en base a si son indispensables para el éxito, son tareas nuevas, difíciles de ejecutar, o que son tareas que dan imagen a la institución frente al público. 4. Detectar al personal y los servicios más conflictivos: se identifica y evalúa al personal que interviene en las actividades y tareas y se determina el nivel de conflicto en los servicios y en las personas. 5. Un sistema de reconocimiento del desempeño laboral: consiste en identificar al personal que es responsable del cumplimiento de las actividades, al personal que tiene conflictos, y se evalúa la productividad y el mejoramiento continuo de las actitudes. 6. Se elabora una Guía de Supervisión: en base a las actividades y las tareas seleccionadas, y al personal a ser supervisado se elabora una guía de supervisión 7. Elaboración de listas de chequeo Ejemplo: El Centro de Salud Miguel Ángel Honores para poder cumplir con su objetivo de: incrementar en un 80% las actividades preventivo promocionales sobre enfermedades infecciosas intestinales en la comunidad de Lurín en un período de 6 meses es necesario que prepare un Plan de Supervisión. 146 Texto Autoformativo: Unidad V 1. Calendario de supervisión: Se realizará una supervisión bimestral y cuando la situación lo requiera (incumplimiento de metas, problemas de desempeño, baja productividad). 2. Definir las actividades: Actividad: Visitas domiciliarias a familias con niños menores de 5 años para educar e informar sobre prevención y manejo de infecciones intestinales en niños. ACTIVIDADES E INDICADORES DEL POI QUE VAN A SER SUPERVISADOS Actividades Visitas domiciliarias Indicadores Nº promotores de salud disponible. ——————————————————— Cantidad de sujetos a atender Nº promotores de salud disponible ———————————————————— Nº promotores de salud necesarios Nº de Visitas domiciliarias Padres de familia visitados en el domicilio ———————————————————— Padres de familia programados Número de visitas domiciliarias ———————————————————— Número de padres de familia Cantidad total de visitas domiciliarias realizadas Indicadores stándar 1 promotor por 60 familias en 6 meses 1 promotor disponible por 1 necesario 600 visitas domiciliarias en 6 meses 100% de hogares programados para visita domiciliaria 2 visitas domiciliarias por padre de familia 60 visitas domiciliarias por promotor ————————————————————— Número de promotores de salud Cantidad de visitas domiciliarias ————————————————————— Número de promotores de salud x número de semanas Nivel de conocimientos de los promotores de salud sobre infecciones intestinales 3 visitas por promotor por semana 100% de las preguntas contestadas correctamente 147 Supervisión, Monitoreo y Evaluación 3. Determinación de las Tareas claves Indispensables Tareas nuevas Tareas más difíciles para el éxito Tareas Capacitación a los promotores Asignación de material educativo Disponibilidad del transporte Uniformes Llenado de fichas de reporte Mapa del lugar Censo de las familias a visitar Programa de visitas mensual Reporte diario de visitas Disponibilidad de sueros de rehidratación oral Cumplimiento de las visitas Verificación de las visitas realizadas Evaluación de los conocimientos en infecciones intestinales a las familias visitadas Tareas que dan mayor imagen de la calidad X X X X X X X X Según estos criterios las actividades que deberían ser supervisadas en forma prioritaria deberían ser: La capacitación a los promotores Asignación de material educativo El censo de las familias a visitar El cumplimiento de las visitas por parte de los promotores Disponibilidad de sueros de rehidratación oral La evaluación de conocimientos Uniformes El programa mensual de visitas 4. Detectar al personal y los servicios más conflictivos que pueden afectar el cumplimiento de la actividad Nivel de conflicto Contra el equipo de Contra alguno de promotores los Promotores Personal que va a intervenir en la actividad 1 Administrador por el pago de viáticos Chofer por traslado de los promotores a los domicilios Enfermero para la capacitación y supervisión de los promotores: Julio T. Enfermera para la capacitación y supervisión de los promotores: Juana T Promotor: José Puma Promotor: Carlos Paz Promotor: Tino G. 2 3 X 4 1 2 3 4 X X X X X X X X X X X X 1 = No tiene conflicto, 2=Alguna vez lo tuvieron, 3=actualmente hay conflicto pero es controlable, 4= el conflicto es permanente. 148 Texto Autoformativo: Unidad V El personal que debe ser supervisado en forma prioritaria: Chofer, el enfermero Julio T., y el promotor José Puma. 5. Un sistema de reconocimiento del desempeño laboral. El desempeño del personal se evaluará tomando en cuenta la productividad, y el mejoramiento continuo de las actitudes. PRODUCTIVIDAD Plan de Supervisión Lo que se va a supervisar Producto que Fecha de ¿Se cumplió ¿Se cumplió Observaciones debe entregar cumplimiento a tiempo? sin errores? cada trabajador Actividades Nombre y Cargo Responsabilidades 600 visitas domiciliarias de IEC en prevención y manejo de infecciones intestinales durante 6 meses José Puma Promotor de Salud 35 visitas Visitar los domicilios de domiciliarias por mes padres de familia y realizar educación sanitaria El último día de cada mes Carlos Paz Promotor de Salud 35 visitas Visitar los domicilios de domiciliarias por mes padres de familia y realizar educación sanitaria El último día de cada mes Tino G. Promotor de Salud 35 visitas Visitar los domicilios de domiciliarias por mes padres de familia y realizar educación sanitaria El último día de cada mes MEJORAMIENTO CONTINUO DE LAS ACTITUDES Actitud para el trabajo Persona 0 1 2 3 4 Relaciones interpersonales 5 0 1 2 3 4 5 Comunicación 0 1 2 3 4 5 Administrador Chofer Enfermero Enfermera Promotor: José Puma Promotor: Carlos Paz Promotor: Tino G. 149 Supervisión, Monitoreo y Evaluación CALIFICACIÓN Actitud para el trabajo: 0 = Realizó sus actividades sin interés. No puso la atención adecuada a los errores y esto pareció no importarle. 1 = Cumplió las tareas con la clara intención de que estuvieran bien hechas 2 = Solicitó retroalimentación con el propósito de evitar errores 3 = Consultó a las personas que reciben el producto de su trabajo con el fin de detectar oportunidades para mejorar 4 = Aplicó las sugerencias convenientes para mejorar su trabajo 5 = Investigó y apoyó a otras áreas con el objeto de que su trabajo saliera lo mejor posible Relaciones interpersonales: 0 = Fue extremadamente reservado y esto llegó a obstaculizar el trabajo 1 = Convivió sólo con ciertas personas y no se metió en problemas 2 = Convivió cordialmente con ciertas personas y no se metió en problemas 3 = Contribuyó a que el ambiente en su área de trabajo fuera agradable 4 = Participó en actividades para mejorar el ambiente en diversas áreas 5 = Desempeñó un papel fundamental para la solución de conflictos interpersonales Comunicación: 0 = El empleado mostró poca disposición para compartir o solicitar información. 1 = La información que proporcionó o solicitó fue la estrictamente necesaria para la realización del trabajo. Con mucha frecuencia fue necesario hacer aclaraciones 2 = Solicitó o proporcionó información adicional necesaria para hacer mejor el trabajo. En varias ocasiones fue necesario aclarar algunos aspectos. 3 = La información que proporcionó fue muy útil para que el trabajo saliera bien y sólo algunas veces se hicieron aclaraciones. 4 = La información que proporcionó fue indispensable para el mejoramiento del trabajo. Hubo poca necesidad de hacer aclaraciones. Elaboró comunicados escritos cuando fue necesario. 5 = Sus comentarios o comunicados escritos determinaron el éxito de las actividades. Casi nunca fue necesario hacer aclaraciones. 150 Texto Autoformativo: Unidad V 6. Guía de Supervisión del POI Área Actividades Disponibilidad de recursos humanos para las Visitas Domiciliarias Indicadores y fuentes de información Nº promotores de salud disponible Cantidad de sujetos a atender Nº promotores de salud disponible Nº promotores de salud necesarios Procesos y Productos de las visitas domiciliarias Nº de charlas educativas y Nº de Visitas domiciliarias Padres de familia visitados en el domicilio Padres de familia por visitar Número de visitas domiciliarias Número de padres de familia Cantidad total de visitas domiciliarias realizadas Número de promotores de salud Cantidad de visitas domiciliarias Número de promotores de salud x número de semanas Nivel de conocimientos de los promotores de salud sobre infecciones intestinales. Resultados de las visitas domiciliarias Nº de Visitas domiciliarias a padres de familia ——————————————————— Nº de padres de familia con niños menores de 5 años Indicador estándar Técnica de ResponsaSupervisión ble de la supervisión 1 promotor Observación por 60 familias directa en 6 meses Equipo de gestión 1 promotor Análisis de disponible por información 1 necesario estadística 120 charlas y 600 visitas domiciliarias en 6 meses Análisis de la información estadística Equipo de gestiónEquipo de gestión Observación 100% de hoga- directa res programados para visita Entrevista con domiciliaria el trabajador 2 visitas domiciliarias por padre de familia 60 visitas domiciliarias por promotor 3 visitas por promotor por semana 100% de las preguntas contestadas correctamente 100% de hoga- Análisis de la res programa- información dos estadística 151 Supervisión, Monitoreo y Evaluación Lo que se espera que Técnica de Supervisión se cumpla Responsable de la supervisión Tarea Plan de trabajo de los 1. Programa de promotores visitas mensuales Todos los promotores Observación directa deben tener su programa de visitas Equipo de gestión 2. Capacitación a los promotores Informe de las capacitaciones Todos los promotores Entrevista con deben estar capacita- el trabajador dos y se deben realizar todas las capacitaciones programadas Equipo de gestión 3. El pago de viático a los promotores El promotor de salud Todos los promotores Entrevista con deben haber recibido el sus viáticos oportuna- trabajador mente Equipo de gestión 4. El censo a las Informe del censo familias a visitar Disponibilidad de SRO Deben estar censados todas las familias con niños menores de cinco años. Equipo de gestión 5. La evaluación Test de evaluación de conocimientos. Todos los promotores Observación directa deben aprobar el Entrevista con examen. el trabajador Area Fuentes de información Análisis de la información documental y estadística Equipo de gestión Área Fuentes de información Lo que se espera que se cumpla Técnica de Supervisión Personal Los trabajadores Detectar conflictos Matriz de evaluación de conflictos Los conflictos no deben afectar el cumplimiento de la actividad ni la calidad de la misma Retro-alimenta- Equipo de ción del personal gestión Entrevista con el trabajador Productividad: Nº de visitas domiciliarias 35 visitas domiciliarias Entrevista con el Equipo de Informe de actividades de los por mes por promotor trabajador gestión promotores, y la matriz de supervisión de la productividad por trabajador Observación directa Responsable de la supervisión Análisis de las estadísticas de servicio Actitudes Del personal 152 Equipo de El trabajador y los supervisores Debe haber una Análisis de la mejora de las actitudes información gestión de campo Matriz de evaluación de las documental actitudes Entrevista con el personal Texto Autoformativo: Unidad V 7. Elaboración de listas de chequeo 7.1 Matriz de análisis de tareas Trabajador supervisado: Técnico de enfermería del Programa CRED Actividad (producto): Toma de peso de un niño Pasos Conocimientos Habilidades Actitudes 1. Pedir a las madres que pongan a los niños los mandiles para pesarlos Ninguno Habilidad para explicar a las madres la necesidad de cambiar a los niños para pesarlos Actitud amistosa paciente y comprensible 2. Colocar al niño en la balanza Cómo colocar al niño en la balanza Leer correctamente la balanza Manejo adecuado del niño Precisión Delicadeza 3. Ayudar a la madre a vestir al niño Ninguno Ninguna en especial Delicadeza 4. Registrar el peso en la gráfica de control de crecimiento En manejo de gráficas de control de crecimiento Trazar adecuadamente los puntos en la gráfica Precisión 5. Formular comentarios a la madre o informar a la enfermera del programa Interpretar los resultados Capacidad de análisis Precisión 6. Presentar informe Redacción de un informe Preparar el informe. Comunicarse con las madres y con la enfermera Interés por la salud del niño. Respeto por la madre y el niño Luego de realizado el análisis, ésta es transformada en una lista de chequeo que permite establecer todos los pasos de una tarea que debemos observar y supervisar. Este listado de pasos se redactan de tal manera que sólo se tengan dos posibilidades de respuestas, si es SI se marca con un (4), y si es NO se coloca un guión. 153 Supervisión, Monitoreo y Evaluación 7.2 Actividad Construcción de una lista de chequeo En la primera columna coloque las tareas secundarias y los pasos de cada tarea que va a supervisar en la lista de chequeo. Lo más importante para la construcción de una lista de chequeo es la formulación de los pasos, ya sea en forma de pregunta o en forma afirmativa que permitan responder con un Si o un NO. Ejemplo de una lista de chequeo para la supervisión de la toma del peso de un niño. Fecha: Supervisor: Tarea a supervisar: Toma de peso de un niño Marque con un (ü) si las tareas fueron cumplidas conforme a la lista de chequeo Número de observación Fecha Proveedor del servicio (iniciales) El trabajador de salud realizó los siguientes pasos: Indicó a las madres que le pongan los mandiles para pesar a los niños de manera clara y amistosa Leyó correctamente la balanza Manejó con delicadeza al niño Registró correctamente el peso en la gráfica de control de crecimiento Le informó a la madre claramente el estado nutricional de su niño Le realizó alguna sugerencia a la madre luego de determinar el estado nutricional del niño La sugerencia realizada es pertinente con el protocolo de manejo del estado nutricional Le indicó a la madre cuándo tenía que regresar para el siguiente control El trabajador debe responder correctamente a la siguiente pregunta: ¿Cuál es el peso de un niño de 3 meses? Respuesta correcta: 154 1 2 3 4 5 Problemas identificados Medidas tomadas Texto Autoformativo: Unidad V Ejemplo de la lista de chequeo llenada por un supervisor. Fecha: Supervisor: Tarea a supervisar. Toma de peso de un niño: Marque con un (ü) si las tareas fueron cumplidas conforme a la lista de chequeo Número de observación Fecha 1 2 3 4 5 Problemas identificados Medidas tomadas Falta de capacitación Se enseñó a medir el peso correctamente 01/06 01/06 02/06 02/06 02/06 ü ü ü ü ü Indicó a las madres que le pongan los mandiles para pesar a los niños de manera clara y amistosa ü ü ü ü ü Leyó correctamente la balanza ü ü - - - Manejó con delicadeza al niño ü ü ü ü ü Registró correctamente el peso en la gráfica de control de crecimiento ü ü - - - Falta de capacitación ü - - - - Falta de capacitación Le realizó alguna sugerencia a la madre luego de pesar al niño ü ü ü ü ü Le indicó a la madre cuándo tenía que regresar para el siguiente control ü ü ü ü ü ü - - - - Proveedor del servicio (iniciales): Técnico en enfermería El trabajador de salud realizó los siguientes pasos: Le informó a la madre claramente el peso de su niño Se enseñó a registrar el peso correctamente Se enseñó a interpretar el peso correctamente El trabajador debe responder correctamente a la siguiente pregunta: ¿Cuál es el peso de un niño de 3 meses? Respuesta correcta: Falta de capacitación Se organizó un taller para la capacitación de los técnicos de enfermería 155 Supervisión, Monitoreo y Evaluación ACTIVIDAD Nº 1 Siguiendo lo mostrado en el ejemplo anterior realice Ud. el Plan de Supervisión para las actividades propuestas en el POI: 1. Seleccione el objetivo a supervisar: 2. Determine el calendario de supervisión: 3. Determine la Actividad: 4. Determine Tareas claves Tareas Indispensables para el éxito Tareas nuevas Tareas más difíciles Tareas que dan mayor imagen de la calidad Según estos criterios las actividades que deberían ser supervisadas en forma prioritaria deberían ser: 156 Texto Autoformativo: Unidad V 5. Detectar al personal y los servicios más conflictivos que pueden afectar el cumplimiento de la actividad Nivel de conflicto Personal que va a interveniren la actividad Contra el equipo de promotores 1 2 3 4 Contra algunos de los Promotores 1 2 3 4 1 = No tiene conflicto, 2=Alguna vez lo tuvieron, 3=actualmente hay conflicto pero es controlable, 4= el conflicto es permenente. El personal que debe ser supervisado en forma prioritaria: 6. Un sistema de reconocimiento del desempeño laboral. El desempeño del personal se evaluará tomando en cuenta la productividad, y el mejoramiento continuo de las actitudes. Productividad Establecimiento de salud: Plan de Supervisión Actividades Nombre y Cargo Lo que se va a supervisar Responsa- Producto que Fecha de Se cumplió bilidades debe entregar cumpli- a tiempo? cada trabajador miento Se cumplió Observaciones sin errores? 157 Supervisión, Monitoreo y Evaluación Mejoramiento continuo de las actitudes: Actitud para el trabajo Personal 0 1 2 3 4 5 Relaciones interpersonales 0 1 2 3 4 5 Comunicación 0 1 2 3 4 5 CALIFICACIÓN Actitud para el trabajo: 0 = Realizó sus actividades sin interés. No puso la atención adecuada a los errores y esto pareció no importarle. 1 = Cumplió las tareas con la clara intención de que estuvieran bien hechas 2 = Solicitó retroalimentación con el propósito de evitar errores 3 = Consultó a las personas que reciben el producto de su trabajo con el fin de detectar oportunidades para mejorar 4 = Aplicó las sugerencias convenientes para mejorar su trabajo 5 = Investigó y apoyó a otras áreas con el objeto de que su trabajo saliera lo mejor posible Relaciones interpersonales: 0 = Fue extremadamente reservado y esto llegó a obstaculizar el trabajo. 1 = Convivió solo con ciertas personas y no se metió en problemas 2 = Convivió cordialmente con ciertas personas y no se metió en problemas 3 = Contribuyó a que el ambiente en su área de trabajo fuera agradable 4 = Participó en actividades para mejorar el ambiente en diversas áreas 5 = Desempeñó un papel fundamental para la solución de conflictos interpersonales Comunicación: 0 = El empleado mostró poca disciplina para compartir o solicitar información. 1 = La información que proporcionó o solicitó fue la estrictamente necesaria para la realización del trabajo. Con mucha frecuencia fue necesario hacer aclaraciones 2 = Solicitó o proporcionó información adicional necesaria para hacer mejor el trabajo. En varias ocasiones fue necesario aclarar algunos aspectos. 158 Texto Autoformativo: Unidad V 3 = La información que proporcionó fue muy útil para que el trabajo saliera bien y sólo algunas veces se hicieron aclaraciones. 4 = La información que proporcionó fue indispensable para el mejoramiento del trabajo. Hubo poca necesidad de hacer aclaraciones. Elaboró comunicados escritos cuando fue necesario. 5 = Sus comentarios o comunicados escritos determinaron el éxito de las actividades. Casi nunca fue necesario hacer aclaraciones. 7. Guía de Supervisión del POI Area Indicadores y fuentes de información Indicador estándar Técnica de Supervisión Responsable de la supervisión Actividades Procesos y productos Resultados 159 Supervisión, Monitoreo y Evaluación Area TAREAS PERSONAL Productividad Actitudes Del personal 160 Fuentes de información Lo que se espera que se cumpla Técnica de Supervisión Responsable de la supervisión Texto Autoformativo: Unidad V 8. Elaboración de listas de chequeo Las listas de chequeo son parte de las herramientas disponibles para el análisis de tareas. El Análisis de Tareas es un método para examinar parte de las funciones de un trabajador , lo que nos permite revisar sistemáticamente los diversos conponentes de su desempeño. Para la elaboración de una lista de chequeo se parte de las tareas identificadas en la lista de tareas claves, se elige una tarea específica (tarea principal) y se descompone en un conjunto de tareas componentes (tareas secundarias), de manera tal que se pueda establecer una secuencia lógica desde el inicio de la actividad hasta el final. Esta secuencia se establece según los protocolos específicos de atención, normatividad o estándares técnicos establecidos. Estas tareas a la par que son descritas secuencialmente se establecen en términos de: Acciones: Proceso de realización de actividades o procedimiento manual. Comunicación: Información adecuada al paciente respecto a la acción a realizar. Posibilidad de obtener información relevante por parte del paciente o sus familiares. Decisión: De acuerdo a determinado contexto o situación evidenciada en el transcurso de una acción, el trabajador determina un curso a seguir de acuerdo al protocolo o norma técnica específica. Para cada una de estas tareas secundarias se determina el nivel de conocimientos, habilidades, destrezas y actividades, estas se desarrollan en la siguiente matriz 161 Supervisión, Monitoreo y Evaluación 8.1 Lista de chequeo Matriz de Análisis de Tareas y Pasos Trabajador supervisado: Actividad (producto): Pasos 162 Conocimientos Habilidades Actitudes Texto Autoformativo: Unidad V 8.2 Construcción de una lista de chequeo Fecha: Supervisor: Personal supervisado: Tarea a supervisar: Marque con un (4) si las tareas fueron cumplidas conforme a la lista de chequeo Número de observación 1 2 3 4 5 Problemas Medidas identificados tomadas Fecha Proveedor del servicio (iniciales) El trabajador de salud realizó los siguientes pasos: El trabajador debe responder correctamente a la siguiente pregunta: Al finalizar esta actividad reúnase con su equipo de gestión a fin de desarrollar la Actividad N º 1 correspondiente a esta Unidad de la Guía de Trabajos Aplicativos. 163 Supervisión, Monitoreo y Evaluación EL PLAN DE SUPERVISIÓN, MONITOREO Y EVALUACIÓN El Participante al finalizar el presente Módulo debe de presentar el Plan de Supervisión, Monitoreo y Evaluación (PSME), tomando en consideración lo siguiente: 1. El PSME está constituido por los resultados de las actividades que realice el equipo de gestión en la Guía de Trabajos Aplicativos. 2. El Plan debe contener: Nombre del Establecimiento de Salud Localización del Establecimiento de Salud Período del PSME Nombre y cargo de los miembros del equipo de gestión Nombre del responsable de la ejecución del PSME I. Resultados, procesos e insumos del Plan Operativo Institucional II. Indicadores seleccionados para la evaluación, monitoreo y supervisión del POI III. Plan de evaluación de los objetivos del POI, incluyendo el diseño de la metodología seleccionada para la evaluación. IV. Plan de evaluación de Procesos: Plan de evaluación de la calidad Plan de evaluación de procesos críticos Plan de evaluación de causas V. Plan de evaluación de la eficiencia: Plan del análisis de Costo Efectividad (opcional) VI. Plan de Monitoreo del POI VII.Plan de Supervisión 164 Texto Autoformativo: Unidad V AUTOEVALUACIÓN DE LA UNIDAD V Nuevamente debemos hacer un alto en el estudio del módulo y pasar a desarrollar la autoevaluación de nuestro aprendizaje. Lee las preguntas minuciosamente, el tiempo óptimo para la prueba es de 15 minutos. 1. Las afirmaciones siguientes pueden ser verdaderas o falsas. En el paréntesis marca una V si es verdadera y F si consideras que es falsa. a. ( ) En la mayor parte de situaciones se debe privilegiar la supervisión democrática en los servicios de salud. b. ( ) En general se prefiere supervisar las actividades más antiguas y más fáciles de realizar. c. ( ) La concepción problematizadora del aprendizaje se debe usar para fomentar la autosupervisión de los servicios de salud. d. ( ) No es recomendable avisar previamente al personal sobre el día en que se le realizará la supervisión. e. ( ) El supervisor debe tener una actitud de experto y que es el que tiene que enseñar al supervisado. 2. Respecto a la Supervisión marque lo falso a. Es un mecanismo de control administrativo b. Apoya la consecución de los objetivos del Plan Operativo. c. La Supervisión es básicamente una capacitación en servicio. d. A mayor complejidad de la tarea mayor apoyo requiere en Supervisión. e. La Supervisión es en si un proceso, en función de las diferentes etapas de ejecución del Plan Operativo 3. Respecto a la importancia de la Supervisión marque lo falso a. La Supervisión es un elemento importante en la motivación y reconocimiento del trabajador. b. A mayor eficacia e integralidad de la Supervisión, mejor garantía de calidad técnica de los procesos de atención. c. La Supervisión tiene como centro de su actividad el control de los recursos e insumos. d. Permite que el equipo de trabajo analice su desempeño en base al trabajo e informes del Supervisor. e. Permite introducir ajustes a la ejecución de actividades según los informes y recomendaciones del supervisor. 165 Supervisión, Monitoreo y Evaluación 4. Respecto a los estilos de supervisión marque lo falso: a. Las formas democráticas de supervisión son ideales, salvo situaciones específicas. b. En caso de conflictos indisolubles, que afectan la marcha del establecimiento, la supervisión democrática es de elección. c. En el caso de la Supervisión con estilo autoritario, el eje del trabajo está centrado en la tarea. d. En el caso de la Supervisión participativa está más centrada en el análisis del desempeño en forma conjunta con el trabajador. e. En casos de epidemias y desastres naturales, el contexto determina la aplicación de la supervisión con estilo autoritario. 5. Marque lo falso respecto a las actividades que necesitan supervisión: a. Las actividades más importantes en el Plan Operativo. b. Las actividades que no son susceptibles de monitoreo. c. Las actividades o destrezas nuevas. d. Las actividades percibidas como importantes por los usuarios del establecimiento e. Las actividades percibidas como importantes por los trabajadores o el gerente del establecimiento. Verifica tus respuestas con la clave que aparece a continuación. Si tus respuestas no coinciden con la clave averigua en el texto autoformativo el porque de dicha discrepancia. Clave de respuestas 1. VFVFF 2. A 3. C 4. B 5. B Criterios de evaluación Comprensión suficiente: 5 respuestas correctas Comprensión parcial: 4-3 respuestas correctas Comprensión insuficiente: 0-2 respuestas correctas En caso de tener una comprensión insuficiente o parcial, anote los puntos de mayor dificultad, para luego volver a revisar cuidadosamente los materiales del tópico y si subsisten las dificultades, solicitar el apoyo del tutor local. En caso de persistir algunas dudas estas deberán ser expuestas y subsanadas en la actividad presencial. 166 Texto Autoformativo: Unidad V RESUMEN En esta unidad hemos tratado sobre la supervisión de los servicios y programas de salud, o, de los establecimientos de salud, en general. Se ha visto la utilidad de la supervisión, como una herramienta eficaz para resolver los problemas de desempeño del trabajador de salud, los estilos de supervisión, habiendo quedado establecido que en los establecimientos de salud debemos privilegiar, en la mayor parte de casos, la supervisión democrática. Hemos visto que es muy importante preparar con anticipación y cuidado la supervisión. Antes, durante y después de la supervisión se requiere actuar según un plan de trabajo establecido. Necesitamos definir previamente qué supervisar. Se requiere hacer uso de varias técnicas o herramientas de supervisión, dentro de las cuales no debe faltar el diálogo con el usuario del servicio. Es FUNDAMENTAL por ello elaborar el PLAN DE SUPERVISIÓN y desarrollar una GUÍA DE SUPERVISIÓN. No se debe sorprender al supervisado. El personal debe saber con anticipación cuándo será supervisado y en qué consistirá dicha supervisión. Todos estos aspectos requieren de mucha práctica. Se aprende a supervisar supervisando. Es importante prepararse para ser un buen supervisor. Como supervisores debemos comportarnos no como expertos, sino como personas decididas y capaces de brindar apoyo, como FACILITADORES. Para que la supervisión tenga éxito es conveniente realizarla con enfoque de equipo, estableciendo los pasos para la supervisión permanente en salud, con la participación activa de la comunidad y de los trabajadores operativos. De esta manera se sentará las bases para la sostenibilidad de la supervisión de los servicios de salud. A modo de conclusión, podemos afirmar que la supervisión busca, sobre todo, prevenir o solucionar a tiempo los problemas de ejecución en los servicios de salud. Es importante que la supervisión se haga con un enfoque problematizador del aprendizaje, donde el equipo local se desarrolle y fortalezca. La supervisión debe ayudar al equipo local a analizar sus problemas de ejecución, a plantear las soluciones pertinentes y tomar las decisiones en forma participativa. BIBLIOGRAFÍA 1. McMahon R, Barton E, Piot M. Administración de la Atención Primaria de Salud. Editorial Pax México. 1989. 2. Benavente J, Madden C. Cómo Mejorar la Supervisión: Un Enfoque de Equipo. Actualidad Gerencial en Planificación Familiar. Vol II, Nro 5, 1993. 3. Anónimo. A UNICEF Guide for Monitoring and Evaluation. Making a difference. UNICEF. New York. 1991. 4. Programme for the Control of Diarrheal Diseases. Manual for Planning and Evaluation of National Diarrheal Diseases Control Programmes. Genova. World Health Organization. 1984. 5. Rasmuson, M. y colab. Comunicación para la Salud del Niño. HEALTHCOM. Proyecto para USAID. Washington. 1988. 167 GUIA DE TRABAJO APLICATIVO 169 Supervisión, Monitoreo y Evaluación 170 ÍNDICE INTRODUCCIÓN 173 UNIDAD I LA EVALUACIÓN DEL PLAN OPERATIVO 175 ACTIVIDAD Nº l: Definiendo los resultados, procesos e insumos del Plan Operativo. 177 UNIDAD II INDICADORES DE EVALUACIÓN, MONITOREO Y SUPERVISIÓN 181 ACTIVIDAD Nº l: Construyendo indicadores del POI: Identificación de Indicadores 183 ACTIVIDAD Nº 2: Construyendo indicadores del POI: Operacionalización de Indicadores 185 ACTIVIDAD Nº 3: Selección de Indicadores 187 UNIDAD III PLAN DE EVALUACIÓN DE OBJETIVOS 191 ACTIVIDAD Nº l: Diseñando el estudio de situación inicial 193 ACTIVIDAD Nº 2: Evaluando objetivos con estándares de rendimiento 195 ACTIVIDAD Nº 3: Planificando la evaluación de objetivos 197 171 Supervisión, Monitoreo y Evaluación UNIDAD IV MONITOREO DEL PLAN OPERATIVO 199 ACTIVIDAD Nº l: Determinando indicadores de monitoreo 201 ACTIVIDAD Nº 2: Determinando estándares de rendimiento 203 ACTIVIDAD Nº 3: Diseñando el plan de monitoreo 205 UNIDAD V SUPERVISIÓN DEL PLAN OPERATIVO 207 ACTIVIDAD Nº l: Planificando la supervisión 172 209 Guía de Trabajo Aplicativo INTRODUCCIÓN La presente Guía de Trabajo Aplicativo forma parte de Módulo: Supervisión, Monitoreo y Evaluación del Curso de Gestión en las Redes de Establecimientos y Servicios de Salud organizado por el MINSA. La guía presenta una serie de actividades que contribuyen al fortalecimiento de las competencias necesarias para consolidar o mejorar su desempeño como miembro del equipos de gestión. Estas actividades se han diseñado con referencia a la gestión de establecimientos de salud de nivel I-II, sin embargo, pueden extrapolarse a establecimientos o redes de mayor nivel de complejidad. En ese sentido, los materiales que ponemos a su disposición permiten la aplicación directa de conocimientos y habilidades al ámbito laboral, contribuyendo a que usted y el equipo realicen sus funciones con mayor eficiencia. La Guía de Trabajo Aplicativo presenta una estructura común con los otros componentes del módulo. Esta conformado por las mismas unidades del Texto Autoformativo y el Texto de Apoyo, de modo que exista una interacción total entre estos materiales de estudio. Las actividades tienen sus correspondientes instrucciones, formatos, matrices u otras herramientas para el trabajo en equipo. OBJETIVO GENERAL DEL MÓDULO Mejorar el nivel de competencias del equipo de gestión de los establecimientos de salud en el manejo de herramientas de Supervisión, Monitoreo y Evaluación para que contribuya a la modernización, eficiencia, calidad y rentabilidad de los servicios de salud. OBJETIVO GENERAL DE LA GUÍA DE TRABAJO APLICATIVO Desarrollar habilidades aplicativas en los participantes para la elaboración del Plan de Supervisión, Monitoreo y Evaluación del Plan Operativo del establecimiento de salud. METODOLOGÍA Esta guía orienta la elaboración del producto final de este módulo: el Plan de Supervisión, Monitoreo y Evaluación del Plan Operativo de su establecimiento de salud. El mapa de contenidos muestra el producto final que consolida los sub-productos como resultado de las unidades desarrolladas. De este modo el Plan de Supervisión, Monitoreo y Evaluación del Plan Operativo Institucional es elaborado paso a paso, mediante actividades señaladas en cada unidad. Esta Guía ofrece las instrucciones y procedimientos para realizar los trabajos de equipo correspondiente a las actividades previstas. Es importante tomar en cuenta que el éxito del estudio en la fase no presencia¡ depende del uso interrelacionado de los materiales de estudio proporcionados. Se sugiere seguir el siguiente proceso para el estudio de los contenidos y el desarrollo de las actividades de cada unidad. 173 Supervisión, Monitoreo y Evaluación 174 1. Iniciar el estudio con la lectura del texto autoformativo. Esta lectura será analítica y reflexiva, subrayando, resumiendo y elaborando esquemas. 2. Pasar al estudio de las lecturas seleccionadas que se encuentran en el texto de apoyo, aplicando las técnicas de estudio señaladas anteriormente. 3. Desarrollar las actividades propuestas en el texto autoformativo. Las individuales las desarrollará inmediatamente en el mismo texto y las actividades aplicativas de grupo las realizará con su equipo de gestión de acuerdo a las indicaciones que aparecen en la Guía de Trabajo Aplicativo. Unidad I Evaluación del Plan Operativo 175 Supervisión, Monitoreo y Evaluación 176 Guía de Trabajo Aplicativo UNIDAD I EVALUACIÓN DEL PLAN OPERATIVO ACTIVIDAD Nº 1 DEFINIENDO LOS RESULTADOS, PROCESOS E INSUMOS DEL PLAN OPERATIVO OBJETIVO INSTRUCCIONAL 1. Definir los productos e insumos del Plan Operativo preparado por el equipo de gestión de su establecimiento. DURACION DE LA ACTIVIDAD 1 hora PROCEDIMIENTO 1. Luego de haber desarrollado la Unidad I del Texto Autoformativo el equipo de gestión necesita tener un Plan Operativo de un establecimiento, con el fin de revisarlo e identificar sus componentes. 2. Transcriban a la matriz los componentes del POI (coloquen todos los objetivos, actividades y recursos), en su totalidad, si es necesario utilicen el mismo modelo de la matriz en otro papel. 3. En la siguiente celda coloquen los productos e insumos de cada componente del Plan Operativo, que deben ser discutidos en grupo. 177 Supervisión, Monitoreo y Evaluación Establecimiento de Salud: OBJETIVO GENERAL EFECTO IMPACTO OBJETIVOS ESPECÍFICOS 178 EFECTO Guía de Trabajo Aplicativo: Unidad I ACTIVIDADES PRODUCTOS PROCESOS COSTOS RECURSOS INSUMOS 179 Supervisión, Monitoreo y Evaluación 180 Unidad II Indicadores de Evaluación, Monitoreo y Supervisión 181 Supervisión, Monitoreo y Evaluación 182 Guía de Trabajo Aplicativo UNIDAD II INDICADORES DE EVALUACIÓN, MONITOREO Y SUPERVISIÓN ACTIVIDAD Nº 1 CONSTRUYENDO INDICADORES DEL PLAN OPERATIVO: IDENTIFICACIÓN DE INDICADORES OBJETIVO INSTRUCCIONAL 1. Identificar los indicadores de los productos e insumos del Plan Operativo preparado por el equipo de gestión de su establecimiento. DURACIÓN DE LA ACTIVIDAD 1 hora PROCEDIMIENTO 1. Luego de haber desarrollado la actividad individual Nº 1 de la Unidad II y de haber revisado el contenido de ¿cómo construir indicadores? del Texto Autoformativo, el equipo de gestión se reúne para cumplir con las siguientes tareas. 2. Procedan a identificar los indicadores de cada producto e insumo de su Plan Operativo que definieron en la actividad anterior. 3. Identifiquen los indicadores de los objetivos generales, objetivos específicos, actividades y recursos y discútanlos en equipo. Anoten en una pizarra los aportes. 4. Utilizando la matriz que se presenta a continuación, comiencen a llenar cada celda luego de haber discutido en grupo. 183 Supervisión, Monitoreo y Evaluación Componentes del Plan Operativo Productos e insumos Indicadores OBJETIVO GENERAL EFECTO INDICADORES DE EFECTO IMPACTO INDICADORES DE IMPACTO OBJETIVO ESPECÍFICO EFECTOS INDICADORES DE EFECTOS ACTIVIDADES RESULTADOS INDICADORES DE RESULTADOS PROCESOS INDICADORES DE PROCESOS COSTOS INDICADORES DE COSTOS INSUMOS INDICADORES DE INSUMOS RECURSOS 184 Guía de Trabajo Aplicativo: Unidad II ACTIVIDAD Nº 2 CONSTRUYENDO INDICADORES DEL POI: OPERACIONALIZACIÓN DE INDICADORES OBJETIVO INSTRUCCIONAL Operacionalizar los indicadores del Plan Operativo Institucional de un establecimiento de salud. DURACIÓN DE LA ACTIVIDAD 2 horas PROCEDIMIENTO 1. Luego de haber desarrollado las actividad individual Nº 2 de la Unidad II, y de haber revisado el contenido de ¿cómo construir indicadores? en el Texto Autoformativo, el equipo de gestión se reúne para realizar las siguientes tareas. 2. Consultar la lectura de la Organización Mundial de la Salud sobre información necesaria para la preparación de indicadores que se encuentra en el Texto de Apoyo. 3. Transcriban a la primera celda de la matriz los indicadores identificados en la anterior actividad. 4. Determinen los componentes de la operacionalización para cada indicador de los componentes del Plan Operativo: Valor final del indicador, criterios para asignar el valor, y procedimiento de medición. 5. Discutan la operacionalización de cada indicador en grupo y luego coloquen en las matrices sus conclusiones para cada componente de la operacionalización y procedan a llenar las siguientes matrices. Objetivo general: Indicador Valor final del indicador DE EFECTO Escala: Criterios para asignar el valor Procedimiento de medición 185 Supervisión, Monitoreo y Evaluación Objetivo específico: Indicador Valor final del indicador DE EFECTO Escala: Criterios para asignar el valor Procedimiento de medición Criterios para asignar el valor Procedimiento de medición Criterios para asignar el valor Procedimiento de medición Actividad: Indicador Valor final del indicador INDICADORES DE PRODUCTOS Escala: INDICADORES DE PROCESOS Escala: INDICADORES DE COSTOS Escala: Recursos: Indicador Valor final del indicador INDICADORES DE INSUMOS Escala: 186 Guía de Trabajo Aplicativo: Unidad II ACTIVIDAD Nº 3 SELECClÓN DE INDICADORES OBJETIVO INSTRUCCIONAL Seleccionar los indicadores que van a ser utilizados en la evaluación, monitoreo y supervisión del Plan Operativo de un establecimiento de salud. DURACIÓN DE LA ACTIVIDAD 2 horas PROCEDIMIENTO 1. Luego de haber desarrollado la actividad individual Nº 3 de la Unidad II y de haber revisado el contenido de cómo seleccionar indicadores en el Texto Autoformativo, el equipo de gestión se reune para realizar las siguientes tareas. 2. Procedan a seleccionar los indicadores que fueron operacionalizados e identificados en las anteriores actividades. 3. Utilicen las matrices que se presentan en esta actividad, si el espacio es insuficiente para el número de indicadores de su POI se sugiere fotocopiar la matriz y llenarla como corresponde. 187 Supervisión, Monitoreo y Evaluación 4. Indicador DE EFECTO INDICADORES DE PRODUCTOS INDICADORES DE PROCESOS INDICADORES DE COSTOS INDICADORES DE INSUMOS 188 Identificar los tipos de datos y el tipo de recolección de datos necesarios para cada indicador, para lo cual llenará la siguiente matriz. Procedimiento de medición Datos que ya existen en el servicio Requieren de información nueva Guía de Trabajo Aplicativo: Unidad II 5. Construir y completar la matriz de evaluación de indicadores, para lo cual utilizando los indicadores que usted identificó los someterá al siguiente juicio. Importancia del indicador para el programa Recolección de datos ALTA IMPORTANCIA BAJA IMPORTANCIA Fácil Requiere de esfuerzo Difícil A Alta Prioridad B La recolección es importante, pero depende de los recursos C La recolección es importante, pero depende de los recursos B La recolección se realiza sólo si parte del instrumento es para un indicador importante. C Baja prioridad D La recolección se realiza sólo si parte del instrumento es para un indicador importante. Indicadores Prioridad INDICADORES DE EFECTO INDICADORES DE IMPACTO INDICADORES DE PRODUCTOS INDICADORES DE PROCESOS INDICADORES DE COSTOS INDICADORES DE INSUMOS 189 Supervisión, Monitoreo y Evaluación 6. Priorice los indicadores por la importancia y la facilidad de obtención de datos, considerando la matriz de evaluación de indicadores. 7. Agrupe los indicadores seleccionados por fuentes de datos, a fin de ver cuáles comparten la misma fuente, según el ejemplo propuesto. Fuente 190 Indicador Unidad III Plan de Evaluación de Objetivos 191 Supervisión, Monitoreo y Evaluación 192 Guía de Trabajo Aplicativo UNIDAD III PLAN DE EVALUACIÓN DE OBJETIVOS ACTIVIDAD Nº 1 DISEÑANDO EL ESTUDIO DE LA SITUACIÓN INICIAL OBJETIVO INSTRUCCIONAL Diseñar el estudio de la situación inicial para evaluar los objetivos del POI. DURACIÓN DE LA ACTIVIDAD 2 horas PROCEDIMIENTO 1. Luego de haber estudiado y desarrollado la Actividad Nº 1 de la Unidad III del Texto Autoformativo, el equipo reunido realizará las siguientes tareas. 2. Utilicen los esquemas que se presentan a continuación cuantas veces sea necesario, dependerá del número de objetivos que tienen en su POI. 3. Utilicen un esquema para cada objetivo. 4. El conjunto de lo desarrollado en los esquemas constituyen el estudio de la situación inicial (ESI). 193 Supervisión, Monitoreo y Evaluación Objetivo: 1. DEFINIR LO QUE SE QUIERE MEDIR 2. DEFINIR EL OBJETO O SUJETO EN EL QUE SE PRETENDE PRODUCIR UN CAMBIO 3. DEFINIR EN QUIENES SE VA A MEDIR EL INDICADOR DE EFECTO 4. INDICAR LA FUENTE DE DONDE SE VA A OBTENER LA INFORMACIÓN PARA MEDIR EL INDICADOR 5. DESCRIBIR LAS TÉCNICAS E INSTRUMENTOS QUE SE VAN A UTILIZAR PARA RECOLECTAR LOS DATOS QUE VAN A MEDIR EL INDICADOR 6. DESCRIBIR EL ANÁLISIS QUE SE REALIZARÁ PARA COMPARAR LA SITUACIÓN INICIAL CON LOS RESULTADOS OBTENIDOS AL FINAL DEL POI 5. INDICAR LOS RESPONSABLES DE LA EVALUACIÓN 6. PRESENTAR EL CRONOGRAMA DE EJECUCIÓN DEL ESI 194 Guía de Trabajo Aplicativo: Unidad III ACTIVIDAD Nº 2 EVALUANDO OBJETIVOS CON ESTÁNDARES DE RENDIMIENTO OBJETIVO INSTRUCCIONAL Diseñar la evaluación de objetivos del POI utilizando estándares de rendimiento. DURACIÓN DE LA ACTIVIDAD 2 horas PROCEDIMIENTO 1. Luego de haber estudiado y desarrollado la Actividad Nº 2 de la Unidad III del Texto Autoformativo, el equipo reunido realizará las siguientes tareas. 2. Utilicen un esquema para cada objetivo, por lo que pueden fotocopiar los esquemas cuantas veces fuera necesario. 3. Diseñen una evaluación utilizando estándares de rendimiento para cada objetivo. 195 Supervisión, Monitoreo y Evaluación Objetivo: 1. DEFINIR LO QUE SE QUIERE MEDIR 2. ESTABLECER LOS ESTÁNDARES DE RENDIMIENTO PARA CADA INDICADOR 3. ESTABLECER EL ESTÁNDAR DE RENDIMIENTO NUMERICAMENTE 4. DEFINIR EN QUIENES SE VA A MEDIR EL INDICADOR DE EFECTO 5. INDICAR LA FUENTE DE DONDE SE VA A OBTENER LA INFORMACIÓN PARA MEDIR EL INDICADOR 6. DESCRIBIR LAS TÉCNICAS E INSTRUMENTOS QUE SE VAN A UTILIZAR PARA RECOLECTAR LOS DATOS QUE VAN A MEDIR EL INDICADOR 7. DESCRIBIR EL CÁLCULO QUE SE REALIZARÁ PARA DETERMINAR EL RENDIMIENTO CON LOS RESULTADOS OBTENIDOS AL FINAL DEL POI 8. INDICAR LOS RESPONSABLES DE LA EVALUACIÓN 9. INDICAR LA FRECUENCIA CON QUE SE VA A RECOPILAR INFORMACIÓN SOBRE LOS INDICADORES DE RENDIMIENTO 196 Guía de Trabajo Aplicativo: Unidad III ACTIVIDAD Nº 3 PLANIFICANDO LA EVALUACIÓN DE OBJETIVOS OBJETIVO INSTRUCCIONAL Elaborar el Plan de Evaluación de los objetivos generales y específicos del plan operativo preparado por el equipo de gestión de su establecimiento. DURACIÓN DE LA ACTIVIDAD 3 horas PROCEDIMIENTO 1. Luego de haber estudiado y desarrollado la Unidad III del Texto Autoformativo procedan a realizar las siguientes tareas. 2. Discutan en el equipo de gestión cada uno de los pasos para llenar los esquemas que van a permitir llenar la matriz, sustentando las propuestas con razones para poder elegir una u otra opción. 3. Contrasten sus apreciaciones y utilizando la pizarra anoten las observaciones a fin de ponerse de acuerdo en lo que debería contener la matriz, y luego transcríbanlo en el informe de los Trabajos Aplicativos de esta Actividad en la matriz que se adjunta. 4. Para la selección de los sujetos de evaluación y el tamaño de estos, se sugiere utilizar la lectura: «Estudiar la muestra» de García Nuñez, que se encuentra en el Texto de Apoyo. Para la selección del instrumento o método de recolección de datos más apropiado se sugiere la lectura del Texto de Apoyo: «Recolección de datos». Para el Plan de Análisis se sugiere la lectura «Análisis de Datos» de Fisher y col., que también se encuentra en el Texto de Apoyo. 197 198 Actividad Nº 3 Siguiendo el ejemplo anterior desarrolle la matriz de monitoreo que va emplear para su POI individual, llenando las celdas respectivas. Establecimiento de Salud: Actividades e Indicadores del POI que van a ser monitoreados Nº Actividades y producto Indicadores Indicadores estándar (A) SIG Sistema de Información Gerencial Instrumentos Responsable Rendimiento real (B) % de Indicador estándar alcanzado (B/A) Análisis de rendimiento real Acciones a realizar Supervisión, Monitoreo y Evaluación Unidad IV Monitoreo del Plan Operativo 199 Supervisión, Monitoreo y Evaluación 200 Guía de Trabajo Aplicativo UNIDAD IV MONITOREO DEL PLAN OPERATIVO ACTIVIDAD Nº 1 DETERMINANDO INDICADORES DE MONITOREO OBJETIVO INSTRUCCIONAL Determinar los indicadores de monitoreo de todas las actividades del POI realizado por el equipo de gestión. DURACIÓN DE LA ACTIVIDAD 3 horas PROCEDIMIENTO 1. Luego de haber estudiado y desarrollado la Unidad IV del Texto Autoformativo el equipo de gestión proceda a realizar las siguientes tareas. 2. Para cada actividad del POI identifiquen los indicadores que van a ser utilizados en el monitoreo. 3. Discutan en grupo los indicadores que van a ser incluidos en el Plan de Monitoreo. 4. Contrasten sus apreciaciones y utilizando la pizarra anótenlas, a fin de ponerse de acuerdo en los indicadores que van a transcribir a la siguiente matriz. Objetivo: 201 Supervisión, Monitoreo y Evaluación Establecimiento de Salud: Actividades 202 Indicadores Guía de Trabajo Aplicativo: Unidad IV ACTIVIDAD Nº 2 DETERMINANDO ESTÁNDARES DE RENDIMIENTO OBJETIVO INSTRUCCIONAL Determinar los estándares de rendimiento de cada indicador de monitoreo de todas las actividades del POI realizado por el equipo de gestión. DURACIÓN DE LA ACTIVIDAD 3 horas PROCEDIMIENTO 1. Luego de haber estudiado y desarrollado la Actividad Nº 2 de la Unidad IV del Texto Autoformativo el equipo de gestión proceda a realizar las siguientes tareas. 2. Para cada indicador de monitoreo del POI escriban los estándares de rendimiento de cada actividad. 3. Discutan en grupo los estándares tomando en cuenta los criterios utilizados en el Ejercicio del Texto autoformativo y luego pasen a llenar la matriz que se presenta a continuación. 4. Contrasten sus apreciaciones y utilizando la pizarra anoten las observaciones a fin de ponerse de acuerdo en lo que debería contener la matriz. 203 Supervisión, Monitoreo y Evaluación Establecimiento de Salud: Actividades e indicadores del POI que van a ser monitoreados. Actividades 204 Indicadores Indicadores estándar Guía de Trabajo Aplicativo: Unidad IV ACTIVIDAD Nº 3 DISEÑANDO EL PLAN DE MONITOREO OBJETIVO INSTRUCCIONAL Diseñar la matriz del plan de monitoreo del POI realizado por el equipo de gestión. DURAClÓN DE LA ACTIVIDAD 3 horas PROCEDlMlENTO 1. Luego de haber estudiado y desarrollado la Unidad IV del Texto Autoformativo proceda a realizar las siguientes tareas. 2. Reúnase con el equipo de gestión de su establecimiento y proceda a elaborar el plan de monitoreo del plan operativo. 3. Discuta con el grupo cada uno de los pasos para llenar la matriz, sustentando las propuestas con razones para poder elegir una u otra opción. 4. Contrasten sus apreciaciones y utilizando la pizarra anoten las observaciones a fin de ponerse de acuerdo en lo que debería contener la matriz. 205 206 Actividad Nº 3 Siguiendo el ejemplo anterior desarrolle la matriz de monitoreo que va emplear para su POI individual, llenando las celdas respectivas. Establecimiento de Salud: Actividades e Indicadores del POI que van a ser monitoreados Nº Actividades y producto Indicadores Indicadores estándar (A) SIG Sistema de Información Gerencial Instrumentos Responsable Rendimiento real (B) % de Indicador estándar alcanzado (B/A) Análisis de rendimiento real Acciones a realizar Unidad V Supervisión del Plan Operativo 207 Supervisión, Monitoreo y Evaluación 208 Guía de Trabajo Aplicativo UNIDAD V SUPERVISIÓN DEL PLAN OPERATIVO ACTIVIDAD Nº 1 PLANlFICANDO LA SUPERVISIÓN OBJETIVO INSTRUCCIONAL Realizar el plan de Supervisión de un Plan Operativo de un establecimiento de salud. DURACIÓN DE LA ACTIVIDAD 8 horas PROCEDIMIENTO 1. Luego de haber estudiado y desarrollado la Unidad V del Texto Autoformativo el equipo de gestión proceda a realizar las siguientes tareas. 2. Definir las actividades que van a ser supervisadas. 3. Determinar las tareas claves de supervisión. 4. Identificar al personal conflictivo. 5. Programar la evaluación del desempeño en cuanto a la productividad, comunicación, actitud hacia el trabajo y relaciones interpersonales. 6. Comiencen a llenar las matrices que se presentan a continuación. PLAN DE SUPERVISIÓN 1. Seleccione el objetivo a supervisar: 209 Supervisión, Monitoreo y Evaluación 2. Determine el calendario de supervisión: Tareas 3. Determine la Actividad: 4. Determine Tareas claves Indispensables para el éxito Tareas nuevas Tareas más difíciles Tareas que dan imagen de la calidad Según estos criterios las actividades que deberían ser supervisadas en forma prioritaria son: 210 Guía de Trabajo Aplicativo: Unidad V 5. Detectar al personal y los servicios más conflictivos que pueden afectar el cumplimiento de la actividad. Personal que va a Nivel de conflicto intervenir en la actividad Contra el equipo de promotores Contra algunos de los promotores 1 2 3 4 1 2 3 4 1 = No tiene conflicto, 2 = Alguna vez lo tuvieron, 3 = actualmente hay conflicto pero es controlable, 4 = el conflicto es permanente. El personal que debe ser supervisado en forma prioritaria: 6. Un sistema de reconocimiento del desempeño laboral. El desempeño del personal se evaluará tomando en cuenta la productividad, y el mejoramiento continuo de las actitudes. Establecimiento de Salud: Plan de Supervisión Actividades Nombre y cargo Responsabilidades Lo que se va a supervisar Producto que Fecha de debe entregar cumplimiento Se cumplió Se cumplió a tiempo sin errores Observaciones 211 Supervisión, Monitoreo y Evaluación Mejoramiento continuo de las actitudes: Actitudes para el trabajo Personal 1 2 3 4 Relaciones interpersonales 5 1 2 3 4 Comunicación 5 1 2 3 4 5 Calificación Actitud para el trabajo: 0 = Realizó sus actividades sin interés. No puso la atención adecuada a los errores y esto pareció no importarle. 1 = Cumplió las tareas con la clara intención de que estuvieran bien hechas. 2 = Solicitó retroalimentación con el propósito de evitar errores. 3 = Consultó a las personas que reciben el producto de su trabajo con el fin de detectar oportunidades para mejorar. 4 = Aplicó las sugerencias convenientes para mejorar su trabajo 5 = Investigó y apoyó a otras áreas con el objeto de que su trabajo saliera lo mejor posible. Relaciones interpersonales: 0 = Fue extremadamente reservado y esto llegó a obstaculizar el trabajo. 1 = Convivió sólo con ciertas personas y no se metió en problemas. 2 = Convivió cordialmente con ciertas personas y no se metió en problemas. 3 = Contribuyó a que el ambiente en su área de trabajo fuera agradable. 4 = Participó en actividades para mejorar el ambiente en diversas áreas. 5 = Desempeñó un papel fundamental para la solución de conflictos interpersonales. Comunicación: 0 = El empleado mostró poca disposición para compartir o solicitar información. l = La información que proporcionó o solicitó fue la estrictamente necesaria para la realización del trabajo. Con mucha frecuencia fue necesario hacer aclaraciones. 212 Guía de Trabajo Aplicativo: Unidad V 2 = Solicitó o proporcionó información adicional necesaria para hacer mejor el trabajo. En varias ocasiones fue necesario aclarar algunos aspectos. 3 = La información que proporcionó fue muy útil para que el trabajo saliera bien y sólo algunas veces se hicieron aclaraciones. 4 = La información que proporcionó fue indispensable para el mejoramiento del trabajo. Hubo poca necesidad de hacer aclaraciones. Elaboró comunicados escritos cuando fue necesario. 5 = Sus comentarios o comunicados escritos determinaron el éxito de las actividades. Casi nunca fue necesario hacer aclaraciones. 7. Guía de Supervisión del POI. Área Indicadores y fuentes de información Indicador estándar Técnicas de Supervisión Responsable de la supervisión Fuentes de información Lo que se espera que se cumpla Técnica de Supervisión Responsable de la supervisión Actividades Procesos y productos Resultados de Área Tareas 213 Supervisión, Monitoreo y Evaluación Área Personal Productividad Actitudes del personal 214 Fuentes de información Lo que se espera que se cumpla Técnica de Supervisión Responsable de la supervisión Guía de Trabajo Aplicativo: Unidad V 8. Lista de chequeo. 8.1 Matriz de Análisis de tareas y Pasos. Trabajador supervisado: Actividad (producto): Pasos Conocimientos Habilidades Actitudes 215 Supervisión, Monitoreo y Evaluación 8.2 Construcción de una lista de chequeo. Fecha: Supervisor: Personal supervisado: Tarea a supervisar: Marque con un ( 3 ) si la tareas fueron cumplidas conforme a la lista de chequeo. Número de observación Fecha Proveedor del servicio (iniciales) El trabajador de salud realizó los siguientes pasos: El trabajador debe responder a las siguientes preguntas correctamente: 216 1 2 3 4 5 Problemas identificados Medidas tomadas Guía de Trabajo Aplicativo: Unidad V EL PLAN DE SUPERVISIÓN, MONITOREO Y EVALUACIÓN El participante al finalizar el presente Módulo deberá presentar el Plan de Supervisión, Monitoreo y Evaluación (PSME) del Plan Operativo lnstitucional desarrollado por el equipo de gestión de un establecimiento de salud. El PSME será presentado de la siguiente forma: I. Identificación del establecimiento de salud y del equipo de gestión: 1.2 Nombre del establecimiento de salud. 1.3 Localización del establecimiento de salud. 1.4 Periodo en que se va a ejecutar el PSME. 1.5 Nombre y cargo de los miembros del equipo de gestión. 1.6 Nombre del responsable de la ejecución del PSME. II. Resultados, procesos e insumos del Plan Operativo Institucional Sub-producto: Actividad 1 de la Unidad I de la Guía de Trabajo Aplicativo. III. Indicadores seleccionados para el PSME. Sub-producto: Actividad 4 de la Unidad II de la Guía de Trabajo Aplicativo. IV. Plan de Evaluación de los objetivos del POI Sub-productos: Actividad 1 y 2 de la Unidad III, diseño del estudio de la situación inicial y de evaluación de objetivos por estándares de rendimiento. Sub-producto: Actividad 3 de la Unidad III. Matriz de planificación de la evaluación de objetivos. V. Plan de Monitoreo del POI Sub-producto: Actividad 3 de la Unidad IV. Matriz del Plan de Monitoreo del POI. VI. Plan de Supervisión Sub-producto: Actividad 1 de la Unidad V. 217 Supervisión, Monitoreo y Evaluación 218 TEXTO DE APOYO 219 220 ÍNDICE Introducción 223 Unidad I: Evaluación del Plan Operativo 227 Lectura Nº 1: La evaluación de proyectos de la A a la Z 231 Unidad II: Indicadores 237 Lectura Nº 1: Variables e indicadores de proceso-producto 240 Lectura Nº 2: Información necesaria en preparación de indicadores para vigilar los progresos realizados en el logro de la salud para todos en el año 2000 269 Unidad III: Evaluación de Objetivos 295 Lectura Nº 1: Estudiar la muestra 298 Lectura Nº 2: Recolección de datos 307 Lectura Nº 3: Tabulación y análisis de datos 314 Unidad IV: Monitoreo de la Gestión del Servicio de Salud 331 Lectura Nº 1: Establezca puntos de control, actividades, relaciones y estimativos de tiempo 334 Lectura Nº 2: Los sistemas de información de la empresa 343 Lectura Nº 3: Ilustre gráficamente el programa de trabajo 355 Unidad V: Supervisión en la Gestión de los Servicios de Salud 365 Lectura Nº 1: Introducción a la Supervisión 369 221 Supervisión, Monitoreo y Evaluación 222 Texto de Apoyo INTRODUCCIÓN La presente guía de Textos de Apoyo forma parte del Módulo: Supervisión, Monitoreo y Evaluación del Curso de Gestión en las Redes de Establecimientos y Servicios de Salud organizado por el MINSA. La guía presenta una serie de lecturas que contribuyen al fortalecimiento de las competencias necesarias para consolidar o mejorar su desempeño como miembro de los equipos de gestión. Estas lecturas se han seleccionado con referencia complementar el aprendizaje realizado a través del Texto Autoformativo, orientado a la gestión de establecimientos de salud de nivel I - II, sin embargo los diferentes conceptos planteados pueden extrapolarse a establecimientos o redes de mayor nivel de complejidad. En ese sentido los materiales que ponemos a su disposición permiten la aplicación directa de conocimientos y habilidades al ámbito laboral, contribuyendo a que usted y el equipo realicen sus funciones con mayor eficiencia. La Guía de Trabajo Aplicativo presenta una estructura común con los otros componentes del módulo. Esta conformado por las mismas unidades del Texto Autoformativo y el Texto de Apoyo de modo que exista una interacción total entre estos materiales de estudio. Las actividades tienen sus correspondientes instrucciones, formatos, matrices u otras herramientas para el trabajo en equipo. El texto está organizado por unidades de modo similar al Texto Autoformativo, cada unidad presenta: A. Un resumen de la lectura manteniendo la relación con los temas del texto Autoformativo. B. La lectura seleccionada con autoría y texto o publicación de la cual fue seleccionada. C. Tiempo estimado de lectura. D. Ideas Fuerza. OBJETIVO GENERAL DEL MÓDULO Mejorar el nivel de competencias del equipo de gestión de los establecimientos de salud en el manejo de herramientas de Supervisión, Monitoreo y Evaluación para que contribuya de la modernización, eficiencia, calidad y rentabilidad de los servicios de salud. OBJETIVO GENERAL DEL TEXTO DE APOYO Ofrecer a los participantes que permita incrementar sus conocimientos mediante la revisión de lecturas seleccionadas que guardan estrecha relación con los temas desarrollados en el Texto Autoformativo. 223 Supervisión, Monitoreo y Evaluación GUÍA DE LECTURA DEL TEXTO El Texto de Apoyo contiene lecturas que han sido seleccionadas de publicaciones de autores o instituciones de prestigio en el área de gestión. Estas lecturas tienen un principio de complementar la información ofrecida en el texto Autoformativo o profundizar en el contenido de algunos temas. Su uso es flexible, opcional y creativo y depende de su interés por ampliar sus conocimientos, aclarar sus ideas o encontrar nuevos campos de aplicación de lo recientemente aprendido. Si algunas de las lecturas ofrecidas ya fue conocida anteriormente o no es de su interés, usted puede prescindir de su lectura. Esperamos que los textos presentados sean novedosos y útiles, de ese modo usted tendrá interés en ellas y las leerá con detenimiento. Su estudio se inicia siempre con el Texto Autoformativo en que se desarrollan los contenidos de cada unidad. Cada unidad se inicia presentando sus objetivos, sus contenidos y señalando las lecturas seleccionadas para esa unidad. Al desarrollar los temas de la unidad encontrará usted actividades de refuerzo aplicativas, en ellas la primera tarea sugerida es el estudio de lecturas seleccionadas como apoyo a los temas tratados. Se recomienda leer y volver a leer el texto cuantas veces sea necesario. Para asimilar mejor el texto se recomienda lo siguiente: Buscar las ideas principales. Descubrir los aspectos comprendidos en las ideas principales. Encontrar las relaciones entre los aspectos estudiados. Relacionar lo estudiado. El estudio y asimilación de un texto requiere de diversas operaciones mentales entre las cuales analizar, relacionar y sintetizar son las más importantes. Las técnicas más adecuadas para realizar estas operaciones son: Para analizar El subrayado y las anotaciones Para sintetizar El resumen Para relacionar conceptos Esquemas y gráficos El Subrayado y las anotaciones Subrayar un texto significa las ideas principales o párrafos más significativos para nosotros. Como recomendación esto requiere un análisis cuidadoso del texto. Es recomendable el realizar el subrayado sólo después de haber realizado una lectura detenida que haya hecho relevante la información. El Subrayado se complementa con las notas colocadas al margen de los textos que identifican lo encontrado. Señalan su importancia o establecen relación con otro asunto conocido o tratado. Las anotaciones también sirven para mostrar dudas o faltas de comprensión del asunto tratado en estos casos se anotan preguntas al margen del texto. 224 Texto de Apoyo El resumen El resultado de un proceso de aprendizaje es la asimilación comprensiva de un contenido o de una competencia. Este resultado se facilita cuando toda la información recibida y todos los componentes asimilados se integran mediante un esfuerzo de síntesis que se presenta como un resumen escrito. El subrayado anteriormente mostrado es una gran ayuda para realizar el resumen en el cual debe presentar las ideas básicas de una secuencia adecuada, en forma abreviada y en lo posible usando nuestro lenguaje personal, nuestras propias palabras. Esquemas y gráficos Hacer un esquema acerca de un contenido es mostrar su estructura. El esquema debe mostrar los términos que contienen en las nociones principales y las relaciones que identificamos entre ellas, es decir con un esquema o un gráfico logramos la mejor síntesis de un texto. El tiempo que usted usará para lecturas es variado, sin embargo, podemos considerar que en promedio un texto de tres páginas puede ser leído con detenimiento en 15 minutos. 225 226 Unidad I Evaluación del Plan Operativo 227 Supervisión, Monitoreo y Evaluación 228 Texto de Apoyo: Unidad I UNIDAD I LA EVALUACIÓN DEL PLAN OPERATIVO En la Unidad I se han desarrollado diversos contenidos teóricos y prácticos sobre la evaluación del Plan Operativo, se ha presentado la importancia de la evaluación y su utilidad para tomar decisiones, basados en juicios objetivos basados en la evaluaciones. Un elemento fundamental en la evaluación es la selección apropiada de objetivos y resultados. La correcta aplicación de esos objetivos garantiza que los resultados se logren adecuada y eficientemente. A fines de elaborar el plan de evaluación se sigue la lógica de programación del Plan Operativo, sin embargo, en el momento de ejecutar la evaluación se comienza a evaluar cuando el proyecto está en marcha, por lo general se inicia con la evaluación de las actividades tanto administrativas como de los procesos en los que se desarrollan, y al final del POI se evalúan los efectos y el impacto del plan. Para efectos de esta propuesta se plantea elaborar el plan de evaluación desde los objetivos hasta las actividades. Es decir se plantea que la construcción del plan de evaluación siga la misma lógica del Plan Operativo. El plan de evaluación, definido en función del Plan Operativo establece: 1. Los recursos necesarios para cada actividad en cantidad y tiempo. 2. Los procesos en un cronograma de actividades. 3. La calidad de los procesos. 4. Los cambios esperados (resultados) al realizar las actividades: acceso a los servicios, calidad de atención, utilización de los servicios. 5. Los costos de resultado esperado por cada actividad. 6. Los cambios esperados ocurridos en la población objetivo. 7. Qué y cuánto de los cambios ocurridos en la población objetivo se deben al Plan Operativo. Otro elemento de importancia central en la evaluación, es cerciorarnos si se han logrado los objetivos propuestos por el programa. Para ello utilizamos los llamados indicadores de evaluación. El indicador es lo que nos permitirá evaluar los logros del programa. Los indicadores definidas por la OMS como variables que sirven para medir los cambios nos permiten medir diversos aspectos del Plan Operativo: los insumos, resultados, efectos e impacto. La recolección de indicadores por si misma no constituye la evaluación. Los indicadores sirven ante todo para detectar problemas y un problema puede definirse como una diferencia entre la situación deseada (la meta prevista) y el desempeño real alcanzado por el programa en un momento dado. Los indicadores usados en la evaluación de servicios miden: Disponibilidad de servicios en términos de infraestructura, personal y equipo. 229 Supervisión, Monitoreo y Evaluación 230 Accesibilidad Utilización de servicios Calidad de atención Cobertura Impacto Texto de Apoyo: Unidad I LECTURA Nº 1 LA EVALUACIÓN DE PROYECTOS DE LA A A LA Z García Nuñez, José. Evaluación de Programas de Planificación Familiar. Guía detallada para Administradores y Evaluadores. Profamilia, Bogotá 1995, pag. 53-54 RESUMEN José García Nuñez, mexicano, es evaluador experto en programas de planificación familiar y políticas de población, expone con un lenguaje apropiado y de fácil lectura en este tema todo el proceso de evaluación, por lo que se titula de la A a la Z. Permite tener una visión global de lo que se realiza en una evaluación comenzando con el planeamiento, la metodología, la recolección de datos, el análisis de datos terminando con el informe de los resultados. Este esquema propuesto por García Nuñez va a ser de mucha utilidad a nivel de aplicación práctica, debido a que se adapta a diversas evaluaciones a nivel del establecimiento donde trabajan, lo que les será de mucha utilidad en la elabora- 2.4 La Evaluación de proyectos de la A a la Z Aunque la mayoría de las actividades comprendidas en una evaluación se parecen, existen diferencias fundamentales que se basan en lo que ya se conoce y en lo que se necesita determinar. La lógica para cada necesidad de evaluación, requiere definiciones individuales para cada fase. Para evaluar un proyecto es necesario seguir una secuencia lógica de pasos, el primero consiste en decidir qué es lo que queremos evaluar. Se tiene expectativas que serán confrontadas para evaluar el éxito de un proyecto? ¿Cuáles son estas expectativas? Es precisamente en esta fase del Planeamiento de la evaluación, donde se determinan los parámetros de la evaluación y donde se definen las necesidades. Se decide lo que se quiere averiguar así como también qué o quienes tienen esa información. Definido el ámbito de la evaluación, se decide el tipo de enfoque a utilizar o la metodología. ¿Se va a utilizar un enfoque cualitativo, un enfoque cuantitativo o ambos enfoques? ¿Cómo se van a recolectar los datos de las fuentes de información que hemos seleccionado? ¿Se va a utilizar una muestra de la población objetivo, o se va utilizar toda la población?. Cuando se decide utilizar una muestra de la población objetivo, ¿Qué tipo de metodología de muestreo se va a utilizar? Cuando ya sabemos qué tipo de información se requiere, el próximo paso será decidir sobre la herramienta de evaluación que se va a utilizar para recolectar los datos. ¿Se elaborará un cuestionario? ¿Se conducirá un grupo focal o ambos? Decididas las fuentes de información y los instrumentos para recolectar datos, se comienza la recolección. Es en este momento donde se diseñan y administran los instru- 231 Supervisión, Monitoreo y Evaluación mentos para la evaluación. ¿Cuál será el contenido del cuestionario? ¿Cómo se va a conducir los grupos focales u observaciones? ¿Qué tipo de capacitación se requiere para recolectar datos en forma confiable? Terminada la recolección de datos, éstos se analizan. ¿Cuál es la calidad de los datos recolectados? ¿Qué tipo de análisis se va a realizar? ¿Vamos a analizar los datos nosotros mismos, o es necesario capacitar personas para que colaboren? ¿Cuáles son los resultados? Después de analizar los datos se informan los resultados. Para hacerlo se prepara un informe y se presentan los resultados. ¿Qué debe contener el informe o cuándo se va a presentar? ¿Quiénes van a recibir EL INFORME? ¿Qué tipo de formato de presentación se utiliza? ¿Quiénes van a asistir a la presentación del informe? Y, por último, ¿Se pueden utilizar los resultados para análisis comparativos? No sólo se deben completar estos cinco pasos para realizar una evaluación efectiva del proyecto, sino que debe seguir la secuencia de los mismos. No tiene sentido el elaborar un cuestionario antes de saber qué se quiere evaluar, ni antes de conocer qué información se encuentra disponible. Además no se puede diligenciar el cuestionario antes de decidir quiénes serán incluidos en la muestra. Es importante que luego de presentado el informe se adjunte un plan de seguimiento de las sugerencias y el presupuesto correspondiente a fin de que se favorezca la toma de decisiones. Planeando la Evaluación Un punto obvio para comenzar, es el de decidir los aspectos del programa que necesitan ser evaluados. Generalmente, se determina consultando con la que administra el programa y con la agencia que está aportando los fondos para el programa. ¿Se quiere evaluar únicamente un componente del programa o todos los componentes? ¿Se quiere evaluar la calidad de la atención o los cambios en la capacidad institucional? Parte de la fase del planeamiento consiste en definir el enfoque de la evaluación. Para ello, el evaluador tiene que trabajar con los administradores para diseñar un plan de evaluación que cubra las necesidades de todos los grupos. Algunas veces, para llegar a un consenso, se requiere que el evaluador dirija sesiones formales de estudio con gran parte del personal del proyecto para escuchar sus puntos de vista y sus recomendaciones. Estas sesiones sirven para aclarar puntos y de esta manera evitar equivocaciones futuras. Si el evaluador decide efectuar la evaluación sin el consenso de las partes interesadas, es muy probable que tenga problemas cuando presente los resultados. Por lo tanto, el evaluador y la administración tienen que trabajar conjuntamente para estructurar el contenido y el enfoque de la evaluación. Una vez acordados los interrogantes del estudio, el próximo paso consiste en desarrollar los indicadores que sirvan para responder esas preguntas. Por ejemplo, cuando queremos evaluar un proyecto de suministro de servicios de planificación familiar, los indicadores pueden ser el número de Años Protección Pareja (APP) distribuidos o el número de nuevos usuarios. Igualmente, cuando deseamos evaluar un proyecto de capacitación, los indicadores de resultado pueden ser el número de personas capacitadas o el costo de la capacitación. El evaluador identifica las fuentes a partir de las cuales puede obtener información sobre el programa o componente del programa. Ellas pueden ser personas o documentos. Las 232 Texto de Apoyo: Unidad I fuentes de información pueden ser los usuarios de los servicios, los trabajadores del programa de distribución comunitaria, los líderes comunitarios, las encuestas a nivel nacional o los registros de servicios clínicos. Es frecuente el que las fuentes de información se seleccionan con base en los datos que se encuentran disponibles y en el acceso que se tenga a estos datos. En algunos casos, el evaluador quiere analizar las estadísticas de los servicios, pero quizá no existen o si se tienen, algunas veces no son confiables. En este caso se debe mejorar el registro de estadísticas del servicio, o dirigirse directamente a la población objetivo y generar nuevos datos. Por ejemplo, un evaluador quiere averiguar el nivel educativo de los usuarios que buscan servicios de planificación familiar en una clínica determinada. El registro de servicios de esa clínica no suministra dicha información, por lo que decide rediseñar los formularios de registro de usuarios con el fin de incluir un renglón en el que se coloque su nivel educativo. Durante esta fase el evaluador también determina la logística para dirigir la evaluación, la función del evaluador, el tiempo requerido, el ambiente para dirigir la evaluación y por último, qué información está disponible con el fin de proceder a diseñar la metodología del estudio. Diseño de la Metodología de Evaluación En esta fase de la evaluación se plantean preguntas. ¿Se va efectuar una evaluación cualitativa o cuantitativa? ¿Se va a obtener en una muestra de la población objetivo o a partir de toda la población? ¿Cuándo deseamos seleccionar una muestra, qué plan de muestreo vamos a utilizar? Por último, ¿Qué fuentes de información tenemos y cómo vamos utilizar la información? Las evaluaciones cualitativas y cuantitativas difieren en la forma en que es recolectada la información. El enfoque cualitativo requiere de una análisis más detallado, de menos casos y, por lo general, no suministra información que se pueda inferir a toda la población. Mientras que, del enfoque cuantitativo se obtiene información que se puede inferir a toda la población porque la recolección de datos se realiza de acuerdo con parámetros basados en teoría estadística. Por ejemplo, cuando el evaluador quiere medir la tasa de abandono de la planificación familiar, puede seleccionar una encuesta como herramienta de evaluación cuantitativa para medir cuántas mujeres abandonaron la anticoncepción, cuáles son sus características socioeconómicas, su edad y donde viven. Por otra parte, acompaña este enfoque con una evaluación cualitativa utilizando grupos focales o entrevistas para obtener información más detallada sobre razones por la que las mujeres abandonaron la anticoncepción. Una combinación de ambos enfoques puede ser la metodología de evaluación más apropiado para obtener toda la información que se necesita acerca de la población objetivo. A pesar de que se tiene la capacidad para obtener estadísticas de toda la población afectada por el proyecto, en general, es demasiado grande como para medirla individualmente, por lo que se decide seleccionar una parte de la población pero de tal forma que represente a la población. Por ejemplo, se decide entrevistar a todas las personas de un pueblo, a una muestra de personas en cada pueblo, a todas las clínicas de varias regiones o a una muestra del personal en las clínicas de cada región. En términos de suministros, quizá se quiera observar el sistema de logística de una bodega o de todas las bodegas que se encuentren en la zona. Independientemente de la parte de la población que se dedica a estudiar, debemos estar seguros que la muestra podrá estimar de manera precisa los datos de la población que 233 Supervisión, Monitoreo y Evaluación se está estudiando. Esto requiere la elección de un plan de muestreo apropiado. Al utilizar un plan de muestreo equivocado o sosegado, las respuestas que se obtengan serán incorrectas o sesgadas. En el caso que se decida por un plan de muestreo que tenga un grupo control, se debe diseñar la muestra de la misma forma para ambos grupos. Una vez que se sabe qué información se quiere recolectar, se determina la herramienta de evaluación más apropiada para hacerlo. Se elaborará un cuestionario, se conducirá un grupo focal, se observará o entrevistará una muestra de la población, o se van a revisar documentos del proyecto y otra información relacionada con el suministro del servicio? Es posible que se decida utilizar uno a varios de estos métodos, todo depende de las necesidades de información, la disponibilidad de datos, presupuesto y del tiempo asignado para realizar la evaluación. Cada uno de estos métodos es válido, pero con cada uno de ellos se obtiene diferente tipo de información. La observación de los procedimientos utilizados en una clínica no suministra tanta información cuantificable como la que suministra un cuestionario diligenciado por los usuarios, sin embargo, la observación puede suministrar al evaluador información relacionada con la interacción entre el usuario y la clínica o acerca de las condiciones en que se trabaja. Recolección de datos Una vez decidido qué es lo que quiere medir y cómo va a medir, el siguiente paso consiste en recolectar los datos. Para ello es necesario diseñar los instrumentos, probarlos, capacitar al personal y establecer los procedimientos para reunir los datos. Es posible que se tenga que diseñar un manual de instrucciones para ayudar a los entrevistadores a que administren correctamente los cuestionarios y también preparar guías para conducir los grupos focales. La prueba de los instrumentos de recolección de datos, permite revisar los materiales antes de recolectarlos. Sin ella, podemos encontrarnos con que muchos de los datos recolectados no son los adecuados o son imprecisos. Análisis de los Datos Después de recopilar los datos, el primer paso es del análisis consiste en validar los datos, para determinar si son relevantes y confiables. También se debe determinar qué tipo de sesgos tienen. En la etapa de planeamiento de la evaluación se estableció el tipo de análisis que se iba a utilizar, ahora se afina la metodología específica a emplear. Es probable que se encuentre que los datos recolectados no son los que se esperaban y por lo tanto no permiten realizar ciertas pruebas estadísticas. Además, es posible que se decida que se necesita ayuda para analizar los datos porque carecemos de alguna destreza técnica o porque hay demasiados datos para ser analizados por un solo individuo. Informe de los resultados El último paso de la evaluación consiste en presentar el informe de resultados. El método que se utilice para su presentación influye en la aceptación del informe. Cuando se presenta un simple análisis estadístico de los resultados, es probable que los administradores del proyecto no comprendan que fue lo que se encontró y estén menos receptivos para aceptar los resultados, sobre todo si se muestran los puntos débiles del proyecto. Por otro lado, un informe que no explica la metodología que se utilizó para obtener la información, no tendrá credibilidad. La primera tarea del evaluador consiste en definir el público para el cual va dirigido el informe y determinar qué información es la más adecuada para ese público. La inquietud primordial consiste en generar un informe que 234 Texto de Apoyo: Unidad I corresponda a las necesidades de ese público. Un informe general de resultados para el público externo debe presentar un diferente formato. Dicho informe debe ser un resumen que trate los puntos generales y los principales hallazgos y explique sólo un poco sobre los detalles del desarrollo del proyecto. Por ejemplo, el informe puede incluir un análisis comparativo con otros proyectos similares. Aunque a través del sistema de recolección de datos se tenga una amplia capacidad de obtener datos, es importante ser selectivos con los que se va a incluir y lo que se va a omitir en el informe. De lo contrario, es posible que el documento que se prepare resulte demasiado sencillo o demasiado complejo y aburrido para el usuario. Cuando los resultados de la evaluación reflejan las deficiencias del proyecto, es de suma importancia ser sensatos con respecto a la forma de presentar esa información. 2.5 ¿Para qué evaluar? Siempre recordar la razón para la que se va a realizar una evaluación: Para proveer información. Esto significa que la evaluación no se realiza al azar sino en forma sistemática. Debe ser un proceso continuo constituido por pasos que se toman en forma lógica y secuencial. Para permitir emitir juicios. Es decir es una actividad analítica. Su propósito es juzgar si los esfuerzos desplegados han tenido o están teniendo éxito. Para tomar decisiones. Una vez que se tiene idea de cómo va el programa, se debe decidir qué hacer para maximizar su éxito o superar sus limitaciones. La evaluación, para que tenga valor, debe ser un instrumento para la toma de decisiones, y no simplemente un instrumento académico. 235 236 Unidad II Indicadores 237 Supervisión, Monitoreo y Evaluación 238 Texto de Apoyo: Unidad II UNIDAD II INDICADORES En esta Unidad, se plantea el problema de la selección de indicadores en función de la pregunta: ¿Qué evaluar?, dentro del contexto del Plan Operativo Institucional. Son susceptibles de evaluación los objetivos, las actividades, los procesos y los resultados. En ese sentido, la elaboración del Plan Operativo, implica establecer elementos que nos permitan analizar sistemáticamente los diferentes aspectos de dicho plan. Para ello delimitamos porciones específicas de la realidad como representativas de los procesos que esperamos estudiar, y a ellos denominamos indicadores. Si bien existen conjuntos de indicadores estándar diseñados para efectos de evaluar la diferentes etapas de la ejecución del Plan Operativo (de hecho, en los materiales del curso se presentan muchos de ellos), lo deseable es que los gerentes de los servicios diseñen indicadores específicos a nivel de los planes que diseñan, dado el contexto particular de cada establecimiento y lo complejo de las situaciones específicas que les toca enfrentar, para ello se recomienda esta metodología basada en preguntas: 1. ¿Está el indicador orientado hacia los resultados y está en un nivel correcto? 2. ¿Cuál es la disponibilidad de la información, con qué frecuencia y cuáles son las fuentes? ¿Cuál es la calidad de los datos? 3. ¿Cuál es el grado de comparabilidad de los resultados del indicador? 4. ¿Cuál es la sensibilidad al cambio que tiene el indicador? Posteriormente se establece una guía estructurada para el uso e interpretación de los indicadores, que permite ubicarlos en un contexto adecuado dentro del Plan Operativo y nos ayuda a manejar e problema del manejo de las fuentes de información a nivel del establecimiento. 239 Supervisión, Monitoreo y Evaluación LECTURA Nº 1 VARIABLES E INDICADORES DE PROCESO - PRODUCTO Walter Torres. Manual de Análisis y Uso de Información Gerencial en Salud, 3ra. Ed., Del 1998, p. 73 - 111 RESUMEN El autor propone un conjunto de indicadores objetivos para analizar elementos de la Producción, Cobertura, Concentración, Utilización, Productividad, Costos y Beneficiosos. En ese sentido se definen los conceptos relacionados con el indicador, así como las precauciones respecto a su uso, sus potencialidades y limitaciones. Un elemeno importante es la discusión respecto a costos, así como su relación con los procesos de calidad. La lectura concluye con una revisión de los conceptos con una revisión de los conceptos de calidad y sus diversas aplicaciones en la gestión del establecimiento. 240 Texto de Apoyo: Unidad II C. VARIABLES E INDICADORES DE PROCESO - PRODUCTO El proceso de producción en los servicios conlleva a obtener productos con ciertas características de cantidad y calidad, ellos se dan en los servicios finales y de apoyo. Nos vamos a referirnos con mayor énfasis al producto de los servicios finales, es decir aquellos que se otorgan directamente a las personas. 1. CANTIDAD La mayor parte de las características cuantitativas de los servicios, son medidas en número de atenciones, intervenciones, egresos hospitalarios, insumos, medicamentos, placas radiográficas o análisis clínico, así como en sus costos y beneficios monetarios y no monetarios. Los indicadores que tratamos son: Producción Cobertura Concentración Utilización Productividad Costos Beneficios a. Producción Concepto: Es la cantidad total de productos alcanzados: a) atenciones, egresos hospitalarios; b) insumos o medicamentos entregados; c) placas radiográficas entregadas; d) análisis clínicos entregados, etc. El indicador de la producción no tiene denominador y su valor es usado como denominador o numerador de otros indicadores. Precauciones: Antes de efectuarse el análisis de la información presentada es recomendable: - Ajustar las cifras de acuerdo a los días de paro o de desabastecimiento ocurridos en el período analizado. Una regla de tres simple facilitará el proceso ¿Si con X días de huelga alcanzamos tanto de actividades, sin huelga cuánto más se alcanzará? - Considerar las tendencias nacionales y regionales de las variables que se quiere analizar. Si una patología está en descenso no deberíamos esperar que aumenten las consultas. - Otras entidades pueden captar clientes del MINSA o a la inversa; por lo tanto un descenso o aumento de consultas no necesariamente significa un descenso o aumento en la patología que se analice. 241 Supervisión, Monitoreo y Evaluación Ejemplo 15: Las estadísticas de servicios de Planificación Familiar de la Región Chavín nos ofrecen información sobre atenciones e insumos y Años Protección Pareja a nivel agregado y por métodos. En el caso de la píldora, tenemos los siguientes ejemplos: La evolución histórica de las atenciones a nuevas y continuadoras es presentada en el Cuadro Nº 14 y Diagrama Nº 20, los cuales muestran una tendencia ascendente de las atenciones para dichas usuarias en el período 1990 - 1996. CUADRO Nº 14: PERÚ (MINSA-REGIÓN CHAVÍN): ATENCIONES DE PÍLDORA 1990-1996 Años Total Nuevas (N) Continuadoras (C) Continuidad (C/N) 1990 10,187 2,949 7,238 2.45 1991 14,563 3,842 10,721 2.79 1992 21,021 5,717 15,304 2.68 1993 18,562 4,165 14,397 3.46 1994 18,424 4,396 14,028 3.19 1995 39,918 10,569 29,349 2.78 1996 36,342 9,597 26,745 2.79 DIAGRAMA Nº 20: ATENCIONES DE PÍLDORA 242 Texto de Apoyo: Unidad II La última columna del Cuadro Nº 14 se refiere a una medida de la variable continuidad (ver Cuadro Nº 14) en el que relacionamos el número de consultas a continuadoras por cada consulta a nueva. Esta medida tiene una tendencia creciente entre 1990 y 1996 lo cual indica una mejora en la relación de la usuaria con el servicio, pero luego muestra un descenso hasta situarse en 2.8. Interprete usted esta última caída. Ejemplo 16: Insumos entregados y normados por consulta y por años: En las columnas (1) a (7) del Cuadro Nº 15 (A y B) se ha procedido a calcular, para las usuarias de píldoras nuevas y continuadoras para cada año del período analizado, los siguientes indicadores: CUADRO Nº 15: PERÚ (MINSA-REGIÓN CHAVÍN): CICLOS ENTREGADOS Y NORMAS A. Usuarias Nuevas Años (1) (2) Norma: (3) Ciclos a (4) Ciclos (5) Ciclos Consultas Ciclos por Entregar Entregados Entregados por Efectuadas Consulta (1)x(2) Consulta (4)/(1) (6) Diferencia Absoluta (4)-(3) (7) Diferencia Relativa en % (6)/(3)x100 1990 2,949 1 2,949 3,165 1.07 216 7.32 1991 3,842 1 3,842 4,124 1.07 282 7.34 1992 5,717 1 5,717 8,044 1.40 2,287 40.70 1993 4,165 1 4,165 4,750 1.14 585 14,05 1994 4,396 1 4,396 5,357 1.21 961 21.86 1995 10,569 1 10,569 10,638 1.01 69 0.65 1996 9,597 1 9,597 10,715 1.12 1,118 11.65 (6) Diferencia Absoluta (4)-(3) (7) Diferencia Relativa en % (6)/(3)x100 B. Usuarias Continuadoras Años (1) Consultas Efectuadas (5) Ciclos (4) (2) Norma: (3) Ciclos Entregados por Ciclos a Ciclos por Consulta Entregar Entregados Consulta (4)/(1) (1)x(2) 1990 7,238 3 21,714 18,646 2.57 -3,068 -14.13 1991 10,721 3 32,163 27,618 2.57 -4,545 -14.13 1992 15,304 3 45,912 32,477 2.12 -13,435 -29.26 1993 14,397 4 57,588 23,088 1.60 -34,500 -59.91 1994 14,028 4 56,112 24,048 1.71 -32,064 -57.14 1995 39,918 4 159,672 109,471 2.74 -50,201 -31.44 1996 36,342 4 145,369 66,708 1.84 -78,661 -54.11 243 Supervisión, Monitoreo y Evaluación El número total de ciclos a entregar según norma (3), multiplicando el número de consultas efectuadas (1) por el número de ciclo a entregar en cada consulta, seguir norma (2). El número de ciclos entregados por consulta (5), dividiendo el número total de ciclos entregados (4) entre el número de consultas efectuadas (1). La diferencia absoluta (6) de los ciclos totales entregados (4) y los normados (3). La diferencia relativa en porcentajes (7), dividiendo la diferencia absoluta (6) entre el total de ciclos a entregar según norma (3) y multiplicando por 100. Esta operación equivale a restar del número promedio de ciclos entregados por consulta (5) del número normado (2) y dividir la diferencia entre el segundo número , multiplicando el resultado por 100. Como se puede apreciar, en el caso de ciclos de píldoras entregadas a usuarias nuevas se da muy cercano a lo normado; lo contrario ocurre con las usuarias continuadoras ya que en ninguno de los años observados se llega a tres ciclos por consulta, y porque parece que es una situación generalizada en todos los establecimientos. Entonces si permanentemente se da a las continuadoras menos ciclos de píldora que lo normado hay que preguntarse si hay que cambiar la norma. Ejercicio sobre Producción 1. Obtenga los datos para varios años de sus servicios referentes a: Atenciones, egresos hospitalarios, insumos o medicamentos entregados a los pacientes, placas radiográficas tomadas, análisis clínicos efectuados, etc. 2. Analice las tendencias de estos productos y construya los diagramas respectivos, similares al Diagrama Nº 20. 3. Ordene por áreas programáticas de menor a mayor producción de cada producto y cruce dicha información con lo referente al grado de desarrollo de las mismas áreas. 4. Identifique y priorice problemas en cuanto a las tendencias y al volumen de producción según área. 5. Programe actividades correctivas para solucionar dichos problemas y diseñe mecanismos de monitoreo y evaluación. b. Cobertura: Concepto: En los servicios de salud se practica varias formas de enfocar la cobertura. Presentamos algunos de ellos: Primer Enfoque: Cobertura es la relación entre sujetos atendidos por un servicio y los sujetos por atender (población sujeto de programación). Su aplicación puede ser engañosa, pues sí hay una meta baja (denominador), la cobertura va resultar alta. Esta practica es común en la asignación de metas pues se toma solo una parte de la población que necesita el servicio y sobre esa parte se determina la meta. Medición: Se determina dividiendo el número de sujetos atendidos entre el número de sujetos por atender. Es decir representa el porcentaje de la meta alcanzada. 244 Texto de Apoyo: Unidad II Cobertura = Sujetos atendidos Sujetos por atender x 100 (1) Segundo Enfoque: Cobertura es la relación entre el número de atendidos que necesitan el servicio y el total de la población que necesita el servicio (descarta los atendidos que no necesitan el servicio). Medición: La fórmula para medir este segundo concepto es: Cobertura = Población necesitada que usa el servicio x 100 Población que necesita el servicio (2) Una variante de esta definición la encontramos en los servicios. Algunas personas acuden a los servicios sin necesitar de ellos como por ejemplo cuando se exagera o simula sintomatología para obtener un descanso laboral (ver frecuencia de permisos de días lunes y compararlos con otros días de la semana). En el Programa de Planificación Familiar, se acepta atender a todo aquel que solicita el servicio, porque se supone que lo necesita. Pero las encuestas nacionales demuestran que algunas mujeres usan anticonceptivos sin que los criterios médicos justifiquen su uso; es decir, bajo el criterio médico no los necesitan pero ellas los usan. En este caso, se calcula la cobertura de la siguiente manera: Cobertura = Número MEF que usan el servicio Número de MEF que necesitan el servicio x 100 (3) Ejemplo 17: El Diagrama Nº 21 nos presenta una situación probable, sobre la cobertura en métodos modernos de PF alcanzados por el MINSA en la región de Chavín en 1995. Aplicando la fórmula (3) a los datos del Diagrama Nº 6 el resultado es el siguiente: Cobertura = Número de MEF que usan el servicio (D)x100 Número de MEF que necesitan el servicio (B) = 29,909 117,200 x 100 =25.52% Es decir, la cobertura es de 25.5 sobre el máximo de 100%, que son las MEF que necesitan servicio. 245 Supervisión, Monitoreo y Evaluación DIAGRAMA Nº 21: MEF Y NECESIDAD DE PF: REGIÓN CHAVÍN 1995 Tercer Enfoque: En algunos programas y servicios existen dificultades para obtener información sobre el número de usuarios (numerador) porque entran y salen del servicio en períodos cortos. Entonces el programa crea un numerador sintético como en el caso de planificación familiar donde se conceptúa la cobertura como la relación entre el número de Años Protección Pareja (APP) alcanzados en el año de ejecución del programa y el número total de MEF. Medición: La ecuación de cobertura es: Cobertura = APP's MEF x 100 (4) Ejemplo 18: Si consideramos los APPs otorgados por todos los métodos modernos de PF en 1994 en el MINSA en la Región Chavín sobre la MEF total (esta medición de la cobertura es la que maneja en el Perú y calculamos la cobertura con la fórmula (4), se obtiene: Cobertura = APPs 28,128 MEF 234,400 x 100 = 12% Ejemplo 19: Para poder tomar una decisión respecto al nivel observado de cobertura en el año en curso en sus servicios respecto a la meta programada, el gerente debe determinar: El número total de MEF de su área programática, por ejemplo 26,687 (a). El número de usuarias a atender en cada método dentro de su área programática, por ejemplo 987 (b). Luego dividir (b) / (a) para definir su nivel programado de cobertura para cada método. Por ejemplo en píldoras: 987 / 26,687 x 100 = 3.7% 246 Texto de Apoyo: Unidad II Finalmente, debe comparar el nivel observado de cobertura (APPs/ MEF) contra su nivel programado. Por ejemplo: APPs / MEF = 587 / 26,687 x 100 = 2% Ejercicio sobre Cobertura Estime en su área programática y para cada servicio por separado los datos que se le solicita y elabore un diagrama equivalente al Nº 21 1. La población total (área A el Diagrama) 2. El número de personas que necesitan servicios (área B). 3. El número de personas que no necesita el servicios (área C). 4. El número de personas que usan el servicio (área D) y dentro de ellos. a. El número de personas que usan el servicio y los necesitan (área d1). b. El número de personas que usan el servicio y no lo necesitan (área d2) 5. La cobertura de servicio utilizando la fórmula (2). Nota: Adecúe lo solicitado a las características propias de su programa o servicio de salud. c. Concentración: Concepto: Es el número de atenciones otorgadas a cada usuario por unidad de tiempo. El concepto de concentración equivale a brindar varias unidades del servicio (atenciones) a las mismas personas, mientras que la cobertura equivale a llegar con los servicios a distintas personas necesitadas. Medición: Se determina a través del número de veces que se otorga la atención sobre el número de sujetos a quienes se les otorga Concentración= Número de atenciones Número de atendidos (1) En el caso de programa de PF , los sujetos son identificados a través de la primera consulta o por los APPs alcanzados en el año de ejecución. Así: Concentración= Número de consultas por método Número de usuarias expresadas en APP's (año de ejecución) (2) Ejemplo 20: La concentración normada es de una consulta para la nueva usuaria de píldora, (en la que se le da 1 ciclo de píldora), y de 3 consultas para la usuaria continuadora de este anticonceptivo (en las que se le debe dar 4 ciclos) en cada consulta. Entonces, en total la concentración normada es de 4 consultas por usuaria de píldora para proporcionarle 13 ciclos en el año y ganar 1 APP. Sin embargo, en la práctica, el número de consultas a las que acude la usuaria para 247 Supervisión, Monitoreo y Evaluación asegurar un APP puede o no coincidir con el número normado. A esta última cifra la llamamos concentración observada. Si el curso del año 1994 en la Región Chavín-Perú se han brindado 18,424 consultas a usuarias de píldoras y se han obtenido en dichas consultas 2,268 APP ¿Cuál será la concentración observada? La respuesta la obtenemos usando la fórmula (2): Concentración = 18,424 2,268 = 8.12 Es decir que para entregar 13 ciclos, lo que equivale a lograr un APP, se realizaron entre 6 a 8 atenciones (cuando debería ser de 4 consultas), como se puede observar en el Cuadro Nº 16. Lo previsible era que la concentración disminuyera, pues en 1992 las normas de entrega para las continuadoras cambiaron de 3 a 4 ciclos por consulta. Ello hace presumir que hay otras razones, de orden económico y logístico, que están determinando que este indicador aumente en lugar de disminuir. CUADRO Nº 16: CONCENTRACIÓN EN EL MÉTODO DE PÍLDORA POR AÑO - MINSA: REGIÓN CHAVÍN AÑOS CONSULTA / APP CONCENTRACION 1990 10,187 / 1,678 6.07 1991 14,583 / 2,442 5.97 1992 21,021 / 3,114 6.75 1993 18,562 / 2,141 8.67 1994 18,424 / 2,268 8.12 1995 39,918 / 9,239 4.32 1996 36,342 / 5,955 6.10 Ejemplo 21: Para determinar si el nivel observado de concentración es adecuado o no, el gerente deberá compararlo con lo normado. En el Cuadro Nº 17 se comparan las concentraciones normadas y observadas en cada método de PF, observándose que en tres métodos (píldora, condón y vaginales) existe el doble de consultas que las normadas. 248 Texto de Apoyo: Unidad II CUADRO Nº 17: CONCENTRACIÓN NORMADA VERSUS CONCENTRACIÓN OBSERVADA MINSA: REGIÓN CHAVÍN 1994 MÉTODO DI U AQV Pí l d o r a Co n dó n Nu e v a 1. 00 1. 00 1. 00 Co n t i n u a dor a 1. 00 1. 00 To t a l 2. 00 1. 00 ( *) NORMA Va l o r Ob s e r va d o ( Re gi ó n Cha v í n 1994) TV I NY E CT AB L E 1. 00 1. 00 1. 00 3. 00 3. 00 3. 00 3. 00 2. 00 4. 00 4. 00 4. 00 4. 00 1. 00 ( *) 8. 12 8. 52 8. 46 4. 00 (*) Se r ef i er e úni c ament e a l as at enc i ones de i ns er c i ón o r ei ns er c i ón de DI U s obr e l os APP año del DI U y a l as i nt er v enc i ones de AQV s obr e l os APP año e AQV Problemas y Soluciones: En los servicios puede presentarse un baja cobertura o una excesiva o baja concentración, o se de una combinación de ambos indicadores. Los servicios demasiado concentrados son ineficientes porque representan un gasto innecesario de recursos. Los servicios de baja concentración carecen de eficacia porque los pacientes no reciben todo lo que deben recibir, En el Cuadro Nº 18 se presentan algunas estrategas de acción para aumentar y mejorar la cobertura así como la concentración. CUADRO Nº 18: ESQUEMA DE APLICACIÓN DE LOS CONCEPTOS COBERTURA Y CONCENTRACIÓN EL PROBLEMA Baja Cobertura EL CAMBIO DESEADO ESTRATEGIAS - Delegar la atención de mínimo riesgo a personal no profesional. Efectuar acciones promocionales en la comunidad para reducir las barreras de acceso a los servicios: informar sobre los servicios y mejorar la imagen de la institución, organizar servicios descentralizados, comités de salud y programas domiciliarios, como la distribución comunitaria, usar la radio y los teléfonos. - Educar y motivar a los proveedores de servicios sobre la conveniencia de alcanzar el nivel de concentración eficiente. Eliminar la pérdida de tiempo de las usuarias en los establecimientos por las colas, busca de historias clínicas, etc., dando a la consulta y a los servicios auxiliares el tiempo técnicamente adecuado. Si la situación continúa después de aplicar estrategias de cambio hay que modificar las normas de acuerdo a la realidad. Aumentar la Cobertura Baja Concentración Mejorar la Concentración - Excesiva Concentración Disminuir la Concentración - Bajar los precios de los insumos o medicinas a fin de posibilitar que el usuario pueda adquirir una cantidad mayor de ellos en un número menor de consultas. Tener un adecuado stock de insumos para que el personal de salud no haga volver repetidas veces al usuario a la consulta para entregarle una cantidad pequeña de insumos, ante el temor de que el servicio quede desabastecido. 249 Supervisión, Monitoreo y Evaluación Ejercicio sobre Concentración 1. Consolide información por servicio o programa en su área programática. a. Número de consultas. b. Número de atendidos. 2. Calcule la concentración para cada área de su región y ordene las áreas de acuerdo a dicho indicador. 3. Compare la concentración observada con la normada y responda. ¿Cuáles son las áreas que presentan las concentraciones más adecuadas? 4. Señale cuáles serían las medidas correctivas para la áreas de menor y mayor concentración que la normada, precisando: a. Los responsables de las correcciones. b. Los plazos de la ejecución de las acciones correctivas. c. Los cambios esperado. d. Utilización, Productividad y Rendimiento: Conceptos: Se define como utilización a la relación entre los recursos utilizados y los recursos disponibles, como productividad al monto global de productos alcanzados por unidad de recurso disponible en un tiempo dado y rendimiento como el número de productos alcanzados por unidad de recurso utilizado. Para el cálculo de dichos indicadores se debe disponer del registro de la existencia y de los flujos de los recursos humanos, físicos y financieros para cada servicio, área e institución. Dicho registro formará parte del banco de datos. Medición: Las fórmulas para calcular estos indicadores de producción son: Utilización= Productividad = Rendimiento = Cantidad de recursos utilizados según tipo Cantidad de Recursos existentes según tipo Cantidad total de productos alcanzados Cantidad total de recursos existentes según tipo Cantidad total de productos alcanzados Cantidad total de recursos existentes según tipo Productividad = 250 (1) Utilización x Rendimiento (2) (3) (4) Texto de Apoyo: Unidad II Ejemplo 22 : Un método realiza 50 atenciones a nuevas y 50 inserciones de DIU en un mes (22 días laborables), contando con 100 DIUs para ser utilizados en ese período. El médico ha sido contratado para que labore 6 horas por día, pero trabaja en forma efectiva 4. Aplicando la fórmula (1), la utilización de los anticonceptivos es de 0.5 (50 DIUs utilizados sobre 100 disponibles) o sea que la utilización es del orden del 50% de lo existente. Utilización = Número de horas trabajadas x 100 Número de horas contratadas = 4 horas x 22 días x 100 6 horas x 22 días = 8,800 132 = 66.66% Para obtener este indicador en los recursos humanos se necesita un tipo de registro mucho más detallado e implica registrar las asistencias y horas trabajadas reales, lo que presenta dificultades de orden práctico y puede herir la susceptibilidad de los profesionales de la salud al ser observados o controlados. Aplicando la fórmula (2) calculamos la productividad del recurso médico: Productividad = 6 horas x 22 dias = 50 inserciones 132 horas 0,38 DIU's insertados por hora = (se necesitan aproximadamente 3 horas para colocar 1 DIU) Pero el médico realmente trabajó 4 horas/día, por la que debemos aplicar la fórmula (3) para calcular su rendimiento: Rendimiento = 50 inserciones 50 inserciones 4 horas x 22 dias = 50 inserciones 88 horas 0,57 DIU's insertados por hora = (se necesitan aproximadamente 3 horas para colocar 1 DIU) Aplicando la fórmula (4) también podemos calcular la productividad del recurso médico. Productividad = Utilización x Rendimiento = 0.6666 x 0.57 = 0,38 DIU's insertados por hora Las razones más altas de utilización, productividad y rendimiento generalmente indican mayor eficiencia, aunque a veces estas razones altas se hacen en desmedro de la calidad de la atención. Ejemplo 23: En el Programa de PF de la Región Chavín se midió la productividad y el rendimiento de los establecimientos en la distribución semanal de insumos de PF, de la siguiente manera: Productividad por Establecimiento = por Semana Rendimiento por Establecimiento= por Semana Cantidad de insumos entregados o APP's en el año Número total de establecimientos x número de semanas en el año Cantidad de insumos entregados o APP's en el año Número total de establecimientos que ofertan x número de semanas en el año 251 Supervisión, Monitoreo y Evaluación Los datos, procedimientos y los resultados de los cálculos para obtener la productividad y el rendimiento se presentan en el Cuadro Nº 19, cuyo parte A está expresada en unidades de insumos y cuya parte B lo está en unidades de APPs. Para el análisis de este cuadro debe tenerse presente que la productividad expresa la cantidad de insumos o APPs entregados semanalmente por cada establecimiento existente en la Región, independientemente de si está ofertando o no servicios de PF. En cambio, el rendimiento expresa la cantidad de insumos o APPs entregados semanalmente por cada establecimiento ofertante. Por ello, las únicas diferencias entre productividad y rendimiento se presentan en el DIU y en los inyectables, para los cuales el número de establecimientos ofertantes (63) fue menor al número de establecimientos existentes (348). CUADRO Nº 19: REGIÓN CHAVÍN: PRODUCTIVIDAD Y RENDIMIENTO - 1994 A. En Insumos Entregados Insumos Entregados (1) Total (2) DIU 4,592 348 63 Píldora 29,476 348 Condón 67,332 TV Inyectable Método Productividad Anual (1)/[(2)x(4)] Rendimiento Semanal (1)/[(3)x(4)] 52 0.25 1.40 348 52 1.63 1.63 348 348 52 3.72 3.72 33,272 348 348 52 1.84 1.84 4,432 348 63 45(*) 0.28 1.56 Establecimiento Ofertantes (3) Semanas (4) (*) Se restan 7 semanas de desabastecimiento durante el año B. En APPs Método DIU Insumos Entregados (1) APP's Factor (2) Establecimiento Semanas Productividad Anual Nº Total Ofertantes (3)/[(4)x(6)] (6) (3)=(1)x(2) (4) (5) 4,592 3.5 16,072 348 63 52 0.89 4.91 Píldora 29,476 1/13 2,267 348 348 52 0.13 0.13 Condón 67,332 1/100 673 348 348 52 0.04 0.04 TV 33,272 1/100 333 348 348 52 0.02 0.02 4,432 1/4 1,108 348 63 45(*) 0.07 0.39 Inyectable (*) Se restan 7 semanas de desabastecimiento durante el año 252 Rendimiento Semanal (3)/[(5)x(6)] Texto de Apoyo: Unidad II Los procedimientos de cálculo del Cuadro Nº 19A, son los siguientes: Para el cálculo de la productividad anual divida el valor de los insumos entregados columna (1) entre el número total de establecimientos [columna (2)] multiplicado por el número de semanas [columna (4)]. El rendimiento semanal se calcula dividiendo el valor de la columna (1), los insumos entregados, entre el producto de la columna (3), el número de establecimientos ofertantes, por la columna (4), el número de semanas. Para el Cuadro Nº 19B, se procede en la forma que mostramos luego: Para convertir los insumos en APPs [columna (3)], multiplique el valor de la columna (1), insumos entregados, por el valor de la columna (2), factor de conversión. Para calcular la productividad anual divida el valor de los APPs entregados [ columna (3)], entre el número total de establecimientos [columna (4)] multiplicando por el número de semanas [columna (6)]. El rendimiento semanal se calcula dividiendo el valor de la columna (3), los APPs entregados, entre el producto de la columna (5), el número de establecimientos ofertantes por la columna (6), el número de semanas. El cálculo del tiempo requerido para lograr un APP se efectuará dividiendo la unidad entre el rendimiento semanal de los APPs/ DIU = 1 / 4.91 = 1/5 de semana (aproximadamente 1 diario) Píldora = 1 / 0.13 = 8 semanas Condón = 1 / 0.04 = 25 semanas Tableta Vag. = 1 / 0.02 = 50 semanas Inyectable = 1 / 0.39 = 3 semanas Las principales conclusiones del análisis del Cuadro Nº 19 son las siguientes: Expresado en insumos, el DIU presenta un rendimiento de 1.4 dispositivos insertados por establecimiento a la semana y en cambio el condón presenta un rendimiento de casi 4 condones por establecimiento a la semana. Expresado en APPs, la situación es la inversa, ya que el condón presenta un rendimiento de apenas 0.04 APP por establecimiento a la semana (es decir se necesitaría alrededor de 25 semanas para hacer 1 APP) y el DIU un rendimiento cercano a 5 APPs por establecimiento a la semana. En términos del tiempo requerido para lograr un APP (medido en semanas) tenemos la situación siguiente: en el DIU, Chavín necesita mucho menos de 1 semana para producir 1 APP; 8 para píldora, 25 para el condón, 50 para las TV y 3 para los inyectables. Ejemplo 24: Sobre rendimiento y utilización Para determinar para cada método si un nivel dado de rendimiento es bajo o no, se puede comparar el nivel alcanzado por sus servicios con: El rendimiento promedio de todos los establecimientos de su área programática. El rendimiento promedio histórico de los últimos años en cada establecimiento de su área programática. Los estándares de rendimiento mínimo, satisfactorio y sobresaliente establecidos por la gerencia de acuerdo a estudios técnicos. 253 Supervisión, Monitoreo y Evaluación Por ejemplo, si los rendimientos diarios de colocación del DIU en siete establecimientos de un área programática son los mostrados en el Cuadro Nº 20 y la situación de cada establecimiento respecto a dichos estándares la observamos en el Diagrama Nº 22. De acuerdo al primer criterio, los establecimientos B, C y E presentan un bajo rendimiento (0.45, 0.50 y 0.34 respectivamente) respecto al promedio de toda el área en el año 1994 (que fue de 0.55). De acuerdo al segundo criterio, se considera que los establecimientos A, B, C, D y E presentan un rendimiento A presentó un rendimiento de 0.60 en 1994, menor al 0.70 que alcanzó como promedio entre 1990 y 1993. De acuerdo al tercer criterio y considerando que la gerencia ha establecido los siguientes estándares de rendimiento: - Mínimo : 0.48 - Satisfactorio : 0.60 - Sobresaliente : 0.72 Combinando los tres criterios, se considera que los establecimientos B, C y E son los que muestran un bajo rendimiento, en relación al promedio del grupo en 1994, a su propio rendimiento histórico promedio y a los estándares fijados por la gerencia. CUADRO Nº 20: RENDIMIENTOS DE ESTABLECIMIENTOS Establecimiento Rendimiento Promedio Histórico (90-93) 1994 A 0.70 0.60 B 0.56 0.45 C 0.65 0.50 D 0.69 0.67 E 0.49 0.34 F 0.45 0.56 G 0.61 0.70 Promedio 0.59 0.55 Utilización: El nivel ideal de utilización de cualquier recurso es el cien por ciento. Por ello entre 100% y 71% se considera un nivel alto de utilización, niveles menores, entre 70% y 55% podrían considerarse como medianos y los niveles menores de 55% como bajo. Entonces el nivel de utilización de los DIUs, mostrado en el Ejemplo 1 (50%), debe considerarse como bajo; y el nivel de utilización de las horas-médico del mismo ejemplo (67%) debe tomarse como mediano. La combinación de ambos, pues ocurren en el mismo ambiente, indican que la utilización de los recursos es bajo y que debe ser potenciada estimulando la demanda, pues existe una necesidad no satisfecha alta. Si no hubiera necesidad no satisfecha entonces algunas horas del recurso humano deberían ser asignadas a otras actividades. 254 Texto de Apoyo: Unidad II Problemas y Acciones: Las acciones a tomar ante un problema, por ejemplo bajo rendimiento, tienen que ver con los factores relacionados a ese problema. Si se conoce los factores vinculados al problema se sabe muchas veces qué acciones se deben tomar. El rendimiento y la utilización influyen en la productividad y cuando se encuentran problemas de productividad se debe seguir el análisis para saber si ellos radican en el rendimiento o en la utilización. Entonces, el siguiente paso es preguntar por qué existe el bajo rendimiento o la baja utilización. El Cuadro Nº 21 presenta un esquema con algunos factores asociados estos indicadores y las acciones correspondientes para su corrección. CUADRO Nº 21: ESQUEMA PARA ANALIZAR Y ACTUAR SOBRE EL BAJO RENDIMIENTO Y LA BAJA UTILIZACIÓN FACTORES ACCIONES Baja Motivación del personal que reincide en el incumplimiento del horario y en el ausentismo y que se manifiesta con bajas tasas de utilización. Estimular al personal a través de incentivos, los cuales pueden ser remunerativos, de condiciones de trabajo o simbólicos. Baja demanda que se manifiesta por: a. El bajo rendimiento del personal que está listo para trabajar pero no tiene usuarios. b. La baja utilización de recursos físicos Promover los servicios en la comunidad. Buscar mecanismos para captar las personas que realmente necesitan los servicos. Orientar usuarios hacia los servicios de baja demanda. Aunque las acciones a tomar son las de reducir Disponibilidad exesiva de los recursos cuya recursos o dirigirlos a otras actividades, se aconseja manifestación es muy parecida a la de baja demanda que primero se tomen las acciones correspondientes porque no se utilizan los recursos. a la baja demanda: Si ellos no tienen efecto se prosiguen las acciones ya mencionadas. Fallas administrativas que entorpecen los servicios, por ejemplo fechas y horarios de citas inadecuados, falta de suministros, paros, sistemas de historias de historias clínicas deficientes, etc. Modificar los existentes o diseñar nuevos sistemas y ponerlos en marcha. Cambiar horarios y sistemas de citas. Bajar costos. 255 Supervisión, Monitoreo y Evaluación Ejercicios sobre Utilización, Productividad, Rendimiento a. Reúna la información de su área programática relativa a: (1) Cantidad de recursos utilizados (horas trabajadas, guantes utilizados, presupuesto ejecutado, etc.) (2) Cantidad de recursos existentes (horas contratadas, guantes en stock, presupuesto aprobado, etc.) (3) Cantidad total de productos alcanzados (consultas, insumos entregados, etc.) b. En base a esas tres variables calcule: Utilización = (1) / (2) Productividad = (3) / (2) Rendimiento = (3) / (1) c. En base a los datos de a. y los resultados de b., elabore cuadros de productividad y rendimiento equivalentes al Cuadro Nº 19. d. Analice los resultados observados y compárelos con los resultados esperados. Decida las acciones correctivas con su personal y luego de un tiempo prudencial repita el ejercicio. e. Costos y Beneficios: Para producir un servicio de salud se requiere utilizar una combinación de recursos humanos, materiales y financieros, los cuales tienen un costo monetario. Por contrapartida, los servicios generan una serie de beneficios, los cuales pueden ser monetarios o no monetarios. La comparación entre los costos y los beneficios permite valorar económicamente la conveniencia de los programas, acciones y tecnologías médicas, a través de técnicas como costo-beneficio, costo-efectividad, programación lineal, etc. (1) Costos: (a) Clasificación y Conceptos: Los costos pueden clasificarse, entre otras categorías, en Costos Fijos, Costos Semivariables y Costos Variables: Costos Promedio y Costos Marginales. Costos Fijos, Semivariables y Variables: 256 - Costos Fijos: Son aquellos en los que se incurren para producir un servicio de salud, y que no dependen de la cantidad de productos entregados, por ejemplo remuneración de los profesionales de la salud, mantenimiento de los consultorios, de las salas de hospitalización u operación. Es decir, no varían en función al volumen de servicios brindados. - Costos Semivariables: Son aquellos costos fijos que, debido al crecimiento de la demanda por el servicio, tienen que sufrir un incremento. Por ejemplo, aquellos provenientes de la ampliación de la planta física o del personal de un establecimiento. - Costos Variables: Son los que varían de acuerdo a la cantidad de productos entregados en un servicio de salud, por ejemplo: la cantidad de insumos o medicamentos entregados a los usuarios. Texto de Apoyo: Unidad II Costo Promedio y Marginales: - Costo Promedio o Unitario: Es el gasto monetario por unidad de producto logrado. Medición: Costo Unitario = Gastos Totales Total de Unidades del producto alcanzado Ejemplo 24: Siguiendo con el Ejemplo Nº 22 (pag. 251) de utilización, productividad y rendimiento, en el cual un médico realiza 50 atenciones a nuevas y 50 inserciones de DIU en un mes; resulta que los gastos totales por la contratación del médico, el mantenimiento del consultorio y los DIUs utilizados, ascienden a US$ 500. La pregunta que surge es ¿Cuál será el costo unitario de cada inserción? Costo Unitario por = DIU insertado US$ 500 50 DIUs insertados = US$ 10 por DIU insertado El promedio de uso del DIU por las MEF es de 4 años, entonces: Costo Unitario por = APP sería - US$ 500 200 APPs = US$ 2.5 por APP ganado por los DIUs insertados Costos Marginal: Es el costo adicional por lograr una nueva unidad del producto. Medición: Costo Marginal = Gastos Totales adicionales Cantidad de unidades de productos alcanzados Ejemplo 25: La dirección del establecimiento, en coordinación con el cuerpo médico, ha analizado la demanda de servicios de planificación familiar y ha encontrado que la demanda por DIUs ha aumentado en la población de MEF, por lo que se ha decidido incrementar el número de DIUs insertados de 50 a 60. Si los gastos totales ascienden ahora a US$ 540, ¿cuál será el costo marginal? El Costo Marginal de las nuevas 10 inserciones sería: US$ 500 US$ 40 Costo = = = Marginal 60 - 50 DIUs insertados 10 DIUs insertados US$ 4 por 1 nueva inserción de DIU 257 Supervisión, Monitoreo y Evaluación Si se calcula el costo promedio de producir 60 DIUs se tendrá: Costo = Promedio US$ 540 = US$ 9 por DIU insertado 60 DIUs insertados Como puede verse, el costo marginal es menor al costo promedio, debido a que se mantiene los costos fijos (como la contratación del médico y el mantenimiento del consultorio), incrementándose únicamente los costos de los DIUs utilizados. (b) Factores Causales de los Costos: Los costos no dependen únicamente del volumen de producción de los servicios, si no de la interrelación de múltiples factores, los cuales pueden clasificarse en: Factores Estructurales: Escala: La cuantía de la inversión en la producción, la investigación, el desarrollo y el marketing de los servicios. Extensión: El grado en que la institución de salud produce desde los insumos hospitalarios y no hospitalarios (generalmente a cargo de los laboratorios farmacéuticos y empresas especializadas), hasta el cuidado del usuario después de la atención médica (los costos de recuperación van más allá del establecimiento y generalmente recaen en la familia). Experiencia: El número de veces que en el pasado los servicios han realizado lo que ahora están haciendo de nuevo. Tecnología: Los procesos, procedimientos y equipos empleados en cada etapa de la producción de los servicios. Complejidad: La amplitud de líneas de servicios que se ofrecen a los usuarios. Factores de Ejecución: El compromiso y nivel de participación del grupo de trabajo con el mejoramiento continuo de la atención y del servicio. La cultura de la calidad, esto es las creencias y valores de los trabajadores relativos a la calidad del producto y del proceso. El grado de utilización de la capacidad instalada del establecimiento (números de días-cama disponibles, horas-médico contratadas, etc.) El aprovechamiento de las relaciones con los proveedores y los usuarios (un ejemplo del segundo tipo de relación, son los clubes de jubilados del IPSS). (c) Costos y Calidad: Los indicadores de calidad serán desarrollados luego; sin embargo, puede adelantarse el análisis de las relaciones entre los costos y la calidad de los servicios de salud. Existen dos tipos de costos relacionados a la calidad los que son presentados en el Diagrama Nº 24 y Cuadro Nº 22 258 Texto de Apoyo: Unidad II DIAGRAMA Nº 24: RELACIÓN ENTRE CALIDAD Y COSTOS Los Costos de Prevención y Evaluación: Que se incrementan en la medida en que se exija un mayor nivel de calidad del servicio. Los Costos de Subsanación de Fallas Internas y Externas en los servicios: Que disminuyen en la medida en que el servicio ofrecido presente un mayor nivel de calidad. CUADRO Nº 22: CALIDAD Y COSTOS 259 Supervisión, Monitoreo y Evaluación (2) Beneficios: Los beneficios que recibe un establecimiento o una RED como contrapartida a la entrega de sus servicios, en cuya producción se utilizaron recursos a un costo dado, pueden ser diversos. Enunciemos algunos: (a) Ingresos monetarios que se reciben por diversas fuentes, principalmente por concepto del cobro de tarifas a los usuarios (individuales o institucionales) por las atenciones que les brinda. Este tipo de ingresos alcanzan en la actualidad la mayor importancia para los establecimientos y servicios de salud del MINSA, organizados en redes, pues se espera que los recursos financieros de las redes provendrán de dos fuentes principalmente: El Tesoro Público que financia las atenciones comprendidas en un Paquete Básico de Servicios de Salud a la población sujeto de subsidio público. Ingresos Propios por la venta de servicios a las autoridades regionales de salud, aseguradoras privadas de salud e IPSS y por cobro de tarifas o con pagos de los usuarios. (Una tercera fuente podría ser los préstamos obtenidos de entidades promotoras con bajos intereses). (b) Los ahorros monetarios por atenciones evitadas debido a las actividades preventivo-promocionales. Por ejemplo, los ahorros por concepto de atenciones evitadas debido al uso de anticonceptivos entregados y/o aplicados por el programa de planificación familiar, tales como atenciones pre-natales y postnatales, atenciones a partos y abortos y atenciones a niños. (c) El número de vidas salvadas, casos prevenidos o años de vida salvadas (ajustables por la calidad de vida). Por ejemplo, el número de casos de malaria evitados por las campañas de rociado. Aunque estos beneficios no son de carácter económico, puede intentarse expresarlos en términos monetarios para permitir su comparación con los costos de los servicios. 260 Texto de Apoyo: Unidad II (3) Comparación entre Costos y Beneficios: La comparación entre los costos y beneficios, permite valorar la conveniencia económica de la implementación de nuevos servicios o programas o de la ampliación de los mismos. Ejemplo 27: Sobre el peso de una enfermedad y establecimiento de prioridades. Existen dos enfermedades. La enfermedad A mata a 1,000 personas en un año y la enfermedad B mata a 30 personas en un año. Sucede que cuesta $ 100 salvar a una persona de la enfermedad A y $ 50 salvarla de la enfermedad B. El MINSA dispone de $ 10,000 para el control de las enfermedades ¿Cómo deberían ser gastados estos dólares? Si priorizar fuera ordenar a las enfermedades de acuerdo a su importancia, esto es por sus tasas de mortalidad, la enfermedad A debería ganar la contienda porque mata 30 veces más personas que la enfermedad B. Si todos los recursos fueran asignados a la enfermedad A, el MINSA podría salvar 100 vidas ($ 10,000 / 100). Si los recursos fueran asignados a ambas enfermedades en proporción a sus tasas de mortalidad, la enfermedad A podría recibir $ 9,700, B el resto, y podría salvarse 103 vidas : 6 de la enfermedad B usando $ 300 y 97 de la enfermedad A. Pero el MINSA habría procedido aún mejor usando los $ 1,500 necesarios para la enfermedad B, la menos importante, y usando los restantes $ 8,500 en la más importante enfermedad. Con esta estrategia, podrían salvarse 115 (30 de B y 85 de A). En este ejemplo, las prioridades son exactamente opuestas a la establecidas en base a la consideración de peso de la enfermedad. La enfermedad con el peso total menor, no las más prevalente, es la primera prioridad. El punto es que las prioridades dependen de lo que pueda ser hecho acerca de un problema y no de cuán grande sea le problema. Las intervenciones deberían ser ordenadas de acuerdo al efecto marginal, es decir el efecto de una unidad adicional de un insumo dólares u horas o pacientes atendidos. Las intervenciones deberían ser conducidas en este orden hasta que se agote el presupuesto (como en este caso) o hasta que el efecto marginal de la primera intervención no sea mayor que el costo marginal de otros usos de otros fondos. Por ejemplo, si se hubiera decidido gastar no más de $ 60 por vida salvada (ya sea porque esto es lo que podría costar salvar vidas de todas las otras causas o, más discutiblemente, porque alguien decidió qué vidas valían), entonces solamente la enfermedad B podría ser atacada debido a que es la única que cumplen con este criterio. La enfermedad A sería ignorada. 261 Supervisión, Monitoreo y Evaluación Ejercicio sobre Costos Unitarios y Marginales 1. En el Centro de Salud San Timoteo los costos totales y la producción de sus servicios fueron los siguientes en el año 1996 Centro de Salud "San Timoteo" 1996 Costos Totales (1) Producción (2) Consulta Externa 640 32 Internamiento 910 7 Emergencias 255 3 Servicios Costo Promedio (1)/(2) ¿En promedio cuanto costó producir una unidad de servicios? Para contestar esta pregunta: Calcule los costos promedios de los servicios en 1996 2. Resulta que en el año 1997, el Centro de Salud San Timoteo, incrementó su producción y, por tanto, sus costos totales. Centro de Salud "San Timoteo" 1997 Costos Totales (1) Servicios Consulta Externa Internamiento Emergencias Producción (2) 804 37 1,194 8 450 5 Costo Promedio (1)/(2) Calcule los costos promedio de los servicios de 1992 y compárelos con los costos promedio de 1996. ¿En qué año fué más eficiente el Centro de Salud? 3. Utilizando el siguiente cuadro, calcule los costos marginales de los servicios: Centro de Salud "San Timoteo" 1996 - 1997 Servicios Consulta Externa Internamiento Emergencias 262 Costos Total 1997 (-) Costo Total 1996 (1) Producción 1997 (-) Producción 1996 (2) Costo Marginal (1)/(2) Texto de Apoyo: Unidad II En base a este cálculo responda: ¿Cuánto costó producir una consulta externa adicional en la 1997? ¿Cuánto costó producir un internamiento adicional en 1997? ¿Cuánto costó producir una atención de emergencia adicional en 1997? 4. Aplique los 3 pasos anteriores en su establecimiento. f. Indicadores Hospitalarios: Los indicadores desarrollados en los puntos d. y e., aplicados a nivel hospitalario tienen una expresión particular. Ellos son el: promedio de permanencia de estadía, intervalo de sustitución, porcentaje de ocupación, rendimiento cama, costo por egreso y costo por pacientedía. (1) Promedio de Permanencia o Estadía: Es el promedio de días de asistencia hospitalaria recibida por cada paciente en un período de tiempo. Número total de días-estancia de los egresado (vivos y fallecidos) en un período de tiempo P. E. = Total de egresos (vivos y fallecidos) del mismo periódo Los promedios de permanencia varían con las distintas especialidades, pudiendo estar afectados dentro de la misma especialidad por la circunstancia de un mayor número de ingresos y egresos en el mismo día para ciertas intervenciones como los legrados, por ejemplo. Este indicador permite evaluar la calidad de los servicios prestados y la utilización del recurso cama. Varía de un hospital a otro y está influido por las especialidades que tenga el establecimiento, ya que un hospital general tiene diferente promedio de estadía que un hospital pediátrico y que un gineco-obstétrico. Una estadía prolongada, más allá de lo aceptable, puede presentarse por: - Inadecuado diagnóstico o tratamiento. - Ineficiencia de los servicios de apoyo: radiología, laboratorio. - Deficiencias en la programación quirúrgica, etc. - Tardanzas en el pase de visita médica. - Tardanzas en suministro de medicamentos a sala. - Organización del trabajo médico, etc. La incidencia de estos factores puede ser graficada a través de un Diagrama de Espina de Pescado o de Ishikawa (Diagrama Nº 25) (2) Intervalo de Sustitución: Este indicador mide el tiempo en que permanece la cama vacía entre un egreso y el subsiguiente ingreso a las misma cama. Junto con el promedio de estadía, determina el porcentaje de ocupación y el rendimiento-cama. Intervalo de Sustitución = Número de días - Cama disponible - Paciente día Número de egresos 263 Supervisión, Monitoreo y Evaluación DIAGRAMA Nº 25: DIAGRAMA DE ISHIKAWA SOBRE ESTANCIA PROLONGADA Se extiende como día-cama disponible a la cama que presta servicio durante las 24 horas del día. El número de camas disponibles del mes se obtiene multiplicando el número de camas existentes en el servicio por los días del mes. A esta cifra se deberá restar los días-camas de aquellas que no se encuentren disponibles determinados días del mes (por reparación, desinfección, etc.) Una cama, como promedio, no debe estar más de un día vacía. Promedios más altos indican poca demanda del servicio u otros problemas relacionados con la organización de la oferta. (3) Porcentaje de Ocupación: Este indicador traduce la ocupación de cada cama hospitalaria. Establece la relación existente entre los pacientes ingresados y la capacidad real de camas de un hospital, servicio o sala. Porcentajes de Ocupación = Total de Pacientes - año x 100 Número de días - Cama disponible La forma de obtenerlo, es a través del censo diario. Los pacientes día del mes se obtiene de la sumatoria de todos los pacientes-día censados día a día durante el mes. El uso de este indicador permite la elaboración de un plan para la utilización máxima de las camas: Conocer los servicios en que la utilización de las camas es excesiva o insuficiente; mantener la proporción óptima de ocupación y/o mejorar la distribución de las camas entre los distintos servicios. 264 Texto de Apoyo: Unidad II Los principales factores que alteran el porcentaje de ocupación son: ingresos innecesarios y número excesivo de camas. El porcentaje de ocupación para todos los tipos de hospitales debe ser de 90%. A medida que es más alto el nivel del hospital, el porcentaje de ocupación debe analizarse por servicios y especialidades, ya que el indicador global puede ocultar insuficiencia de camas o camas sobrantes en los distintos servicios. (4) Rendimiento Cama: Rendimiento Cama = Número de egresos Número de camas reales (promedio) Mide la utilización de una cama durante un período determinado de tiempo. Este indicador es influenciado por el promedio de estadía (aumentando por tratamientos inadecuados, ingresos innecesarios, demora en el alta de pacientes niños y/o ancianos) y el intervalo de sustitución. En otras palabras, a menor estadía e intervalo de sustitución, mayor índice de rotación o rendimiento. La cama será más utilizada en el período medido si hay una demanda efectiva. (5) Costo por Egreso: Pretende ser utilizado como indicador aproximado de costos. Tomará como denominador el total de egresos en el período estudiado. Costo por = egreso Gasto total de hospitalización en un período de tiempo Total de egresos del hospital en el período estudiado (6) Costo Paciente - Día: Este indicador pretende ser utilizado como aproximación de costos por actividad. No es un costo real, sino una guía para la gestión. Nos da una idea del costo de cada paciente-día en cada centro asistencial. Costo Paciente = Día Gasto total de hospitalización en un período de tiempo Total paciente-día en el período estudiado Se acepta que los hospitales del tipo IV, gastan aproximadamente un 55% del total de su presupuesto ejecutado en hospitalización, un 33% en consulta externa y un 12% en servicios de emergencia. Para los hospitales del tipo III la estructura de los gastos se tomará de la siguiente forma: hospitalización un 40% del presupuesto ejecutado, un 45% para consulta externa y un 15% para emergencia. Una visión sinóptica de la manera de calcular los indicadores hospitalarios se muestra en el Diagrama Nº 26. 265 Supervisión, Monitoreo y Evaluación DIAGRAMA Nº 26: CÁLCULO DE LOS INDICADORES HOSPITALARIOS Ejercicios sobre Indicadores Hospitalarios a. Determine: (1) Días de estancia-egresados (sumando los días de estancia de pacientes egresados en el mes). (2) Días-cama disponible (sumando las camas disponibles las 24 horas en el mes). (3) Número de egresos (sumando altas y fallecidos en el mes). (4) Pacientes-día (sumando los pacientes diarios en el mes). (5) Camas reales (sumando las camas utilizadas en el mes). (6) Gastos totales en hospitalización en el mes. b. En base a las seis variables anteriores calcule para el mes: Promedio de permanencia = (1) / (3) intervalo de sustitución = [(2) - (4)] / (3) Porcentaje de ocupación = (4) anualizado / (2) x 100 Rendimiento cama = (3) / (5) Costo por egreso = (6) / (3) Costo paciente-día = (6) / (4) c. Analice los resultados observados en 2b. y compárelos con los resultados esperados. Decida las acciones correctivas con su personal y luego de un tiempo prudencial repita el ejercicio. 266 Texto de Apoyo: Unidad II D. VARIABLES E INDICADORES DE RESULTADOS Estiman los resultados inmediatos y mediatos de los servicios otorgados a la población. 1. EFECTO: Es el resultado inmediato y directo de los servicios en la población. Por ejemplo, la disminución observada en la incidencia de enfermedades inmuno-prevenibles debido a las campañas de vacunación. 2. IMPACTO: Concepto: El impacto es el conjunto de cambios que se producen en el estado de salud de la población, atribuibles sólo en parte a la efectividad de los servicios de salud, ya que influyen en dicho estado otros factores como el nivel de desarrollo y el consiguiente mejoramiento en las condiciones generales de vida (acceso al saneamiento básico, mayores niveles educativos, acceso a los servicios urbanos de energía eléctrica y transporte, etc.). Por ejemplo, la disminución de la mortalidad infantil es atribuible tanto a los resultados de una campaña exitosa de vacunación como al avance educacional de las madres. El impacto es medido principalmente por la disminución de la fecundidad y de la morbi-mortalidad materna. Los datos necesarios para su medición se recogen a través de las encuestas demográficas y de salud y de investigaciones especialmente diseñadas para este efecto. a. Fecundidad: La fecundidad es una de la variables demográficas más importantes para evaluar el crecimiento de la población. Esta variable ha venido descendiendo sistemáticamente en Perú, pero su nivel todavía es elevado en extensas zonas, en donde las condiciones de vida son más deprimidas. Existen varios indicadores de la fecundidad, como la TGF (la más usada), la TFG y la TBN. La TGF es un indicador de fecundidad más exacto que las otras dos tasas porque relaciona los nacimientos con el grupo poblacional susceptible de tener hijos y elimina las distorsiones que pudieran surgir de la distribución diferencial de la población por edad. Es un indicador sintético o un índice estandarizado del nivel de fecundidad global que facilita las comparaciones. Por ello es el más recomendable de los tres indicadores. La TGF es el promedio de hijos nacidos vivos que tendrían las mujeres en toda su vida reproductiva, si las tasas de fecundidad por edad obtenidas del estudio se mantuviesen invariables en el tiempo. Se calcula sumando las tasas específicas de fecundidad de cada año de edad de las MEF. b. Mortalidad: El indicador general de la mortalidad es la tasa bruta de mortalidad, que contabiliza la mortalidad por 1,000 habitantes en el período de 1 año. 267 Supervisión, Monitoreo y Evaluación La mortalidad infantil y la mortalidad materna están relacionadas funcionalmente con el comportamiento reproductivo de la población. A mayor TGF generalmente se observan mayores TMI y TMM, e inversamente. Veamos brevemente estos dos indicadores de impacto: (1) Tasa de Mortalidad Infantil (TMI) Esta tasa mide el riesgo de morir durante el primer año de vida, se calcula: TMI = Número de muertes de menores de 1 año Número de nacidos vivos x 1,000 De acuerdo a ENDES II en el Perú, la mortalidad infantil se ha reducido fuertemente en un 29% en un período de 5 años, pasando de 78 por mil en el período 1982 - 1986 a 55 por mil en el período 1987 - 1991. Hoy varios factores combinados que determinan la disminución de la mortalidad como es la baja de la TGF debida al mayor uso de anticonceptivos, y el mejoramiento en las condiciones generales de salubridad y el mayor acceso de la población a los servicios de salud. (2) Tasa de Mortalidad Materna (TMM) Esta tasa mide el riesgo de morir de las mujeres debido a causas maternas, como complicaciones del embarazo, del parto y del puerperio. La fórmula para calcularla es: TMM = Número de muertes de mujeres por causas maternas Número de nacidos vivos x 1,000 En Perú la ENDES II no mide esta variable, sin embargo sabemos que tiende a permanecer alta, debido a múltiples factores como las complicaciones por abortos generalmente aplicados en las peores condiciones sanitarias. 268 Texto de Apoyo: Unidad II LECTURA Nº 2 INFORMACIÓN NECESARIA EN PREPARACIÓN DE INDICADORES PARA VIGILAR LOS PROGRESOS REALIZADOS EN EL LOGRO DE LA SALUD PARA TODOS EN EL AÑO 2000 Organización Mundial de la Salud, Serie Salud Para Todos Nº 4, Ginebra 1981, pág. 43 - 69. RESUMEN La Organización Mundial de la Salud, preocupada en ayudar a sus Estados miembros a decidir qué indicadores utilizar para vigilar los procesos realizados en el logro de la salud para todos en el año 2,000, publica un procedimiento para preparar indicadores sobre el estado de salud y los indicadores de la prestación de atención de salud, desde las fuentes de datos para los distintos indicadores, y qué hacer cuando no existen o hay un mal funcionamiento de los sistemas de registro, hasta la estimación de indicadores. Para lo cual hacen mención a los métodos de acopio y de análisis de datos para indicadores seleccionados. Se hace referencia de indicadores sociales y económicos, indicadores de prestación de servicios de salud e indicadores del estado de salud. Debido a que desde hace muchos años los expertos han ido publicando indicadores construidos con diversas metodologías y que han sido validados en la práctica se recomienda su uso y la búsqueda de listados de indicadores como los que se exponen en esta lectura. 269 Supervisión, Monitoreo y Evaluación 2. INFORMACIÓN NECESARIA INTRODUCCIÓN 125. La Parte 2 trata de los métodos de acopio y análisis de la información comúnmente utilizada para establecer los distintos tipos de indicadores que pueden ser seleccionados para vigilar los adelantos hacia el logro de la salud para todos. Se examinan las fuentes y técnicas usuales para obtener los datos y se describen en breves resúmenes las cuestiones relativas al acopio de la información para determinados indicadores. Muchos países carecen todavía de sistemas seguros de información sanitaria que faciliten los datos necesarios para calcular esos indicadores valiéndose de métodos normalizados. Por consiguiente, en la Parte 2 se describen las fuentes de datos de que puede disponerse en principio en la mayoría de los países en desarrollo y que han sido mencionados anteriormente en las observaciones generales de los párrafos 14-29. 126. Cuando se trata de evaluar la disponibilidad de información para elaborar los indicadores, es importante tener plenamente en cuenta, con un criterio realista, no solamente las fuentes que pueden obtenerse en el sector de la salud, sino también los trabajos de los organismos nacionales e incluso internacionales no pertenecientes al sector de la salud. Esto se aplica en particular a los sectores demográfico, social y económico. 127. Al utilizar los indicadores para la vigilancia de los progresos en materia de salud, se necesita información para cuatro tipos de comparaciones: a) comparación del nivel actual con la meta numérica fijada para el año 2000 y para las fechas intermedias; b) comparación de la misma población en diferentes períodos de tiempo; c) comparación entre distintos grupos de población dentro de un país; d) comparación entre países. En la Parte 2 se destaca sobre todo la información necesaria para los tres primeros tipos de comparaciones. Sin embargo, se describen definiciones y procedimientos internacionalmente aceptados, en la medida en que se hallan disponibles, porque su uso, con las adaptaciones necesarias para satisfacer las condiciones de un país, facilitará ante todo las comparaciones dentro de un país, luego entre un pequeño número de países y, por último, entre todos los países. 128. Cabe mencionar desde un principio dos problemas básicos relativos a la utilización de los indicadores y al grado de precisión necesario. Con objeto de vigilar los progresos en materia de salud no sólo han de establecerse niveles de partida, sino que deben medirse también los cambios relativos a tales niveles. La necesidad de medir los cambios, en lugar de los niveles absolutos, supone una mayor exigencia respecto a la precisión de las fuentes de datos y, en donde se plantea la utilización de una encuesta en la comunidad como fuente de datos, se precisarán tamaños de la muestra relativamente mayores. Por ejemplo, en una comunidad donde es alta la mortalidad de los lactantes, una tasa basada en 10,000 hogares puede bastar para evaluar los niveles generales de las condiciones de salud relativas a los lactantes, pero sería insuficiente para determinar si se ha producido un cambio razonable desde el momento de la encuesta precedente. 270 Texto de Apoyo: Unidad II 129. El segundo problema es la necesidad de que los indicadores sirvan no sólo como promedio nacional, sino que se apliquen también, en forma desglosada, a ciertas zonas geográficas y a ciertos grupos sociales o grupos de edad. Muchas fuentes ordinarias de datos sólo proporcionan información en el plano nacional; por ejemplo, el producto nacional bruto o el consumo por habitante de proteínas de energía («calorías»), que derivan de estimaciones nacionales en las que entra el comercio exterior, no pueden desglosarse fácilmente. En la mayoría de los países, la expectativa de vida se calcula sólo para la población total. Asimismo, los datos de una encuesta nacional por muestreo pueden facilitar indicadores fiables para el país en conjunto, pero no para determinados subgrupos o zonas geográficas. 130. Esta doble demanda impuesta a las fuentes de datos, esto es, la capacidad de diferenciar los cambios aparentes de los reales a lo largo del tiempo y la capacidad de facilitar estimaciones de fiabilidad suficiente para determinados subgrupos de la población nacional, limita el número de fuentes pertinentes para ciertos indicadores y puede afectar también a la posibilidad de empleo de determinados sistemas de muestreo para otros indicadores. No cabe duda de que algunos países tendrán dificultades para asegurar que las fuentes de datos de que disponen o que pueden desarrollar con los recursos disponibles satisfarán la necesidad de vigilar los cambios o de proporcionar datos desglosados, de modo que habrán de encontrarse soluciones de compromiso entre la precisión deseada y la posibilidad de obtener esa precisión. PRINCIPALES FUENTES DE DATOS PARA LOS INDICADORES DE SALUD 131. Según se ha mencionado en la exposición general de los párrafos 14-29, las principales fuentes de datos para los distintos indicadores propuestos pueden clasificarse del siguiente modo: a) registros de sucesos demográficos (registros civiles); b) censos de población y vivienda; c) registros ordinarios de los servicios de salud; d) datos de vigilancia epidemiológica; e) encuestas por muestreo; f) registros de enfermedades; g) otras fuentes de datos (incluidos los datos procedentes de sectores distintos la de la salud). 132. El Cuadro 1 indica en líneas generales las posibles fuentes de datos para los indicadores sobre el estado de salud y los indicadores de la prestación de atención de salud. Una « P » en una columna de una fuente determinada de datos se refiere a la fuente primaria de datos donde existe. Una « P » en más de una columna siginifica que se necesita más de una sola fuente de datos para calcular el indicador; cuando, como sucede con frecuencia, la fuente primaria de datos no existe o proporciona una cobertura insatisfactoria para la vigilancia de los indicadores, se designan las fuentes alternativas con la letra « A » en la columna. La mayoría de los países tendrán que utilizar las fuentes de datos citadas en las columnas marcadas con una « A ». Las fuentes que han de utilizarse estarán determinadas, aparte de su disponibilidad, por la frecuencia con que se necesite la información pertinente. 271 Supervisión, Monitoreo y Evaluación 133. Las palabras « primaria » y « alternativa » no sólo se refieren a la precisión con la que puede calcularse un determinado indicador para los fines de vigilancia, sino también a la deseabilidad final de esa fuente de datos desde el punto de vista más general del desarrollo de la información. Un ejemplo de este principio es el empleo del registro de sucesos demográficos como fuente preferida de datos (junto con los datos del censo de población) para los indicadores basados en datos sobre nacimientos y defunciones. En la gran mayoría de los países no existen registros de sucesos demográficos (registros civiles) que funcionen convenientemente y debe recurrirse a las encuestas demográficas, etc., como fuente alternativa. Sin embargo, la encuesta demográfica nunca permite alcanzar la meta deseada de un registro completo de todos los sucesos demográficos de un país, con capacidad de proporcionar datos disgregados para pequeños grupos de población. Así, en los países en donde no funciona un sistema de registro civil, la encuesta demográfica ha de considerarse como un sustituto temporal y no como un sistema de reemplazo. Al formular recomendaciones sobre las fuentes de datos para indicadores se plantea el dilema general de que las fuentes de datos que se hallan inmediatamente disponibles en la mayoría de los países no son necesariamente las que pueden recomendarse como soluciones a largo plazo para los problemas de información sanitaria de un país. Cada país debe examinar con regularidad las fuentes de datos utilizadas para determinar en qué momento una fuente « primaria » de datos puede sustituir a una fuente « alternativa » en la tarea de facilitar información sanitaria básica. REGISTROS DE SUCESOS DEMOGRÁFICOS (REGISTROS CIVILES) 134. Las Naciones Unidas definen un sistema de registro de sucesos vitales como aquel que incluye la inscripción jurídica, el registro y la notificación estadísticos de « sucesos vitales », y el acopio, la compilación, la presentación, el análisis y la distribución de estadísticas relativas a los mismos, que a su vez comprenden los nacimientos de niños vivos, las defunciones fetales, los matrimonios, los divorcios, las adopciones, las legitimaciones, los reconocimientos, las anulaciones y las separaciones legales. (10) El ideal es que tal sistema facilite una cobertura completa de la totalidad de un país y que la población comunique satisfactoriamente los sucesos al registro. En tal caso, el sistema de registro de sucesos vitales, combinado con el censo general de la población efectuado con anterioridad, es el medio preferido por el que pueden calcularse distintos indicadores demográficos que comprenden datos sobre los nacimientos, las defunciones y los grupos de edad de la población. 135. Por desgracia, rara vez funcionan convenientemente los registros de sucesos demográficos o registros civiles, o funcionan sólo para determinadas partes de un país, que no suelen ser representativas. En muchos países, la falta de recursos ha limitado el desarrollo de tales sistemas a las grandes ciudades, en donde existe una infraestructura adecuada para dichos registros. Incluso, en donde un sistema de registro abarca ostensiblemente la totalidad del país, el hecho de que haya omisiones por parte de la población en la notificación de nacimientos y defunciones puede hacer que las tasas sean muy poco fiables. Según las Naciones Unidas, el registro de los nacimientos y las defunciones es completo o bastante completo (esto es, el 90% o más) en unos 50 países solamente, que comprenden menos de la tercera parte de la población mundial. 272 Texto de Apoyo: Unidad II CUADRO 1. FUENTES PRINCIPALES DE DATOS PARA INDICADORES O GRUPOS DE INDICADORES P = Fuente primaria; Indicadores Fuente de datos Registros censos de de sucesos poblacion demograficos y vivienda (registros civiles) A = Fuente alternativa registros ordinarios vigilancia encuestas epidemio- por de los muestreo servicios logica de salud registros de enfermedades otros Indicadores del estado de salud: Peso al nacer Peso y talla Perímetro braquial Mortalidad de lactantes Mortalidad de niños de corta edad Mortalidad de niños menores de 5 años Mortalidad proporcional de niños menores de 5 años Expectativa de vida a una edad determinada Mortalidad Materna Tasa bruta de natalidad Tasas de mortalidad por determinadas enfermedades Mortalidad proporcional por determinadas enfermedades Morbilidad: -Tasa de incidencia -Tasa de prevalencia Prevalencia de incapacidad a largo plazo P P P A A A A A P P A P P A P P A P A P P P P P P A P A A P P P A A P P P A A P P A P P P A P P A P Indicadores de la prestación de atención de salud Accesibilidad material Porcentaje de P P A A 273 Supervisión, Monitoreo y Evaluación 136. Dada la inexistencia o el mal funcionamiento de los sistemas de registro civil en muchos de los países en desarrollo, debe recurrirse a otros medios. Una solución, intentada en la India, consiste en instalar registros de sucesos demográficos en varias zonas de un país elegidas aleatoriamente, utilizando como registradores a personal local (por ejemplo, maestros de escuela). A diferencia del registro completo corriente de los sucesos demográficos, en el que la función de los encargados del registro es principalmente pasiva, ese personal puede intervenir más activamente en la anotación de los sucesos demográficos, aprovechando su conocimiento de las condiciones locales y haciendo un persistente esfuerzo de publicidad. Si en cada una de las zonas de muestreo se hicieran esfuerzos más amplios de los que serían factibles en el ámbito nacional, podrían obtenerse estimaciones más precisas de las tasas de sucesos demográficos en todo el país. 137. Otra solución consiste en ampliar progresivamente las zonas de registro de sucesos demográficos ya existentes, aunque no constituyan una muestra representativa, a otras zonas contiguas o circundantes. Si bien es posible que este esquema no dé a corto plazo resultados nacionalmente representativos, puede ser la mejor solución a largo plazo para un país en el que ya existen varias zonas de registro que funcionan convenientemente. Permite una expansión progresiva de la infraestructura con el menor gasto y reduce al mínimo los problemas administrativos y de publicidad que plantea la instalación de registros nuevos y aislados. 138. Dada la lentitud con que se progresa en el establecimiento de un sistema completo de registro de sucesos demográficos, algunos países han tratado de utilizar a lo agentes de salud de primera línea para registrar los nacimientos y las defunciones que se producen en la comunidad con objeto de utilizar las cifras en la gestión de la asistencia sanitaria y en la evaluación de las tendencias demográficas. Claro es que una de las funciones importantes de un agente de atención primaria de salud consiste en compilar y registrar los datos sobre los sucesos demográficos y otra información sanitaria sobre su comunidad. Gracias a la expansión y al desarrollo de los programas de atención primaria de salud y a su creciente cobertura, se podrán establecer registros más completos de los nacimientos y las defunciones. Para obtener esta información se ha elaborado el instrumento que consiste en la notificación por personas no profesionales a fin de identificar los síntomas y enfermedades asociados con defunciones (5).1 La aplicabilidad de esta metodología se examina en los párrafos 166 y 167. CENSOS DE POBLACIÓN Y VIVIENDA 139. Las Naciones Unidas consideran que un censo de población es el proceso total de acopio, compilación y publicación de datos demográficos, económicos y sociales correspondientes a un momento o momentos determinados, que abarca todas las personas de un país de territorio delimitado. (11) Son indispensables la cobertura completa y el registro individual. Asimismo, un censo de vivienda abarca el acopio de datos sobre las viviendas basándose en la cobertura completa de todos los lugares de habitación existentes en un país. Los censos de población se efectúan generalmente una cada diez años, pero en el intervalo pueden actualizarse periódicamente con un censo más simple que recoja un número reducido de datos, o con un censo por «muestreo». Los censos de vivienda suelen realizarse el mismo tiempo que los censos de población. 274 Texto de Apoyo: Unidad II 140. Los censos de población facilitan los datos básicos para calcular la mayoría de las tasas, por ejemplo, datos del denominador (tales como la población distribuida por edad y sexo) necesarios para la mayor parte de los indicadores demográficos y ciertos indicadores socioeconómicos, así como los « datos sobre la zona de captación »2 para muchos indicadores de cobertura y accesibilidad. Si se incluyen algunas cuestiones expecíficas relativas a los nacimientos y las defunciones pasados, pueden calcularse también las tasas de sucesos demográficos. Se introducen a veces en los cuestionarios del censo otros puntos relacionados con la salud, como la incapacidad permanente. Entre los datos comprendidos con frecuencia en un censo de vivienda, los referentes al suministro de agua, las instalaciones de retretes y el hacinamiento tienen particular interés para el análisis de las condiciones de salubridad del medio. Sin embargo, teniendo en cuenta los elevados costes implicados, los puntos que han de incluirse en los censos de población y vivienda deben elegirse cuidadosamente y limitarse al estricto mínimo. 141. Uno de los principales inconvenientes del empleo de un censo como fuente de datos para fines de vigilancia es su escasa frecuencia. La mayoría de los censos se efectúan sólo una vez cada diez años y los resultados completos no suelen hallarse disponibles con rapidez debido al elevado volumen de datos que se han de tratar. Sin embargo, en muchos países se realizan tabulaciones sobre algunos puntos urgentemente necesarios basándose en el tratamiento de muestras (por ejemplo, muestras del 5% al 10%). Ciertos puntos (por ejemplo, la distribución de la población por edad y sexo) se calculan durante el período transcurrido entre los censos actualizando los datos del censo precedente por medio de la información sobre los cambios que han tenido lugar (por ejemplo, nacimientos, defunciones y migración). También conviene notar que existen todavía algunos países en los que no se han efectuado censos completos de la población o la vivienda, y ciertos países en los que por problemas políticos, logísticos o especiales (por ejemplo, movimientos nómadas durante la realización del censo) resultan discutibles los recuentos de ciertos grupos de población. REGISTROS ORDINARIOS DE LOS SERVICIOS DE SALUD 142. Ciertos indicadores requieren información de carácter diagnóstico (por ejemplo, la mortalidad materna o la mortalidad y morbilidad por determinadas enfermedades), información sobre ciertas mediciones efectuadas habitualmente por el personal de los servicios de salud (por ejemplo, el peso al nacer, el peso, la talla y el perímetro braquial de los niños) o información relativa a las actividades efectuadas por el sector de la salud (por ejemplo, cobertura de distintos tipos, inmunización, prevención y lucha contra las enfermedades endémicas y tratamiento de las enfermedades corrientes). En muchos casos, la única fuente de datos del numerador para tales indicadores (en los casos relativos a tasas) consiste en los registros de los servicios de salud. 143. Muchos de los datos producidos por el sistema de anotaciones en los registros de los servicios de salud tienen una finalidad administrativa más que de vigilancia, y sólo en condiciones ideales facilitarán una cobertura apropiada. Como sólo existen registros cuando ha habido una intervención de los servicios de salud, los registros no reflejan la situación de los grupos de población que no están cubiertos por las actividades de los servicios de salud, y de ahí el peligro de que se dé una idea falsa. 275 Supervisión, Monitoreo y Evaluación Incluso en los casos en que los registros de los servicios de salud pueden facilitar datos apropiados del numerador, no suelen ofrecer los datos requeridos del denominador (por ejemplo, la población expuesta o la población que se ha de atender). Sucede con frecuencia que las zonas de captación de los servicios de salud se establecen basándose en límites geográficos; ahora bien, los habitantes de la zona circunscrita no son necesariamente los usuarios reales de los servicios de salud. 144. La accesibilidad de los datos puede variar. Por ejemplo, los sistemas de registro de los grandes hospitales urbanos son a menudo más accesibles que los integrados en los dispensarios rurales. La mayor eficacia en la organización y el empleo de los registros de los servicios periféricos de salud conducirá a una mejor información para la vigilancia sanitaria. El desarrollo de la atención primaria de salud y la creciente cobertura por los agentes de salud de la comunidad exigen el establecimiento de sistemas simples y eficaces de compilación de datos, tanto para su uso en el nivel local como para el envío al nivel operativo o administrativo siguiente. VIGILANCIA EPIDEMIOLÓGICA 145. En numerosos países en los que son endémicas determinadas enfermedades, se han creado programas de lucha o acción para afrontar la situación. En el marco del programa de lucha contra las enfermedades se establecen con frecuencia sistemas de vigilancia que informan sobre la aparición de casos o sobre los esfuerzos efectuados para luchar contra la enfermedad (por ejemplo, inmunizaciones realizadas en ciertos grupos o cobertura de un sector por un programa de rociamiento de insecticidas). 146. Los programas de vigilancia se hallan estrechamente vinculados a los programas de lucha contra determinadas enfermedades y en consecuencia, abarcan sólo los correspondientes grupos de población o zonas geográficas en donde se llevan a cabo las actividades. Se han establecido a menudo fuera del sistema nacional de información sanitaria y pueden carecer de la continuidad o de la representatividad necesarias para proporcionar datos útiles en un período prolongado. Algunos sistemas de vigilancia se han creado para actuar principalmente como sistemas de « alerta » o « advertencia », y en ellos la detección de casos de una determinada enfermedad es más importante que el recuento exacto de los mismos. En esta situación tal vez no se trate de relacionar la aparición de casos con el número exacto de personas expuestas, de modo que, incluso si se recuenta con exactitud el número de personas enfermas, no se calcula la incidencia ni la prevalencia. 147. Pese a estas insuficiencias y limitaciones, los datos sobre la vigilancia epidemiológica ofrecen las siguientes ventajas: a) las personas que efectúan la vigilancia suelen hallarse capacitadas para identificar o diagnosticar las enfermedades en cuestión y para medir las características pertinentes de la comunidad. b) la cobertura completa de la población sometida a vigilancia suele intentarse por medio de visitas de vivienda en vivienda; así puede medirse la cobertura de una población por distintos tipos de servicios de salud; c) si los grupos de población cubiertos por la vigilancia son bastante amplios y se consideran representativos, el mecanismo puede utilizarse para obtener otros 276 Texto de Apoyo: Unidad II datos de importancia en salud pública, en particular de enfermedades que son relativamente poco frecuentes (por ejemplo, menos del 5%). El cálculo de tales fenómenos en una pequeña muestra sería tan impreciso que resultaría inútil para fines de vigilancia; y d) la vigilancia se realiza a lo largo de un determinado período, por lo menos mientras dura el programa de lucha asociado, de modo que pueden calcularse además de los datos de base, los cambios a intervalos suficientemente próximos para proporcionar datos útiles en materia de vigilancia. 148. El valor de los sistemas de vigilancia epidemiológica, en lo que respecta a la información sobre ciertos indicadores, parece basarse en las siguientes condiciones: a) el programa de lucha o acción con el que está asociado el sistema de vigilancia ha de establecerse en ámbito nacional o en varias regiones representativas del país, a fin e obtener mediciones sin sesgo de los indicadores; b) la duración del programa de lucha ha de ser tal que facilite un período útil de vigilancia para los indicadores; y c) debe disponerse también de alguna medición de la población expuesta, facilitada por el propio sistema de vigilancia o procedente de otras fuentes, de modo que exista la posibilidad de calcular tasas adecuadas sobre la mortalidad, la morbilidad y la cobertura de la atención de salud. ENCUESTAS POR MUESTREO 149. A primera vista, la columna encabezada con este título en el Cuadro 1 puede dar la impresión de que la encuesta es la solución que se utiliza con más frecuencia a fin de hallar los datos adecuados para el cálculo de indicadores. Si bien en el caso de ciertos indicadores la preguntas dirigidas a la población general (en una muestra o en un sistema de cobertura total) parecen ser el medio más útil de acopio de datos (por ejemplo, sobre la utilización real de distintos tipos de servicios de salud), el valor del método de encuesta descansa en su capacidad para facilitar información cuando no existen otras fuentes de datos o éstas son incompletas, inaccesibles o inapropiadas. Sin embargo, el método de encuesta tiene inconvenientes, que se mencionan en el párrafo 156, junto con sus ventajas. 150. Una encuesta en la comunidad concebida científicamente facilita estimaciones de las características de la población dentro de unos límites de error de muestreo fijados previamente. La muestra puede consistir en personas, familias, viviendas, escuelas, etc., con arreglo a los fines de la investigación y a los recursos disponibles para la realización del estudio. A no ser que la finalidad de la encuesta sea extraer información de un grupo especial (por ejemplo, los niños escolares o un grupo profesional determinado), la familia es la unidad más corriente para el muestreo; permite recoger cómodamente la mayoría de los datos sociales, económicos y sanitarios. Son muchos los países que tienen por lo menos cierta experiencia de este método de acopio de datos porque suele utilizarse en situaciones en las que no hay otras fuentes oficiales de datos. 151. No existe una forma típica de encuesta en las familias; puede ser muy agrupada o ampliamente dispersa. Puede dedicarse a un solo tema (por ejemplo, a una enfermedad dada) o abarcar un amplio número de cuestiones (polivalente), puede comprender una sola visita o visitas repetidas a lo largo de un determinado período, puede efectuarse bajo el patrocinio de una organización permanente, que garantiza la continuidad de la encuesta, o estar a cargo de una organización que desaparece 277 Supervisión, Monitoreo y Evaluación después de efectuada la encuesta. Es evidente que estos diferentes aspectos influirán en el valor de las encuestas en las familias como fuentes de datos para los indicadores de salud. 152. El tamaño de la muestra necesaria para un encuesta en las familias depende de las mediciones que se efectúen y del grado de precisión que se desee. Muchas muestras nacionales abarcan habitualmente de 5,000 a 10,000 familias. Este número que suele considerarse suficiente para facilitar informaciones nacionales sobre variables tales como el estado de la atención de salud, las mediciones antropométricas, el consumo de alimentos, los ingresos, los gastos, el estado de la vivienda (incluye la disponibilidad de agua, la evacuación de residuos y la electricidad), la alfabetización y la asistencia a la escuela, el empleo y la estructura y tamaño de las familias; esto permite a la vez cierto desglose de las características más frecuentes y también la medición de cambios que se producen durante un cierto tiempo si las encuestas se repiten a intervalos razonables. En el caso de que los sucesos en curso de medición aparezcan rara vez en la población, los tamaños de la muestra tendrán que ser mayores para establecer niveles de base y efectuar estimaciones de los cambios con el tiempo. Ello es particularmente cierto cuando se han de calcular las tasas de sucesos demográficos, como las de natalidad (si las tasas no exceden de 50 por 1000) y las tasas de mortalidad (de 25 por 1000 a lo sumo). 153. Para el cálculo de las tasas de sucesos demográficos por medio de una encuesta en las familias se formulan ciertas preguntas de carácter retrospectivo: los nacimientos, las defunciones y otros fenómenos demográficos que se produjeron en el pasado. Para evitar graves problemas de recuerdo de los acontecimientos, otra posibilidad consiste en utilizar una serie de encuestas de seguimiento, en las que se visita a las mismas familias a intervalos regulares relativamente breves (por ejemplo, cada seis meses), para evaluar el estado de cada una de las personas incluidas originalmente. De este modo, los nacimientos, las defunciones y la migración se registran de modo que puedan calcularse las tasas demográficas. Ese estudio de seguimiento es evidentemente costoso y exige una organización especial del personal. 154. El patrocinio bajo el cual ha de efectuarse la encuesta tiene cierta importancia debido a la necesidad de garantizar la continuidad de la información en el período de vigilancia. Una encuesta en las familias concebida sólo para obtener información sanitaria puede elegir el empleo de entrevistadores especialmente capacitados y de cuestionarios más complejos para obtener información sobre las enfermedades, la incapacidad e incluso quizás sobre algunos sucesos demográficos. Sin embargo, es dudoso que en muchos países pueda repetirse una encuesta de ese tipo a intervalos regulares de dos o tres años, a causa del elevado costo de la iniciación de la encuesta, del adiestramiento y del readiestramiento periódico del personal entrevistador, y del mantenimiento en el sistema de salud de la infraestructura necesaria para preparar y realizar las encuestas, tratar los datos y lograr la disponibilidad de los resultados. Por consiguiente, debe concederse atención al fomento de una estrecha colaboración con el organismo estadístico gubernamental establecido que posea los conocimientos técnicos necesarios para la realización de encuestas. 155. Las Naciones Unidas han establecido recientemente un programa apoyado por el Consejo Económico y Social para el fortalecimiento de la capacidad nacional de ejecución de encuestas en las familias; ello significa la organización permanente de 278 Texto de Apoyo: Unidad II las encuestas, como existe ya en algunos países. En condiciones típicas, una oficina estadística central nacional se encarga de la administración y ejecución de todas las encuestas oficiales, cuya demanda puede surgir de cualquier departamento gubernamental. La gestión central está destinada a economizar los escasos recursos de personal y de conocimientos técnicos disponibles, y al mismo tiempo a utilizarlos del mejor modo, efectuando también ahorros compartiendo los gastos generales. Los departamentos gubernamentales, como el departamento de salud, pueden emplear la organización para efectuar sus propias encuestas o utilizar preguntas sobre salud incluidas en las encuestas polivalentes en curso de ejecución. Si no existe esta organización multisectorial general, puede ser todavía útil para la autoridad sanitaria el establecimiento de su propia organización de ejecución de sus encuestas, que sea más modesta pero permanente. Siempre que se utilicen las encuestas en las familias hay que cuidar de poner en correlación los resultados con datos análogos obtenidos de otras fuentes (por ejemplo, los servicios de salud). 156. Todas las encuestas en las familias tienen una serie de ventajas e inconvenientes. Las principales ventajas son las siguientes: a) la información sanitaria puede relacionarse con otros datos sobre las familias recogidos simultáneamente, lo que conduce a interpretaciones que no serían factibles si la misma información procediera de otra fuentes; b) la información que queda fuera del alcance de los servicios oficiales de salud puede recogerse mediante preguntas directas dirigidas a los habitantes (por ejemplo, la utilización de los recursos de asistencia sanitaria del sector privado); c) esta fuente permite conocer los datos sobre morbilidad e incapacidad que no requieren asistencia sanitaria pero que limitan la actividad de la persona afectada; d) pueden investigarse los casos de enfermedad e incapacidad que no reciben asistencia sanitaria y los motivos de la no utilización de los servicios de salud; esto tiene especial importancia para la determinación de la accesibilidad socioeconómica y cultural a los servicios; e) pueden comprobarse las estimaciones de la cobertura de los distintos servicios mediante una indagación de su empleo real; y f) el método de muestreo científico puede facilitar los cálculos de datos del denominador (por ejemplo, distribución de la población por edad y sexo) para la determinación de tasas y relaciones. Algunos de los inconvenientes son los siguientes: a) la preparación y la ejecución correcta de encuestas basadas en el muestreo de probabilidades son difíciles y costosas si no se cuenta con una estructura nacional experimentada; b) la información sobre las enfermedades pasadas y otros acontecimientos señalados por la persona que contesta está sujeta a olvidos y a omisiones deliberadas; c) las enfermedades que rara vez aparecen o las mediciones que muestran amplias variaciones en la población exigen muestras de gran tamaño para poder ser estimadas con precisión; 279 Supervisión, Monitoreo y Evaluación d) si se trata de facilitar datos apropiados sobre indicadores para zona o grupos de población pequeños se necesita una cobertura prácticamente completa y no un muestreo; y e) las encuestas son generalmente actividades efectuadas en una sola vez y no suelen conducir a un procedimiento permanente de acopio sistemático de datos. REGISTROS DE ENFERMEDADES 157. Para calcular la prevalencia e incidencia de ciertas enfermedades que se consideran importantes en un país y estudiar su evolución, pueden instalarse registros de enfermedades, habitualmente con base en la población, desde los que se comunican a un registro central todos los casos de las enfermedades elegidas. Si el sistema de registro es eficaz y la cobertura es nacional o representativa, el registro puede facilitar datos útiles sobre la morbilidad por esas enfermedades, el tratamiento administrado, la mortalidad por cada enfermedad y la letalidad. 158. Los registros de enfermedades plantean varios problemas: a) exigen una estrecha cooperación de todos los sectores de los servicios de salud si se quiere evitar la aparición de omisiones por un registro insuficiente; b) pueden surgir difíciles problemas de diagnóstico que den una clasificación incorrecta desde el punto de vista geográfico y cronológico; c) la cobertura plantea habitualmente problemas en el caso de las personas tratadas fuera de las zonas de registro y que, por consiguiente, no se hallan registradas, o de las personas que residen fuera de la zona abarcada y que quedan inscritas en el registro porque su tratamiento se efectúa en la zona de registro. OTROS MÉTODOS DE ACOPIO Y FUENTES DE DATOS PARA LOS INDICADORES DEL ESTADO DE SALUD 159. En la mayoría de los países en desarrollo, las fuentes de datos « primarias », en particular para los indicadores del estado de salud, no existen o no producen datos fiables. Por consiguiente, ha de estudiarse el empleo de las fuentes de datos alternativas indicadas en el Cuadro 1 (página 47) con la letra « A ». Se consideran a continuación algunos de los problemas prácticos planteados por el acopio y el análisis de datos procedentes de tales fuentes. INDICADORES NUTRICIONALES 160. Los indicadores nutricionales se obtienen muy fácilmente por el personal de atención primaria de salud y, en una comunidad cubierta por la atención primaria de salud, el acopio de datos no plantea ningún problema insuperable, siempre que se disponga de instrumentos normalizados y que el personal esté convenientemente capacitado para su utilización; por ejemplo, teniendo en cuenta que la insuficiencia ponderal del recién nacido es uno de los factores de riesgo para la supervivencia de un niño más fácilmente identificable, es muy conveniente que el personal que atiende el parto proceda a pesar a todo recién nacido. Entonces se obtendrá el porcentaje de la insuficiencia ponderal del recién nacido mediante la agregación de los datos. La validez de este indicador aumentará al mejorar la tasa de asistencia al parto por personal capacitado. 280 Texto de Apoyo: Unidad II 161. Las mediciones antropométricas, como la talla y el peso, pueden realizarse en los niños pequeños cuando reciben asistencia en el centro local de atención de salud o en un centro de examen especial establecido por un equipo de vigilancia epidemiológica. Para no sobrecargar al equipo de vigilancia, las mediciones antropométricas pueden efectuarse sólo en una muestra representativa de localidades y a intervalos convenientemente elegidos (por ejemplo, cada tres años). El empleo de gráficas de peso en relación con la edad establecidas en el hogar puede simplificar grandemente el acopio de datos sobre el estado nutricional a través de un punto de contacto de la atención primaria de salud o de las instituciones sanitarias. INDICADORES BASADOS EN LOS NACIMIENTOS Y DEFUNCIONES 162. La preparación de estos indicadores es más difícil que la de los indicadores nutricionales porque se necesitan datos sobre sucesos que se producen un período de tiempo y no datos relacionados con un momento determinado. El personal de atención de salud registra ordinariamente los nacimientos para programar una atención apropiada de los lactantes. Por otra parte, el registro de las defunciones suele ser incompleto, ya que muchas de las personas que mueren no están asistidas por personal de salud. 163. Si existe la capacidad nacional para efectuar encuestas demográficas basadas en el muestreo de probabilidades, éstas pueden ser una fuente de datos para los indicadores. Como se señala en el párrafo 153, un método sencillo consiste en entrevistar a las familias y en formular preguntas sobre los antecedentes en materia de reproducción y defunción. Un método más complejo consistirá en visitar repetidas veces a las mismas familias, con un intervalo dado, y en registrar los nacimientos y las defunciones que se hayan producido en dicho intervalo. Habrá que cuidar en gran manera de evitar la omisiones en el registro. 164. Se han elaborado métodos especiales de análisis para calcular amplias estimaciones de los indicadores demográficos cuando ninguno de los procedimientos descritos con anterioridad da resultados satisfactorios; esos métodos se describen en los párrafos 168-173. 165. Para el cálculo de muchos de los indicadores demográficos se necesita el tamaño de la población como dato del denominador. Los datos detallados, como la distribución por edad y sexo, tienen que obtenerse en un censo de población o en una encuesta especial, y puede ser difícil la actualización de estadísticas detalladas. Sin embargo, el servicio de atención primaria de salud debe tener un conocimiento bastante preciso de la población total de la zona atendida y del número de miembros de ciertos grupos especiales, como los lactantes, los niños de 1 a 4 años de edad y las mujeres en edad fértil. Son cifras claves que tienen que contarse y ponerse al día regularmente por medio de visitas domiciliarias. INDICADORES DE DETERMINADAS ENFERMEDADES BASADOS EN LA NOTIFICACIÓN POR PERSONAL NO PROFESIONAL 166. En muchas zona rurales no se dispone de médicos y, en consecuencia, no suele contarse con datos sobre la naturaleza de las enfermedades y las causas de defunción. En varios países se ha elaborado un nuevo método para compilar y registrar tales datos utilizando personal no médico, método que se denomina «notificación de información sanitaria por personal no profesional» (5).1 Es evidente que no hay que esperar que el personal no médico facilite diagnósticos médicos, pero se le 281 Supervisión, Monitoreo y Evaluación puede capacitar convenientemente para que recoja datos sobre las manifestaciones de las enfermedades, como son los síntomas y los signos, expresadas en los términos corrientes de la comunidad. 167. El análisis y la investigación cuidadosa de estos datos, utilizando ciertas directrices, pueden ofrecer una imagen significativa de la situación de salud de la comunidad. Este sistema de notificación de la morbilidad y la mortalidad por personal no profesional constituye un elemento importante del apoyo informativo a la atención primaria de salud. ESTIMACIÓN DE INDICADORES DEMOGRÁFICOS A BASE DE DATOS INCOMPLETOS 168. Cuando no se dispone de mediciones directas de las tasas de natalidad y mortalidad, éstas pueden calcularse basándose en datos indirectos; tales métodos dependen de varios supuesto cuya validez en las circunstancias reales suele ser difícil de confirmar. Por consiguiente, no se conoce el margen de error asociado a los indicadores resultantes. Así, los métodos indirectos facilitan estimaciones generales de los indicadores demográficos que son inadecuadas para una vigilancia periódica, aunque pueden utilizarse para descubrir cambios bastante amplios que pueden producirse en un prolongado período de tiempo, de 10 años por ejemplo. Los indicadores demográficos calculados por las Naciones Unidas para la mayor parte de los países del mundo se han obtenido mediante la aplicación de tales métodos indirectos; algunos de ellos se describen brevemente aquí (12). 169. Si se conoce la estructura de edad de la población, obtenida por un censo de población o una encuesta en la comunidad, entonces puede lograrse una estimación aproximada de las tasas de mortalidad comparando el número de personas pertenecientes a grupos de edad sucesivos; por ejemplo, la diferencia del número de niños incluidos en los grupos de edad de 5-9 años y 10-15 años puede interpretarse como un indicio aproximado del número de niños de la cohorte de 5-9 que han fallecido en un período de 5 años. En realidad, la cifra de la población no suele permanecer estacionaria sino que aumenta con el tiempo y, en consecuencia, ha de tomarse en consideración el posible aumento de los nacimientos año tras año. Se parte del supuesto habitual de una población estable, esto es, se supone que los tipos de fecundidad y mortalidad específicos de las edades permanecen invariables a lo largo de un período prolongado de tiempo, dando una tasa de crecimiento demográfico constante. La tasa de nacimientos y la tasa de defunciones por edades se calculan por medio de relaciones matemáticas teóricas. 170. El procedimiento real de cálculo suele ser más complejo, teniendo en cuenta la migración e incluyendo distintos tipos de ajustes y redondeos; los últimos se aplican en particular cuando se dispone de otros datos útiles, como el número de niños nacidos en el año precedente, el promedio de niños nacidos de cada mujer conforme a las edades de la madres, los niños vivos, etc., que ayudarán a efectuar los cálculos con mayor precisión. Una vez determinadas las tasas de mortalidad por edades, puede calcularse la expectativa de vida basándose en tales tasas. 171. Uno de los métodos adicionales que se aplican con frecuencia consiste en comparar las tasas de mortalidad por edades calculadas con las de las tablas actuariales establecidas por otros países que cuentan con estadísticas demográficas más fiables, o con una serie de las llamadas tablas actuariales modelo que abarcan una amplia variedad de situaciones que es probable que surjan en la práctica, escogien- 282 Texto de Apoyo: Unidad II do una que se parezca estrechamente al tipo de mortalidad calculado y utilizándola en su lugar. Así se eliminan las desviaciones erráticas en el tipo de mortalidad calculado, que podrían deberse a ciertas insuficiencias desconocidas de los datos. 172. El procedimiento de cálculo mejorará evidentemente si se efectúan censos de población o encuestas regulares. Al comparar las cohortes de edades correspondientes contadas en dos censos sucesivos, se evalúan las tasas de mortalidad; por ejemplo, cuando se efectúan dos censos sucesivos con un intervalo de 10 años, los individuos que se hallaban en el grupo de edad de 5-9 años en el censo precedente habrán pasado al grupo de edad 15-19 años en el momento del nuevo censo. Si se tiene en cuenta el efecto de la migración, la diferencia entre las dos cifras debe mostrar el número de defunciones que se produjeron en el intervalo de 10 años. Como los países que han efectuado por lo menos dos censos de población tendrán también varias encuestas y otras fuentes de datos utilizables, las tasas demográficas estimadas por este método están en general sujetas a distintos tipos de «correción», regularización y ajuste. 173. Por último, puede producirse un grave sesgo en los indicadores calculados por medios indirectos debido al hecho de que las estimaciones no son actuales. Como se ha indicado antes, estos métodos se refieren a la experiencia acumulada de la población en los últimos años. Los datos sobre todos los niños nacidos conciernen a los antecedentes reproductores de las mujeres y tal vez no muestren la situación real de la fecundidad actual; por ello, los indicadores obtenidos representan en el mejor de los casos un promedio de un determinado período de tiempo pasado. MÉTODOS DE ACOPIO Y DE ANÁLISIS DE DATOS ADECUADOS PARA ALGUNOS INDICADORES SELECCIONADOS Indicadores de la política sanitaria 174. La información para los indicadores de la política sanitaria puede proceder de un análisis de las declaraciones de un gobierno, de un ministerio de salud o de los dirigentes políticos y de la comunidad, así como de las declaraciones formuladas en los medios de información colectiva. Tiene importancia especial el análisis de los presupuestos nacionales para comparar la atribución de recursos a las actividades de salud y a otros sectores y analizar la distribución de los recursos dentro del sector de la salud. El Cuadro 2 muestra el tipo de información que se necesita para llegar a establecer indicadores de la asignación de recursos financieros mediante el análisis de los gastos en salud y de los gastos en esferas relacionadas con la salud. 175. En principio pueden establecerse clasificaciones todavía más detalladas que las que se mencionan en el Cuadro 2. De ese modo, podría destacarse la formación de personal, como categoría separada de los gastos en servicios de salud; los gastos del sector público local podrían distinguirse de los gastos del sector privado. Cada partida, o cada combinación de partidas, podría expresarse como porcentaje de algún total económico nacional, como por ejemplo el producto nacional bruto, y podría servir de indicador de algún aspecto del progreso hacia la salud para todos. No obstante, en muchos países en desarrollo ese desglose sería punto menos que imposible de realizar en vista de su complejidad y su costo. 283 Supervisión, Monitoreo y Evaluación CUADRO 1. GASTOS EN SALUD Y RELACIONADOS CON LA SALUD Categoría funcional Organismo y tipo de gastos sector público sector privado corrientes capital corrientes capital Total de gastos corrientes Fuentes del sector de la salud Atención primaria de salud Otras Total Otros servicios sociales Educación Otros Total Otras actividades relacionadas con la salud Abastecimiento de agua Extensión agrícola Alimentos etc. Total 176. En la mayoría de los países en desarrollo la información de que pueda disponerse será más restringida. El caso general más favorable será aquel en que los indicadores se basen en las distinciones siguientes: gastos de capital frente a gastos corrientes (ordinarios); gastos del sector público frente a gastos del sector privado; gastos en atención primaria de salud frente a gastos en otros servicios de salud; y gastos en servicios de salud frente a gastos sociales y otros gastos relacionados con la salud. 177. Las circunstancias menos propicias para efectuar tal análisis serán aquellas en que sólo se disponga de información respecto de los gastos del gobierno central. Ese indicador sólo ofrecerá una información incompleta de la evolución general de la salud. Por otra parte, transmitirá por lo menos información sobre las actividades que constituyen el aspecto más incisivo de la política del gobierno con respecto al desarrollo de la salud. Además, como los gastos del sector público suelen tener una identificación geográfica, pueden servir de base para otro indicador fundado en los gastos por habitante en las diferentes unidades geográficas (13, 14, 15). Indicadores sociales y económicos 178. La información para los indicadores sociales y económicos se obtiene normalmente de fuentes distintas del sector salud. Por consiguiente, no se describen aquí los métodos propiamente dichos de compilación de tal información. 179. La información sobre el tamaño de la población y la tasa de crecimiento natural, y sobre su edad y sexo, y las tasas de mortalidad y fecundidad, es importante directamente y también como aportación para muchos indicadores de salud. Pero es igualmente importante para otros muchos sectores, y en gran número de países esa información está a cargo de un organismo independiente del sector de salud, tal como, por ejemplo, un departamento de estadística o el servicio central 284 capital Texto de Apoyo: Unidad II de registros. Es importante explorar las posibilidades de obtener esa información de esos organismos antes de acudir para tal efecto a los recursos de los servicios de salud. La creación de series paralelas por ejemplo, calculando las defunciones de lactantes sobre la base de informes de agentes sanitarios independientemente del sistema de registro central puede llevar consigo problema de uniformidad en el plano nacional e internacional. Por otra parte, hay que tener en cuenta que en muchos casos se plantean problemas de coordinación cuando un organismo central de estadística trata de atender a muchos usuarios de distintos sectores; no siempre puede establecer el equilibrio entre la oportunidad de los datos y la plenitud y precisión que convenga a cada usuario en particular. Además, hay a menudo problemas de coordinación derivados del paso de un sector a otro. No obstante, normalmente lo mejor será confiar aun organismo central las actividades que llevan consigo una labor compleja de análisis y de elaboración, tales como la preparación de cuadros de expectativa de vida al nacer y de proyecciones demográficas. 180. La información para calcular el producto nacional bruto o el producto interno bruto por habitante, así como para determinar los ingresos personales y la distribución del ingreso, se obtiene por lo general de los ministerios de planificación o de hacienda. Otra fuente de información para las cuentas nacionales se encuentra en la oficina nacional de estadística o en el banco central, aunque en algunos casos los únicos cálculos actualizados son los que prepara algún organismo exterior. Una fuente normalizada útil para los indicadores económicos y sociales, que abarca cierto número de elementos examinados en este documento, es la « ficha de datos del país » que prepara el Banco Mundial. De todos modos, para una interpretación más a fondo hay que remitirse siempre al organismo nacional de estadística competente, si se cuenta con él. 181. La información sobre una serie de otros indicadores sociales, tales como la disponibilidad de trabajo, el nivel de empleo o de subempleo, el porcentaje de mujeres incluidas en la fuerza laboral y la incapacidad para el trabajo debida a invalidez suele obtenerse de los ministerios de trabajo. La información para los indicadores educacionales, tales como las tasas de alfabetismo de adultos o de matrícula en las escuelas primarias y secundarias, se obtiene por lo general de los ministerios de educación; la evaluación del acceso del público a la información se obtiene en los ministerios de educación u organismos afines; para el estado de la vivienda, hay que acudir a los ministerios de la vivienda o a los censos decenales y, posiblemente, a encuestas en los hogares y estudios especiales. 182. Según se ve, en los sectores social y económico los indicadores que pueden obtenerse fácilmente suelen proporcionar una amplia información general agregada acerca de las influencias que se hacen sentir en la salud de la población, pero no ofrecen una orientación satisfactoria con respecto a las características detalladas de los cambios que se registran a nivel de los distintos hogares o de las comunidades rurales y su relación con los cambios en la salud. Las encuestas por muestreo en los hogares constituyen una iniciativa factible que puede facilitar el establecimiento de mejores indicadores locales relacionados con la salud. Otra posibilidad en ese sentido es la organización de encuestas frecuentes o constantes en una serie representativa de « zonas de observación » o « zonas de vigilancia », del mismo tipo que está preparando el Instituto de Investigaciones de las Naciones Unidas para el Desarrollo Social. Todavía no es posible prescribir indicadores normalizados a base de tales trabajos, pero se trata de un campo que ofrece 285 Supervisión, Monitoreo y Evaluación muchas posibilidades para esclarecer los aspectos sociales y económicos de la salud para todos. Indicadores de la prestación de atención de salud Cobertura 183. Las estadísticas de los servicios de salud son el medio más fácil y más económico de reunir gran parte de la información que se necesita para los indicadores de la prestación de atención de salud. Ahora bien, esas estadísticas no facilitan información sobre la necesidad de asistencia sanitaria ni sobre las personas que se abstienen de utilizar esos servicios y las razones de su abstención. No obstante, el problema de la insuficiencia de información sobre la cobertura puede superarse por medio de métodos de registro debidamente concebidos, que no sean excesivamente complejos, así como por medio de una supervisión adecuada, sobre todo si se incorporan también al sistema trabajadores de salud voluntarios así como parteras tradicionales. La información sobre las personas que hacen uso de los servicios, en comparación con la población total, permitirá deducir el número de los que se abstienen de utilizarlos. En consecuencia, el acopio a un costo módico de información por ejemplo, por medio de un programa o servicio en ejecución constituye en realidad un método eficaz en función del costo para obtener información sobre la cobertura. Con el desarrollo creciente de la atención primaria de salud esos métodos van adquiriendo mayor utilidad y mayor precisión. 184. Teóricamente, los datos sobre accesibilidad y cobertura, por referirse a una zona geográfica determinada, se recogen con más facilidad a nivel de las divisiones administrativas subnacionales, como el distrito o la provincia. Los datos provinciales o de distrito pueden entonces sumarse para obtener los datos nacionales. 185. Por lo general, la medición de la accesibilidad y la cobertura depende de la existencia de datos del censo, del conocimiento de la distribución de la población por edad y sexo, y de su distribución geográfica; en ausencia de datos del censo es imposible calcular con precisión la cobertura. Sin embargo, en el marco del desarrollo de los programas de atención primaria de salud pueden confiarse algunas actividades censales a los trabajadores de salud de la comunidad, como parte de su formación. 186. Se propone el orden siguiente para recoger información sobre la cobertura en una zona geográfica bien definida, con los ejemplos correspondientes, en el supuesto de que se disponga de datos censales. ACCESIBILIDAD MATERIAL 187. La accesibilidad material es primordial para prestar cualquier tipo de asistencia. Normalmente la estrategia nacional habrá definido los objetivos de accesibilidad para los servicios especiales que facilitan los ocho elementos mínimos de la atención primaria de salud. De no ser así, la compilación de la presente información puede llevar a definirlos. Este indicador ha de referirse a determinados tipos de servicios de salud (por ejemplo, atención primaria de salud, hospital de primera línea). Por servicio de salud ha de entenderse también un establecimiento sanitario (hospital, centro de salud, dispensario) o un trabajador de salud de la comunidad que de modo permanente está a disposición de la población. 286 Texto de Apoyo: Unidad II 188. La información puede recogerse mediante un censo de un día en una muestra de pacientes que asisten a una muestra de establecimientos de salud para obtener determinadas prestaciones. Puede obtenerse así información sobre las características de los usuarios, su origen geográfico, la duración del desplazamiento, el modo de transporte, etc. La tasa diferencial de utilización (número de visitas por persona al año) de los pacientes procedentes de lugares situados a distintas distancias, que puede obtenerse por el examen de las fichas de registro y compararse con la población de distintas zonas, facilita también datos útiles a partir de los cuales pueden determinarse los objetivos idóneos de accesibilidad; por ejemplo, se ha observado en un país que la tasa de utilización de los pacientes que vivían a 6 km. de un establecimiento sanitario era de 186 por 1000 habitantes, y que descendía a 43 por 1000 a distancias de más de 15 km. 189. Para verificar la accesibilidad pueden formularse distintas preguntas, por ejemplo: a) ¿Hay servicios de atención primaria de salud (relacionados con los problemas de salud prioritarios, por ejemplo, tratamiento del paludismo, rehidratación por vía oral en casos de diarrea, etc.) incluido el suministro de medicamentos esenciales disponibles en la comunidad en cualquier momento? b) ¿Puede disponerse de atención ambulatoria de primer nivel para el envío de casos a una distancia de una hora de transporte (o de 6 km como máximo)? c) ¿Hay disponibles servicios de asistencia maternoinfantil (definiendo los elementos que han de incluirse, por ejemplo, atención prenatal, vigilancia nutricional, inmunizaciones) con periodicidad mensual o semanal, en la comunidad o a media hora de marcha, y existen servicios de asistencia a partos en cualquier momento en la comunidad? d) ¿Hay servicios de consulta y envío de pacientes accesibles en menos de dos horas? (En este punto hay que tener en cuenta las carreteras, el medio de transporte y el coste del transporte.)1 e) ¿Se dispone de instalaciones para vigilar los riesgos para la salud en los lugares de trabajo y para la vigilancia sanitaria de los trabajadores expuestos a riesgos que provocan enfermedades profesionales? 190. Se consideran como aguas potables exentas de microorganismos patógenos las aguas de superficie convenientemente tratadas, o las aguas sin tratar pero no contaminadas, como, por ejemplo las de perforaciones protegidas, manantiales y pozos. El acceso puede definirse como la existencia de un grifo de agua o de otra fuente de agua potable dentro de una casa, o la disponibilidad de un suministro de agua potable a una distancia determinada o a un tiempo de marcha desde el hogar, por ejemplo, 15 minutos. Debe adoptarse una definición correcta que tenga en cuenta las condiciones locales. 191. El número de casas abastecidas de agua por cañería suele obtenerse del registro que mantiene el servicio público de abastecimiento de agua. El número de personas servidas puede calcularse multiplicando el número de casas por el número medio de habitantes por casa, procedimiento que se aplica en particular a las zonas (1) Estos datos pueden obtenerse en entrevistas con el personal y los pacientes. El coste del transporte como proporción del ingreso mensual por habitante es un factor que ha de tenerse en cuenta al estimar la accesibilidad de los servicios de consulta y envío de pacientes. 287 Supervisión, Monitoreo y Evaluación urbanas. En otros casos debe efectuarse una encuesta en las casas o un censo de vivienda para obtener los datos necesarios. 192. Debería adoptarse también una definición nacional o local adecuada para decidir qué se entiende por acceso a una eliminación de residuos en condiciones higiénicas, pero las distancias máximas admisibles serán considerablemente más cortas que en el caso del agua. La eliminación de residuos comprende la recogida y evacuación, con o sin tratamiento, de excretas humanas y de aguas residuales por sistemas de arrastre con agua, o el empleo de pozos negros e instalaciones análogas. La accesibilidad de los alimentos es más compleja y se determinará por indicadores socioeconómicos relativos a la distribución del ingreso, la disponibilidad de la tierra, etc. Asimismo, las informaciones sobre el acceso a una vivienda apropiada y la información sanitaria se determinarán mediante indicadores socioeconómicos. 193. En la etapa siguiente se ha de determinar la proporción de la población que tiene acceso a los servicios en las condiciones así definidas. Para ello se indica en un mapa la distribución de la población en relación con los emplazamientos en donde se presta asistencia sanitaria. Si no se dispones de mapas de distribución de la población, puede realizarse una estimación identificando el emplazamiento de los puntos de prestación de asistencia, definiendo los servicios prestados en dichos puntos y realizando una estimación aproximada del número de personas que viven dentro de las zonas de captación definidas. En el caso de servicios especiales, como los de salud de la madre y el niño, tiene que efectuarse un cálculo correspondiente al subgrupo de población, por ejemplo, mujeres del grupo de edad fértil o niños de menos de 5 años. 194. Los indicadores de accesibilidad material para un distrito o provincia se expresarán como la proporción de la población total del distrito que tiene acceso a determinados servicios o instalaciones. Entre esos indicadores pueden figurar, por ejemplo: a) la proporción de la población del distrito que habita a 10 minutos de marcha de un suministro protegido de agua potable; b) la proporción de mujeres en edad fértil que cuentan con servicios semanales accesibles de atención prenatal y planificación familiar; c) la proporción de niños de menos de 5 años que cuentan con servicios de salud del niño (prevención del paludismo, rehidratación por vía oral, vigilancia nutricional, etc.) accesibles en todo momento dentro de la comunidad (o a una distancia de media hora como máximo). POBLACIÓN ATENDIDA (PORCENTAJE) 195. No todo el que tiene acceso material a los servicios y los necesita los utiliza realmente. Hay en muchos casos barreras culturales y económicas. Antes de determinar los indicadores de accesibilidad cultural y económica, es preciso calcular la proporción de la población que, teniendo acceso a los servicios y necesitándolos, los utiliza realmente. 196. Este dato se obtiene de las estadísticas de los servicios de salud que permiten registrar convenientemente las personas que, en un período de un año, por ejemplo, utilizan determinados servicios. No es útil registrar simplemente las visitas nuevas y ulteriores sin relacionarlas con las personas en cuestión. Si se tienen en cuenta las mismas categorías de servicios en lo que respecta a la accesibilidad, el número de personas que entran en contacto con cada servicio puede registrarse con 288 Texto de Apoyo: Unidad II relativa sencillez (por ejemplo, anotando cada paciente en un registro en su primera visita en el año), y la visitas ulteriores se marcan simplemente en una ficha u horizontalmente en el registro al lado de la anotación correspondiente a la primera visita. Para cada servicio, el número de personas registradas en el año facilita la población el numerador para evaluar la cobertura. 197. La población del denominador esta más difícil de obtener, puesto que se relaciona con las personas necesitadas de determinados servicios. En el caso de la asistencia ambulatoria general, ello plantea ciertos problemas como el de la percepción de la enfermedad y de la necesidad de asistencia, que son específicos del país y del medio cultural; no todas las personas necesitan asistencia médica cada año. El modo más preciso de evaluar la cobertura para la asistencia en caso de enfermedad se obtiene en las encuestas en al comunidad, que recogen información sobre los episodios de enfermedad registrados en una comunidad e indican si recibieron o no asistencia. Sin embargo, si las encuestas en la comunidad no son factibles, puede calcularse el número medio de episodios de enfermedad para los que la población busca asistencia en una comunidad dada (frecuentemente a partir de estudios especiales de utilización que se han efectuado basándose en datos de los servicios de salud). Por ejemplo, se ha calculado que en algunos países en desarrollo con una estructura por edad y por sexo y un tipo de morbilidad determinados, en donde los servicios son materialmente accesibles y no hay grandes barreras económicas o culturales que impidan su utilización, el número medio de episodios de enfermedad que exigen asistencia médica es de 3 ó 4 al año. La cobertura para el sistema general de atención de salud de primer nivel puede definirse entonces como un promedio en relación con esta tasa de utilización normativa. 198. Otro método para calcular la cobertura de la asistencia sanitaria a los niños en particular, que puede aplicarse si existe un sistema de registro de estadísticas demográficas, consiste en anotar en el caso de todas las defunciones de niños meno- res de cinco años si se les proporcionó o no asistencia médica en el curso de la enfermedad final. 199. Para la asistencia maternoinfantil, la población del denominador se define con más facilidad, pero depende de nuevo de los datos del censo y de la estructura por edad y por sexo, así como del conocimiento de la tasa de natalidad. Si se dispone de esta información puede deducirse el número de nacimientos previstos en una zona determinada y, en consecuencia, el número de embarazos previstos y las necesidades de asistencia prenatal y obstétrica, teniendo en cuenta las variaciones locales. Por ejemplo, la cobertura para la asistencia materna puede calcularse del siguiente modo: a) el porcentaje de mujeres que reciben atención prenatal es igual al b) el porcentaje de mujeres que reciben atención obstétrica es igual al 289 Supervisión, Monitoreo y Evaluación 200. Sin embargo, la cobertura implica también un nivel mínimo o una norma mínima de asistencia, y tal vez una sola visita prenatal no represente una cobertura apropiada. Por ello, para obtener una evaluación más significativa de la cobertura habría que tener en cuenta el número de visitas prenatales por embarazo, así como el momento de la primera visita en el curso de la gestación, basándose en normas definidas previamente. 201. En lo que respecta a la planificación familiar, puede utilizarse el número de mujeres que la aceptan en relación con las mujeres en edad fértil. 202. En el caso de la asistencia al niño, la población del denominador serán todos los niños menores de cinco años si se dispone de datos del censo para calcular este grupo en determinadas zonas geográficas. Incluso si no se sabe con detalle, puede efectuarse una estimación si se dispone de cierta información relativa a la población total y se conoce también la distribución media por edades del país (por ejemplo, el 20% son menores de cinco años). El número de niños sometidos a vigilancia nutricional o que reciben otras formas de atención puede obtenerse de los registros de los servicios de salud. 203. El número de niños que reciben determinadas vacunaciones o, de preferencia, todas las vacunaciones puede obtenerse de los registros de los servicios de salud que anotan sistemáticamente las vacunaciones efectuadas. Puede plantearse, no obstante, un problema de recuento cuando un mismo individuo requiere vacunaciones repetidas. Con harta frecuencia se cuenta simplemente el número de dosis de vacuna administradas y no el número de personas que han recibido toda la serie de inoculaciones. Si no es factible un registro sistemático, deben realizarse estimaciones por medio de encuestas en la población. También se recomiendan a menudo las encuestas serológicas para medir los títulos de anticuerpos en la población correspondiente, pero son costosas, largas y requieren servicios de laboratorio. 204. La cobertura puede igualmente calcularse en lo que respecta a las personas que padecen enfermedades transmisibles crónicas, como la tuberculosis y la lepra, si se ha determinado la prevalencia basándose en encuestas epidemiológicas. El número de pacientes en la zona sometida a vigilancia puede calcularse como una proporción del número de casos estimados en ella. 205. Se facilitan a continuación algunos ejemplos de indicadores de cobertura para un distrito u otra zona geográfica definida: a) porcentaje de la población que utiliza los servicios en un período de un año; b) porcentaje de mujeres embarazadas que reciben atención prenatal: i) por lo menos una vez por embarazo; ii) mínimo de x visitas por persona capacitada y por embarazo; c) porcentaje de nacimientos atendidos por una persona capacitada; d) porcentaje de niños menores de 5 años: i) totalmente inmunizados; ii) que reciben determinadas vacunaciones; iii) sometidos a vigilancia nutricional regular (especificando el número mínimo de visitas al año); e) porcentaje de casos previstos de tuberculosis (lepra u otra enfermedad transmisible prevalente) diagnosticados realmente al año; 290 Texto de Apoyo: Unidad II f) porcentaje de casos diagnosticados de tuberculosis (o lepra) que reciben tratamiento regular (o porcentaje de enfermos que no siguen el tratamiento). ACCESIBILIDAD SOCIOECONÓMICA. 206. Por último, una vez conocida la proporción de la población cubierta, se requiere información sobre las personas que tienen acceso material a los servicios pero que no los utilizan aunque los necesiten. Como se ha indicado antes, puede obtenerse cierta información sobre las barreras socioeconómicas o culturales que obstaculizan la utilización comparando las características de la población de usuarios con las de la comunidad en general, pero probablemente las encuestas en la comunidad constituyen el único método realmente idóneo para obtener estos datos. Pueden efectuarse encuestas simples a un costo módico en la comunidad utilizando a los escolares durante las vacaciones, como parte de un programa de educación sanitaria. Igualmente se puede emplear a los miembros de la comunidad, que realizarán tales encuestas en el marco de un programa de atención primaria de salud, haciendo el diagnóstico la propia comunidad. RELACIÓN ENTRE POBLACIÓN Y PERSONAL DE SALUD Definición 207. La relación se calcula del siguiente modo: lo que da el número medio de personas atendidas por un trabajador de salud. 208. A la inversa, también se emplea con frecuencia la siguiente fórmula: 209. La relación debe calcularse por separado para cada categoría de personal, esto es, trabajadores de atención primaria de salud (que pueden subdividirse conforme a los tipos correspondientes a la comunidad interesada), médicos, dentistas, enfermeras y farmacéuticos. Margen de variación 210. La magnitud de la relación depende del tipo de personal. Por ejemplo, la relación médico/población varía entre menos de 1 por 1000 en los países prósperos y más de 1 por 50000 en algunos de los países menos adelantados; para los dentistas va de 1 por 1000 a más de 1 por 1 millón; para el personal de enfermería, de alrededor de 1 por 100 a más de 1 por 10000; y para los farmacéuticos, de 1 por 1000 a más de 1 por 500000. Sin embargo, estas diferencias observadas entre los países se deben en parte a las distintas definiciones nacionales utilizadas para cada tipo de personal y al hecho de que los registros sean más o menos completos. 291 Supervisión, Monitoreo y Evaluación 211. En la mayoría de los países, la relación muestra considerables variaciones según las regiones geográficas, en particular entre regiones urbanas y rurales; por ejemplo, en algunos países en desarrollo la relación población/médico es 10 veces mayor, o incluso más, en las zonas rurales que en las ciudades. Acopio de datos 212. El número de miembros del personal de salud de distintos tipos se comunica habitualmente al gobierno. Puede, no obstante, ser necesaria una encuesta especial relativa a ciertos tipos de personal, como los trabajadores de salud tradicionales y otros trabajadores voluntarios que no están incorporados a los servicios de salud del país. Utilización 213. Este indicador se utiliza para la planificación del personal de salud, en lo que respecta a la enseñanza y el adiestramiento, y la redistribución geográfica. Por ello es preciso examinar las variaciones entre distintas unidades geográficas. 214. Además de la relación con el número de habitantes habrá que estudiar la relación entre diversos tipos de personal, como es la relación entre el número de médicos y de enfermeras y entre el personal de atención primaria de salud y otro personal. La determinación de estas relaciones ayudará a distribuir los recursos para fortalecer determinados tipos de trabajadores de salud. Indicadores del estado de salud INSUFICIENCIA PONDERAL AL NACER (PORCENTAJE). Definición 215. La insuficiencia ponderal al nacer (IPN) se define como un peso inferior a 2500 g. efectuando de preferencia la medición en las primeras horas de la vida, antes de que se haya producido una pérdida postnatal importante de peso (16, pág. 763). El porcentaje de IPN se calcula del siguiente modo: Márgen de variación 216. En algunos de los países menos adelantados, el porcentaje de IPN llega casi al 50%, mientras que en algunos países desarrollados es tan bajo como el 4%. Para el mundo en general, el promedio de 1979 se calculó en el 17%, aproximadamente. Acopio de datos 217. Cuando se produce un nacimiento en una institución (por ejemplo, en un hospital o en una maternidad) se mide sistemáticamente el peso y puede calcularse el porcentaje de IPN. Cuando la mayoría de los partos tienen lugar fuera de las 292 Texto de Apoyo: Unidad II instituciones sanitarias, el porcentaje de IPN basado en los partos en instituciones puede hallarse considerablemente sesgado, sin ninguna certeza respecto a la orientación y magnitud del sesgo. 218. Debe instruirse a los agentes de atención primaria de salud para que midan sistemáticamente el peso al nacer por medio de una báscula corriente. Si es preciso, ese procedimiento puede introducirse por etapas de modo que aumente progresivamente la cobertura de la población. En algunos países, el peso al nacer se anota en el certificado de nacimiento y se notifica por medio del sistema de registro civil. Entonces puede calcularse el porcentaje de IPN como un componente de las estadísticas demográficas corrientes. En las comunidades en donde no existe un sistema satisfactorio de registro civil, es frecuente que los niños que mueren poco después del parto no figuren en ningún registro. Dada la baja tasa de supervivencia de los lactantes con IPN, tienden a quedar excluidos del registro con mayor frecuencia que los de mayor peso al nacer, lo que conduce a una subestimación del porcentaje de IPN. Cuando se utiliza en la comunidad una unidad de peso distinta a la del sistema métrico, la definición de IPN debe convertirse en función de la unidad local. Se recomienda que, si bien se habrá de tener en cuenta la población total, el porcentaje de IPN se base en mediciones de 500 recién nacidos por lo menos. Análisis y utilización 219. La IPN es el indicador más significativo del riesgo para la supervivencia de un recién nacido y para su crecimiento y desarrollo saludables, y representa así una importante directriz en lo que se refiere al nivel de asistencia que será necesario. La IPN refleja también la nutrición insuficiente y la mala salud de la madre. En consecuencia, un elevado procentaje de IPN señala un estado de salud deficiente de las mujeres embarazadas, un escaso espaciamiento de los nacimientos, una asistencia prenatal inadecuada y la necesidad de mejorar la atención del recién nacido. En algunos países puede ser una indicación del grado de endemicidad del paludismo. 220. Será útil analizar la IPN en relación con la edad y la paridad de la madre y, si es posible, con la edad de gestación del niño. 221. Parece probable que las características genéticas de ciertos grupos étnicos tiendan a reducir el peso al nacer sin una disminución correspondiente de las probabilidades de supervivencia del recién nacido. En tales poblaciones la IPN, tal como se ha definido con anterioridad, tendrá un sentido distinto. 293 294 Unidad III Evaluación de Objetivos 295 Supervisión, Monitoreo y Evaluación 296 Texto de Apoyo UNIDAD III EVALUACIÓN DE OBJETIVOS En esta Unidad se desarrollan un conjunto de actividades individuales, así como la metodología de las evaluaciones de objetivos y actividades, con el fin de poder realizar el plan de evaluación para cada componente del Plan Operativo. Se ha planteado la metodología para evaluar objetivos según la lógica causal, en donde la ejecución del Plan Operativo Institucional es la causa de los resultados que esperamos obtener. En esta unidad se desarrollan métodos y técnicas para evaluar los procesos de las actividades y la eficiencia de las mismas, entre los cuales destacan la evaluación de la calidad de atención, los análisis de procesos, los que permiten determinar causas que producen la falta de calidad o de cumplimiento adecuado de las actividades consideradas en el Plan Operativo. 297 Supervisión, Monitoreo y Evaluación LECTURA Nº 1 ESTUDIAR LA MUESTRA José García Nuñez. Evaluación de Programas de Planificación Familiar. Guía detallada para Administradores y Evaluadores. Profamilia, Bogotá 1995, pag. 71-84 RESUMEN Una vez elegido el tipo de evaluación y la metodología a emplear, se tiene que decidir si se va a estudiar todo el universo o sólo la muestra por lo que se hace necesario conocer las técnicas de muestreo tanto para la evaluación como del tamaño de la muestra. En ese sentido, el autor expone sus ideas con un lenguaje para no matemáticos, con conceptos y técnicas de fácil empleo. 298 Texto de Apoyo: Unidad III ESTUDIAR LA MUESTRA Una muestra es un sub-conjunto de personas o elementos de una población, seleccionados con el propósito de describir las características de la población de la cual fueron extraídos. El objetivo consiste en seleccionar una muestra que describa las características de la población como si se hubiese analizado a la población total. El problema es que el resultado depende de los elementos que conforman la muestra, esto se conoce como variación muestral. Para reducir la variación muestral, es de suma importancia el que el evaluador seleccione una técnica muestral que refleje las características del total de la población con la mayor precisión posible. DEFINICIÓN DE LA POBLACIÓN Para seleccionar una muestra, primero se debe definir la población objetivo que se va a estudiar. Como se describe en el capítulo 1, la población se refiere a cualquier conjunto de personas o elementos: usuarios, enfermeras, parteras, clínicas, puestos de salud, bodegas, etc. Es sumamente importante el definir cuidadosamente la población que se va a estudiar. Si el propósito de la evaluación es medir el efecto que tuvo un taller de capacitación para enfermeras, entonces la población objetivo estará conformada por todas las enfermeras capacitadas que estén o no trabajando actualmente. Sin embargo, el objetivo de la evaluación consiste en comparar la destreza de las enfermeras capacitadas con la destreza de las que no fueron, entonces la población objetivo tiene que incluir las enfermeras capacitadas y sin capacitar. Si se quiere medir la aceptación del servicio clínico en una zona, el área geográfica que se encuentre más cercana a la clínica conforme la población de estudio. UTILIZACIÓN DE UNA MUESTRA PROBABILÍSTICA O NO PROBABILÍSTICA El muestreo no substituye a un estudio completo. Es un método científico para inferir los resultados de una muestra al total de la población. La inferencia es el método estadístico necesario para pasar de los particular a lo general. En el muestreo existen dos tipos de enfoques: probabilísticos y no probabilísticos. Para controlar la variabilidad que resulta de la selección de las diferentes muestras posibles se debe utilizar el muestreo probabilístico. Con este enfoque, cada muestra tiene una oportunidad real de ser seleccionada y su probabilidad de selección se conoce. Este enfoque permite al evaluador utilizar la teoría de las probabilidades en el cálculo del valor esperado de una estimación de la población que se está estudiando, así como también la variación muestral. En una muestra no probabilística, los elementos se seleccionan intencionalmente o sin tener en cuenta normas estándares. Este enfoque excluye ciertas personas o elementos del proceso de selección basándose en las preferencias del evaluador, la disponibilidad de los encuestados u otros criterios de selección. Como resultado, una muestra no probabilística reflejará únicamente las características de la muestra escogida y los resultados no pueden inferirse ni extrapolarse para reflejar las características de la población total. Por lo tanto, con una muestra no probabilística, el evaluador no puede calcular el valor esperado de la estimación de la población objetivo ni la variación del muestreo. 299 Supervisión, Monitoreo y Evaluación Por ejemplo, una evaluadora quiere medir la calidad de los servicios del programa de distribución comunitaria. Sin embargo, ella toma únicamente una muestra de lo que denomina "trabajadores representativos" del programa de distribución comunitaria, quienes habitan cerca a la clínica o que acuden a la clínica con mayor frecuencia. Esto equivale a utilizar un enfoque no probabilístico. La validez de ésta muestra se basa en el juicio del evaluador, no en la teoría de las probabilidades. Si ella determina a partir de ésta muestra que los trabajadores del programa de distribución comunitaria no requieren capacitación, el evaluador puede concluir erróneamente que ningún trabajador del programa de distribución comunitaria necesita capacitación. Debido a que la evaluadora excluyó a los trabajadores que habitan lejos de la clínica, no tendrá información alguna acerca de las necesidades de capacitación ni acerca de las necesidades de capacitación ni acerca del número de usuarios atendidos por los trabajadores del programa de distribución comunitaria. De hecho, éste último grupo de trabajadores puede tener un perfil diferente. En otro ejemplo, se seleccionó una muestra de 10 de las 45 clínicas de una agencia de planificación familiar utilizando el enfoque probabilístico con el fin de obtener información relacionada con la percepción de los usuarios acerca de la calidad de los servicios de las clínicas de planificación familiar. En cada clínica seleccionada, se entrevista una cuota o número fijo de 25 usuarios por clínica. Las instrucciones para quienes están recolectando la información son las de seleccionar un número específico de usuarios de cada grupo de edad, y posiblemente, por usuarios y no-usuarios de anticoncepción. Debido al tiempo o al rechazo de responder las preguntas, los entrevistadores reemplazan los usuarios que no respondieron las preguntas por otros usuarios quienes originalmente no estaban incluidos en la muestra con el fin de completar la cuota de 25 usuarios. La muestra es no probabilística, por ello, corresponderá únicamente a una porción de los usuarios y su composición se habrá hecho con base en las preferencias o en la conveniencia del evaluador. En este caso, la muestra únicamente representa las opiniones y características de los usuarios seleccionados, no de la población total de usuarios atendidos por la agencia de planificación familiar. Al utilizar una muestra probabilística, la información recopilada puede extrapolarse a una población mayor. Se refiere la técnica de muestreo probabilístico debido a que sus resultados son más cualitativos se pueden utilizar ambas metodologías de muestreo. Por lo general, el número de miembros seleccionados para conducir grupos focales es muy pequeño para conformar una muestra probabilística. Cuando se utiliza una muestra no probabilística en un grupo focal, la recolectada refleja, aunque sea de forma detallada, únicamente las opiniones de los participantes. En este caso los puntos de vista no pueden extrapolarse a toda la población objetivo. Los dos factores más importantes para determinar la selección del tipo de muestra que queremos, son al tamaño de la población y el costo de la evaluación. Cuando el costo de una evaluación es demasiado elevado, o cuando la población es demasiado pequeña, es más conveniente utilizar muestras no probabilísticas. Sin embargo las ventajas de escoger una muestra probabilísticas son mayores que las de una muestra no probabilísticas. El evaluador debe tener la capacidad de determinar cuándo se debe usar cada uno de estos enfoques. Aunque siempre presenta mayores dificultades el obtener una muestra probabilística, éste no debe ser el factor decisorio. Uno de los problemas que más afecta actualmente a la evaluación de los programas de planificación familiar es el que demasiadas evaluaciones se basan en muestras no 300 Texto de Apoyo: Unidad III probabilísticas. Como resultado, los hallazgos de esas evaluaciones tienen un uso limitado porque no reflejan los resultados de toda la población. Este uso equivocado del muestreo no probabilístico cuando se requiere un muestreo probabilístico se debe a la falta de recursos, de tiempo, o a la falta de experiencia en técnicas de muestreo. Aunque todavía se considera aceptable el uso de muestras no probabilísticas, el evaluador debe estar consciente de las limitaciones de este método. GRUPOS DE CONTROL El muestreo probabilístico y las comparaciones entre grupos muestrales son la base del diseño experimental. Las comparaciones más utilizadas son entre grupos en los cuáles se realizó una intervención y donde no se hizo nada o se hizo algo diferente (grupos control). Existen otras formas para realizar estas comparaciones. A continuación sólo hacemos referencia a una introducción básica sobre la utilización de grupos de control. Para una descripción más completa sobre cómo y cuándo utilizar grupos de control, el lector debe referirse a libros de texto sobre diseño experimental. El utilizar grupos de control permite al evaluador determinar si la intervención del proyecto tuvo algún efecto. Un grupo control conformado por elementos que no recibieron intervención alguna puede compararse con otro grupo que si ha sido intervenido, o el grupo control también está compuesto por los mismos elementos a los que se les midió su nivel de destreza antes y después de una capacitación, para determinar el efecto de la misma. Las muestras tanto de los grupos de control como de los grupos sobre los cuales se hace la intervención, deben ser probabilísticas. Cuando se escoge una muestra no probabilísticas no se podrá determinar si las diferencias en los resultados se deben el efecto de la intervención o a las características específicas de la muestra seleccionada. No sólo la selección debe ser probabilística, sino también el análisis estadístico debe ser conducido de tal manera que permita la inferencia de resultados de ambos grupos a la población total. Por ejemplo, un proyecto de planificación familiar busca averiguar si un curso de capacitación para trabajadores del programa de distribución comunitaria incrementó sus conocimientos sobre el uso de anticonceptivos. El evaluador seleccionó dos grupos, uno conformado por trabajadores del programa de distribución comunitaria que habían participado en el curso, el otro grupo estaba conformado por trabajadores que no participaron en el curso. Luego, el evaluador elaboró un cuestionario sobre los puntos relacionados con el uso de anticonceptivos. Al analizar los resultados del cuestionario, determinó que el grupo que no había recibido capacitación (grupo control) tenía menos conocimientos acerca del uso de anticonceptivos que el grupo que había sido capacitado. Debido a la metodología utilizada en este ejemplo, pudo inferir con bastante seguridad, que los trabajadores del programa de distribución comunitaria se beneficiaron asistiendo al curso de capacitación. IDENTIFICACIÓN DEL MARCO CONCEPTUAL El marco muestral es la base a partir de la cual se desarrolla una muestra. Está conformada por el material y/o información necesaria para seleccionar los elementos de la muestra. Por ejemplo, si se quiere seleccionar usuarios de planificación familiar, la lista del archivo clínico será utilizada como marco muestral. Sin embargo, no siempre se puede obtener esa lista, a veces el archivo de usuarios no está disponible, está desactualizado, es incompleto o simplemente no es adecuado. Es entonces cuando se 301 Supervisión, Monitoreo y Evaluación tiene que construir el marco muestral a partir de otras fuentes de información. En este caso, el marco muestral puede estar conformado por mapas locales, listas de usuarios del Ministerio de Salud o por una lista de propietarios de viviendas de la comunidad. Este listado debe aportar suficiente información para seleccionar una muestra de usuarios. Aunque los marcos muestrales no tienen que ser perfectos, el evaluador debe tener en cuenta las imperfecciones del marco al seleccionar la muestra y sobre todo, al analizar los resultados. El evaluador puede utilizar listados que se encuentren ligeramente atrasados o incompletos, o puede utilizar mapas o listados como base a partir de la cual pueda mejorar el marco muestral. Por ejemplo, el mapa de la comunidad tiene diez años pero identifica todas las zonas residenciales, el evaluador puede visitar la comunidad (o manzanas seleccionadas) para recopilar una lista actualizada de usuarios de planificación familiar, y a partir de ella seleccionar la muestra. En otro ejemplo, si el evaluador utiliza archivos clínicos antiguos para seleccionar la muestra de usuarios, algunos de los que aparecen en el archivo, ya se mudaron del área o ya no pertenecen al grupo de riesgo (ej. ya no están en edad fértil, o están embarazadas) entonces el evaluador tendrá que considerar el efecto de estos elementos ausentes al analizar la información obtenida a partir de los elementos muestrales disponibles. DETERMINACIÓN DEL PLAN DE MUESTREO Y SELECCIÓN DE LOS ELEMENTOS El plan de muestreo es la metodología utilizada para seleccionar una muestra de forma apropiada. El plan consiste en la forma como se diseña la muestra, como se seleccionan sus elementos y como se analizan sus resultados. Un factor importante que afecta el plan de muestreo es la confiabilidad del marco muestral. Un segundo factor es el grado de variación de los elementos muestrales, como el que se mostró en el ejemplo de la población de 12 personas y sus ingresos. Un buen plan de muestreo debe comprender una metodología que reduzca al mínimo el efecto de las variaciones en los resultado estimados. Un tercer factor que afecta el plan de muestreo es el tipo de resultados que se quiere obtener a partir de la muestra. Por ejemplo, cuando se selecciona una muestra para determinar qué tan efectivo resultó el proyecto de capacitación, el plan debería permitir la comparación de los elementos antes y después de la capacitación, o debería permitir comparar los elementos de la muestra de capacitación con los que no fueron. Muestreo Aleatorio.- El evaluador tiene a su disposición una amplia variedad de tipos de muestreo. La tarea consiste en determinar cuál de ellos es el más apropiado para utilizar en su evaluación. Debido a que a partir de cada tipo de muestreo se obtienen diferentes elementos muestrales, los evaluadores deben estar familiarizados con los diversos tipos de muestreo. El tipo más común de muestreo es el seleccionar aleatoriamente los elementos de un grupo poblacional. En un muestreo aleatorio simple, se le asigna a cada elemento un número único y para seleccionar cada uno de ellos, se utiliza una tabla de números aleatorios, similar a la técnica utilizada en las loterías. La selección aleatoria se basa en la suposición que mientras los resultados del procedimiento de selección de cualquier elemento individual no pueden anticiparse, los resultados globales obtenidos seguirán un patrón que si puede anticipar los resultados porque utiliza la teoría de probabilidades. En una muestra probabilística, los elementos deben seleccionarse aleatoriamente. 302 Texto de Apoyo: Unidad III Una Muestra Sistemática, es una modificación del muestreo aleatorio. El número de elementos de la población de dividen entre el número deseado del tamaño de la muestra para obtener un intervalo de muestreo (f), se elabora un alista de todos los elementos en orden arbitrario y se selecciona 1 elemento de cada f. El primer elemento se selecciona aleatoriamente de un número entre 1 y f. Cuando los elementos de la población están organizados de forma aleatoria, la muestra sistemática es equivalente a una muestra aleatoria simple. En una muestra estratificada se divide a la población en grupos de elementos similares o estratos, y se obtiene una muestra aleatoria simple o sistemática de cada estrato. Esta técnica mejora la precisión de los datos obtenidos en la encuesta y además sirve para producir resultados independientes para cada estrato. En el muestreo por conglomerados, se selecciona un grupo de elementos o áreas en lugar de elementos individuales. Generalmente, esta metodología se utiliza para disminuir los costos de una evaluación o cuando no es factible obtener una lista de cada miembro de la población objetivo. El muestreo polietápico es una modificación del muestreo por conglomerados. Un conglomerado o una área seleccionada y de cada conglomerado se selecciona una submuestra de elementos. Se puede utilizar dos o más etapas en la selección. En el muestreo multifásico se selecciona una muestra inicial, por lo general, de gran tamaño. A partir de esta muestra, se obtienen alguna información sobre las características de la población objetivo. Con la información obtenida a partir de esta muestra, se selecciona una segunda muestra más pequeña y diferente que contenga los elementos que tengan las características deseadas. La segunda muestra se puede seleccionar utilizando cualquiera de las metodologías previamente descritas. Esta medología se utiliza generalmente, cuando se quiere estudiar un elemento poco frecuente en la población, por ejemplo: queremos una muestra de personas con HIV positivo, hombres vasectomizados, mujeres usando métodos naturales de planificación familiar, etc. Las muestras interpenetrantes se utilizan para combinar dos muestras individuales y con ellas formar una única muestra de la misma población, o para separar una muestra en dos sub-muestras y hacerlas comparables. En el muestreo longitudinal los mismos elementos de la muestra son observados varias veces en el transcurso del tiempo para comparar cambios. En el muestreo de aceptación-rechazo, el tamaño de la muestra no se determina al iniciar el estudio. Se obtienen muestras sistemáticas a intervalos durante un período de tiempo específico. Al finalizar este período, se calcula el tamaño de la muestra y se determina si es lo suficientemente grande para suministrar de forma precisa los resultados que se necesitan. Si el tamaño de la muestra inicial es muy pequeño, se obtienen muestras adicionales. DETERMINAR EL TAMAÑO DE LA MUESTRA Decidido el plan de muestreo, se debe calcular el tamaño de la muestra. Necesitamos recolectar datos de suficientes personas, lugares o cosas para asegurar que la muestra suministre una estimación confiable. Para cumplir esta tarea, se requiere un plan. El evaluador debe decidir con anticipación que tanta información se quiere extrapolar y con ello, determinar el tamaño requerido de su muestra y el nivel de confiabilidad de la información obtenida. 303 Supervisión, Monitoreo y Evaluación Cuando todos los elementos que queremos medir se parecen, la selección de cualquier elemento nos daría los mismos resultados. Si en una encuesta a usuarios se les pregunta su opinión sobre las condiciones de las instalaciones del servicio, se esperan respuestas muy parecidas. En este caso, una pequeña muestra será suficiente para obtener resultados confiables. Si se espera mucha variación, se afecta el tamaño de la muestra. Adicionalmente, la precisión que queremos en los resultados, el nivel de confianza, el tipo de análisis que queremos realizar con los datos, y el costo de la encuesta, son todos factores claves en el cálculo del tamaño de la muestra que se necesita. Es por eso, que se necesitan una serie de pasos o actividades para calcular el tamaño adecuado de muestra. En el siguiente ejemplo, se quiere hacer la evaluación en una clínica para determinar qué tipo de anticonceptivos distribuyó durante los 12 meses anteriores, y medir la tasa de continuidad de los anticonceptivos orales. En este ejemplo hay dos variables principales que deben estudiarse de manera independiente. Variable 1: Porcentaje de la población objetivo (todas las usuarias entre los 15 y 49 años) que utilizaron o no Anticonceptivos durante los 12 meses anteriores, por tipo de método y por edad de la usuaria. Variable 2: Porcentaje de usuarias que abandonaron los anticonceptivos orales después de doce meses y si dicho abandono se debió a factores médicos. Las dos variables principales a estudiar son: el uso de anticonceptivos y el abandono de la píldora. La mezcla de métodos anticonceptivos usados, la edad de la usuaria y los motivos de abandono en el transcurso del tiempo son en este ejemplo, variables de menor importancia. Basados en las dos variables principales, se determinará el tamaño de muestra necesario para lograr una estimación que tenga una determinada precisión para cada variable, y se decidirá por el tamaño mayor. Concluido este paso, se compararán los tamaños de muestra con los que se requieren para estudiar las variables adicionales. Primer Paso: Definir el nivel de precisión aceptado. Por lo general, la precisión que se acepta se encuentra entre 15% y el 10%. Ello depende de la importancia de los resultados, así como también del uso que se le va a dar. Por ejemplo, cuando un evaluador quiere medir la prevalencia de anticonceptivos, 90% de precisión no es aceptable. Pero, cuando está midiendo cambios en los conocimientos como resultado de la capacitación entonces la precisión del 10% puede ser aceptable. Ejemplo: Para nuestro estudio hemos decidido que una persona del 5%, mayor o menor, es aceptable para cada una de las variables que estamos estudiando. Si determinamos que el porcentaje de la muestra poblacional que utiliza anticonceptivos es de 70%, una precisión del 5% significa que aceptamos que a proporción de usuarios está entre el 65% y 75%. Segundo Paso: Determinar el Nivel de Confianza. ¿Qué tan confiables queremos que sean los resultados del estudio? Por lo general, el evaluador quiere una confiabilidad del 95% en sus resultados. Ejemplo: Al seleccionar una muestra con un nivel de confianza del 95%, se afirma que en 95 de cada 100 muestras que seleccionemos de la población objetivo, los resultados 304 Texto de Apoyo: Unidad III representarán correctamente a la población objetivo. En otras palabras, en el ejemplo tenemos el 95% de seguridad que el porcentaje de usuarios de anticonceptivos de la población objetivo está entre el 65% y 75%. El nivel de precisión examina la exactitud con que se estiman las características de la población objetivo. Hablaremos de un rango dentro del cual la muestra refleje de manera precisa las características de la población objetivo, el análisis estadístico no da resultados exactos de la población objetivo. Por ejemplo, queremos una muestra que permita calcular la estatura promedio de una población objetivo. Hacemos los cálculos con base en una precisión del 5%. El resultado será una medida promedio de estatura que reflejará adecuadamente la estatura promedio de la población objetivo dentro de un rango 5% mayor o menor a la medida que obtuvimos. Esta medida se basa en la estatura promedio de la muestra seleccionada. Tercer Paso: Calcular la variabilidad de las estimaciones. El cálculo de muestra requiere del conocimiento de algunas propiedades de la población, como la media y varianza de las variables que estamos estudiando. Que tanto difieren las respuestas?. La variable más común que utilizamos es un porcentaje, entonces tendríamos que estimar anticipadamente la varianza de esta proporción en la muestra. Ejemplo: esperamos que el 70& de la población utilice anticonceptivos. Ejemplo: Al revisar los archivos clínicos se determinó que 5000 usuarias entre 15 y 49 años de edad visitaron la clínica durante los 12 meses anteriores. Por lo tanto, el tamaño de la población es de 5000. Cuarto Paso: Calcular la variabilidad de las estimaciones. El cálculo de muestra requiere del conocimiento de algunas propiedades de la población, como la media y varianza de las variables que estamos estudiando. ¿Qué tanto difieren las respuestas?. La variable más común que utilizamos es un porcentaje, entonces tendríamos que estimar anticipadamente la varianza de esta proporción en la muestra. Ejemplo: Esperamos que el 70% de la población utilice anticonceptivos. En este ejemplo, el porcentaje se basó en estudios previos acerca de la mezcla de anticonceptivos usados. Cuando no conocemos el porcentaje de la variable, utilizamos una estimación del porcentaje cuando éste es el máximo posible, 50%. Con base en los cinco pasos enumerados a continuación, se calcula al tamaño de muestra que necesitamos para estimar el porcentaje de la población que usó anticonceptivos durante los 12 meses anteriores en una comunidad. Para determinarlo, hacemos una serie de cálculos o utilizamos al cuadro con los tamaños de muestra. Este cuadro se utiliza cuando las variables a estudiar son medidas en porcentajes, aunque cualquier variable puede medirse o transformarse a porcentaje. En el ejemplo nos referimos al número de usuarios que usan anticonceptivos como una proporción de todos los clientes que visitan la clínica. Por tanto, es necesario: 1. Definir las variables. Se determinan las variables clave que se desea estudiar, así como también las variables adicionales válidas para suministrar información más detallada sobre las variables claves. 2. Determinar el grado de precisión. Por lo general, el grado de precisión es de 5% o del 10%. 305 Supervisión, Monitoreo y Evaluación 3. Determinar el nivel de confianza. 4. Estimar el tamaño de la población. 5. Estimar la proporción de las variables que quiere estudiar. Cuando el porcentaje esperado es mayor a 50%, obtenemos la diferencia de restar del 100%. Ejemplo: Si se supone una precisión del 5%, una población de 5000 usuarios y esperamos que cerca del 70& está usando anticonceptivos. Cuando no conocemos la proporción de la variable, se emplea la proporción máxima del 50%. CUADRO Para calcular el tamaño de la Muestra se utiliza la siguiente tabla que relaciona el porcentaje del fenómeno en la población con el nivel de precisión de la Muestra. Esperado Nivel de Precisión 5% Nivel de Precisión 10% Porcentaje 5 10 20 30 40 50 50 30 37 42 43 44 44 100 42 58 71 76 79 79 5 10 20 30 40 50 13 20 28 31 32 33 15 26 38 45 48 49 Nota: Nivel de Confianza es 95% 306 Tamaño de la Población 500 1,000 5,000 7,500 72 72 68 64 136 135 122 108 238 234 197 165 309 303 244 196 352 343 269 212 365 357 278 217 10,000 72 136 240 313 356 370 20,000 73 137 243 318 362 377 18 34 61 80 91 95 18 34 61 80 91 95 18 35 61 80 92 96 18 32 55 69 78 81 18 33 58 75 84 88 18 34 61 79 91 94 Texto de Apoyo: Unidad III LECTURA Nº 2 RECOLECCIÓN DE DATOS Breilh, Jaime. Nuevos Conceptos y Técnicas de Investigación. Centro de Estudios y Asesoría en Salu, 2da. Ed. Quito, 1995, p: 147 García Nuñez, José. Evaluación de Programas de Planificación Familiar. Editorial Presencia, Colombia, 1ra. Ed. 1995, p: 9. Organización Panamericana de la Salud. Evaluación para el Planeamiento de Programas de Educación para la Salud. Guía para técnicos medios y auxiliares, Washington D.C., 1990: 77-84, RESUMEN Se presenta una breve revisión desde diversos puntos de vista respecto a cómo debería realizarse la recolección de datos de las evaluaciones, estos dependerán del enfoque cualitativo o cuantitativo de la evaluación que se va a realizar. Al margen de algunas opiniones en ambos sentidos, la mayoría de las veces se combinan estos enfoques para enriquecer la información y poder elaborar mejores juicios y tomar mejores decisiones. A semejanza del caso anterior, las lecturas serán de mucha utilidad para la evaluación del Plan Operativo de su establecimiento. 307 Supervisión, Monitoreo y Evaluación RECOLECCIÓN DE DATOS Continuando con la lógica de evaluación y ahora que usted sabe cómo evaluar para conocer si su programa está siendo bien ejecutado y si ha obtenido los resultados esperados, se presentarán las diferentes técnicas que puede utilizar para la recolección de datos. La recolección de datos para la evaluación puede utilizarse de distintas formas. El método que usted seleccionará dependerá del objetivo de la evaluación y del diseño de la misma, como así también de la disponibilidad de personal, tiempo y recursos financieros. Un factor importante que se debe considerar en la selección del método de recolección de información, es si la evaluación debe proveer cuantitativos (número de personas que asistieron a una charla y aceptaron vacunar a sus hijos) o cualitativo, (cambios de hábitos alimenticios de una población o erradicación e mitos y falsas creencias sobre anticonceptivos). Los datos cuantitativos producirán resultados en cierto grado de precisión mientras que los datos cualitativos proporcionarán información de tipo descriptivo con mayor profundidad. Si bien la mayoría de las evaluaciones de programas buscan medir cuantitativamente el proceso o éxito de un programa (su impacto), deberían tener también como finalidad proporcionar información de tipo cualitativo sobre el desarrollo y resultado del programa. Por ejemplo, con qué criterios decide una mujer aceptar acudir a los controles prenatales y cuáles son las motivaciones a favor que la inducen a hacerlo y cuáles son las en contra por la cual no lo hace. Con frecuencia las evaluaciones requieren información cuantitativa y cualitativa para que sea relevante. Esto obligará al empleo de más de un método de recolección de datos. De acuerdo al objeto de la evaluación, se aplican técnicas que permiten observar/oír, procesar e interpretar el discurso y las palabras, mientras que otras, hacen posible medir, comprobar y establecer comparaciones y regularidades con las cantidades expresadas en variables. A las primeras se ha dado en llamarlas, métodos cualitativos y a las segundas se les reconoce como métodos cuantitativos. El método como modo de pensar no puede ser exclusivamente cuantitativo ni cualitativo, porque los objetos reales no son una u otra cosa exclusivamente. El análisis matemático de los fenómenos no tiene ningún sentido propio, cobra significación únicamente cuando se enlaza la comprensión de los atributos o propiedades esenciales de la realidad Breilh (1995)1. 7.1 ENFOQUE CUANTITATIVO: La evaluación cuantitativa históricamente ha predominado en los estudios de evaluación, particularmente cuando existe la necesidad de generar los resultados del estudio a toda la población. La evaluación cuantitativa se utiliza cuando el evaluador desea realizar encuestas para obtener una amplia gama de datos. Además, la evaluación cuantitativa generalmente se utiliza cuando el evaluador desea realizar un análisis estadístico 1 308 Breilh, Jaime. Nuevos Conceptos y Técnicas de Investigación. Centro de Estudios y Asesoría en Salud, 2da. Ed. Quito, 1995, p: 147 Texto de Apoyo: Unidad III que pueda arrojar resultados que permitan su duplicación y permitan inferir los resultados a la población objetivo. Por lo tanto, la información recolectada en una evaluación cuantitativa es menos detallada y más numerosa que la recolectada por técnicas cualitativas. Este enfoque frecuentemente utiliza diseños experimentales y grupos control. Este enfoque se utiliza cuando se quiere evaluar la eficiencia2. Recolección de datos cuantitativos 3 El método más común para la recolección de datos cuantitativos es la entrevista estructurada. Se pueden emplear también otros métodos tales como cuestionarios que el mismo beneficiario de un programa lleva (entrevista indirecta), servicios de estadísticas vitales y censo o ciertas fuentes secundarias que pueden proveer documentos e informes diversos. Si la muestra que utilizaremos para la evaluación está constituída por unidades geográficas (aldeas, distritos, puestos de salud, organizaciones comunitarias, etc.) y no por individuos, los datos cuantitativos, generalmente, pueden obtenerse de servicios estadísticos y fuentes secundarias. Para tal fín será necesario entrevistar a las personas que conocen cómo se recabó la información, cómo se procesó y donde está disponible. A continuación le haremos una breve descripción de las principales técnicas o instrumentos que se emplea para la recolección de datos cuantitativos. a) Entrevista estructurada Los estudios que obtienen datos mediante entrevistas a personas se denominan encuestas. Si las personas entrevistadas constituyen una muestra representativa de la población beneficiaria de un programa de educación para la salud, este tipo de evaluación se denomina evaluación por muestreo. Si la muestra es suficientemente grande para permitir análisis estadísticos se deben emplear entrevistas estructuradas, ya que se prestan mejor al procesamiento de datos y al análisis estadístico. Una entrevista estructurada es la que emplea cuestionarios. Esto se hace con el objeto de asegurar que a todos los encuestados se les hará las mismas preguntas y en el mismo orden. El contenido de cada pregunta se especifica de antemano y el encuestador se limita a leer la pregunta al entrevistado. Para ello el diseño del cuestionario y la capacitación de los encuestadores, usted deberá tomar en cuenta, entre otras cosas, los siguientes puntos: Emplee un lenguaje sencillo, que sea fácilmente comprendido por los entrevistados. Cuando sea posible, precodifique las respuestas que eso le ayudará en la tabulación y análisis posterior. Evite hacer preguntas complicadas, que avergüencen o pongan en situación incómoda al entrevistado. Evite preguntas que anticipen las respuestas. Evite utilizar términos subjetivos, como: bueno, malo, suficiente. Limítese a tratar un solo asunto por pregunta. 2 3 García Nuñez José. Evaluación de Programas de Planificación Familiar. Editorial Presencia, Colombia, 1ra. Ed. 1995, p: 9. Organización Panamericana de la Salud, Evaluación para el Planeamiento de Programas de Educación para la Salud. Guía para técnicos medios y auxiliares, Washington D.C., 1990: 77-84, 309 Supervisión, Monitoreo y Evaluación Evite prolongar demasiado la entrevista. Incluya todas las preguntas necesarias para obtener la información que desea. Comience por las preguntas más fáciles. Diseñe cuidadosamente la secuencia de preguntas. Haga las preguntas de igual manera a cada uno de los entrevistados. Ejecute un aprueba del cuestionario, antes de emplearlo con los entrevistados, en condiciones similares donde se empleará después. Haga las correcciones que crea conveniente según los hallazgos de esa prueba. Capacite cuidadosamente a los encuestadores. Trate de que el encuestador entreviste a solas a las personas que debe entrevistar. Verifique los cuestionarios inmediatamente después de las entrevistas para detectar errores y posibles contradicciones que lo obligarían a repetir la entrevista o darla por anulada. b) Entrevista Indirecta La recolección de información mediante entrevista directa es preferible al procedimiento de entrevista indirecta. Pero para esto se debe contar con el presupuesto, tiempo y personal necesario. Si no se puede realizar una entrevista directa, se puede optar por entregar cuestionarios a los beneficiarios de un programa para que estos mismos lo lleven. Es evidente que este método tiene limitaciones, especialmente donde los niveles educativos no sean altos. Pero aún cuando se trate de personas con cierto grado de instrucción subsisten otras dificultades, tales como incomprensión o interpretación errónea de ciertas preguntas. Si se van a emplear cuestionarios de este tipo para evaluar algunas actividades del programa, o el programa en su totalidad, lo ideal sería poder contar con la presencia de todos los encuestados en un mismo lugar y un mismo día. De no ser posible, el cuestionario podría estar disponible para ser contestado en el puesto o centro de salud o el centro comunitario. c) Estadísticas de Servicios Las estadísticas existentes en los diversos servicios de salud pueden ser empleadas. Estas lo ayudarán a usted a fijar los parámetros de su evaluación. En algunos casos las estadísticas disponibles pueden ser usadas para comparar los resultados de un programa de educación para la salud en particular (cuántas madres acuden al control y desarrollo de sus hijos antes y después del programa); otras veces será necesario diseñar formas adicionales para recopilar datos que no están disponibles a través de las estadísticas regulares de servicios (en el caso en que no se hayan registrado, ni se registren, las madres que acuden con sus hijos a control y desarrollo, se deberá diseñar un sistema especial para registrarlo). d) Fuentes Secundarias de Recopilación de Datos La evaluación de un programa puede enriquecerse mediante el uso de datos proporcionados por censos recientes, sistemas de estadísticas vitales y otras estadísticas oficiales, como así también por estudios realizados por otros organismos. También, pueden emplearse publicaciones periodísticas que traten del tema de su programa. No obstante, debe recordar que estas fuentes son insuficientes por si mismas para evaluar en forma eficiente y confiable un programa. 310 Texto de Apoyo: Unidad III 7.2 ENFOQUE CUALITATIVO: Una crítica al enfoque cuantitativo se refiere a los instrumentos que utiliza para interpretar la realidad, según Breilh (1995)4 las encuestas empíricas tienen dos errores fundamentales: son anti-históricas y anti-dialécticas porque pretenden captar la realidad social a partir de una fotografía de los hechos sin problematizados de acuerdo a su articulación estructural y al movimiento de la sociedad respectiva, dado que el inductivismio positivista construye teorías no partir de una construcción racional y previa de los problemas sino a partir del procesamiento de datos. Un enfoque cualitativo suministra información más detallada sobre el programa o actividad del programa que se está evaluando. El evaluador utiliza evaluaciones cualitativas para describir y comprender el programa en su totalidad u aspectos del mismo. En lugar de iniciar el estudio con una serie de expectativas o mediante un sistema pre-establecido de análisis o de medición de los resultados del proyecto, el evaluador utiliza evaluaciones cualitativas para tratar de comprender el significado de un proyecto o de sus resultados, estudiándolo desde el punto de vista de los participantes. El énfasis se hace en averiguar por qué se está presentando un hecho, y no en averiguar si el hecho se está presentando o no. Con frecuencia el evaluador observa pequeños grupos poblacionales o conduce grupos focales cuando está realizando evaluaciones cualitativas.5 Usualmente, los resultados obtenidos en una evaluación cualitativa no pueden inferirse a la población total. Estos resultados miden únicamente el comportamiento o las condiciones de la muestra específica seleccionada para el estudio. Permite explorar, conocer tendencias, comportamientos, actitudes, motivaciones, etc. Las pruebas estadísticas no se deben utilizar para éste tipo de datos. Recolección de datos cualitativos 6 Las evaluaciones que utilizan los datos de tipo cualitativo y descriptivo, hacen uso de técnicas de recopilación diferentes de aquellas utilizadas en evaluaciones cuantitativas. Entre las técnicas comúnmente empleadas se encuentran la: entrevista no estructurada, discusión con grupos focales, la observación directa y el análisis de contenido. a) La entrevista no estructurada Consiste en hacer preguntas abiertas o semi-abiertas para obtener información más completa y profunda que la que nos proporciona la entrevista estructurada. A estas entrevistas se le denomina de fondo. En lugar de hacer preguntas tomadas directamente de un cuestionario, el entrevistador procede al interrogatorio partiendo de un guión de tópicos o un conjunto de preguntas generales, que le sirven para obtener la información necesaria para evaluar un programa. 4 5 6 Breilh Jaime. Nuevos Conceptos y Técnicas de Investigación. Centro de Estudios y Asesoría en Salu, 2da. Ed. Quito, 1995, p: 123 García Nuñez José. Evaluación de Programas de Planificación Familiar. Editorial Presencia, Colombia, 1ra. Ed. 1995, p: 10 Organización Panamericana de la Salud, Evaluación para la Planeamiento de Programas de Educación para la Salud. Guía para técnicos medios y auxiliares, Washington D.C., 1990: 77-84 311 Supervisión, Monitoreo y Evaluación Este método, si bien proporciona información muy valiosa, tiene sus dificultades y limitaciones. En primer lugar, las respuestas, al no ser estándares son difíciles de cuantificar y por lo tanto el análisis es muy laborioso. Por otro lado, se necesitan encuestadores altamente capacitados y experimentados. Este tipo de encuestas pueden emplearse durante la etapa de diagnóstico de un programa o cuando se necesiten evaluar situaciones para diseñar estrategias, a fín de esclarecer las necesidades, percepciones y gustos de las poblaciones beneficiarias de los programas. Estas entrevistas sirven también para obtener datos explicativos complementarios a los relativamente superficiales proporcionados por una encuesta de mayor escala. b) Discusiones con Grupos Focales Una variante de las entrevistas no-estructuradas, es la de reunir en grupos de discusión a las personas que serán o ya son beneficiarias de los programas de educación para la salud. A esto se le denomina Grupo Focal. El trabajo de discusión con grupos focales permite la obtención de información cualitativa detallada, al mismo tiempo que reduce los gastos de personal y tiempo en recolectar y analizar los datos. El entrevistador, o monitor del grupo, recurre a las mismas técnicas que la entrevista no estructurada, partiendo de una guía general de discusión y suscitando respuestas más detalladas a través de preguntas exploratorias. Los participantes deben ser seleccionados de manera que reflejen la heterogeneidad para poder inferir las diferentes respuestas que darían todos los beneficiarios de un programa, si pudiésemos conversar y entrevistar a cada uno de ellos. Si va a emplear la técnica de grupos focales debe tener en cuenta lo siguiente: 312 El entrevistador o monitor de un grupo focal debe tener una personalidad expansiva y comunicativa. Una persona acostumbrada a trabajar con grupos, puede ser capacitada para dirigir grupos focales. El entrevistador debe ser consciente que su tarea consiste en guiar la discusión y no presentar un punto de vista para instruir o educar. Cuanto más se asemeje el entrevistador a los participantes, mayor será la probabilidad de una discusión abierta, espontánea, sincera y productiva. Si los recursos lo permiten, una persona adicional puede encargarse de observar y tomar notas de la sesión. También la sesión puede ser grabada para tener mayor riqueza de información. La sesión debe conducirse en forma amistosa, buscando crear armonía. Se debe dar posibilidad a todos los participantes para expresar sus ideas y conceptos libremente. Se debe comenzar por temas generales, poco conflictivos, y poco a poco ir dirigiendo la discusión hacia los aspectos que más nos interesan conocer, que pueden ser difíciles o controversiales. Para que una discusión en grupos focales sea fácil de conducir y produzca resultados valiosos, el grupo debe estar integrado por más de 6 y menos de 12 participantes. Texto de Apoyo: Unidad III c) Observación Directa Esta es una técnica que permite obtener datos cuantitativos y cualitativos. Exige períodos de observación prolongados, personal y analistas debidamente capacitados y competentes, por lo que hace este método costoso. Es un método particularmente adecuado para estudiar la respuesta de una comunidad a cierto programa. Los antropólogos lo emplean para conocer en profundidad la cultura de una comunidad. Generalmente lo hacen viviendo dentro de la misma comunidad y compartiendo sus preocupaciones y quehaceres cotidianos. A esta técnica se le llama de observación participante. Sin la profundidad y sofisticación de la observación participante, usted puede emplear la técnica de observación directa para estudiar el funcionamiento de los servicios de salud, las actividades de los trabajadores de campo o bien los procedimientos administrativos de su programa. d) Análisis de Contenido Consiste en analizar el contenido de publicaciones que puedan reflejar el contexto dentro del cual se está desarrollando su programa. Así por ejemplo, analizando el contenido de manuales de capacitación o circulares de instrucción para trabajadores de campo, podemos conocer el tipo de capacitación que está brindando el programa o la expectativa que se tiene del trabajo que debe realizar el trabajador de campo. Se puede analizar el contenido de materiales de información, educación y comunicación para evaluar si los mensajes corresponden a las necesidades del programa. También pueden analizarse diversos informes de investigación, a fín de establecer el estado actual de los conocimientos sobre tópicos determinados y concretar las acciones futuras. Este método no debe ser utilizado como un método único, sino como complemento útil para otros tipos de recopilación y análisis de datos. 313 Supervisión, Monitoreo y Evaluación LECTURA Nº 3 TABULACIÓN Y ANÁLISIS DE DATOS Fisher Andrew, Laing J., Stoecket J., Towsend J. Análisis de Datos, en Manual para el Diseño de Investigación Operativa en Planificación Familiar, U.S. Agency for International Development, Population Council, 2a. Ed. México 1995, p: 70-84. RESUMEN El autor discute el proceso de construcción de una base sólida de información sustentado en los procedimientos de tabulación, codificación y verificación de datos. Posteriormente, el autor discute los principales procedimientos de análisis de información cuantitativa, empezando con la estadística descriptiva, para pasar a procedimientos estadísticos más avanzados como el análisis multivariado y bivariado, para pasar a elementos del análisis económico como el análisis costoefectividad y uso-efectividad. Posteriormente, el autor termina planteando consejos simples para la presentación tabular de resultados. En términos generales, es un material que nos presenta de una manera simple y didáctica procesos que usualmente percibimos como complejos y que podemos reproducir en nuestra práctica cotidiana de nuestros establecimientos de salud. 314 Texto de Apoyo: Unidad III TABULACIÓN Y ANÁLISIS DE DATOS Si el único objetivo del estudio fuera la presentación de ciertos resultados de tipo cualitativo o descriptivo, el análisis consistiría simplemente en redactar un informe, incorporando los datos conforme a un determinado formato. Sin embargo, la fase de análisis es más compleja, sobre todo en investigación operativa, pues requiere de cierta manipulación cuantitativa de los datos. Primero, es necesario decidir si la tabulación de datos será realizada manual o mecánicamente. En segundo lugar, se debe decidir como deberán ser tratados los datos para permitir un procesamiento eficiente y, en tercer lugar, se deben seleccionar los métodos estadísticos que se van a emplear para el análisis de los datos. Finalmente, es necesario elaborar uno o varios informes con los principales resultados del estudio. A. TABULACIÓN, CODIFICACIÓN Y VERIFICACIÓN DE DATOS Actualmente hay microcomputadoras en universidades, institutos de investigación, ministerios de salud y agencias de planificación familiar. Las micros se han convertido en un elemento indispensable para la tabulación y análisis de datos de la investigación operativa. Aún en los pequeños estudios que emplean procedimientos estadísticos relativamente simples, la tabulación de los datos por computadora es muy útil. Las microcomputadoras y las computadoras portátiles facilitan ampliamente la producción de tablas y análisis estadísticos, con un margen mínimo de error. Una vez que se haya decidido cómo se van a generar las tabulaciones, debe también considerarse cómo se van a transformar los datos crudos para su análisis. Independientemente de que la tabulación se haga manualmente o por computadora, los datos nonuméricos que se vayan a analizar cuantitativamente deben codificarse numéricamente. Además, estos datos deben transferirse de su forma cruda a una forma que permita su tabulación (notas sobre entrevistas o cuestionarios, transcripciones de entrevistas, informes publicados sobre censos, etc.). Para la tabulación manual es útil transferir los datos codificados a tarjetas diseñadas para sortearse a mano. Para entrar a computadora, la información debe ser codificada en hojas y después capturada en cintas, discos duros o discos flexibles. Se deben prepara las instrucciones para codificación de datos. Esto permitirá, para todas las variables, convertir cada categoría de respuesta en un solo código numérico. Si el número total de respuestas posibles para una variable determinada es inferior a 10 (incluyendo las respuestas del tipo no sabe, no aplicable, respuesta desconocida, y otros) el código puede estar compuesto por sólo un dígito. Si el número total de respuestas posibles está comprendido entre 10 y 99, el código estará compuesto por dos dígitos. Para algunas variables puede ser necesario usar tres, cuatro o aún códigos con un mayor número de dígitos. Una vez codificados, los datos deberán verificarse. Una parte de la codificación deberá repetirse por otra persona que no haya participado en la codificación original y comparar los resultados. En caso de errores, el supervisor de codificación se encargará de efectuar las correcciones necesarias. Estos errores provienen en general de instrucciones erróneas de codificación o de un adiestramiento deficiente a los codificadores. Una vez que la información haya sido codificada, ésta se revisará (aún si los datos crudos ya han sido verificados en el campo). Los datos codificados pueden revisarse esencialmente para buscar los siguientes tipos de errores: 315 Supervisión, Monitoreo y Evaluación (1) Códigos "inválidos" - códigos que no corresponden a los especificados en las instrucciones de codificación. (2) Omisiones - por ejemplo, un encuestador que no siguió correctamente las instrucciones relativas al llenado del cuestionario. (3) Incoherencias - por ejemplo, si la edad de un entrevistado en el momento de la encuesta resulta ser inferior a la edad en que contrajo matrimonio. (4) Inverosimilitud - por ejemplo, una mujer de 25 años que declare tener 10 hijos vivos. Una vez que han sido localizados, los errores deben ser confrontados con los datos originales y hacer las correcciones necesarias. La verificación de datos es más fácil cuando se hace por computadora y se conoce como verificación por computadora para diferenciarla de la verificación en el campo. Comúnmente los datos se encuentran almacenados en cintas, discos duros o discos flexibles. QUÉ HACER: Codificación y verificación 1. Decidir si los datos serán codificados y verificados manualmente o por computadora. Tener en cuenta: a. Las facilidades disponibles. b. El tipo de datos (cuantitativos o cualitativos). c. Tipo de análisis a efectuar. d. Personal disponible. e. Costos Si se decide recurrir a la computadora, se debe verificar si existen ciertos programas (paquetes), así como asistencia en programación. 2. Decidir qué clase de información debe codificarse. En ocasiones, ciertos datos pueden dejarse sin codificar, ya que determinado tipo de información no lo requiere. Ciertas preguntas abiertas, incluso en los casos de encuestas estructuradas, pueden analizarse mejor en forma descriptiva. En tal caso, precisar qué datos serán tratados en forma cualitativa. 3. Indicar en la propuesta qué provisiones se tomarán para la limpieza y verificación de los datos. 316 Texto de Apoyo: Unidad III B. PLAN PARA EL ANÁLISIS DE DATOS 1. CARACTERÍSTICAS DE LOS DATOS: El plan de análisis constituye uno de los aspectos más importantes de la propuesta de investigación. El análisis de los datos debe responder a todas las preguntas investigadas en el estudio. El análisis divide a los datos en partes, los agrupa, clasifica y resume. En general, el investigador tratará de encontrar, a través de los datos, una o más de las características siguientes: a. Tendencia central Supóngase que el investigador tiene como objetivo conocer la paridad media de un conjunto de mujeres, el método anticonceptivo más utilizado (la moda) o la mediana del nivel de ingreso. La media, la moda y la mediana, constituyen características de tendencia central. La media es simplemente un promedio aritmético obtenido mediante la suma de valores o medidas individuales divididas entre el total de casos. La moda es el valor que ocurrió con más frecuencia de un conjunto de valores. La mediana es el punto medio de un grupo de valores. Estas medidas estadísticas constituyen diferentes maneras de describir la características típica o tendencia de un grupo. b. Varianza de los datos Frecuentemente, el investigador va más allá del análisis de las tendencias promedio de un grupo y busca conocer la varianza en los datos observados dentro del grupo; es decir, cómo los individuos difieren del promedio o tendencia central. Si, por ejemplo, las usuaria de la píldora tienen en promedio 28 años, ¿cuál es el rango de edades en el grupo? ¿Qué edad tienen la usuaria más joven y la mayor? Una medida estadística común de la variación dentro de un grupo es la desviación estándar. Esta medida proporciona la distancia promedio o desviación promedio con respecto a la media del grupo. c. Diferencias entre datos Muchas veces el investigador está interesado en saber si los resultados observados no son simplemente producto de la casualidad. Por ejemplo, si el 43% de un grupo experimental de 100 mujeres casadas emplean un método anticonceptivo, comparado son sólo el 21% de un grupo de control, ¿puede ésta diferencia considerarse estadísticamente significativa o ser meramente producto del azar? Posiblemente las pruebas estadísticas más comúnmente utilizadas son la ji-cuadrada (X2) y la t para probar diferencias entre medias. El uso de estas pruebas se explica más adelante. d. Relaciones entre datos La mayoría de los estudios tratan de determinar si existe relación entre una variable y otra. Por ejemplo, ¿está relacionado el uso de anticonceptivos con la edad? ¿Está relacionada la capacitación con un mayor rendimiento en el trabajo? ¿Están relacionados los mensajes por radio con un mayor conocimiento sobre anticonceptivos? ¿Está relacionado el nivel de educación con el uso de anticonceptivos? Existen diferentes métodos estadísticos para medir estas relaciones, el coeficiente de Pearson o el coeficiente Gama. Estos y otros métodos serán explicados en esta sección. 317 Supervisión, Monitoreo y Evaluación 2. PROCEDIMIENTOS DE ANÁLISIS: Es posible que en la propuesta de investigación se describan diferentes métodos analíticos que el investigador planea usar para conocer las tendencias centrales de los datos, varianzas, diferencias y relaciones entre variables. Entre los procedimientos análiticos cuantitativos de uso más común en la investigación operativa en planificación familiar se encuentran: a Transformación de las variables. b. Análisis univariado. c. Análisis de series de tiempo. d. Comparaciones. e. Análisis bivariado. f. Análisis multivariado. g. Análisis de costo-efectividad. h. Análisis de uso-efectividad. i. Análisis de fecundidad. En la propuesta de investigación se deben indicar cuáles de estos procedimientos son los más apropiados para alcanzar los objetivos del estudio. La selección del método depende, en primer lugar, de lo apropiado que sea el método para responder a la preguntas del estudio. Otro factor importante que se debe considerar es el grado de conocimiento del método seleccionado por parte del investigador y su capacidad para interpretar los resultados correctamente. A continuación se enumeran la principales características de los métodos de análisis. Esta enumeración no constituye, en ningún caso, un curso de análisis de datos y su comprensión y manejo suponen un conocimiento previo de métodos estadísticos. Todas las medidas y la pruebas estadísticas que se mencionan enseguida, son muy utilizadas por los investigadores de las ciencias sociales. El lector que desea saber cómo calcularlas e interpretarlas, puede encontrar información y ejemplos en cualquier libro de texto sobre métodos estadísticos elementales. a. Transformación de variables El análisis de los datos requiere frecuentemente la transformación de los datos. Por ejemplo, supóngase que en el cuestionario no se registra explícitamente la edad del individuo interrogado, sino únicamente el mes y año de nacimiento. Si la edad es una variable que se va a estudiar, es necesario calcular la diferencia entre la fecha de nacimiento y la fecha de entrevista. Tal operación es más fácil de efectuar durante al fase de análisis que durante la de codificación, especialmente si se dispone de una computadora, lo cual permitirá mayor precisión en los cálculos que el método manual. Esta variable transformada puede requerir otras transformaciones; por ejemplo, si se desea realizar una tabulación cruzada por edades con otras variables, es preferible limitar la distribución de edad a unas cuantas categorías (generalmente se definen categorías cada cinco o diez años) o aún hasta dicotomizar sólo en dos categorías (por ejemplo, edades entre 15-29 y edades de 30 o más). Hay varias formas de transformar las variables, entre las más comunes se encuentran las siguientes: 318 Recodificación. En esta operación se cambian las etiquetas de las categorías. Esta técnica se emplea con objeto de disminuir el número de categorías de una variable. Texto de Apoyo: Unidad III Por ejemplo, cambiar la distribución por años a distribución por grupos etarios de 15-19, 20-24 y 25-29 años. Conteo. Al interrogar a los encuestadores sobre el uso de 10 métodos anticonceptivos, es útil contar el número de métodos alguna ves usados por cada usuario, generando de esta forma una nueva variable que puede denominarse Número de Métodos Usados Alguna Vez. El conteo es útil en estudios que abarcan más de una variable. Escala. En la investigaciones operativas sobre planificación familiar se utilizan diferentes técnicas de escala, entre las más comunes se puede mencionar a la técnica de Likert, que en ocasiones se emplea en el estudio de actitudes. La técnica consiste en presentar al entrevistado una serie de afirmaciones (por ejemplo, la píldora es cancerígena, la píldora es muy eficaz, la píldora es de fácil empleo, la píldora provoca mareos). Posteriormente se pide la opinión del encuestado sobre cada una de ellas, preguntándoles si está total o parcialmente de acuerdo o en desacuerdo. A cada respuesta se le asigna un número del 1 al 5 que indica el grado de aceptabilidad, así el número 1 representa acuerdo total y el 5 desacuerdo total, o viceversa. Los puntajes de todas las respuestas se suman y se dividen entre el número de afirmaciones, produciendo una escala cuyos valores se encuentran entre 1.0 y 5.0 Transformaciones condicionales. Las transformaciones condicionales se utilizan cuando la transformación de una variable depende de otra. Por ejemplo, supóngase que se hacen tres preguntas a los encuestados: 1) ¿Cuántos hijos tiene? 2) ¿Desea tener más hijos? 3) ¿Si desea más hijos, cuántos más? Con la información obtenida de estas preguntas puede producirse una nueva variable denominada Número total deseado de hijos. Esto puede hacerse sumando el número actual de hijos (pregunta 1) al número adicional deseado (pregunta 3). El número de la pregunta 3 se suma al número de la pregunta 1, solamente si la respuesta a la pregunta 2 es afirmativa. Otras transformaciones matemáticas. El cálculo de la edad, considerando la fecha de nacimiento y la fecha de entrevista, es un ejemplo de una transformación matemática. Otro ejemplo, relativo al análisis a nivel comunitario, es la prevalencia de uso anticonceptivos obtenidos al dividir el número de usuarios en la comunidad entre el número de parejas en estudio. b. Análisis univariado Como lo indica su nombre, esta forma de análisis examina cada variable en forma aislada. Muchas veces es importante analizar la distribución de los casos en la muestra con respecto a una sola variable. Por ejemplo, puede examinarse la distribución por edad de la muestra para confirmar que es consistente con la de la población de la cual se extrajo la muestra. El análisis univariado de datos muestrales también puede usarse para conocer la composición de la población con respecto a las variables más importantes del estudio sobre las cuales no existe información. En ocasiones, se cumplen la mayoría de los objetivos del estudio mediante el análisis univariado. Por ejemplo, un diagnóstico para indicar los puntos fuertes y débiles de un proyecto determinado puede hacerse por medio de una encuesta a los usuarios, sobre percepciones y reacciones hacia las diversas operaciones del proyecto. Los aspectos fundamentales del diagnóstico pueden obtenerse mediante el estudio cuidadoso de cada una de las respuestas. La forma más simple de realizar un análisis a nivel de una sola variable es contando el número de casos en cada categoría, obteniendo la distribución de frecuencia de la variable. 319 Supervisión, Monitoreo y Evaluación Sin embargo, generalmente ésta no es del todo interesante a menos que se efectúen ciertas operaciones estadísticas complementarias. La naturaleza de estas operaciones depende del tipo de variable o del tipo de medida que se desea efectuar. Para la investigación operativa en planificación familiar es útil distinguir tres tipos de medidas: nominales, ordinarias y de intervalo. Medidas nominales. En las medidas nominales, las categorías de la variable difieren unas de otras sólo en cuando al nombre. En otras palabras, una categoría de la variable no es necesariamente mayor ni menor que otra, la única diferencia reside en el nombre. Por ejemplo, la variable sexo tiene dos categorías, masculina y femenina; el investigador puede asignar el número 1 a la categoría masculina y el 2 a la femenina. El único propósito de estos números es dintinguir una categoría de la otra. El investigador bien podría asignar el número 2 al sector masculino y el 1 al femenino, o bien el número 1528 podría asignarse al sector masculino y el 83 al femenino; no hay diferencia. Otro ejemplo, sería asignar números a diferentes métodos anticonceptivos: 1 = esterilización femenina; 2 = esterilización masculina; 3 = condón; 4 = DIU; 5 = orales; 6 = espermicida. Estos números simplemente distinguen las categorías. El asignar un número grande a una categoría no significa que ésta sea mejor o peor que otra de número menor. Podría usarse cualquier selección de números para clasificar los distintos métodos anticonceptivos, lo importante es ser consistente y emplear siempre el mismo número para la misma categoría. Las medidas nominales son las más limitadas. Las diferentes categorías de la variable nominal deben ser mutuamente exclusivas y estas categorías difieren en nombre solamente. Los números asignados a las diferentes categorías permiten simplemente agrupar los elementos comunes en la misma categoría (si tienen el mismo número), o en diferentes categorías (si tienen número diferente). Las posibles manipulaciones estadísticas con variables nominales son bastante limitadas. Se puede calcular la moda (la categoría más frecuente), también se puede calcular una distribución porcentual, pero no se pueden calcular medias, ya que no tiene sentido hablar del sexo medio o del método anticonceptivo medio o de la religión media. Cada una de éstas es una variable nominal. Medidas ordinales. Se habla de variables ordinales cuando existe una jerarquía entre las diferentes categorías. En otras palabras, la categoría que tiene el número 1 puede considerarse más elevada que la que tiene el número 2, que puede, a su vez, considerarse mayor que la que tiene el número 3. Por ejemplo, en una investigación operacional sobre planificación familiar que busque conocer la opinión con respecto al uso de anticonceptivos podría utilizarse la siguiente clasificación: 1 = Aprobación total 2 = Aprobación moderada 3 = Aprobación escasa 4 = Desaprobación total Los números asignados a las diferentes categorías no sólo permiten distinguir si los elementos están en una misma categoría o en diferentes (como en el caso de las variables nominales) sino que además indican un orden jerárquico que va del 1, el cual es igual a alto (aprobación total), hasta el 4, que es igual a bajo (desaprobación total). Las variables ordinales se prestan a las mismas operaciones estadísticas que con las nominales (como la moda y los porcentajes); pero además, debido al orden jerárquico de los números, es posible el uso de estadísticas como la mediana, el 320 Texto de Apoyo: Unidad III percentil y varias pruebas no paramétricas que se explicarán posteriormente. Sin embargo, no es posible calcular una media, una desviación estándar o el coeficiente de correlación de Pearson. Por ejemplo, no puede hablarse de la actitud media en relación con la anticoncepción, ya que se desconoce si la distancia entre 1(aprobación total) y 2(aprobación moderada) sea la misma que en 3(aprobación limitada) y 4(desaprobación total). Puede darse el caso de que las respuestas clasificadas en las categorías 1, 2 y 3 sean bastante similares unas de otras, mientras que las que caen en la categoría 4 sean muy diferentes. La figura 10.1 ilustra esta situación. Aunque se estableció un orden jerárquico en los números asignados a la categorías de las variables, las distancias entre las categorías difieren. Medidas de intervalo. Una variable de intervalo es aquélla en la que se conoce la distancia (o intervalo) entre las diferentes categorías. Los números asignados a las diferentes categorías de las variables cuantitativas poseen todas las características de las variables nominales u ordinales, con la característica adicional de poseer una unidad constante de medición entre las diferentes categorías que están igualmente espaciadas. La edad y la paridad son variables con intervalos constantes al igual que la duración de uso de anticonceptivos y la fecha de aceptación de un método anticonceptivo. Para cada una de estas variables la distancia entre dos categorías que se siguen es conocida y constante. Una persona de 34 años es cuatro años mayor que una de 30. Una persona con paridad de seis tiene dos hijos más que una con paridad de cuatro. El tiempo, la temperatura, el dinero y el peso son variables de intervalo debido a que los intervalos entre las categorías son conocidos y constantes; esta situación es representada en la Figura 10.2. Un niño clasificado en la categoría 5 no es solamente distinto (nominal) de un niño situado en la categoría 6, sino que es también más joven (ordinal) y es un año menor (de intervalo). Todas las operaciones estadísticas que es posible realizar con variables nominales u ordinales también son aplicables a las variables de intervalo, sin ser siempre necesariamente apropiadas para estas últimas. Además de lo anterior, con las variables de intervalo es posible calcular y usar medidas como la media, desviación estándar, coeficiente de correlación de Pearson y muchos otros índices estadísticos. FIGURA 10.1: MEDIDA ORDINAL DE LA ACTITUD HACIA EL USO DE ANTICONCEPTIVOS FIGURA 10.2: MEDIDA DE INTERVALO DE LA EDAD 321 Supervisión, Monitoreo y Evaluación c. Análisis de series de tiempo El análisis de los datos puede resultar simple y revelador si el estudio se diseña de tal manera que se obtengan datos a través de múltiples observaciones a través de un período o series de tiempo. El análisis consiste, en este caso, en observar la evolución en el tiempo de una determinada medida estadística. Esta medida puede tomar diferentes formas, en la mayoría de los casos es una frecuencia (ejemplo: número mensual de usuarios) un porcentaje (ejemplo: una tasa de prevalencia) o una medida de tendencia central (ejemplo: tamaño medio deseado de la familia). Si ocurre una intervención en el transcurso del período de observación (ejemplo: O1, O2, O3, O4, X O5, O6, O7, O8) se puede medir el impacto comparando las tendencias antes y después de la intervención. CUADRO 10.1: DATOS DE SERIES DE TIEMPO: NÚMERO DE HOMBRES VASECTOMIZADOS POR MES DURANTE 1991 El Cuadro 10.1 nos permite detectar fácilmente que un acontecimiento extraordinario debió producirse en el transcurso del mes de mayo. Si este resultado se debe a una campaña nacional a favor de la vasectomía, se podría concluir que el impacto fue impresionante. Sin embargo, este cuadro indica también que el número de vasectomías descendió rápidamente después de la campaña, pasando de un promedio mensual de 116 antes de la campaña, a un promedio mensual de 55 después de ésta. Este cuadro puede prestarse a diversas interpretaciones. Una de ellas es que la campaña de mayo "adelantó" casos que iban a suceder en el futuro; es decir, ciertas personas que se hubieran operado en los meses de junio, julio o agosto, decidieron anticipar su operación en el mes de mayo debido a que la campaña los motivó. Otra interpretación posible consiste en que después de la campaña de mayo, el personal de planificación familiar (médicos, enfermeras y personal de campo) haya disminuido sus esfuerzos para motivar a posibles pacientes y simplemente no pudieron reclutar a tantos casos anteriormente. La tabla de distribución de frecuencias solamente sugiere esta interpretaciones, pero no las comprueba. Estas interpretaciones pueden constituir la base de un estudio para 322 Texto de Apoyo: Unidad III investigar la razón que explique la disminución en el númeo de esterilizaciones observada después del mes de mayo. d. Comparaciones La comparación de variables con frecuencia constituye uno de los objetivos de la investigación. Por ejemplo, en un diseño experimental, los resultados más importantes se desprenden de la comparación del grupo experimental con el grupo de control. Si un estudio experimental se diseña para determinar el efecto de una intervención sobre el uso de anticonceptivos, se podría proceder a comparar la distribución porcentual del grupo experimental con la del grupo de control, en relación al uso de anticonceptivos. Si es posible suponer con bastante certeza que al inicio ambos grupos eran similares y que no tuvieron otras influencia además de la intervención, entonces una diferencia significativa en la proporción de usuarios de anticonceptivos en le grupo experimental comparado con el de control, sería una evidencia de que la intervención fue exitosa. Para probar diferencias de pares de medias la prueba t es la más común. Esta prueba se usa con nuestras pequeñas (N igual o inferior a 30); y supone que los elementos u observaciones son extraídos de poblaciones normalmente distribuidas con igual varianza. Para comparar porcentajes la prueba ji-cuadrada (X2) es más utilizada. A veces puede ser necesario comparar los porcentajes de respuestas que se han obtenido de la misma muestra en dos momentos distintos; en los casos la prueba de McNemar para cambios significativos es la más apropiada. Si el plan de análisis requiere de la comparación simultánea de más de dos medias, la técnica analítica más apropiada es el análisis de varianza (ANVA). Esta técnica emplea la prueba F para determinar si existen o no diferencias significativas. e. Análisis bivariado Los objetivos de la investigación operativa en planificación familiar exigen frecuentemente el estudio de relaciones entre pares de variables, especialmente entre medidas de la operación del programa y los efectos del programa. Las técnicas de análisis indicadas para el estudio de relaciones bivariadas, dependen de la naturaleza de las variables: si son nominales, ordinales o de intervalo. Relaciones entre variables nominales. El primer paso en el estudio de relaciones entre variables nominales consiste en efectuar la tabulación cruzada de dos variables y en seguida aplicar la prueba ji-cuadrada para determinar si existe una relación significativa. Esta prueba, sin embargo, no mide la importancia de la relación, para esto es necesario una "medida de asociación" y, una de las mejores de tales medidas para variables nominales es la V de Cramer, la cual es derivada del valor de la ji-cuadrada. Relaciones entre variables ordinales. Existen varios tipos de medidas de asociación para tabulaciones cruzadas de variables ordinales. Una de las más simples de calcular es la estadística gamma; desafortunadamente no existe una prueba simple de significancia para Gamma (la prueba ji-cuadrada puede utilizarse para determinar si la relación entre variables es significativa, pero no hay que olvidar que esta prueba no es sensible a la ordinalidad de los datos y por lo tanto no es realmente una prueba de significación para gamma). Relaciones entre variables de intervalo. Las relaciones entre las variables de intervalo pueden analizarse con o sin tabulaciones cruzadas. Si se realizan 323 Supervisión, Monitoreo y Evaluación tabulaciones cruzadas con las variables cuantitativas, el tipo de relación es aparente y se pueden calcular los valores de gamma o de V de Cramer. Pero es más usual medir la relación entre variables cuantitativas mediante el coeficiente de correlación Pearson (r), sin referirse para ello a ninguna tabulación cruzada. La significación estadística de (r) puede establecerse mediante la prueba t. Si se distingue entre variables dependientes e independientes, se puede emplear el análisis de regresión lineal para examinar la relación. En este caso la medida de asociación es el coeficiente de regresión de orden cero, el cual el cambio promedio de la variable dependiente asociada con una unidad de cambio en la variable independiente. Tanto el coeficiente de correlación como el de regresión miden relaciones de tipo lineal; es decir, el aumento o disminución de una variable se da en proporción directa del aumento o disminución de otra variable. Estos dos coeficientes no son sensitivos a relaciones no -lineales, para las que, por ejemplo, los valores altos de una de las variables pueden estar asociadas tanto a los valores elevados como a los bajos de la otra variable (pero no a los valores intermedios). Todas las medidas de asociación que se discutieron anteriormente, a excepción del coeficiente de regresión y la V de Cramer, toman valores comprendidos entre (-)1.00 (relación perfecta negativa) y (+)1.00 (relación perfecta positiva). Cuando no existe relación alguna entre las variables, el coeficiente es igual a 0.0. Nótese que ninguna de las medidas de asociación indica casualidad. El hecho de que las personas que leyeron un documento sobre el DIU sean las que más lo utilicen, no necesariamente significa que la lectura del documento haya causado el uso de éste. Puede ser que las personas que tengan acceso al DIU tengan también acceso a la documentación y que la relación que se observó sea completamente producto de esa coincidencia. También puede ser que una relación sea realmente de tipo causal pero que la dirección de la casualidad sea en sentido contrario. Por ejemplo, puede ser que la documentación sobre DIU tienda a darse a personas que ya son usuarias de DIU con objeto de informarlas más detalladamente de las características de un nuevo dispositivo, o bien ellas mismas pueden solicitar tal documentación después de la colocación del DIU, especialmente si ciertos efectos secundarios comienzan a hacerse sentir. En tal caso, existen el menos tres tipos de relaciones posibles como lo muestra la Figura 10.3 FIGURA 10.3: TRES POSIBLES RELACIONES ENTRE LA LECTURA DE UN FOLLETO Y EL USO DEL DIU 324 Texto de Apoyo: Unidad III f Análisis multivariado El análisis bivariado en ocasiones suscita preguntas que sólo el análisis multivariado puede resolver. Por ejemplo, si aparentemente existe una relación entre religión y uso de anticonceptivos, se podría suponer a priori que estas diferencias señalan una relación causal directa. Sin embargo, también se puede argüir que las diferencias se deben a otros factores. Por ejemplo, se ha observado desde hace tiempo que el uso de anticonceptivos entre la población indígena en Guatemala es menor que el de la población ladina. Esta relación no es, sin embargo, de tipo causal, ya que los grupos indígenas tienen en general un estatus socio-económico mucho más bajo y viven en regiones en donde los servicios de planificación familiar son escasos. Para verificar si la relación entre raza y práctica anticonceptiva es explicable por las diferencias socio-económicas o por la falta de acceso a los servicios e información sobre la planificación familiar, se deben controlar o mantener constantes las variables ligadas a la situación socio-económica y el acceso a los servicios. Si aún así, la relación se conserva inalterada, se puede concluir que las variables relativas al status socio-económico y al acceso a servicios influyen muy poco o no tienen ninguna influencia en la práctica anticonceptiva. Si por el contrario, la relación desaparece, se puede concluir que se trata de una relación espuria originada por efectos simultáneos, tanto de las variables dependientes como independientes sobre las variables de control. Las técnicas que permiten al investigador mantener constante o controlar una o varias variables se denominan análisis multivariados, ya que permiten la intervención de varias variables (más de dos). La mayoría de las técnicas multivariadas permiten también medir simultáneamente el grado de asociación entre una variable dependiente y dos (o más) variables independientes. Existen varias técnicas multivariadas y su utilización depende del tipo de variables a estudiar. Para las variables dependientes de intervalo existen tres tipos de análisis multivariados ampliamente usados, cuya selección depende de la naturaleza de las variables independientes, como se explica a continuación. Todas las variables de intervalo. Cuando todas las variables dependientes e independientes son de intervalo, la técnica más apropiada es la del análisis de regresión múltiple, que es la más común y más utilizada de las técnicas multivariadas. Esta genera coeficientes de regresión parcial que indican la cantidad de aumento de la variable dependiente asociado a una unidad de aumento en cada una de las variables independientes, manteniendo constantes todas las otras variables independientes. Estos coeficientes con frecuencia se convierten en coeficientes de regresión estandarizados (beta) que indican el grado de variación de la variable dependiente asociado a las variaciones de la variable independiente, en términos de desviación estándar, en lugar de las unidades originales de medición. Esta técnica también genera un coeficiente de regresión múltiple (R), el cual mide las relaciones simultáneas entre la variable dependiente y todas las variables independientes. El cuadrado de coeficiente de regresión múltiple, conocido como el coeficiente de determinación (R2), mide la proporción de la varianza de la variable dependiente explicada por todo el conjunto de variables independientes. Variables de intervalo y categorías. Cuando la variable dependiente es de intervalo y las variables independientes son variables categóricas (nominales u ordinales), la técnica más apropiada es la del análisis de regresión múltiple con variables binarias. Una variable binaria es la que comprende solamente dos categorías. Una variable categórica puede convertirse en varias variables binarias. Por ejemplo, una variables nominal de tres categorías que representa grupos étnicos (indígenas, negros, ladinos) puede generar tres variables binarias. Se puede crear la variable "indígenas" asignando el código para los 325 Supervisión, Monitoreo y Evaluación indígenas y el 0 para todos los demás; también se puede crear la variable "negros", asignando el código 1 a los negros y el 0 a todos los demás. Se puede también crear la variable "ladinos", asignando el código 1 a los ladinos y el 0 a todos los demás. De la misma manera, una variable de cuatro categorías puede transformarse en cinco variables, una variable de cinco categorías puede transformarse en cinco variables. En el análisis de regresión múltiple, todas las variables binarias obtenidas en esta forma, excepto una, se toman como variables independientes para cada una de las variables categóricas originales. Con variables binarias, los coeficientes de regresión calculados indican la diferencia en la variable dependiente entre la categoría considerada por la variable binaria y la categoría omitida del análisis. La interpretación de R y R2 es la misma que en un análisis de regresión ordinario. Todas las variables categóricas. Cuando la variable dependiente es de intervalo y todas las variables independientes son categóricas, la técnica más apropiada es el análisis de clasificación múltiple (ACM). Esta técnica es en realidad una extensión del análisis de regresión múltiple con variables binarias, pero proporciona un valor beta para cada una de las variables categóricas originales, mientras que el análisis de regresión produce valores beta menos útiles para cada variable binaria incluida. El análisis de clasificación múltiple (ACM) produce también los valores R y R2. Si la variable dependiente es categórica, el análisis se limitará a tabulaciones cruzadas multidimensionales (si alguna o todas las variables independientes son de intervalo, podrán ser transformadas fácilmente en variables categóricas para este análisis). En los últimos años ha sido posible perfeccionar ciertas técnicas sofisticadas de análisis multivariado para variables nominales dependientes, pero estas técnicas son dominadas por sólo unos cuantos investigadores y los paquetes para microcomputadoras no se consiguen fácilmente. Las técnicas de análisis multivariado son poderosos instrumentos de análisis pero deben utilizarse con mesura ya que se apoyan en diversos supuestos, algunos de los cuáles no se cumplen; por lo tanto, los resultados no son válidos. El plan de análisis no debe comprender un análisis multivariado, a menos que el investigador domine la técnica o cuente con la asistencia de un asesor calificado. g. Análisis de costo-efectividad Todos los programas de planificación familiar requieren recursos financieros para desarrollar sus actividades y obtener los resultados o efectos deseados. En la mayoría de los programas de planificación familiar llevan a cabo actividades que tienen como objetivo tener un efecto que se mide en nuevos usuarios, nacimientos evitados o años-protección-pareja. Una pregunta lógica que se hacen los administradores de un programa es ¿qué actividad es menos costosa y tiene mayores efectos? El análisis de costo-efectividad (ACE) pretende responder a esta pregunta. Este análisis constituye un instrumento para tomar decisiones y es válido si se comparan los costos de dos o más estrategias diferentes, o bien la evolución a través del tiempo de una sola estrategia. Este análisis permite estudiar diferentes alternativas, por lo que se refiere al costo, para llegar al objetivo final. En el análisis de costo-efectividad se calcula una razón en cuyo numerador aparece el costo del programa y en el denominador los efectos o resultados del mismo. Si bien los cálculos son simples, el ACE presenta cierta dificultades. En primer lugar, deben determinarse los costos precisos del programa, lo cual no siempre resulta fácil, especialmente si las actividades de planificación familiar están completamente integradas a otras activi- 326 Texto de Apoyo: Unidad III dades de salud. Por ejemplo, ¿qué proporción del presupuesto de las clínicas donde se efectúan las inserciones del DIU se asigna a la planificación familiar? Igualmente, ¿qué proporción de horas de trabajo y honorarios correspondientes dedican los médicos y las enfermeras a la planificación familiar? ¿Deben tomarse en cuenta ciertos costos generales y otros costos indirectos? ¿Se debe considerar la inflación o el tipo de cambio internacional de una moneda? Estas y otras preguntas surgen de forma ineludible en el análisis de costo-efectividad. Además de la dificultad ligada a la determinación del costo, surge otro problema al tratar de recolectar información para determinar el efecto del programa. Debe precisarse en qué unidades se va a medir tal efecto. ¿Qué es un usuario de planificación familiar? ¿Qué son años-protección-pareja o nacimientos evitados? Y ¿Cómo se definen estos términos operacionalmente? Existen además otras dificultades; por ejemplo, puesto que los efectos de ciertos programas se van distribuyendo a lo largo del tiempo, los efectos de la esterilización pueden reflejarse a través de varios años. En el cálculo de la tasa costo-efectividad deben hacerse supuestos con respecto a la distribución de los efectos sobre el tiempo. En ocasiones ACE involucra tantos supuestos con respecto a costos y efectos que su utilidad como herramienta de decisión se hace cuestionable. Además, puede darse el caso de que el programa más indicado desde el punto de vista costo-efectividad, no sea forzosamente el más indicado desde el punto de vista político o social. El análisis de costo-efectividad resulta ser más pertinente cuando se trata de comparar programas muy específicos y limitados en el tiempo, con objetivos claramente definidos y costos detallados que pueden ser desagregados. Por ejemplo, supóngase que se define una medición como la aceptación y continuidad en el uso de una nueva píldora durante por lo menos un año. Un ACE puede realizarse para determinar qué es más efectivo: un equipo móvil, personal de campo o clínicas. De manera similar, también puede emplearse ACE para determinar cuál de los diferentes tipos de capacitación es el más idóneo para producir esterilizaciones realizadas en puestos improvisados, en relación con el costo de las realizadas en clínicas o en hospitales. h. Análisis de uso-efectividad En la investigación operacional en planifcación familiar es importante medir la probabilidad de que una nueva usuaria continúe utilizando mes tras mes un método para no embarazarse. Estas probabilidades pueden estimarse mediante un análisis uso-efectividad con tablas de vida. Los índices más importantes de este tipo de análisis son las tasas de continuidad y las de embarazo. Puede distinguirse entre tasas de continuidad mensuales y acumuladas; entre tasas de continuidad de un sólo método y las de continuidad para todos los métodos; entre tasas brutas y netas de embarazo y, finalmente, entre la tasa de fracaso y la tasa global de embarazo. Una tasa mensual de continuidad mide la probabilidad de que una persona que comienza a usar un método en un mes continúe usándolo hasta el final del mes. Una tasa acumulada es la probabilidad de que un nuevo usuario continúe usando el método después de cierto número de meses. Una tasa de continuidad de un solo método mide la probabilidad de continuar el uso de ese método. 327 Supervisión, Monitoreo y Evaluación Una tasa de continuidad de todos los métodos es la probabilidad de continuar el uso de cualquier método. Una tasa bruta de embarazo mide la probabilidad de embarazo durante un período determinado, sin tomar en consideración los riesgos de abandono (como la expulsión del DIU, o descontinuación voluntaria debido a efectos secundarios). Una tasa neta de embarazo mide la misma probabilidad que la tasa bruta de embarazo, pero tomando en cuenta los riesgos de abandono. La tasa de fracaso mide la probabilidad de embarazarse durante un período específico de tiempo, durante el cual se está usando un método anticonceptivo. La tasa global de embarazo es la probabilidad de que ocurra un embarazo durante un período específico de tiempo después de aceptado el método, independientemente de que se esté usando o no algún método en ese momento. i. Análisis de fecundidad En virtud de que la mayoría de los programas de planificación familiar están diseñados para provocar o acelerar una reducción en la fecundidad, es frecuente que sea necesario incorporar un análisis de fecundidad en la investigación de operaciones en planificación familiar. Las medidas de fecundidad más usuales para este propósito son: Tasa bruta de natalidad: número anual de nacimientos por cada 1000 habitantes. Tasa global de fecundidad: número anual de nacimientos por cada 1000 mujeres en edad reproductiva. Tasa global de fecundidad marital: número de nacimientos por cada 1000 mujeres casadas o unidas y en edad reproductiva. Tasas específicas de fecundidad: número de nacimientos por cada 1000 mujeres casadas o unidas, de un grupo de edad determinado. Tasa total de fecundidad: número promedio de hijos esperados durante el período reproductivo de la mujer, según el patrón de tasas de fecundidad relacionado con la edad específica. C. PROTOTIPO DE TABLAS La construcción de prototipos de tablas permite visualizar la forma en que los datos pueden ser organizados y resumidos. Una tabla prototipo contiene todos los elementos de una real, excepto que las celdas de las tablas están vacías (Ver cuadro 10.2). En la propuesta de investigación deben presentarse las relaciones más importantes entre las variables, haciendo uso de tablas artificiales. Las tablas de tabulaciones cruzadas generalmente presentan frecuencias convertidas a porcentajes basados en el total por renglón o por columna. Cuando una variable dependiente se cruza con una independiente, los porcentajes deben calcularse de manera que sumen el 100% para cada categoría de la variable independiente. Por ejemplo, en la siguiente tabla artificial, los porcentajes totales se calculan para cada categoría de la variable independiente (en este caso, la disponibilidad de personal). 328 Texto de Apoyo: Unidad III CUADRO 10.2: EJEMPLO DE UNA TABLA ARTIFICIAL: TASA DE PREVALENCIA EN LAS ALDEAS Y PRESENCIA DE TRABAJADORAS DE CAMPO. (DISTRIBUCIÓN PORCENTUAL) QUÉ HACER: Plan de análisis de los datos 1. Describir detalladamente cada una de las técnicas de análisis, así como las medidas estadísticas a utilizar, indicando cómo cada una de éstas va a contribuir a alcanzar los objetivos del estudio. Qué tipo de variables están involucradas y cuáles fueron las razones que determinaron la elección. 2. Prepara ejemplos de tablas artificiales. 3. El plan de análisis debe presentar claramente cómo serán alcanzados los objetivos del estudio, cómo será utilizada cada variable y finalmente cómo será probada cada hipótesis. 329 330 Unidad IV Monitoreo de la Gestión del Servicio de Saud 331 Supervisión, Monitoreo y Evaluación 332 Texto de Apoyo: Unidad IV UNIDAD IV MONITOREO DE LA GESTIÓN DEL SERVICIO DE SALUD El Monitoreo es una actividad fundamental para la gestión de un establecimiento de salud. Provee de información indispensable para la ejecución del plan operativo, así como para las acciones de supervisión y evaluación. En la actualidad, se presenta como una actividad de simple control administrativo, mediante la generación rutinaria de reportes y consolidados para satisfacer los requerimientos de instancias superiores. Un enfoque moderno de gestión en salud plantea una alternativa para un trabajo eficiente y de calidad: El Monitoreo con enfoque estratégico. En esta propuesta, el Monitoreo es una herramienta indispensable para la gestión y engloba aspectos tanto relacionados a la ejecución del plan operativo (cumplimiento de actividades, ejecución de presupuesto), así como elementos del proceso de atención, ajuste de costos, satisfacción del usuario, conducta organizacional, entorno del establecimiento, etc. Los pasos para el diseño de un plan de Monitoreo son los siguientes: 1. Determinar los procesos susceptibles a ser observados sistemáticamente en función de los objetivos del plan operativo y las necesidades de la gestión del establecimiento. 2. Identificar los hechos que representan mejor los procesos a ser observados. 3. Definir la forma en que hechos pueden ser registrados en forma oportuna, continua y confiable. 4. Establecer una dinámica que permita el análisis permanente de la información y su utilización como insumo para la toma de decisiones que permitan alcanzar de la mejor forma posible los objetivos del establecimiento. El diseño de un plan de Monitoreo parte del estudio del plan operativo, así de la identificación de elementos de la realidad del establecimiento o de su entorno que deben ser observados sistemáticamente. Posteriormente se debe definir la forma en que estos hechos pueden ser registrados en forma oportuna, contínua y confiable. Para ello debemos de identificar fuentes de información, sistemas de recolección y responsables específicos, productos y frecuencia de reportes. Para ello se proponen un conjunto de herramientas de base participativa que permiten la incorporación del establecimiento en la implementación de un Sistema de Información Gerencial, como herramienta para el cumplimiento de los objetivos planteados en el plan de Monitoreo, bajo un marco de consenso y compromiso mutuo que garantiza la viabilidad del sistema y la producción de información confiable y oportuna. Un punto clave para el manejo, legitimidad y utilidad del Monitoreo es el uso de la información generada y su uso intensivo en la gestión del establecimiento. 333 Supervisión, Monitoreo y Evaluación LECTURA Nº 1 ESTABLEZCA PUNTOS DE CONTROL, ACTIVIDADES, RELACIONES Y ESTIMATIVOS DE TIEMPO Randolp W. Posner, Gerencia de Proyectos. Cómo dirigir exitosamente equipos de trabajo. Editorial Mc Graw Hill, Bogotá, 1993 RESUMEN Randolp y Posner son probablemente los especialistas en proyectos de inversión que mayor éxito han tenido en presentar de manera simple y amena procesos particularmente complejos. En esta lectura abordan la problemática del monitoreo, sosteniendo que para llevar a cabo un proyecto no basta tener una meta y unos objetivos, es necesario definir puntos de control y actividades que permitan realziarlo exitosamente. Respecto a los puntos de control Randolph y Posner plantean la diferencia de elementos diferenciados: denomina Mojones a un nivel de ejecución del Plan Operativo que es una medida visible y tangible de avance, su referencia temporal es a mediano plazo. Los eventos son niveles de ejecución más a corto plazo y proveen de una retroalimentación regular y contínua. Los mojones y los eventos proveen el mapa de coordenadas que le ayudan a descubrir el mejor camino para alcanzar los objetivos del Plan Operativo, ayudan a elaborar planes de contingencia cuando hay retrasos, proveen un sistema de vigilancia que ayuda a determinar si está o no dentro del plan y dan una retroalimentación concreta que hace que las personas se sientan responsables y que se las tenga en cuenta. Los trabajadores gracias a estos puntos de control, tienen claro a dónde van, como se les están siguiendo los pasos y qué deben hacer a lo largo del camino. Para explicar estas diferencias, Randolph y Posner recurren a un ejemplo sumamente didáctico, como es el proyecto de construcción del arca de Noé, que nos permite objetivar la diferencia entre los diferentes puntos de control propuestos por los autores. 334 Texto de Apoyo: Unidad IV Con el fin de que se seleccione la mejor ruta por seguir y para que tengan muy claro cómo es el mapa de la vía, cada miembro del contingente del proyecto debe contribuir al planeamiento del viaje. Las metas y los objetivos son el punto de partida que ha de impulsar el proyecto, pero además se requiere definir, iniciar y revisar según sea necesario, los puntos de control, las actividades, las relaciones entre actividades y los estimativos de tiempo (costo y otros recursos). Estos elementos definen el cuerpo de su proyecto. Para llevar a cabo un proyecto no basta con tener una meta y unos objetivos; es necesario definir los puntos de control y las actividades que permitan realizarlo exitosamente. De otra manera, ¿cómo saber si se va en la dirección correcta? ¿Cómo saber cuándo acelerar o desacelerar las cosas? ¿Cómo podría saberse cuánto tiempo y dinero van a necesitarse? A usted le corresponde agregar hasta la línea final. Al igual que con la meta y con los objetivos del proyecto, no hay una vía rápida que nos lleve al triunfo. Es necesario enrollarse la mangas de la camisa e iniciar un proceso minucioso de reflexión y análisis sobre lo que debe hacerse. Estos pasos son la continuación de la estructura de división del trabajo. Los puntos de control son como los mojones que en la antigüedad se colocaban cada cierto espacio a lo largo de los caminos para hacerle saber a los viajeros que iban en la dirección correcta; servían de recordatorio visible de cuánto avanzaban. Los puntos de control cumplen un papel similar en el recorrido hacia la línea final del proyecto; sirven para medir el avance del proyecto. Hay puntos de control tanto de largo como de corto plazo. Los puntos de control sirven de recordatorio visible del progreso Los mojones son los puntos de control de largo plazo. Se utilizan para medir el progreso real frente a lo planeado. Son la medida visible y tangible de hasta dónde se ha llegado. Son eventos significativos que dan la medida de si el proyecto está dentro del tiempo programado, retrasado, o adelantado. Sí, por ejemplo, uno va de Atlanta a Los Ángeles, algunos de los mojones más importantes estarían en Birmingham, Dallas y Phoenix. El arribo a cada una de estas ciudades será una indicación de que se está cada vez más cerca del destino final. Será también una señal de que es la ruta correcta. No encontrarlas, significará que deben hacerse algunos ajustes. Por ejemplo, si en el viaje a Los Ángeles uno encuentra Chicago, necesariamente se hizo un cruce equivocado. Obviamente habría sido deseable saberlo antes de alejarse tanto de la ruta. Para evitar estos grandes errores, hacen falta los "eventos". Los eventos son los puntos de control de corto plazo en su ruta hacia la meta. Son similares a los mojones, pero se presentan con mayor frecuencia y por tanto son más numerosos. Usualmente muchos eventos lo llevan hasta un mojón particular. Los eventos proveen una retroalimentación más regular y contínua. Regularmente son útiles en las operaciones, mientras que los mojones dan una visión más general. En el viaje de Atlanta a Los Ángeles, algunos de los eventos podrían indicar que debe tomarse la Interestatal 20 hacia el oeste, fuera de Atlanta, o pasar por Meridian, Mississippi, un pequeño pueblo entre Birmingham y Dallas. Los eventos simplemente amplían los detalles sobre el curso del proyecto. Son de más corto plazo que los mojones. Ahora bien, si uno toma la I-20 hacia el este en Atlanta, sabrá de inmediato que ha cometido un error y será fácil corregirlo. 335 Supervisión, Monitoreo y Evaluación Los puntos de control marcan un momento específico en el tiempo, el logro de algo. Las actividades lo llevan de un evento al siguiente y luego a los mojones, y eventualmente a los objetivos y a la meta del proyecto. Las actividades son las tareas que deben realizarse con el fin de completar el proyecto. Al definir un proyecto, es necesario identificar las actividades tan precisa y detalladamente como sea posible. No subestime ninguna de las actividades necesarias para completar el proyecto, no importa cuán insignificante parezca. Por ejemplo, en el caso del viaje a Los Ángeles, no revisar el aceite del automóvil durante una parada obligada en una estación de gasolina puede retrasar todo el proyecto, si más adelante se le acaba el aceite. Tal como lo ilustra la figura 3.1, las metas, los objetivos, los puntos de control y las actividades están altamente interrelacionadas y son cruciales en cualquier trayecto del proyecto. Reflexionar sobre los puntos de control y los eventos, y comenzar a enumerar las actividades genera lógicamente nuevos eventos y mojones en los que uno no había pensado en un principio. Definir los puntos de control y las actividades es un proceso que implica avances y retrocesos. Es otro de los pasos en la conformación de la estructura de división del trabajo. Pero hay que recordar que uno comienza con la perspectiva más general de la meta y luego tendrá que ser más específico al mirar los objetivos, los mojones, los eventos y las actividades requeridas. Hay que ir del panorama general a los detalles específicos. Lo que se hace es devolverse, partiendo de la meta del proyecto hacia el primer paso que debe dar para alcanzarla. ¿Cuál es el primer cruce que se hace en el viaje a Los Ángeles? ¿Para qué lado va cuando se sale del camino? El proyecto del arca de Noé Démosle otro vistazo al proyecto de construcción y carga del arca de Noé. ¿Cuáles eran algunos de los mojones, eventos y actividades? Consideremos el objetivo del carpintero de construir el arca de acuerdo con las especificaciones dadas. Este objetivo implica un proceso complejo. Los mojones y los eventos detallan más el objetivo; lo dividen en partes más manejables. Si Noé y los carpinteros hubieran tenido solamente el objetivo de construir el arca, todas las miles de cosas adicionales que se requerían nunca se habrían hecho y quizás el arca nunca se hubiera terminado. ¿Cómo fue que mojones y eventos le ayudaron a Noé a definir su ruta y de esa manera supervisar el avance del proyecto? Podrían considerarse como muestras de los mojones un primer plan del arca, la construcción del esqueleto del arca y un macho y una hembra de cada especie listos para ser embarcados. Cada mojón era un acontecimiento importante. Combinando los mojones con los estimativos de tiempo para las actividades, Noé podía saber si estaba adelantado, retrasado o cumplía con el itinerario. Pero si él solamente hubiera sabido lo que se necesitaba para llegar en un mes al primer mojón, eso no le habría dado suficiente retroalimentación para guiarse y permitirle evaluar sus progresos. Necesitaba una orientación más precisa. Los eventos le suministraron los detalles. Algunos de los eventos puestos en el camino hacia la terminación del esqueleto del arca fueron colocar en su sitio los soportes verticales laterales, clavarlos y unir los dos costados. En el proceso de llegar al mojón del esqueleto completo, Noé pudo identificar varios eventos que le dieron mayores detalles. Enumerar los eventos también le ayudó a definir las acciones que debían completarse en el transcurso de la construcción del arca. Una vez determinó los eventos y las actividades, estaba listo para dar comienzo a la ruta que debía seguir. Al agregar los estimativos de 336 Texto de Apoyo: Unidad IV FIGURA 3.1: FIJE LOS PUNTOS DE CONTROL, ACTIVIDADES Y RELACIONES QUE CONDUCEN A LOS OBJETIVOS Y A LA META FIGURA 3.2: DESCOMPOSICIÓN DE UN OBJETIVO EN MOJONES, EVENTOS Y ACTIVIDADES Ejemplo de objetivo del arca de Noé Proyecto: Carpinteros encargados de ensamblar el arca de Noé MOJONES EVENTOS ACTIVIDADES a. Construir los soportes A. Terminación de un 1. Construcción de los verticales lado del arco soportes laterales 2. Terminación de los costados b. Construir los soportes horizontales 3. Construcción y montaje de las barandillas c. Clavar los tablones 4. Colocación de la viga de soporte del fondo d. Llenar y pintar los espacios entre tablones e. Fabricar y montar la baranda f. Cortar la entrada a la rampa g. Clavar la viga de soporte del fondo. B. Terminación del (similares a los anteriores) otro lado del arca. 337 Supervisión, Monitoreo y Evaluación tiempo, pudo establecer en la primera semana del proyecto de siete meses que necesitaba completar los lados del arca. Sabía que si no tenía lista esta parte del armazón, estaba retrasado. Si la tenía, estaba dentro del límite de tiempo. Al precisar el primero, segundo y tercer pasos por seguir, hizo que el proyecto fuera más manejable. Ésta es una de las ventajas fundamentales de tener definidos los puntos de control y las actividades. Sirven para aclarar lo que se debe estar haciendo para culminar un proyecto. Una actividad es más manejable que un proyecto. La figura 3.2 resume parte de la estructura de división del trabajo para uno de los objetivos del proyecto del arca. Esta ilustración se concentra en los mojones, los eventos y las actividades. Supervisión y motivación Los mojones y los eventos también son útiles para supervisar el progreso del proyecto. Ellos permiten verificar continuamente si la ejecución del proyecto avanza dentro del tiempo asignado. Otro elemento valioso que proporcionan los mojones, eventos y actividades es que ayudan a motivar a las personas que trabajan en el proyecto. Los puntos de control sirven como una forma esencial de retroalimentación que ayuda a que quienes trabajan en el proyecto se mantengan comprometidos y motivados. Además contribuyen a que los miembros del grupo supervisen por sí mismos si el proyecto está realizándose dentro del tiempo previsto. La retroalimentación ha sido llamada "el desayuno de los campeones". Con ella las personas prosperan. Los miembros del contingente pueden ubicarse dentro del mapa general si se les dan mojones y eventos. Para saber dónde están y para dónde van, las personas necesitan comprender los puntos de control. Las personas podrían desviarse del camino y no lograr so objetivo particular si no tienen un mapa, para no hablar de la meta general del proyecto. Dando a las personas un conjunto bien concebido de mojones y eventos, se les está proveyendo con un mapa en el que ellos pueden seguir los pasos de su propio progreso y permitir que su proyecto los estimule. Saben cuál es la meta; usted se la ha venido recordando. Saben cuál es el objetivo; usted lo ha venido aclarando. Los puntos de control y las actividades marcan en el mapa unos puntos que cada individuo puede utilizar como un sistema para rastrear el avance. Cada persona conoce que el objetivo es llegar a Dallas el martes por la tarde. Si pasan por Marshall, Texas a mediodía, saben que van dentro del tiempo. Las personas tienden a emocionarse cuando se dan cuenta de que van por buen camino y que están haciendo progresos. Los mojones y los eventos proveen el mapa de coordenadas que le ayudan a descubrir el mejor camino para su destino (los objetivos y las metas del proyecto), ayudan a elaborar planes de contingencia para cuando haya retrasos, proveen un sistema de vigilancia que ayuda a determinar si está o no dentro del programa y dan una retroalimentación concreta que hace que las personas se sientan responsables y que se las tenga en cuenta. La gente del contingente del proyecto tiene claro para dónde va, cómo se les están siguiendo los pasos y qué deben hacer a lo largo del camino. 338 Texto de Apoyo: Unidad IV ¡Los mojones y los eventos sirven para motivar a los miembros del contingente retroalimentándolos y orientándolos! El hecho de tener mojones y eventos da también la oportunidad de elogiar los avances y reconocer públicamente la contribución de las personas. Muy a menudo los gerentes de proyectos desestiman estas oportunidades. Saber exactamente cuál es el programa de trabajo y estar pendiente de él cuando las personas arriban a sus puntos de control, permite al gerente darles palmaditas en el hombro. Esto hace maravillas en función de la energía que se imprime a las personas para mantenerlas entusiasmadas con el proyecto. Uno no quiere ser como el capitán del equipo de bolos que cuando uno de sus miembros tumba siete bolos en el primer tiro grita: "Fallaste en tres". Un gerente de proyectos efectivo utiliza esta oportunidad para decir: "Fantástico, tumbaste siete, te quedan los palos 3, 5 y 7. Buena suerte en el segundo tiro". Está supervisando el progreso, reconociendo a las personas su nivel de cumplimiento, elogiándolas por sus contribuciones y resolviendo con ellas los problemas que se presentan cuando están retrasadas o no están cumpliendo con las expectativas. Determinación de las relaciones entre las actividades Una vez tenga la lista completa de actividades necesarias para llevar a cabo un proyecto, todo listo para el siguiente paso: determinar las relaciones entre una actividad y otra. Ciertas actividades seguramente deban ser ejecutadas que otras, pero pueden realizarse simultáneamente. Es necesario mostrar con exactitud las relaciones entre actividades. Por ejemplo, en el caso del arca, antes de colocar las tablas laterales Noé tuvo que construir la estructura, pero pudo fabricar los soportes verticales al mismo tiempo que preparaba los horizontales. Las preguntas que se hacen son: "¿Cuál es el estricto orden que deben seguir la actividades?" "¿Cuál es el flujo lógico de actividades?" y "¿Qué señalan las exigencias tecnológicas y la disponibilidad de recursos con respecto al flujo de actividades?" A menudo hay más de una manera de acometer el proyecto. Determinar las posibles relaciones entre las actividades ayuda a identificar la forma más eficiente de hacer el trabajo y prepararse para las contingencias. Es importante tener presente que siempre hay más de una manera de hacer el trabajo. A estas alturas es cuando hay que preguntarse: "¿Qué sucede si ...?" y "¿qué podría salir mal?" ¿Qué alternativas hay en caso de alguna dificultad? Aquí entra en juego la planeación de contingencias, un elemento muy importante en el proceso de planeación del proyecto. Generalmente hay varias formas de lograr los objetivos y la meta del proyecto. Los planes de contingencia ayudan a concentrarse en las alternativas, de una manera creativa. Trabajando en equipo pueden obtenerse ideas geniales sobre las diferentes formas de realizar una tarea; es decir, diferentes secuencias de las actividades. También puede deducirse qué hacer cuando las cosas no están saliendo según lo planeado, siguiendo las alternativas de secuencia para las actividades implicadas en el objetivo. (En la regla número cuatro se amplía más sobre la planificación para contingencias). Asegúrese de no perder de vista cuál es su meta. 339 Supervisión, Monitoreo y Evaluación Estimativos de tiempo, costos y otros recursos Para completar la estructura de división del trabajo, también debe cuantificarse el tiempo, el dinero, la gente, el equipo y demás recursos que demande cada actividad. Estos estimativos permiten ejecutar más cabalmente el plan del proyecto. ¿Quién debe estar incluido en la construcción de los costados del arca de Noé? ¿Cuánto tiempo tomará? ¿Cuánto costará? Estas decisiones deben tomarse teniendo una información muy limitada. Generalmente no se sabe cuánto tiempo tomará una actividad determinada. Tampoco qué recursos se necesitarán ni cuánto tiempo costarán. Esto se debe a que cada proyecto es único. El proceso de estimar los requerimientos de recursos es un verdadero reto porque no puede predecirse el futuro y porque las cosas pueden cambiar después de implementado el plan. Pero con actividades claramente definidas es más fácil identificar los recursos (como tiempo y costo) necesarios para acometer una actividad. Una estrategia útil de cálculo, cuando se están manejando actividades inciertas o desconocidas, exige tres tipos de estimativos. El proceso funciona igualmente bien tanto para estimativos de tiempo como de costos. Ilustremos estos tres tipos de estimativos con relación al tiempo. El primero es un estimativo optimista; por ejemplo, el mínimo de tiempo si todo sale bien. El segundo es pesimista: el tiempo que le tomaría si son muchas las cosas que salen mal y tiene dificultades. El tercero es el más probable: se gasta el tiempo normal habida cuenta de las ventajas y desventajas. Un planeamiento así de cuidadoso le ayudará a evaluar aún mejor lo "que podría salir mal" y lo que realmente está implicado en la realización de una determinada actividad. Al hacer este triple estimativo resulta útil consultar a los miembros experimentados del contingente para saber cuánto tiempo tomará una actividad. Esta información ayudará a precisar los cálculos. Como beneficio colateral, hacer participar a las personas en el proceso de determinar los estimativos las compromete más con el tiempo eventual estimado, estimulando aquella actitud de "¡Le dijimos a Noé que encontraríamos la pareja de canguros en dos días, y por Dios que lo haremos!" Reconociendo que los tres aún son estimativos, puede calcularse un promedio ponderado que dé una mejor idea de cuánto durará3.3: la actividad. LaPARA ecuación para esto se muestra en la figura 3.3. FIGURA ECUACIÓN ESTIMAR TIEMPOS (COSTOS) Probablemente la cantidad de tiempo que se empleará en una actividad se ubique entre un estimativo optimista y uno pesimista; un cálculo preciso para la actividad sería el tiempo esperado que resulte de aplicar la ecuación de la figura 3.3. Todas y cada una de las actividades de un proyecto no requieren este tipo de cálculo, pero sí es útil para actividades críticas con las que usted tiene poca experiencia. El mismo sistema también puede utilizarse en lo relacionado con los costos. Observe cómo al hacer los estimativos de tiempo y costos para las actividades es crucial reflexionar sobre los recursos necesarios para completar cada actividad. Si se identifican las personas, el contingente y los demás recursos necesarios, se hace más fácil diseñar los estimativos de costos. Asimismo, el análisis de estos recursos ayuda a establecer unos estimativos de tiempo más realistas, en la medida en que usted se concentre en lo que realmente implica completar cada actividad. 340 Texto de Apoyo: Unidad IV No obstante, como regla general, siempre es conveniente desarrollar recursos, costos y tiempos sobrantes (llamados redundancias) e incluirlos en sus estimativos. Nadie puede predecir el futuro con la exactitud de una bola de cristal. Aunque dediquemos nuestros mayores esfuerzos a hacer estimativos, siempre hay algo que se nos queda por fuera del cálculo o resulta alguna actividad imprevista o inesperada. La redundancia es la grasa que los gerentes de proyecto efectivos utilizan cuando hay que maniobrar para llevar el proyecto de regreso a la pista. Pero por la misma razón, no es recomendable exagerar esa redundancia; lo más deseable es hacer estimativos precisos. La clave es gastar suficiente energía en lograr unos estimativos de tiempo, costo y otros recursos tan precisos como sea posible para cada actividad. De no ser así, su plan podría salirse de curso. Lo deseable es hacer unos estimativos precisos, no unos estimativos con mucha redundancia. Aun así, es importante reconocer que estos tiempos (o costos) son estimados. Sólo después de finalizada una actividad se sabrá cuánto tiempo consumió o qué cantidades de los otros recursos se necesitaron. Si uno ha hecho antes un proyecto similar, tendrá una mejor idea de cuánto tiempo le tomará llevar a término una actividad. Pero aun así, el hecho de que cada proyecto es único hace que las cifras de recursos que se utilizan sigan siendo estimativas. La figura 3.4 muestra los estimativos de tiempo, las relaciones entre las actividades y quién tiene la responsabilidad de cada actividad en las etapas del proyecto del arca de Noé. 341 342 FIGURA 3.4: ESTRUCTURA DE DIVISIÓN DEL TRABAJO DE UN OBJETIVO EN EL PROYECTO DEL ARCA DE NOÉ Supervisión, Monitoreo y Evaluación Texto de Apoyo: Unidad IV LECTURA Nº 2 LOS SISTEMAS DE INFORMACIÓN DE LA EMPRESA Andreu R. Ricart J, Valor J. Estrategia y Sistemas de Información. Editorial Mc Graw Hill, IESE, Barcelona, 1996. RESUMEN Los autores de una manera didáctica nos muestran el rol de los sistemas de información en el logro de los objetivos de la gestión de nuestro establecimiento, siguiendo la lógica del manejo de una empresa. Para los autores el sistema de información de la empresa se encarga de coordinar los flujos y registros de información necesarios para llevar a cabo las funciones previstas en su plan operativo. Desde un punto de vista general, dichas funciones dan lugar a actividades de planificación, diseño y ejecución de acciones para conseguir objetivos y actividades de control. En ese sentido los autores plantean que el Sistema de Información es el conjunto formal de procesos que operando sobre una colección de datos estructurada de acuerdo a las necesidades de una empresa, recopila, elabora y distribuye la información necesaria para la operación de dicha empresa y para las actividades de dirección y control correspondiente, apoyando al menos en parte, la toma de decisiones necesaria para desempeñar las funciones y procesos de negocio de su empresa de acuerdo con su estrategia. Posteriormente los autores desarrollan el concepto de Cadena de valor para entender el desarrollo de las diversas actividades de una empresa, y como en su funcionamiento, todas las actividades, ya sean básicas o de soporte, generan información y su manejo permiten que todas esta actividades puedan relacionarse coordinadamente y apoyar su avance hacia los objetivos previstos por la empresa. A pesar de ello, los sistemas de información pertenecen a la infraestructura de la empresa, es decir sólo pueden ser vistos en el contexto general de la organización. Un aspecto que es de suma actualidad a nivel de los establecimientos de salud, es la interacción de los Sistema de Información con los diferentes sistemas de la organización y la misma estructura de la organización. Los autores remarcan que el Sistema de Información forma un conjunto que se supone coherente y coordinado con el resto del sistema que componen la infraestructura de toda empresa. Aquí enlazan con el concepto de equilibrio entre sistemas, es decir, cualquier cambio que se pretendía introducir en un elemento del conjunto producirá un desequilibrio que, a su vez alterará la marcha normal de los demás sistemas de la organización. Ello es importante en la medida que en nuestros establecimientos de salud, muchas veces solemos introducir con relativa facilidad cambios parciales en algunos componentes de nuestro sistema de información sin medir la consecuencias de ello. 343 Supervisión, Monitoreo y Evaluación En términos generales, esta lectura nos permite tener una visión clara de los procesos del establecimiento de salud, en términos de la gestión de una empresa y comprender el rol de los Sistemas de Información en la marcha de nuestro establecimiento. 2.1 INTRODUCCIÓN ¿Qué entendemos por Sistema de Información (SI) de una empresa? Es conveniente contestar sin ambigüedades esta pregunta antes de profundizar en aspectos importantes relacionados con los SI, su planificación, diseño y operación en las empresas y con las denominadas Tecnologías de la Información (TI), hoy por hoy imprescindibles para el funcionamiento de los SI. El binomio TI/SI será el foco de atención fundamental de este libro; en este capítulo y el siguiente delimitaremos el alcance de su significado para nuestros propósitos. En esta obra, al hablar de TI/SI, pondremos el énfasis en el punto de vista de empresa (o de negocio). Con ello queremos decir que nos interesarán más los aspectos ligados a cómo los SI de las empresas (y su implementación utilizando las TI) pueden contribuir activamente a la consecución de los objetivos de negocio de las mismas, que los aspectos que hacen referencia a pormenores técnicos ligados al detalle de cómo las TI deben utilizarse para hacer funcionar los SI de manera técnicamente correcta. No es que estos últimos sean irrelevantes; simplemente no es nuestra intención escribir un libro técnico. En definitiva estamos más interesados en la concepción de los SI que en su construcción utilizando las TI. La definición de SI que elaboramos en este capítulo permite deducir una serie de implicancias a tener en cuenta para trabajar seriamente en SI desde la perspectiva de negocio. La mayoría de tales aplicaciones tienen poco que ver con las TI; hacen referencia más bien a aspectos de dirección de los procesos de planificación, diseño y utilización de los SI y de cómo asegurar su coherencia con el planteamiento de negocio de la empresa en cada momento. 2.2 QUE ENTENDEMOS POR SI DE UNA EMPRESA La visión más intuitiva del SI de una empresa se obtiene simplemente observando cómo la información fluye de una parte a otra de la misma, y entre ella y su entorno. Existen flujos de información claramente observables porque corresponden a flujos físicos: Llega el pedido de un cliente (es decir, del entorno); alguien en ventas lo registra y manda una copia a almacén para que sea servido probablemente después de comprobar que el cliente en cuestión tiene crédito; en almacén se comprueba que exista stock disponible y en caso afirmativo se asigna al pedido, se prepara un albarán que se adjunta al pedido y se remite una copia del mismo a facturación: facturación prepara la factura correspondiente de acuerdo con las condiciones de precio, etc, acordadas con el cliente, etc. La descripción anterior es casi estándar para empresas comerciales; con pequeñas variaciones los trasiegos de información (pedidos, autorizaciones, albaranes, facturas, etc.) descritos se producirán casi rutinariamente, en todos los casos, Responden a tareas 344 Texto de Apoyo: Unidad IV básicas necesarias para llevar a cabo la actividad fundamental de una empresa comercial. Dichas tareas son necesarias simplemente para coordinar las acciones de carácter operativo; se trata de servir lo que el cliente pide y de acuerdo con las condiciones acordadas con él, de mantener los stocks al día para poder desarrollar funciones de compras y almacén con suficiente conocimiento de causa, etc. A menudo nos referimos a estas tareas básicas en el trasiego de información de una empresa como los procesos de transacciones. Casi siempre involucran el entorno de la empresa (los clientes, los proveedores, etc.) y registran las transacciones con objeto tanto de coordinar acciones como de disponer de una base de información en la que apoyar la toma de decisiones necesarias en el desempeño de la actividad empresarial en general. El mismo escenario descrito den los párrafos anteriores permite observar la necesidad de dicha base de información: Será necesario registrar las transacciones de pago por parte de los clientes si deseamos tener al día la información pertinente para tomar la decisión de conceder o no crédito a un cliente determinado que ha cursado un pedido concreto. Ya hemos mencionado también la necesidad de tener al día información de stocks para tomar las decisiones de compra, etc. De hecho, la necesidad de acceder a información está presente no sólo en la toma decisiones más o menos rutinaria u operacional como la descrita hasta ahora. Es necesario acceder a información relevante en todas las actividades que tienen lugar en el desempeño de las funciones y procesos de negocio de cualquier empresa, desde la planificación y definición de objetivos hasta el control de consecución de los mismos, pasando por el diseño y puesta en práctica de acciones encaminadas a conseguir los objetivos fijados. Consideremos, por ejemplo, la situación siguiente: Una actividad de planificación fija el objetivo de incrementar las ventas de una determinada familia de productos en cierta zona geográfica. Para llegar a esta conclusión ha sido necesaria una exploración sistemática de las transacciones de ventas, que ha resultado de la identificación de una cifra relativamente baja en la zona geográfica citada comparada con las ventas de otras zonas similares. A continuación el diseño de acciones encaminadas a la consecución del objetivo fijado necesita también acceder a información. Por ejemplo, pueden identificarse clientes de la zona de interés que en el pasado próximo han comprado relativamente poco de la familia de productos en cuestión, e identificar así un colectivo al que dirigir un esfuerzo comercial concreto. Para diseñar y ejecutar dicho esfuerzo comercial es necesaria información histórica de cada cliente del colectivo identificado. Finalmente, la actividad de control encaminada a asegurar que las acciones en marcha consiguen el objetivo necesita también información acerca de las ventas en la zona de interés y de las cifras objetivo vigentes en cada momento. En definitiva, es necesario acceder a información durante el proceso planificación-diseño-ejecución-control que está en el núcleo de toda actividad empresarial. Una primera visión de qué entendemos por SI en una empresa es fácil de obtener a partir de las descripciones anteriores. Se trata del sistema (uno más, de la misma categoría que otros más tradicionales, como el sistema de control o el de planificación, etc.) encargado de coordinar los flujos y registros de información necesarios para llevar a cabo las funciones de una empresa determinada de acuerdo con su planteamiento o estrategia del negocio. Desde un punto de vista general, dichas funciones dan lugar a actividades de planificación, diseño y ejecución de acciones para conseguir objetivos y actividades de control. Además, mucha información relevante para estas actividades puede obtenerse del registro de transacciones actividades operativas básicas de toda actividad empresarial, que a menudo involucran interacciones de la empresa con su entorno. 345 Supervisión, Monitoreo y Evaluación La figura 2.1 representa esquemáticamente lo dicho hasta ahora. En la realidad de las empresas ocurre que la función «diseño y ejecución de acciones para conseguir los objetivos fijados» tiene multitud de versiones, y así podemos hablar de acciones comerciales, acciones en el área de producción o en el área financiera, o en el contexto de procesos de negocio que requieren actividades en más de un área funcional (ver sección siguiente para una introducción al concepto de «proceso de negocio»). Dado que todas ellas deben ser diseñadas y ejecutadas (en particular en la tocante a su manipulación de información), la figura constituye una generalización razonable. Ahora estamos en condiciones de adoptar un tono más formal y proporcionar una definición de SI apta para los propósitos de este libro. Entendemos por SI «el conjunto formal de procesos que, operando sobre una colección de datos estructurada de acuerdo con las necesidades de una empresa, recopila, elabora y distribuye (parte de) la información necesaria para la operación de dicha empresa y para las actividades de dirección y control correspondientes, apoyando al menos en parte, la toma de decisiones necesaria para desempeñar las funciones y procesos de negocio de la empresa de acuerdo con su estrategia». Las partes de la definición en cursiva precisan cierta aclaración adicional. Así, la definición incluye solamente el SI formal, es decir la parte del mismo claramente definida, que toda empresa conoce y sabe cómo utilizar. Ello no quiere decir, ni mucho menos, que no se consideren importantes los SI informales. Simplemente se trata de reconocer la limitación que los SI informales son, por naturaleza, menos estudiables, menos planificables y, seguramente también, menos dirigibles, al menos desde un punto de vista cohesionado y global. Respecto a la colección de datos estructurada de acuerdo con las necesidades de la empresa incluida el SI y sobre la que opera, queremos decir que los datos manipulados, generados y almacenado en el SI deben reflejar la percepción que los mismos tienen las personas que los utilizan a diario para desempeñar sus responsabilidades en la empresa. De otro modo, el SI les «impondría» una estructura de datos «poco natural» que probablemente entorpecería dicho desempeño. Ello implica que el diseño de esa estructura lo que acabará siendo la base de datos del SI deberá reflejar dicha percepción. Para conseguirlo es imprescindible que dichas personas participen activamente en el diseño de la estructura de datos en cuestión. En definitiva, la base de datos es un componente muy importante de todo SI. La referencia a las operaciones y a la toma de decisiones necesarias en las actividades de dirección y control trata de enfatizar el hecho de que no sólo existen necesidades de información para coordinar acciones operativas, sino también para ayudar a tomar decisiones y para ejercer el control que se considere adecuado en cada caso. Finalmente, la definición hace referencia a funciones, procesos y estrategia de negocio. Con ello se pretende decir explícitamente que el SI de una empresa debe estar al servicio de su enfoque de negocio. Al fín y al cabo, el SI es solamente uno más de los elementos que la empresa diseña y utiliza para conseguir sus objetivos, y es, por tanto, imprescindible que se coordine de manera explícita con ellos. Pensar en términos de funciones y procesos de negocio resulta útil para conseguir esta coordinación, ya que dichas funciones y procesos están en la raíz de la existencia no sólo del SI, sino de los demás sistemas con los que precisamente su coordinación es imprescindible. Este tema se trata más a fondo en los apartados siguientes. 346 Texto de Apoyo: Unidad IV FIGURA 2.1: EL PAPEL DEL SI EN LAS EMPRESAS En definitiva, la definición propuesta se centra fundamentalmente en el para qué del SI, más que en el cómo o el qué. Las empresas necesitan que determinada información fluya para coordinar sus acciones operativas, y que otra información llegue a tiempo y organizada adecuadamente para que los decisores tomen sus decisiones con el máximo conocimiento de causa posible, y para que quienes tienen la responsabilidad de controlar las distintas actividades puedan hacerlo en el momento en que se detecte la primera desviación relevante entre lo previsto y lo real. Y todo ello para llevar a cabo las funciones y procesos de negocio que la empresa les ha encomendado, de manera coherente con los objetivos de la misma. Además, cómo veremos más adelante, en ocasiones la propia estrategia de negocio de una empresa puede contar con el SI como parte activa de la misma, de modo que el SI puede también utilizarse para conseguir ventajas competitivas. 2.3 EL SI Y LA CADENA DE VALOR Para acabar de conceptualizar el papel del SI en la empresa, sobre todo en lo tocante a su interacción con las distintas actividades que se llevan a cabo en la misma, es útil el concepto de cadena de valor. Popularizado por Porter (Porter, 1985), su esquema básico se reproduce en la Figura 2.2. 347 Supervisión, Monitoreo y Evaluación No pretendamos aquí discutir a fondo el concepto de cadena de valor. Nos interesa solamente como esquema puramente descriptivo de las actividades de una empresa. En contraste con la Figura 2.1, el concepto de cadena de valor distingue entre dos tipos de actividades básicas en toda empresa: Las «de línea» o «básicas», normalmente representadas en la parte inferior del esquema y que tienen que ver directamente con la creación de valor, y las «de soporte», en las que las anteriores se apoyan para coordinarse, compartir información, etc. En la Figura 2.2 una de las actividades de soporte se denomina infraestructura de la empresa. De acuerdo con la definición de SI del apartado anterior, el SI de una empresa forma parte precisamente de dicha infraestructura. De ello se deduce explícitamente algo que estaba implícito en el apartado anterior: Todas las actividades «de línea» de la cadena de valor precisan apoyo basado en el SI. Finalmente es importante adelantar algo no explícitamente representado en la Figura 2.2., pero que se intuye: Dado que las distintas actividades de soporte «se apoyan entre sí» se llega a la conclusión de que el SI está llamado a interaccionar con todas las demás actividades de cualquier empresa, ya sean básicas o de soporte, y además en grado no trivial. FIGURA 2.2 ESQUEMA GENÉRICO DEL CONCEPTO DE CADENA DE VALOR La Figura 2.2.-a es más explíçita y resume la discusión del párrafo anterior: Todas las actividades de la cadena de valor, ya sean básicas o de soporte, necesitan y generan información. El SI recopila la información que, generada por las distintas actividades, es luego necesaria para el funcionamiento de otras. El propio SI distribuye dicha información a cada actividad. Desde esta perspectiva, el SI juega un importante papel de coordinación entre las distintas actividades de la cadena de valor a todos los niveles. Ello incluye tanto coordinación de actividades básicas entre sí (por ejemplo hacer llegar los pedidos a producción en una empresa que fabrica sobre pedido) como entre actividades básicas y de soporte (cualquier actividad de control es buen ejemplo de esto), y también de actividades de soporte entre sí (por ejemplo, seguimiento del personal adscrito a actividades de soporte). Consecuentemente, el SI juega un papel central en el buen funcionamiento de estas interacciones entre actividad de la cadena de valor. 348 Texto de Apoyo: Unidad IV La relevancia del SI es también notable en el contexto de lo que se ha venido en llamar vínculos entre actividades de la cadena de valor, entendidos como influencias mutuas y a veces indirectas entre actividades. Por ejemplo, la recopilación sistemática de reclamaciones de clientes por parte del SI puede facilitar la orientación del control de calidad que se lleve a cabo durante la actividad de fabricación (operaciones). En general, los vínculos entre actividades de la cadena de valor pueden ser explotados a través del SI para sacar el máximo provecho de los mismos, lo cual exige la adopción de un punto de vista global. En casos extremos, los vínculos entre actividades pueden explotarse hasta el punto de reconfigurar la propia cadena de valor, dando lugar a nuevos enfoques para un mismo negocio e incluso a notables ventajas competitivas. Por todo ello el SI influye directamente no sólo en el funcionamiento de las empresas, sino también y modo más fundamental en el diseño de las estructuras en las que se basa dicho funcionamiento, es decir, en el diseño de la organización propiamente dicha. La idea subyacente en el párrafo anterior no es muy distinta de la que recientemente se ha denominado «reingeniería de procesos de negocios» (Hammer y Champy, 1993), (Andreu, Ricart y Valor, 1995), entendiendo por proceso de negocio, de hecho, un conjunto de actividades relacionadas a través de vínculos susceptibles de ser mejorados radicalmente, en particular con la ayuda de las TI. Aunque la estricta definición de «proceso de negocio» no es exactamente la anterior, su espíritu coincide con aquella, añadiendo a la misma matices importantes, como el hecho de que cualquier proceso de negocio debe tener un «cliente» claramente identificado, que aprecia lo que el proceso produce y está dispuesto a pagar por ello. Una referencia más detallada al concepto de reingeniería de procesos de negocio se incluye más adelante en la Sección 3.6 Finalmente notemos que el SI recopila y distribuye la información necesaria para tomar decisiones o implementar acciones en las distintas actividades de la cadena de valor cuando dicha información se genera en otras actividades de la cadena. Por ejemplo, información de ventas puede ser relevante para tomar decisiones referentes al servicio posventa; incluso puede resultar útil para diseñar el tipo de acciones de servicio más conveniente en un momento determinado. Otro ejemplo es la información generada en las actividades básicas que es luego relevante para la dirección de recursos humanos, etc. La conceptualización de un SI como parte integrante de la infraestructura de empresa es una consecuencia directa de las reflexiones que acabamos de hacer: La información que dicho sistema maneja, aunque generada o utilizada por actividades concretas, no pertenece a ninguna actividad en particular; pertenece a la empresa considerada globalmente. La Figura 2.2.-a es también útil para acabar de perfilar el concepto del SI en un aspecto que a menudo conduce a confusión, sobre todo cuando de trata de planificar un SI. Es el siguiente: Independientemente del grado de definición con que se describan las distintas actividades de la cadena de valor, es siempre posible que las mismas precisen elaborar, tratar y utilizar volúmenes importantes de la información en un grado de detalle que nadie más en la empresa necesite. Cuando se da esta circunstancia puede decirse que existen sistemas o subsistemas de información circunscritos a actividades concretas que, estrictamente hablando, no forman parte del SI discutido hasta ahora. Si, como ocurre a menudo, estos subsistemas son susceptibles de ser implementados también con la ayuda de las tecnologías de la información, es fácil caer en la confusión de considerarlos parte del SI «básico», es decir, del SI que forma parte de la infraestructura de empresa en el esquema de la Figura 2.2.-a. 349 Supervisión, Monitoreo y Evaluación FIGURA 2.2-a EL SI EN EL CONTEXTO DE LA CADENA DE VALOR Por ejemplo, dado que se utilizan ordenadores para gobernar las máquinas herramienta de una planta de producción, a veces se considera que los programas que funcionan en dichos ordenadores son parte del SI, con lo cual la inversión correspondiente debe planificarse al mismo tiempo que se planifica el SI. Algo parecido ocurriría con los ordenadores instalados en una refinería para controlar las operaciones de producción un tiempo real. Es evidente que estos procesos de información a pesar de ser tales y de poder implementarse con la ayuda de la informática, están circunscritos a una actividad muy concreta en la cadena de valor, con lo que lo razonable es planificarlos, diseñarlos, financiarlos y utilizarlos desde la perspectiva de dicha actividad, como se haría por ejemplo con un torno o un horno si fueran necesarios en las operaciones productivas de la empresa. Conviene concretar un poco más qué entendemos por «subsistemas circunscritos a una actividad muy concreta de la cadena de valor», ya que, de lo contrario, la frase resulta ambigua. Lo fundamental es que dichos subsistemas sean lo más independientes posibles de la información que otras actividades utilizan o necesitan, ya sea en forma de inputs o de outputs. Así, por ejemplo, el proceso de contabilidad, que el departamento correspondiente puede considerar muy circunscrito al mismo, de hecho no lo es en absoluto, ya que todos los apuntes se generan en otras áreas de la empresa. Lo anterior no quita, por supuesto, que estos subsistemas de información circunscritos a actividades concretas de la cadena de valor puedan utilizar o generar información relevante para otras actividades, mientras lo hagan en volúmenes relativamente poco importantes. Si es así, acabarán teniendo interfases claras con el SI Básico, la Figura 2.2-b esquematiza esta situación. 350 Texto de Apoyo: Unidad IV FIGURA 2.2-b COEXISTENCIA DE SISTEMAS DE INFORMACIÓN CIRCUNSCRITOS A ACTIVIDADES CONCRETAS DE LA CADENA DE VALOR CON EL SI «BÁSICO» Es importante darse cuenta de que lo que acabamos de discutir depende del grado de detalle con que se describan las actividades de la cadena de valor. En efecto, si el nivel de detalle aumenta, con más probabilidad existirán subsistemas que afectarán a más de una actividad. En cada caso, sin embargo, acostumbra a estar claro que constituye un grado de detalle razonable; por ejemplo, difícilmente es relevante, desde la perspectiva de SI, considerar cada operación elemental de producción de una refinería como una actividad de la cadena de valor. FIGURA 2.2-c SI LOS SUBSISTEMAS DE INFORMACIÓN PARTICULARES AFECTAN A VARIAS ACTIVIDADES LLEGAN A CONFUNDIRSE CON EL SI BÁSICO. La Figura 2.2-c utiliza los esquemas empleados hasta ahora para ilustrar otra circunstancia que puede darse en el terreno de los SI. Si los subsistemas de información propios de determinadas actividades de la cadena de valor se solapan de tal manera que varias de 351 Supervisión, Monitoreo y Evaluación ellas acaban coordinándose (o, en general, influenciándose notablemente vía interrelaciones) a través de dichos subsistemas, su conjunto puede considerarse, de hecho, parte del SI básico. Esta circunstancia se da con frecuencia en empresas donde el manejo de información es central para su actividad, por ejemplo bancos o compañías de seguros. El SI, en consecuencia, es de una importancia capital en estos casos. Finalmente, la Figura 2.2-d muestra una situación también posible en empresas del tipo de la que acabamos de mencionar. Subsistemas circunscritos a actividades concretas pueden todavía coexistir con el SI básico, aunque este último tenga una parte importante en contacto directo con una serie de actividades de la cadena de valor. FIGURA 2.2-d EL CASO DE LA FIGURA 2.2-c PUEDE TAMBIÉN CONTENER SUBSISTEMAS CIRCUNSCRITOS A ÁREAS CONCRETAS De ahora en adelante, por SI entenderemos el concepto de SI «básico» que la discusión anterior ha delimitado. Cuando queramos referirnos a todos los subsistemas, incluyendo aplicaciones específicas de las TI a actividades concretas, utilizaremos el término TI/SI. 2.4 EL SI Y LOS DEMAS SISTEMAS DE LA EMPRESA Habiendo delimitado el concepto de SI es interesante profundizar en las interacciones del mismo con los demás sistemas de la empresa. En los apartados anteriores hemos centrado la discusión alrededor del concepto del SI, y, si bien hemos procurado no perder la perspectiva de empresa, hemos hecho abstracción de los demás sistemas que existen de la misma. Al final, el SI debe ser coherente y debe coordinarse con todos ellos, ya que conjuntamente forman la «infraestructura de la empresa» diseñada en función de los objetivos que se pretende alcanzar. En este apartado ponemos el SI explícitamente en el contexto del conjunto de sistemas organizacionales que componen la infraestructura mencionada. Así se obtiene una perspectiva más global que completa el concepto de SI desarrollado hasta ahora. La Figura 2.3, tomada de (Hax y Majluf, 1984), representa la estructura interna de lo que en la Figura 2.2 se denomina «infraestructura de la empresa» y es de utilidad para este propósito. 352 Texto de Apoyo: Unidad IV Existen varios aspectos de la Figura 2.3 que merecen ser comentados con atención dados los objetivos de esta obra. En primer lugar, los SI son parte integrante del conjunto que configura la infraestructura (de hecho la Figura 2.3 incluye bajo este nombre todos los SI, incluyendo los informales, de los que hemos prescindido más arriba). Segundo, hay que entender que la Figura 2.3 quiere indicar una interdependencia directa total entre todos los sistemas representados en ella por ejemplo, no hay que entender que el SI y el sistema de control son interdependiente solamente a través de la estructura organizativa, sino que lo son también directamente, como el SI y el sistema de planificación . Finalmente, y de manera central, es muy importante retener que el SI forma un conjunto que se supone coherente y coordinado con el resto de sistemas que componen la infraestructura de toda empresa. FIGURA 2.3 SISTEMAS DE LA EMPRESA QUE CONFIGURAN SU INFRAESTRUCTURA (ADAPTADO DE HAX Y MAJLUF, 1984) La existencia del conjunto de la Figura 2.3 es de importancia capital para complementar el contexto en el que deben entenderse los SI. El conjunto de sistemas se supone coherente, tanto internamente como con los objetivos que la empresa a la que pertenecen de ha fijado y a cuya consecución deben contribuir explícitamente. Esta doble coherencia tiene varias implicaciones. Por un lado, la coherencia interna implica que para respetar las interdependencias entre los distintos sistemas se establezcan un «equilibrio». Conseguir este equilibrio no es fácil, pero con frecuencia se alcanza a base de sucesivos ajustes que suponen la asunción de compromisos entre los objetivos de los distintos sistemas implicados. Por otro lado, la coherencia de los distintos sistemas con los objetivos de la empresa a la que pertenecen implica que el diseño de aquellos no sea independiente de éstos, es decir, que los objetivos de la empresa deben tenerse en cuenta explícitamente a la hora de definir los distintos sistemas. 353 Supervisión, Monitoreo y Evaluación El concepto de equilibrio entre sistemas que acabamos de introducir es muy importante. En efecto, cualquier cambio que se pretenda introducir en un elemento del conjunto producirá un desequilibrio que, a su vez, pondrá en marcha un proceso de «retorno al equilibrio» con potenciales implicaciones para el resto de sistemas. En definitiva, una conclusión es que difícilmente se conseguirá introducir cambios en un elemento (en particular en el SI) si no se tienen explícitamente en cuenta las implicaciones de los mismos para los demás sistemas del conjunto es decir, de la infraestructura de la empresa. En consecuencia, los cambios que realicemos deberían ser muy equilibrados de manera que los desajustes producidos en el conjunto sean mínimos o muy modestos y espaciados en el tiempo para que la propia tendencia del conjunto al equilibrio pueda resolver el problema de motu propio. La mejor estrategia para introducir cambios dependerá de cada empresa y del equilibrio correspondiente vigente en cada momento, al que no son ajenos, como indica la Figura 2.3, aspectos humanos, tanto individuales como de grupo. 2.5 RESUMEN De la definición de SI dada en este capítulo se deducen una serie de conclusiones que conviene resumir para tener una visión sintética del objeto de esta obra. La idea fundamental es que el SI es un sistema más al servicio de una empresa y de sus objetivos, y que, por tanto, no es, en absoluto, independiente de esos objetivos. La Figura 2.1 pone claramente de manifiesto que se trata de proporcionar la información necesaria para desempeñar las responsabilidades que las distintas funciones y procesos de negocio implican; estas funciones de negocio son en cada caso las necesarias para que la empresa alcance sus objetivos, o si se quiere, para seguir una estrategia de negocio determinada. En definitiva, el SI de una empresa no es independiente de su estrategia, ya que debe contribuir a ponerla en práctica, y con tal objetivo debe ser planificado y diseñado. Como veremos en capítulos siguientes, además, el SI puede diseñarse después de la estrategia de negocio, o al mismo tiempo que la misma. Los procedimientos adecuados son distintos para uno u otro caso; la necesidad de adoptar unos u otros depende de cada situación concreta y de lo que se pretenda conseguir con el SI y con las TI, ya sea un simple apoyo pasivo a la estrategia o un elemento activo de la misma. Puede distinguirse entre el SI que hemos denominado «básico» y otros subsistemas de información, circunscritos a actividades concretas, que normalmente interaccionan con aquel, aunque de manera poco intensa. Desde un punto de vista de planificación y diseño es el SI básico el que presenta más dificultades. El hecho de formar parte de la infraestructura de empresa, que no puede considerarse perteneciente a ninguna unidad organizativa ni actividad determinada, impone la necesidad de adoptar un punto de vista global al hablar de SI básico. Esta conclusión es coherente con la anterior e implica que las decisiones referentes a planificación y diseño de SI deben tomarse desde ese punto de vista. Finalmente, el SI es interdependiente con los demás sistemas componentes de la infraestructura de empresa. Con estos sistemas el SI forma en cada momento un conjunto equilibrado cuya armonía depende no sólo del SI. De nuevo esto implica la necesidad de adoptar una considerable amplitud de miras al hablar de SIs, más extensa, en cualquier caso, que la estrictamente circunscrita a ellos. 354 Texto de Apoyo: Unidad IV LECTURA Nº 3 ILUSTRE GRÁFICAMENTE EL PROGRAMA DE TRABAJO Randolp W. Posner B., Gerencia de Proyectos. Cómo dirigir exitosamente equipos de trabajo. Editorial Mc Graw Hill, Bogotá, 1993 RESUMEN Respecto a la posibilidad de ilustrar gráficamente nuestro programa de trabajo, los autores plantean lo siguiente: 1. Dos métodos comunes y eficaces, utilizados para graficar planes operativos y mantenerlos dentro del programa de trabajo, son los gráficos de barras y los diagramas de flujo. 2. Los gráficos de barras proveen una rápida visión general de la marcha del plan operativo y permiten que los miembros del equipo puedan monitorear fácilmente sus avances. 3. Los diagramas de flujo son más complejos que los gráficos de barras. Ayudan a identificar y a manejar el flujo secuencial de las actividades críticas del plan operativo. 4. Trabajando con gráficos de barras y con diagramas de flujo es posible visualizar el desarrollo del plan operativo y su empleo durante el desarrollo del mismo es un elemento eficaz de apoyo. Sin embargo de acuerdo a los autores, los medios de visualización, sólo son instrumentos, es decir, sólo tienen valor en la medida que sean un facilitador para la toma de decisiones y para resolver eventualidades, muchas veces, creemos que estos instrumentos expresados en salas de situación tienen valor por sí mismos y perdemos de vista el punto central de nuestro trabajo: el plan operativo del establecimiento. Los autores concluyen el capítulo con una excelente aproximación al uso de programas de ordenador aplicados a la gestión. 355 Supervisión, Monitoreo y Evaluación Una imagen vale más que mil palabras Hasta ahora hemos explorado todo el proceso necesario para ensamblar su plan. Infortunadamente, a muchos de nosotros no nos gusta hacer programas y esto disminuye la efectividad tanto del proyecto como del grupo. Un programa de trabajo, que en realidad represente gráficamente lo que es el proyecto, puede hacer que el ensamblaje del mismo sea algo más gratificante, al mismo tiempo que le da a ese proyecto un fuerte impulso. Los estudios han demostrado que las personas de éxito se esfuerzan por organizar su tiempo y sus actividades; se aseguran de que su comportamiento concuerde con sus metas. Hacer lo mismo cuando se trata de proyectos le ofrece siete ventajas: 1. Usted tendrá un plan más realista, una imagen más precisa de lo que puede suceder a medida que avanza el proyecto. 2. Usted tendrá una mayor capacidad para pronosticar los pasos que siguen. 3. Usted sabrá dónde concentrar su atención para asegurarse de que el proyecto se mantenga dentro del programa de trabajo y del presupuesto. 4. Usted podrá anticipar los cuellos de botella y demás problemas de coordinación antes de que presenten, de manera que podrá tomar correctivos antes de que se conviertan en algo grave. 5. Usted tendrá una valiosa herramienta que permitirá aumentar la coordinación y la comunicación entre las personas que participan en el proyecto. 6. Usted contará con una herramienta útil para fortalecer el compromiso, pues permite identificar responsabilidades y fechas límite y crear conciencia de las interdependencias. 7. Usted dispondrá de una herramienta guía que llevará a completar los proyectos a tiempo dentro del presupuesto y acude con las normas de calidad. Para obtener lo máximo de sus esfuerzos de planificación usted debe crear una gráfica del proyecto que está ensamblando. Debe captar toda la información generada en el proceso de planificación en un programa que sea fácil de entender y fácil de usar. Para lograr esto, de una manera efectiva, debe dar al proyecto que esta ensamblando un impulso (un programa de trabajo) que lo haga moverse. Los programas de trabajo son de dos tipos básicos: gráficos de barras y diagramas de flujo. Gráficos de barras Los gráficos de barras (también llamados gráficos de Gantt) han demostrado su utilidad una y otra vez. Son sencillos de trazar y aún así contienen una gran cantidad de información sobre el plan del proyecto. Dan una visión general muy útil y constituyen una herramienta ágil para supervisar el progreso del proyecto. Son igualmente útiles para los contingentes de trabajo. Un gráfico de barras tiene tres partes básicas: una línea de tiempo, un listado de actividades y una barra para cada actividad (cuya longitud representa el tiempo estimado para desarrollarlas). En la parte superior se enuncia la meta. La figura 4-1 muestra un gráfico de barras, parcial, para el arca de Noé. 356 Texto de Apoyo: Unidad IV Los gráficos de barras ofrecen una representación visual de las actividades, eventos y mojones fácil de leer (la línea de cada barra anuncia la culminación de una actividad). La longitud de las barras es proporcional al tiempo estimado para la ejecución de cada actividad. Por ejemplo, se calcula que armar los soportes verticales tomará 14 días, por tanto la barra es el doble de la que representa sellar las uniones de los tablones, que se estima tomaría siete días. El gráfico de barras también muestra la secuencia de la actividades: aquellas que deben hacerse antes que otras y las que pueden o deben hacerse simultáneamente. En ese gráfico para el arca de Noé, clavar los tablones laterales debe ejecutarse antes de sellar las uniones de los tablones, pero armar los soportes verticales y armar los soportes horizontales puede hacerse al mismo tiempo (en la medida en que haya suficientes recursos para hacerlo). El dicho popular según el cual Una imagen vale más que mil palabras es definitivamente cierto en el caso de los gráficos de barras. Este tipo de gráfico transmite muy rápidamente una cantidad considerable de información respecto del proyecto. Normalmente, un gráfico de barras se presenta en una sola hoja de manera que de un solo vistazo puedan observarse todo el proyecto y su lista de actividades. En la medida en que la totalidad del proyecto pueda verse, también podrá verse en forma gráfica la meta del proyecto. Los gráficos de barras dan una rápida visión global del proyecto Un gráfico de barras de un proyecto completo conjuga muchas actividades y sólo muestra los eventos y mojones de mayor importancia. Con el fín de dar una visión más detallada, se elabora un gráfico de barras por cada objetivo, lo que permite definir las tareas de los diversos grupos o individuos que integran el equipo de un proyecto o de un contingente de trabajo. Por ejemplo, en el proyecto del arca, Sem, el hijo de Noé, construye los soportes verticales y los maderos laterales y además corta la entrada de la rampa. Un gráfico de barras de estas actividades le ayudará a saber qué hacer y cuándo hacerlo. Un gráfico de barras de estas actividades le ayudará a saber qué hacer y cuándo hacerlo. Estos gráficos adicionales ayudan a coordinar los esfuerzos de diferentes personas o grupos que trabajan en los diversos objetivos. Esto permite que empiecen a aparecer los puntos importantes de intersección. También puede utilizarse el gráfico de barras para analizar las situaciones de "¿qué sucedería si...?" y determinar cuál es el mejor plan para el proyecto. Es fácil mover las barras por todo el gráfico y jugar con diferentes opciones o elaborar planes de contingencia para ocasiones en las que "algo pueda salir mal". Además, puede trazarse un gráfico de barras para supervisar el avance del proyecto y tener una fuente importante de retroalimentación para los miembros del grupo. Una forma común de hacerlo es coloreando las barras de una manera que refleje el porcentaje de la actividad que ha sido ejecutado. Déle una mirada al gráfico de barras del proyecto del arca (véase figura 4.2). La flecha A en la línea de tiempo indica la fecha actual. Combinada con la parte oscurecida de la actividad "armar los soportes verticales", es una indicación clara de que el proyecto está dentro del tiempo programado. Si la parte oscurecida se extiende hacia la derecha, más allá del punto A, como en el caso de "armar los soportes horizontales ", significa que está adelantado con respecto al tiempo programado. Si la parte sombreada no alcanza a llegar al punto A, quiere decir que está retrasado con respecto al tiempo. Uno puede ubicarse de un solo vistazo si tiene un programa de trabajo. Cuando el desarrollo del 357 Supervisión, Monitoreo y Evaluación FIGURA 4.1: SECCIÓN DE UN GRÁFICO DE BARRAS DEL PROYECTO PARA EL ARCA DE NOÉ FIGURA 4.2: GRÁFICO DE BARRAS QUE MUESTRA UN PROYECTO PARCIALMENTE TERMINADO 358 Texto de Apoyo: Unidad IV proyecto va de acuerdo con el programa de trabajo o está adelantado, hay que celebrarlo; pero si está retrasado, es el momento de resolver el problema. Y en la medida en que el gráfico de barra permita vislumbrar las fallas a tiempo, es más fácil resolverlas. También puede elaborarse un gráfico de barras para representar el presupuesto del proyecto, los requerimientos de personal, el equipo necesario o la asignación de otros recursos. En lugar de escribir los nombres de las actividades en el margen izquierdo, pueden anotarse los nombres de las personas, de los departamentos o de los elementos de maquinaria o los equipos. Utilizar así el gráfico de barras le evitará sobredimensionar el personal o los equipos en el momento de la planeación. El gráfico de barras puede emplearse para seguir de cerca la ejecución real del presupuesto o de cualquier otro recurso utilizado y compararlo con lo que se había planeado. Recuerde que lo deseable es que desarrolle sus proyectos dentro del tiempo y con las normas de calidad establecidos, pero manteniéndose dentro del presupuesto. Mantener actualizado el gráfico de barras durante el avance del proyecto y examinar las preguntas de "¿Qué sucedería si...?" pueden convertirse en algo tedioso si en cada oportunidad hay que rediseñar el gráfico. Afortunadamente, para resolver este problema se han desarrollado muchos programas de computador. Una vez esté disponible el listado de actividades, sus relaciones y estimativos de tiempo, se da la información al computador y éste se encarga de hacer el gráfico de barras. Para actualizar el gráfico, simplemente se digita la nueva información. Pero, ¡no hay que entretenerse tanto con el computador como para olvidarse del proyecto! Más adelante en este capítulo analizaremos cuáles son los programas de computador apropiados para sus necesidades. DIAGRAMAS DE FLUJO Otro método gráfico para el programa de trabajo de un proyecto es el diagrama de flujo, también llamado CPM (Método de la ruta crítica*) o PERT (Técnica para evaluación y revisión del programa**). Los diagramas de flujo se desarrollaron a comienzos de la década de los años cincuenta. Son un poco más complejos de elaborar que los gráficos de barras. No son tan claros como ellos para explicar el proyecto global y la ubicación actual; pero sí son extremadamente útiles para identificar y administrar el flujo secuencial de actividades críticas de un proyecto. Como el gráfico de barras, el diagrama de flujo tiene tres componentes básicos: flechas que representan las actividades, pequeños círculos que señalan los eventos o mojones y anotaciones que indican los estimativos de tiempo. La figura 4.3 ilustra un diagrama de flujo parcial para el arca de Noé (los puntos blancos son los eventos y los oscuros los mojones). El "flujo de actividades" es fácilmente identificable en un diagrama de flujo ( aún más que en un gráfico de barras). Por ejemplo, es muy claro que los soportes horizontales y verticales deben estar terminados antes de que puedan clavarse los tablones laterales, mientras que los soportes pueden construirse simultáneamente (véase la figura 4.3). Además, con el diagrama de flujo se tiene un control más fácil de las actividades, eventos, mojones y estimativos de tiempo. Esos diagramas pueden utilizarse para mostrar la secuencia de actividades en proyectos que literalmente tengan centenares de ellas. Una ventaja del diagrama de flujo en relación con el gráfico de barras es que el primero puede mostrar fácilmente las secuencias de todas las actividades. Asimismo, los diagramas de flujo muestran más claramente los puntos de intersección de una actividad con otras. Este aspecto es muy importante cuando dos personas diferentes ejecutan dos actividades que se cruzan. Puede mejorarse considerablemente la coordinación utilizando este tipo de gráfica para el programa de trabajo. 359 Supervisión, Monitoreo y Evaluación FIGURA 4.3: SECCIÓN DE UN DIAGRAMA DE FLUJO PARA EL ARCA DE NOÉ *CPM = Critical Path Method **PERT = Program Evaluation and Review Technique Los diagramas de flujo muestran claramente las secuencias de todas las actividades Otra ventaja del diagrama de flujo es que puede determinarse fácilmente la secuencia de actividades más prolongadas agregando el tiempo estimado a lo largo de la ruta. La secuencia más larga es la llamada "ruta crítica" porque cualquier demora en ella implica el retraso de todo el proyecto. La longitud de la ruta crítica determina la cantidad mínima de tiempo requerida para desarrollar el proyecto, puesto que antes de llegar a la meta deben haberse completado todas las demás secuencias. La ventaja de un diagrama de flujo es que permite coordinar un proyecto con centenares de actividades; de todas maneras como es difícil elaborarlo en estos casos, se diagraman secciones separadas por bloques de tiempo. También hay programas de computador disponibles para construir y manipular diagramas de flujo, lo que significa considerablemente su utilización. CÓMO TRABAJAR CON GRÁFICOS DE BARRAS Y DIAGRAMAS DE FLUJO En proyectos medianos, y grandes, generalmente se utilizan programas de computador para diagramar tanto los gráficos de barras como los diagramas de flujo. Los diagramas de flujo sirven para la planeación y la ejecución diarias del trabajo del proyecto. La visión global que da el gráfico de barras se utiliza para coordinar e integrar los objetivos individuales dentro de las metas generales del proyecto y para supervisar el presupuesto y la distribución de recursos. Por ejemplo, al construir el arca, Noé podría haber utilizado un diagrama de flujo del proyecto completo y haber entregado partes de él en forma de gráficos de barras a los carpinteros, los encargados de buscar los animales, los que suministraban la comida y demás. También habría encontrado útil un gráfico de barras 360 Texto de Apoyo: Unidad IV cuando le presentaba a Dios evaluaciones sobre el progreso del arca. No es raro ver gerentes de proyectos que utilizan estos dos tipos de gráficos para maximizar su efectividad. Y la mayor parte de los programas de computación sacan ambos tipos de gráficos a partir de la misma información. Asimismo, permiten presupuestar y seguirle el paso al uso de los recursos en cada actividad. El diagrama de flujo, lo mismo que un gráfico de barras, puede utilizarse para hacer el análisis de "¿qué pasa si...?" y de esa manera determinar el mejor plan para un proyecto. Es posible elaborar diferentes diagramas que representen las formas alternativas de llevar a cabo un proyecto. También pueden agregarse los estimativos de tiempo de cada ruta y así determinar la ruta crítica. El análisis de "¿qué pasaría si...?" podría permitirle desarrollar el proyecto en un tiempo más corto del inicialmente programado. Los restaurantes Denny's usaron estas técnicas para reducir de manera considerable el tiempo de remodelación de sus locales. Normalmente la remodelaciones tomaban seis meses. Pero después de comprar 150 locales de otras cadenas de restaurantes, la dirección de Denny's concluyó que no podrían demorarse tanto tiempo en cada remodelación. Elaborando los gráficos (de barras y el diagrama de flujo) de la remodelación, y trasladando las flechas y los cuadros a diferentes posiciones, pudieron analizar los "¿qué pasaría si...?" y reducir el tiempo de ejecución en más del 50%. Los análisis de "¿qué podría salir mal?", utilizando un diagrama de flujo, pueden ayudarle a determinar el impacto que el retraso de cualquier actividad tendrá sobre el proyecto (o sobre el contingente de trabajo). Para determinarlo, simplemente se aplica el retraso a todo el proyecto. A menudo, el efecto de los retrasos en la terminación del proyecto es mínimo puesto que a éste únicamente lo afectan las demoras en la ruta crítica. Las otras rutas son más flexibles en la medida en que sus tiempos totales estimados son menores que el de la ruta más larga. De cualquier manera, es bien cierto que demasiados retrasos en una ruta no crítica pueden convertir esa secuencia en la ruta crítica. La figura 4.4 ilustra la manera como un diagrama de flujo parcial para el arca de Noé puede ayudar a manejar un proyecto. De las siete rutas posibles que aparecen en el diagrama de flujo, la que se muestra con las flechas más oscuras es la más larga (49 días). Esta parte del proyecto no puede terminarse antes de 49 días. Las demás son más cortas y por tanto tienen más holgura de tiempo (tiempo sobrante). Por ejemplo, se necesitan 22 días para la secuencia que empieza con "armar los soportes horizontales", pasa por "armar y hacer el montaje de los tablones laterales", y termina en "abrir la rampa". Esto quiere decir que en esta ruta pueden tolerarse retrasos de hasta 27 días (4922) sin que se retrase la fecha de terminación del proyecto. Observe también la actividad representada por la línea de puntos y que conecta "sellar las uniones de los tablones" con "cortar la abertura de la rampa". No tiene nombre ni hay descripción de tiempo. Se llama "actividad nominal" y es necesaria para mostrar las relaciones que se dan en casos especiales. Aquí, por ejemplo, "cortar la abertura de la rampa" depende tanto de "armar y montar las barandas laterales" como de "sellar las uniones de los tablones", pero "clavar las vigas de soporte del fondo", sólo depende de "sellar las uniones de los tablones". Las actividades nominales permiten aclarar este conjunto de relaciones. 361 Supervisión, Monitoreo y Evaluación FIGURA 4.4 MUESTRA DE UN DIAGRAMA DE FLUJO Con el diagrama de flujo de la figura 4.4 puede calcularse la fecha más temprana posible en que se puede empezar, al igual que el momento más tardío en que puede iniciarse cada actividad, para mantenerse dentro del tiempo programado. Si se asignan tiempos a las actividades que hay en una ruta que va de izquierda a derecha, se obtienen las fechas de iniciación más tempranas. Por ejemplo, si se suman los 14 días de la "actividad a", los 14 días de la" actividad c" y los siete días de la "actividad d", se sabrá que la fecha más temprana para iniciar la "actividad f" es en 35 días. Con los programas de computación puede hacerse este mismo cálculo, que provee información valiosa para el manejo del proyecto. Para calcular la fecha más tardía en que puede iniciarse cada actividad (y que el proyecto se mantenga dentro de los límites de tiempo) se trabaja en el gráfico en dirección contraria (de derecha a izquierda), restando del tiempo total del proyecto los tiempos de cada actividad. Por ejemplo, dijimos que la ruta crítica de este proyecto era de 49 días. Restándole los dos días de la "actividad k", siete de la "actividad h" y el día de la "actividad f", sabremos que la fecha más tardía para iniciar la "actividad fí es en 39 días. Dado que la fecha más temprana para iniciar esta actividad es en 35 días, deducimos que su margen de flexibilidad es de 4 días. Para las actividades implicadas en la ruta crítica del proyecto del arca, estos cálculos darán cero días de flexibilidad. Para un mejor manejo del proyecto, puede obtenerse información útil haciendo estos estimativos para todas las actividades del diagrama. Ciertamente, estos cálculos pueden resultar tediosos y consumir mucho tiempo. Afortunadamente hay programas que son de gran ayuda y sobre ellos hablaremos en breve. Lo mismo que con el gráfico de barras, el diagrama de flujo puede actualizarse permanentemente que refleje el progreso real del proyecto. Esto es muy importante para determinar cómo los cambios que se hagan afectarán el tiempo total de realización y para manejar las interacciones que se presentan entre varias personas o departamentos. 362 Texto de Apoyo: Unidad IV CÓMO PONER AL DÍA LOS PROYECTOS CUANDO SE PRESENTAN RETRASOS Los gráficos de barras y los diagramas de flujo también son muy útiles para enderezar los proyectos cuando ha habido retrasos. Por ejemplo, la flexibilidad de una ruta particular podría indicar que hay recursos subutilizados. Algunas veces estos recursos pueden trasladarse a la ruta más larga para acelerarla, pero hay que cuidarse de no hacer tantos traslados de recursos que conviertan en crítica una ruta no crítica. Es claro que en el proyecto del arca de Noé hay flexibilidad en la ruta de "clavar la cubierta" (véase figura 4.4). Probablemente, si se presentan problemas, las personas que trabajan en esa actividad podrían ayudar a construir las habitaciones. Otra manera de llevar los proyectos a su curso inicial es desplazando los tiempos sobrantes hacia el comienzo, la mitad o el final de una actividad. Por ejemplo, Noé pudo haber conseguido los animales al principio y dejarlos listos. De esa manera, los encargados de buscar los animales podían ayudar en otras rutas del proyecto. Claro está que para regresar al programa de trabajo inicial pueden asignarse horas extras, hacer más traslados o subcontratar parte de las labores, pero también es necesario revisar los costos a fín de mantenerlos bajo control. Aquí la clave es utilizar los gráficos de barras y los diagramas de flujo para analizar las diferentes alternativas. Siendo creativo y discutiendo sobre "¿qué pasaría si hiciéramos esto así?", pueden utilizarse los gráficos de barras y los diagramas para analizar estas opciones y devolver el proyecto a su programa de trabajo inicial, pero manteniéndolo dentro del presupuesto y cumpliendo con las normas de calidad. RESEÑA SOBRE PROGRAMAS DE COMPUTACIÓN Como es de imaginar, la planeación, la modificación, la realización de planes de contingencia y la actualización de un proyecto complicado resulta más fácil si puede utilizarse un programa computarizado de administración de proyectos. Sin embargo, es importante aceptar que un computador no puede hacer el trabajo descrito en las reglas uno, dos y tres. No puede fijar metas u objetivos, ni puede definir puntos de control, actividades, relaciones, ni realizar estimativos de tiempo. El equipo del proyecto o el contingente de trabajo deben hacer esto antes que el computador pueda diagramar (diseñar) un programa de trabajo útil. Y para proyectos sencillos probablemente no valga la pena recurrir al computador. El programa de computador para proyectos es solamente una herramienta; no puede pensar por usted Una vez que usted ha decidido usar un programa de computador (como lo hace la mayoría de gerentes de proyectos), ya se habrá introducido en el proceso de seleccionar el que más le convenga entre los centenares que se encuentran actualmente en el mercado. Para hacer una selección efectiva, primero necesita saber qué es lo que quiere que haga el programa. Por ejemplo, ¿necesita que diseñe gráficos de barras y diagramas de flujo? ¿Qué tipo de informes quiere que produzca? ¿Quiere que el paquete le maneje las asignaciones de presupuesto y los recursos? ¿Quiere que le ponga los datos en un calendario? ¿Qué tan fácil debe ser el manejo del paquete? ¿Tienen buena reputación los productores y distribuidores del programa? 363 Segundo, debe asegurarse de que el paquete pueda realizar al menos las siguientes funciones: 1. Que permita desarrollar y cambiar fácilmente los gráficos de barras y diagramas de flujo del proyecto y que muestre la ruta crítica. 2. Que permita visualizar los gráficos en la pantalla, antes de imprimirlos, y que puedan leerse con facilidad. 3. Que permita combinar la información de recursos y presupuesto en el archivo del proyecto y obtener así informes útiles. 4. Que permita ligar el plan del proyecto a un calendario real, con espacios para los feriados y los fines de semana. 5. Que dé la voz de alerta cuando algún individuo o grupo de trabajo estén sobrecargados, así como cuando se cometan errores de lógica en las relaciones de dependencia que se plantean en el diagrama de flujo. 6. Que permita construir escenarios del tipo "¿qué pasaría si...?" de tal manera que puedan elaborarse planes de contingencia y hacer las modificaciones que se vayan necesitando. 7. Que permita introducir información del progreso a medida que éste se desarrolla, de tal manera que pueda actualizarse el plan y compararlo con los avances reales. 8. Que tenga un buen archivo de demostración para permitir ver lo que el programa puede hacer, y que además tenga un manual fácil de usar. Tercero, haga ensayos con el paquete de un proyecto ya terminado. Deje que él lo convenza de su utilidad. Sobre todo, recuerde que el programa del computador, con sus informes y archivos es tan sólo una herramienta que ayuda a manejar el proyecto. El computador no puede hacerlo por uno. Ese es el trabajo que debe realizarse. 364 Unidad V SUPERVISIÓN EN LA GESTIÓN DE LOS SERVICIOS DE SALUD 365 Supervisión, Monitoreo y Evaluación 366 Texto de Apoyo: Unidad V UNIDAD V LA SUPERVISIÓN EN LA GESTIÓN DE LOS SERVICIOS DE SALUD La Supervisión es un conjunto de actividades que nos ayudan a obtener los resultados previstos en el plan operativo. Al descubrir a tiempo los problemas en la ejecución del plan relacionados con el desempeño del trabajador, analizarlos y elegir las soluciones adecuadas. En ese sentido la unidad hace énfasis en los diversos aspectos de la supervisión para desarrollar luego un aspecto que es el centro de las acciones de supervisión: el análisis de los problemas de desempeño. Para ello se proponen los siguientes pasos: 1. Identificar el problema. 2. Descubrir o definir el problema. 3. Decidir la importancia del problema para el éxito del programa o servicio. 4. Analizar el problema: identificar sus causas. 5. Identificar las soluciones viables del problema. 6. Ejecutar y evaluar la solución seleccionada del problema. Seguido se analizan los diversos instrumentos disponibles para acciones de supervisión, para concluir con el plan de supervisión, para el cual se propone una sistemática con un conjunto de instrumentos que incluyen la elaboración de listas de chequeo. Es muy importante preparar con anticipación y cuidado la supervisión. Antes, durante y después de la supervisión se requiere actuar según un plan de trabajo establecido. Necesitamos definir previamente qué supervisar. Se requiere hacer uso de varias técnicas o herramientas de supervisión, dentro de las cuales no debe faltar el diálogo con el usuario del servicio. Es FUNDAMENTAL por ello elaborar el PLAN DE SUPERVISIÓN que establezca de una manera técnica los alcances de nuestra actividad. El plan de supervisión incluye: 1. Objetivos de la Supervisión 2. Actividades a Supervisar 3. Técnicas a aplicar en la Supervisión 4. Presupuesto 5. Cronograma Todos estos aspectos requieren de mucha práctica. Se aprende a supervisar supervisando. Sin embargo es importante tener en cuenta la necesidad de un entrenamiento continuo del supervisor, tanto en los aspectos técnicos de las acciones a supervisar, de las herramientas observadas para el estudio y análisis del desempeño, así como de técnicas de comunicación adecuadas y herramientas para facilitar el aprendizaje al trabajador. Es muy importante tener una actitud adecuada, el trabajador debe ver al supervisor como un facilitador de su trabajo, más que un elemento de control. Un elemento de importancia son los estilos de supervisión, si bien existen escenarios que justifican formas autoritarias de supervisión existe consenso, que en los establecimientos de salud debemos privilegiar, en la mayor parte de casos, la supervisión democrática. 367 Supervisión, Monitoreo y Evaluación Para que la supervisión tenga éxito es conveniente realizarla con enfoque de equipo, estableciendo los pasos para la supervisión permanente en salud, con la participación activa de la comunidad y de los trabajadores operativos. De esta manera se sentará las bases para la sostenibilidad de la supervisión de los servicios de salud. La supervisión busca, sobre todo, prevenir o solucionar a tiempo los problemas de ejecución en los servicios de salud. Es importante que la supervisión se haga con un enfoque problematizador del aprendizaje, donde el equipo local se desarrolle y fortalezca. La supervisión debe ayudar a analizar los problemas de desempeño, a plantear las soluciones pertinentes y tomar las decisiones en forma participativa. 368 Texto de Apoyo: Unidad V LECTURA Nº 1 INTRODUCCIÓN A LA SUPERVISIÓN Dr. Hermes Vallejo. Programa de Enseñanza para Administradores de Salud. (PEAS-PERU), DSE-UNMSM - 1995 RESUMEN El autor desarrolla un análisis de la supervisión haciendo énfasis en las características del supervisor, las diferentes herramientas conceptuales y técnicas que debe manejar y sobre todo el estilo de desarrollo de su actividad dado el énfasis que el autor pone en los aspectos relacionados entre supervisor-supervisado. Un elemento importante es el trabajo en equipo como eje de las acciones de supervisión que apuntan a construir una nueva conducta organizacional con una mayor base participativa. Posteriormente, se discuten elementos relacionados con la planificación del proceso. Este documento es de gran importancia, dado que nos muestra una visión sumamente técnica del proceso que contrasta con el sesgo administrativo que en o cotidiano vemos en la práctica cotidiana de los servicios. De otro lado, este análisis de las actividades de supervisión está orientado al trabajo en los primeros niveles de atención. 369 Supervisión, Monitoreo y Evaluación PRESENTACIÓN DE LA LECTURA Este artículo seleccionado para esta unidad es un texto escrito por el Dr. Hermes Vallejos Rojas, para el Programa de Enseñanza para Administradores de Salud (PEAS), DSEUNMSM. En el texto el Dr. Vallejos desarrolla con claridad diversos aspectos relevantes de la supervisión de los servicios, programas y establecimientos de salud, con énfasis en la Atención Primaria de Salud. Creemos que este material complementa en forma brillante lo desarrollado en el texto autoformativo. ¿EN QUÉ CONSISTE LA SUPERVISIÓN? Esencialmente, es una de las funciones gerenciales de dirección, consistente en verificar que otras personas (los supervisados) ejecuten correctamente su trabajo. Tales personas están, de alguna manera, subordinadas al supervisor (sea en términos de jerarquía administrativa o técnica) quien, a su vez, es responsable por dicho trabajo ante instancias superiores que determinan los objetivos, las normas, los principios y las regulaciones que orientan el trabajo del servicio o de la institución. El supervisor, por lo tanto, ocupa una posición singular, en la cual debe responder tanto a las expectativas de sus superiores como a las de sus subordinados. SUPERVISIÓN DE SERVICIOS DE SALUD La SUPERVISIÓN es una de las funciones propias de la Dirección Administrativa (Gerencia), que consiste en un conjunto de actividades destinadas a: Observar el cumplimiento de tareas asignadas al personal, de acuerdo a normas de cantidad y calidad previamente definidas. Verificar que el desempeño del personal se oriente al cumplimiento de los objetivos propuestos. Asegurar el uso apropiado de los recursos asignados para estas tareas. Identificar desviaciones en la ejecución del trabajo. Introducir correcciones requeridas y verificar su cumplimiento. ¿QUÉ IMPORTANCIA TIENE LA SUPERVISIÓN? La experiencia de las empresas industriales demuestra que la efectividad y la buena calidad del trabajo están asociadas, a su vez, a una supervisión efectiva y de buena calidad. No es posible definir de modo estático qué se entiende por una supervisión de buena calidad, ya que depende en gran medida del tipo de trabajo y de la experiencia del trabajador supervisado con cada actividad: trabajadores nuevos o en un trabajo nuevo requieren asistencia más frecuente y más directa que aquellos ya experimentados. Pero también la calidad de la supervisión depende de las actitudes del supervisor con respecto a sus subordinados, ya que éstas influyen en la capacidad para entender su comportamiento laboral, así como en la de reconocer nuevas necesidades y adaptarse a ellas. A partir de este análisis, es posible identificar ciertos estilos de supervisión, cuyos principales modelos estereotipados serán el autocrático, el anárquico y el participativo. De ellos, el más insatisfactorio es el anárquico, ya que implica no intervenir o generar confusión: el supervisor no sigue un plan, no ayuda al supervisado, no corrige desviaciones o lo 370 Texto de Apoyo: Unidad V hace de modo arbitrario. De las otras acciones, en principio parece más recomendable la forma participativa en la cual el supervisor sugiere, escucha, pide opiniones, en resumen establece comunicación, que es un punto medular en este tipo de actividad. Sin embargo, hay circunstancias en las cuales es más recomendable un estilo autoritario: dar órdenes claras y precisas, hacer cumplir las normas. Típicamente, una campaña sanitaria específica, de cortos plazos (vacunaciones, epidemias, acciones masivas de diagnósticos, etc.), sobre todo si actúa personal heterogéneo y/o nuevo en la actividad, requiere un estilo de supervisión más bien autoritario. Al revés, actividades de carácter esencialmente educativo o de promoción de la participación comunitaria se benefician de un estilo participativo predominante. Habitualmente, deben combinarse estilos y este es un requerimiento más para el supervisor: es capas de identificar cada circunstancia y adaptarse a ella de modo flexible y creativo. Esquematizando posiciones, (tabla 1) existen dos modelos opuestos de actitudes hacia los subordinados, de los cuales pueden desprenderse fácilmente diferentes prejuicios y, por lo tanto, formas de comportamiento, en este caso un estilo autoritario versus un estilo participativo, que deberán tenerse en cuenta al diseñar actividades de supervisión. ¿QUÉ CUALIDADES NECESITA UN SUPERVISOR? Tal vez uno de los factores que hace de la supervisión un área de actividad no siempre exitosa, es que se da a ciertos requisitos de las personas que deben asumir este rol. Un supervisor lo puede ser en cuanto asume una función agregada a su posición jerárquica (todo administrador, a cualquier nivel, es un supervisor, en la medida que tenga personal subordinado) o bien lo es como función específica, es decir que su rol único o principal es el de supervisar a otros. En cualquier caso, esencialmente, se requieren tres categorías de condiciones: 1. Competencia técnica y administrativa: Saber en qué consiste el trabajo y como debe realizarse de la mejor forma. Implica experiencia previa del supervisor con el trabajo específico. Esta competencia técnica debe ir unida a un cierto grado de autoridad formal, que asegure al supervisor por lo menos el accesor a los niveles de decisión. Esto es esencial para su credibilidad ante el supervisado y para ser capaz de resolver efectivamente los problemas concretos encontrados. Por lo mismo, el supervisor debe ser alguien que tiene características propias de liderazgo, es decir capaz de orientar y decidir, no teniendo a eludir las responsabilidades ni descansando en otros para que le indique exactamente lo que debe hacer en cada circunstancia. 2. Habilidades de relación interpersonal: Son condiciones que permiten al supervisor relacionarse adecuadamente con otras personas e incluyen a lo menos las siguientes: saber escuchar, saber alentar y motivar, tener interés genuino por la gente, valorar el trabajo con otras personas. El supervisor es un facilitador de la comunicación del personal entre sí, con la comunidad y con la jerarquía institucional. Debe ser, por lo tanto, capaz de trabajar en equipo y de enseñar y/o aprender. 3. Elementos conceptuales y de motivación personal: Implican conocer la misión y la política institucional, estar familiarizado con las estrategias de aplicación y ser capaces de utilizar modos de pensar ordenados y sistemáticos para analizar los problemas, planificar el trabajo, visualizar las soluciones posibles y fundamentar racionalmente las decisiones tomadas. Del mismo modo, sobre todo en el trabajo de Atención Primaria de Salud (APS), un supervisor no debe ser un 371 Supervisión, Monitoreo y Evaluación ACTITUDES DE LOS SUPERVISORES AUTORITARIOS Y PARTICIPATIVOS AUTORITARIO PARTICIPATIVO A la gente no le gusta trabajar La gente trabaja con gusto, si siente su trabajo importante. La gente solo trabaja por el dinero Hay otras motivaciones fuera del dinero: realización personal, prestigio, aprender más, ayudar a otros La gente hace su trabajo bien porque teme perder su empleo. La gente siente satisfacción al hacer bien su trabajo Muchos trabajadores son como A la gente le gusta sentirse niños y necesitan del supervisor responsable de su trabajo y sentir que éste es importante. como los hijos a sus padres. A la mayoría no le gusta pensar sola y necesitan una dirección clara, que dé instrucciones precisas acerca de qué hacer y cómo hacerlo. No suelen interesarse en el impacto global de su actividad. La gente generalmente puede conducir su propio trabajo: Necesitan apoyo y asistencia asi como retroalimentación acerca de lo que están haciendo. Les estimula saber que están contribuyendo a resolver problemas reales, como por ejemplo mejorando el nivel de salud. La gente necesita supervisores que vigilen de cerca su trabajo, elgien el buen trabajo y castiguen el mal desempeño. La gente necesita ser respetada por el supervisor: La mayoría es suficientemente responsable y no necesita ser vigilada en cada momento. La mayoría de las personas es egoísta y solo piensa en sus propios intereses. Casi todos piensan también en los intereses de la comunidad y en los de la institución donde laboran. A la gente no le gusta cambiar. Prefieren hacer lo mismo todos los dás. La gente se cansa de la rutina y prefiere aprender y hacer nuevas cosas. Hay que presionar a la gente para que trabaje bien. La gente trabaja mejor cuando es ayudada y alentada, no presionada. personaje burocrático, desprovisto de mística con respecto a su labor o la de sus supervisados. Esto significa estar dispuesto a veces a dar más dedicación a su actividad que la que formalmente implicará cumplir una obligación no deseada. FUNCIONES GENERALES DE LA SUPERVISIÓN EN SERVICIOS DE SALUD Es posible enumerar las siguientes funciones generales, que naturalmente deben ser adaptadas a las necesidades y condiciones de cada nivel de atención: 372 Texto de Apoyo: Unidad V a. Motivación, como función esencial para la integración del personal en el marco del proceso de prestación de servicios, permitiendo su identificación con los objetivos institucionales; b. Educación contínua en servicio; c. Asesoría en la solución de problemas concretos, de carácter técnico o administrativo; d. Monitoría del desemnpeño, es decir valoración contínua de la cantidad y la calidad del trabajo realizado por el supervisado, con respecto a lo previsto; e. Efectuar control de la utilización de los recursos; f. Facilitar el enlace o comunicación de doble vía entre el supervisado y la jerarquía institucional g. Otorgar al trabajador de salud una cierta legitimización y protección en el desempeño de sus labores. Este tema es particularmente importante en APS, donde los trabajadores de salud se encuentran en la periferia, inmersos en la comunidad y alejados de los centros administrativos. Naturalmente, la presencia institucional a través del supervisor ayuda a legitimar al trabajador de salud en su rol ante la comunidad. ¿CUÁLES SON LAS FUNCIONES CENTRALES DE UN SUPERVISOR DE ATENCIÓN PRIMARIA DE SALUD? Hay una función primaria: guiar y apoyar al personal en APS. Para cumplir esto es necesario: Ayudar a planificar, implementar y evaluar el trabajo a nivel local; Proporcionar asesoría técnica en programas prioritarios, en temas de salud comunitaria y en aspectos administrativos; Manejar conflictos y problemas disciplinarios; Motivar y evaluar el desempeño; Proporcionar educación contínua. Servir como nexo entre los trabajadores y las instituciones. Todas estas características funcionales permiten definir al supervisor ideal, en el campo de la atención primaria de salud, como una persona con cualidades personales, técnicas y administrativas que lo capacitan para ejercer liderazgo con respecto al equipo de salud en su ámbito de responsabilidad directa. Naturalmente, hay ciertos requisitos básicos que satisfacer, para que este marco funcional pueda ejecutarse satisfactoriamente. Pueden enumerarse al menos los tres grupos siguientes de requisitos básicos: a. Definir actividades apropiadas para cada función: Si bien es cierto que la actividad más frecuente y más importante es la visita de supervisión, hay otras actividades que pueden diseñarse para asegurar continuidad y calidad, dependiendo de la situación concreta que se considere (accesibilidad geográfica, nivel del trabajo que se cumple en la periferia, capacitación del personal, recursos disponibles, etc.). La supervisión puede ser directa o bien indirecta. La primera permite la observación del desempeño y la entrevista personal, por lo cual es más satisfactoria y debería estar presente en algún momento. Las técnicas indirectas se basan en la revisión de informa- 373 Supervisión, Monitoreo y Evaluación ción registrada en alguna fuente, pero también, en algunos casos, en la comunicación radial, telefónica o mediante custionarios escritos. b. Capacitar los supervisores en los principios subyacentes, en la metodología y en las técnicas que puedan utilizarse: El cuadro siguiente muestra una propuesta de los contenidos esenciales de un programa de capacitación para supervisores del nivel local. NECESIDADES DE CAPACITACIÓN DEL SUPERVISOR El deber del supervisor es apoyar a los trabajadores de salud asignados bajo su responsabilidad técnica y/o administrativa. Para esto se requiere entrenamiento en los siguientes aspectos: HABILIDADES/DESTREZAS CONOCIMIENTOS 1. Decidir qué estilo de supervisión 1.1 Influencia de las actitudes del supervisor hacia el se requiere en cada institución supervisado. 1.2 Los diferentes estilos de supervisión y uso. 2. Trabajar en equipo 2.1 Cómo funciona el equipo. 2.2 Rol del lider en el equipo 3. Usar comunicación 3.1 En qué consiste el proceso de la comunicación 3.2 Qué factores interfieren con la comunicación. 4.1 Causas primarias de los conflictos y problemas de disciplina. 4. Manejar conflictos y problema disciplinarios 4.2 Principios generales en el tratamiento de conflictos y problemas. 5. Tomar decisiones identificando el problema, posibles soluciones e implementaciíon y seguimiento de la solución adoptada 5.1 Los pasos para tomar una descisión. 5.2 Principios básicos para una decisión. 5.3 Diferencia entre información subjetiva y objetiva. 6. Ayudar a los trabajadores a planificar y evaluar su propio trabajo actuando como consejero, educador y lider. 6.1 Rol del supervisor en la planificación y evaluación del trabajo. 6.2 Procedimiento e instrumentos de planificación y evaluación en uso localmente. 6.3 Objetivos y metas de la institución de salud. 374 Texto de Apoyo: Unidad V c. Desarrollar un sistema de apoyo, que abarque los aspectos logísticos y técnicos indispensables: Este tema es crítico: si no se planifican ni se obtienen a tiempo los recursos mínimos necesarios, cualquier programa de supervisión será irrealizable. Con demasiada frecuencia los supervisores no dispondrán de recursos para el transporte (vehículo y/o pasajes de transporte público), para papelería (guías escritas, formularios, etc.), para viáticos, etc. Si la supervisión siempre es dejada en el último lugar de los programas y no se valora su utilidad, probablemente nunca podrá hacerse apropiadamente. INSTRUMENTOS DE SUPERVISIÓN Brevemente se mencionan algunos instrumentos que ayudan a cumplir en mejor forma un programa de supervisión. 1. Programa de Supervisión: - Objetivos - Universos de supervisión - Actividades - Técnicas - Información de apoyo (Normas, descripciones de funciones, informes previos, estadísticas, etc.) - Recursos requeridos 2. Calendario de supervisión: - Período que describe - Fechas y lugares - Actividades a realizar - Responsables / ejecutores 3. Guías de supervisión: - Contenidos según nivel y programa - Sistematización clara, objetividad y cuantificable 4. Informes de supervisión • Al supervisado • Al nivel jerárquico - Datos generales - Situación encontrada - Actividades realizadas - Recomendaciones 375 Supervisión, Monitoreo y Evaluación LIDERAZGO Y TRABAJO EN EQUIPO Los líderes son personas capaces de organizar el trabajo, tomar decisiones, orientar e influenciar a otra gente. Para lograr esto tienen que esforzarse por identificar los intereses y las habilidades de los demás. Un verdadero líder ayuda a los otros a hacer su trabajo de mejor forma y, si es efectivo, conduce al grupo hacia sus fines. Frente al grupo el líder debe tener autoridad, para decidir y hacer cumplir las decisiones. La autoridad puede ser formal o informal. Autoridad formal está dada por la posición de la persona en la organización. Por esto, un supervisor necesita una posición jerárquica formalmente reconocida para poder influir sobre sus subordinados y para poder resolver problemas reales de funcionamiento. La autoridad informal se adquiere a través del trabajo eficiente. Si el supervisor tiene habilidad técnica reconocida en áreas de la especialidad de sus subordinados, su opinión ser respetada y sus consejos ayudaron a capacitar al personal. Puede decirse que, cuanto mejor haga su trabajo el supervisor, mayor autoridad informal ganar. El líder en un equipo de salud debe ser capaz de conducir el trabajo hacia los objetivos comunes. Las personas no siempre tienden automáticamente a cooperar ni buscan primariamente alcanzar objetivos comunes, a menos que alguien digno de crédito -o más que alguien- los oriente a ese fín. Es el rol del líder. Una primera tarea importante en APS, para el logro de sus fines, es construir un equipo de salud estable y operacional para lo cual deben algunos pasos: 1. Promover la participación de todos en las discusiones y decisiones. 2. Establecer una relación de trabajo cordial, comenzando por el conocimiento mutuo de los miembros del equipo en formación, más allá de lo estrictamente laboral, si es posible. 3. Buscar objetivos comunes que sean compartidos y entendidos por todos, destacando las ventajas de la cooperación sobre el trabajo individual. 4. Organizar el equipo mediante asignación de roles y responsabilidades bien definidos para cada uno e los integrantes. 5. Explicar apropiadamente las reglas y normas de trabajo vigentes en la organización a la cual pertenece el equipo, asegurándose que ellas sean bien entendidas por las personas. Constituir un equipo no es tarea de un momento, sino una actividad contínua en la cual el supervisor debe jugar un rol de líder. Para esto puede convocar a reuniones periódicas. Comenzando, por ejemplo, con reuniones mensuales, hasta que el equipo imponga una dinámica propia. PLANIFICACIÓN Y EVALUACIÓN DE LA SUPERVISIÓN Planificar es decidir dónde se quiere llegar y qué se quiere hacer para llegar ahí. Planificar significa pensar antes de actuar, determinando: 376 - Qué acción se necesita. - Por qué necesita hacerse. - Quién debe hacerla. Texto de Apoyo: Unidad V - Cómo debe hacerse. - Dónde debe hacerse. - Cuándo debe hacerse. Evaluar es juzgar si la acción planeada se está realizando bien. Es decir, planificación y evaluación son parte de un mismo proceso. Un supervisor efectivo necesita planificar y evaluar su propio trabajo. Los pasos mínimos necesarios son: 1. Definir necesidades de supervisión: no olvidar que el supervisor debe satisfacer necesidades de dos niveles distintos, las de la institución en que se realiza el proceso (p. ejemplo, Ministerio de Salud) y las de los trabajadores a supervisar. Teniendo presentes ambos tipos de necesidades usted podrá determinar lo que espera de su trabajo. 2. Proponer objetivos de trabajo: Una vea listadas las necesidades, deben establecérselos objetivos específicos que se desean alcanzar. Esto significa priorizar lo más importante de la lista anterior. En lo posible, estas prioridades deben discutirse con los interesados (Ministerio y trabajadores antes de empezar a ejecutarse). 3. Hacer planes de trabajo: el paso siguiente, una vez conocidos los objetivos que se espera alcanzar, es listar las actividades concretas que es necesario realizar para alcanzar cada objetivo. Un plan de trabajo debe ser simple y directo. Basta que contenga una lista de las actividades, de los recursos necesarios y un cronograma de ejecución. De modo, un plan de trabajo es una herramienta útil para organizar la actividad en el tiempo. El tiempo es un recurso valioso para el supervisor. Por eso debe planificarse en un cronograma de actividad que abarque un período de extensión razonable, es decir, que no sea demasiado corto (riego de improvisar y de actuar en forma incoordinada y discontinua) ni demasiado largo (riego de metas irreales y de desconocer cambios imprevistos). Los planes de acción bi o trimestrales pueden ser una buena opción general. 4. Ejecución del trabajo: completados los pasos previos, esto es, definidas las necesidades, identificados los objetivos, confeccionados los planes, lo que corresponde es ejecutarlos. La ejecución debería ajustarse al plan, pero al nivel local esto exige suficiente flexibilidad para adaptarse a la situación real. Por ejemplo, una adaptación frecuente, necesaria y recomendable es la de implementar cronogramas y normas selectivos, lo que significa reconocer que las necesidades de supervisión no son necesariamente iguales para todas las unidades de servicio ni para todo el personal: algunas visitas de supervisión deberán ser frecuentes y extensivas, si es que se han pesquisado desviaciones importantes de forma; otras podrán espaciarse y/o concentrarse en temas específicos, donde el apoyo sea más necesario o prioritario. La ejecución del trabajo del supervisor se optimiza si se utilizan algunos instrumentos prácticos y simples, tales como: - Un formato de descripción de cargo del personal a supervisar; 377 Supervisión, Monitoreo y Evaluación - Un resumen de la información referente a las actividades de salud realizadas ya indicadores de salud si estén disponibles. - Una lista de chequeo rápido para verificar las condiciones de trabajo y el desempeño del personal supervisado. - El último informe de supervisión disponible para ese personal. ACTIVIDADES RELACIONADAS A LA SUPERVISIÓN EN EL NIVEL LOCAL Pueden diferenciarse según etapas a cumplir, cada una de las cuales persigue diferentes objetivos: ETAPA 1. OBJETIVOS Preparación de la supervisión ACTIVIDADES 1. Estudio de la documentación disponible 2. Identificación de la prioridades. 3. Preparación de un cronograma. 2. Ejecución 1. Establecimiento de contactos. 2. Revisión de objetivos, metas y normas. 3. Observación del desempeño de los supervisados 4. Identificación de desviaciones y de las necesidades de apoyo. 5. Entrevista con representantes de la comunidad. 6. Informe al equipo de salud local. 3. Seguimiento post supervisión 1. Clasificación de objetivos y metas. 2. Organización conjunta de un cronograma de entrenamiento si es necesario 3. Reorganización del tiempo de trabajo si es necesario. 4. Adapatar el apoyo logístico. 5. Preparar y difundir informes de supervisión. 378 MINISTERIO DE SALUD Programa de Fortalecimiento de Servicios de Salud Publicaciones 1998 SERIE: DOCUMENTOS DE GESTIÓN Gestión de la Capacitación en las Organizaciones, Conceptos básicos. MINSA, PFSS, Área de Capacitación y Apoyo a la Gestión. Lima. Junio 1998. 72 pp. Compilación de artículos sobre el tema de la capacitación en las organizaciones. Asistencia Técnica en Sistemas Administrativos. MINSA, PFSS, Área de Capacitación y Apoyo a la Gestión. Lima. Julio 1998. 112 pp. Experiencia del Programa de Asistencia Técnica aplicado a los sistemas administrativos de personal, logística, tesorería y contabilidad, en 27 Regiones y Subregiones de Salud, durante los meses de setiembre de 1995 a enero de 1996. SERIE: MÓDULOS DE GESTIÓN 1. Módulo Plan Operativo Institucional MINSA, PFSS, Área de Capacitación y Apoyo a la Gestión. Lima. Setiembre 1998. 429 pp. Este módulo forma parte del «Curso de Gestión en Redes de Establecimientos y Servicios de Salud», orientado a contribuir al desarrollo de la capacidad de gestión interna de los niveles directivos de establecimientos y servicios de salud, fortaleciendo especialmente su capacidad para formular un Plan Operativo Institucional con enfoque estratégico. El módulo está basado en una metodología de autoaprendizaje. 2. Módulo Gestión Logística MINSA, PFSS, Área de Capacitación y Apoyo a la Gestión. Lima. Setiembre 1998. 280 pp. Este módulo forma parte del «Curso de Gestión en Redes de Establecimientos y Servicioss de Salud», orientado a contribuir al desarrollo de la capacidad de gestión interna de los niveles directivos de establecimientos y servicios de salud, fortaleciendo su capacidad para realizar una gestión logística eficiente. 3 Módulo Gestión Financiera MINSA, PFSS, Área de Capacitación y Apoyo a la Gestión. Lima. Setiembre 1998. 335 pp. Este módulo forma parte del «Curso de Gestión en Redes de Establecimientos y Servicios de Salud», orientado a contribuir al desarrollo de la capacidad de gestión interna de los niveles directivos de establecimientos y servicios de salud, fortaleciendo su capacidad para realizar una gestión financiera eficiente. 4 Módulo Supervisión, Monitoreo y Evaluación MINSA, PFSS, Área de Capacitación y Apoyo a la Gestión. Lima. Noviembre 1998. 380 pp. Este módulo forma parte del «Curso de Gestión en Redes de Establecimientos y Servicios de Salud», y está orientado a contribuir al desarrollo de la capacidad de gestión interna de los niveles directivos de establecimientos y servicios de salud, fortaleciendo su capacidad para realizar una adecuada gestión de supervisión, monitoreo y evaluación. SERIE: INFORMES TÉCNICOS Diagnóstico del Sistema de Mantenimiento MINSA, PFSS, Subcomponente de Sistemas Operativos. Lima. Octubre 1998. 128 pp. Esta publicación reseña las líneas principales del Diagnóstico del Sistema de Mantenimiento elaborado para el MINSA por la Asociación Consultora CESEL S.A. - EMEX S.A. - INTERSALUS S.A.
