Documento 2: Prácticas de MyE y desempeño

Tomás Garzón de la Roza, Enrique Mendizabal y Vanesa Weyrauch
Este trabajo fue realizado con el apoyo de la Think Tank Initiative (IDRC)
Documento 2: Prácticas de MyE y desempeño organizacional
Sumario:
1.
2.
3.
4.
5.
6.
Introducción
Monitoreo y Evaluación: Algunas definiciones
Accountability y desempeño
Gestión del desempeño
Gestión del Conocimiento
Recursos Consultados
1. Introducción
Este documento presenta las ideas principales discutidas en la literatura existente acerca de
prácticas de Monitoreo y Evaluación, y otros campos relacionados como gestión del conocimiento y
gestión del desempeño. A diferencia de la mayor parte de la literatura existente acerca de MyE
producida por y para think tanks, este documento no está centrado en el seguimiento de la
incidencia en las políticas y debate público. En cambio, se presta mayor atención a las prácticas de
monitoreo y evaluación que atienden al desempeño global de la organización, y en particular las
“internas”, es decir, aquellas orientadas a recolectar información sobre la gestión de programas,
actividades de investigación y áreas de soporte. En otras palabras, para evaluar si los sistemas
internos le permiten a la institución producir trabajo de una calidad tal que contribuya a su
estrategia (Hovland 2008).
2. Monitoreo y Evaluación: Algunas definiciones.
Las definiciones básicas en torno a MyE son ampliamente compartidas en la literatura existente. Por
monitoreo se entiende el continuo y sistemático seguimiento del progreso de un programa para
poder hacer ajustes, en tanto la evaluación es el análisis episódico de cambio en los resultados
buscados que pueden ser atribuidos al programa o proyecto.
Una dimensión de análisis más interesante es la de los objetivos que se persiguen a partir de las
prácticas de Monitoreo y Evaluación. Según la guía propuesta por BOND, éstas están orientadas en
líneas generales a tres objetivos (Gosling, 2010). El primero es el de mejorar y sostener la calidad del
trabajo que se hace. Generar información de forma continua sobre el progreso de las actividades o
programas permite mejorar la toma de decisiones y planificar las necesidades futuras de esas y otras
iniciativas. El segundo objetivo es el de rendir cuentas (accountability) a un conjunto de
interlocutores casi siempre externos, como donantes y organismos gubernamentales de control (ver
más en la sección sobre accountability). Finalmente, el tercer objetivo de las prácticas de MyE es
identificar oportunidades de aprendizaje que en el futuro fortalezca el diseño de nuevos programas.
El diseño de un proceso de monitoreo y evaluación depende de quién es el interlocutor (Ej.:
donantes, implementadores, comunidades, público en general) y cuál es el objetivo planteado. En
muchos think tanks y organizaciones sin fines de lucro, la información que mayor atención recibe es
la financiera, a menudo en detrimento de la medición y seguimiento de otros tipos de información.
Al mismo tiempo, la rendición de cuentas suele tomar prioridad por sobre los demás usos u
objetivos de la información financiera recolectada. Estos dos factores hacen que se cuente con
información más útil para los donantes que para la organización misma. Por lo tanto, vale la pena
1
Tomás Garzón de la Roza, Enrique Mendizabal y Vanesa Weyrauch
Este trabajo fue realizado con el apoyo de la Think Tank Initiative (IDRC)
analizar qué variables comprende el concepto de accountability, qué se hace desde en MyE para
fortalecerlo, y cómo se relaciona esto con el desempeño de la organización.
3. Accountability y desempeño
En pocas palabras, accountability es el proceso de hacer responsable a un actor sobre sus propias
acciones, normalmente reportando a una autoridad reconocida, a través de un conjunto de medios y
procesos. Diversos autores señalan que hay una presión pública creciente para que tanto las
empresas como las OSC rindan más y mejores cuentas. No obstante, en las organizaciones sin fines
de lucro, el paradigma desde el cual se genera y entrega la información es muchas veces reactivo,
tanto porque en los inicios de una organización es difícil que estén por delante de los
requerimientos, como por la creciente presión gubernamental y legal. Frente a la mayor presión, es
importante que el proceso de rendición de cuentas, incluyendo la recolección de información
mediante prácticas de MyE, no esté guiado solamente por el actor más poderoso (por ejemplo, el
donante o el gobierno), sino por la estrategia de la organización. El desafío es, por lo tanto, saber a
quién rendir cuentas, acerca de qué, y sobre todo, encontrar una utilidad al esfuerzo realizado.
(Ebrahim, 2010).
En este sentido, un accountability más completo incluye además de temas financieros y de
gobernanza (que cubre las funciones y responsabilidades del board), dimensiones de desempeño y
de misión. La primera se basa en la premisa de que una organización debe rendir cuentas acerca de
los resultados que obtiene. Este tipo de rendición de cuentas, que en pocas palabras implica
monitorear para tomar decisiones, tiene como eje a la dirección ejecutiva y como interlocutores
primarios al board y al staff, y también a públicos externos. El accountability acerca de la misión es
una variante de la anterior pero implica una visión de largo plazo, orientada al aprendizaje en un
entorno cambiante.
4. Gestión del desempeño
Las presiones mencionadas también se refieren a los requisitos de seguimiento financiero y de
servicios que generalmente incluyen las donaciones y contratos de trabajo. Al haber varios
proyectos en simultáneo, se multiplican las demandas externas de información, cada una con su
propio formato, y en consecuencia se impone sobre las organizaciones la necesidad crear sistemas
de gestión de la información que se ajusten a esas necesidades (ver sección 5). Nuevamente, las
prácticas y procesos implementados para relevar información no deberían solamente reportarse,
sino también utilizarse internamente para evaluar el desempeño y mejorarlo. Esta perspectiva es
complementaria a la de accountability e implica medir los resultados de las inversiones financieras y
de recursos humanos (investigadores, staff, etc.) hechas en un proyecto o programa. También se
orienta a mejorar la toma de decisiones y a evaluar la sostenibilidad a largo plazo de la organización.
Balanced Scorecard
A partir de los programas y acciones de una organización se pueden identificar y medir muchos
indicadores de para evaluar el desempeño organizacional; el desafío es que se relacionen con su
misión y objetivos globales. Hay algunos sistemas creados para empresas privadas como el Balanced
Scorecard que pueden ser útiles también para nonprofits y think tanks (Kaplan 2001). El modelo
original contempla cuatro perspectivas: la financiera, la del cliente, la del procesos internos, y la de
aprendizaje y crecimiento (ver gráfico). Kaplan sugiere que para las organizaciones sin fines de lucro,
2
Tomás Garzón de la Roza, Enrique Mendizabal y Vanesa Weyrauch
Este trabajo fue realizado con el apoyo de la Think Tank Initiative (IDRC)
cada perspectiva debe ser multidimensional, dado que por definición la obtención de recursos y la
entrega de servicios están desdobladas, y las audiencias son múltiples.
El esquema original de Balanced Scorecard (Kaplan 2001).
Aplicando la lógica del Balanced Scorecard a la realidad de los think tanks, Struyk (2002, cap. 10)
sugiere cinco áreas críticas o perspectivas para monitorear:
a. Políticas Públicas: Incidencia; perspectiva propia de los think tanks.
b. Cliente: Cumplir con las expectativas de los donantes.
c. Asuntos internos: Nivel de eficiencia en cómo se hacen las cosas (investigación,
comunicación y actividades de soporte).
d. Innovación y aprendizaje: Éxito en aumento de habilidades del staff y en definición de
proyectos.
e. Finanzas: Recolección de fondos y manejo de los recursos
Las perspectivas c, d y e son esenciales al propósito de este documento. El trabajo de Struyk incluye
un catálogo exhaustivo de indicadores relacionados con asuntos internos, organizados por áreas, y
generalmente enfocados en la relación entre inputs y outputs. Por ejemplo, tasa de utilización del
staff, costo por propuesta, porcentaje de propuestas ganadas, etc. Una organización básica de los
indicadores incluye su descripción, periodicidad y posible fuente de información (ver tabla).
Indicador
Periodicidad
Posible Fuente
Costo por propuesta
Bimensual
Coordinadores y RRHH
Como complemento de los indicadores propuestos en el capítulo, hay algunos consejos generales
interesantes: comparar las operaciones propias con las de organizaciones similares, incluso a través
de grupos de consulta entre think tanks; escuchar las sugerencias, comentarios y reclamos del staff;
prestar atención a las tendencias de los indicadores a través del tiempo.
Struyk hace algunas aclaraciones importantes. La primera es que no necesariamente se requiere un
software especializado para generar y utilizar esta información – salvo en algunos casos la
3
Tomás Garzón de la Roza, Enrique Mendizabal y Vanesa Weyrauch
Este trabajo fue realizado con el apoyo de la Think Tank Initiative (IDRC)
información financiera (incluso en este caso muchas veces alcanza con planillas de cálculo sencillas).
En segundo lugar, si bien muchos think tanks esporádicamente atienden a este tipo de información,
hay una diferencia significativa en hacerlo sistemáticamente. La tercera es que no es importante que
la información sea presentada en reportes formales que toma mucho tiempo generar; el formato de
presentación se debe adaptar al tiempo y recursos disponibles. Por último, la información no tiene
que ser tratada necesariamente por el Presidente o Director Ejecutivo, sino por la persona capaz de
utilizarla para tomar decisiones.
Herramientas Cualitativas
También existen herramientas cualitativas para monitorear y evaluar la calidad de la gestión de una
institución (también aplicables a programas o proyectos particulares). Hovland (2007) describe y
ejemplifica las principales:




Análisis de Adecuación a los Objetivos (‘Fit for purpose’): Este enfoque consiste en utilizar una
comisión evaluadora para determinar si los procesos existentes son apropiados para los
objetivos planteados. Las metodologías propuestas combinan revisión de documentos con
entrevistas en profundidad. Se analizan roles, responsabilidad y prácticas de gestión, así como
las estructuras de toma de decisión, comunicaciones, recursos humanos y financieros, etc.
Auditoría de Calidad Ligera (‘Lighter Touch’): Esta metodología, vinculada al campo de
Aseguramiento de la Calidad, también está orientada a determinar si los procesos garantizan un
trabajo de calidad adecuada a sus fines. El ejemplo descripto por Hovland es el proceso de
Research Assessment Exercise que se realiza en el Reino Unido a las instituciones universitarias.
Luego de un reporte inicial generado por la misma institución, se realizan dos visitas durante las
cuales se realizan más presentaciones y se analiza documentación. En este caso, involucra a un
auditor externo pero la mayor responsabilidad reside en la institución misma.
Evaluación Horizontal: En este caso, se acuerdan visitas de colegas para realizar un proceso de
aprendizaje compartido. Idealmente, debería realizarse durante un proceso de cambio en la
organización. Es importante seleccionar bien los visitantes, brindar una facilitación adecuada,
establecer criterios de evaluación, y realizar buenas presentaciones acerca de los cambios
buscados.
Indagación apreciativa: Es un método de auto evaluación y aprendizaje basado en la idea de que
los fracasos y los éxitos ofrecen oportunidades de aprendizaje equivalentes. Consiste en cinco
pasos: definir la intervención; descubrir si fue bueno, si funcionó; soñar qué podría ser; diseñar
qué podría ser, cuál es el ideal; finalmente, cómo hacer que suceda.
5. Gestión del Conocimiento (Knowledge Management)
Los estudios de gestión, y las principales consultoras de negocios, proponen una visión de las
organizaciones basada en el conocimiento que poseen. Los servicios o productos tangibles
entregados son en última instancia una función de su “saber hacer”, que está embebido y circula en
la cultura, identidad, rutinas, políticas, sistemas y documentos de la organización (Alavi y Leidner
2001). Dado que los recursos basados en conocimiento son difíciles de capturar y reproducir, en el
largo plazo pueden constituir una ventaja estratégica, siempre y cuando el conocimiento existente
se utilice efectivamente para producir nuevo conocimiento.
4
Tomás Garzón de la Roza, Enrique Mendizabal y Vanesa Weyrauch
Este trabajo fue realizado con el apoyo de la Think Tank Initiative (IDRC)
La validez general de esta teoría está discutida, e incluso se argumenta que el universo del
knowledge management no es más que una moda de gestión que eventualmente será reemplazada
por otra (Wilson 2002). No obstante, vale la pena mencionar esta perspectiva en el contexto de esta
revisión de prácticas de MyE por su utilidad práctica. En resumen, ésta consiste en incorporar
tecnologías de la información que permitan el uso sistemático, rápido y de gran escala de la
información generada al interior de la organización y entre organizaciones.
Aun reconociendo el carácter contextual y subjetivo del conocimiento, hay herramientas de gestión
de contenidos y de trabajo colaborativo que sí aportan a un individuo algo de control sobre cómo
recolecta información y cómo la comparte. Esto depende en gran medida de sus habilidades. En
consecuencia, se sugieren cinco puntos básicos para crear un programa (o al menos un conjunto de
pautas) de KM realista:
o
o
o
o
Introducir herramientas personales de gestión de contenidos y redes sociales
Proveer entrenamiento personalizado, herramientas, sugerir procesos y “cheat sheets”;
también sugerir cambios sistemáticos.
Establecer estándares, procesos, filtros y mediciones para reducir información
innecesaria como e-mails, documentos, reuniones, etc.
Evaluar el costo total de la información en la organización, así como su adecuación y
calidad. En virtud de esta evaluación, recomendar cambios a las herramientas y
procesos. Desarrollar principios de efectividad para el trabajo.
6. Recursos consultados
Struyk, R. (2002), ‘The Information Senior Management Needs’, en Managing Think Tanks:
Practical Guidance for Maturing Organizations, The Urban Institute.
El capítulo describe varios tipos de información que un think tank debería monitorear. Incluye una
serie de indicadores organizados en áreas, y ofrece cinco perspectivas basadas en el sistema de
Balanced Scorecard. El programa propuesto se basa en una organización grande, con por lo menos
50 personas. En el apéndice, se muestran ejemplos de reportes para el management basados sobre
estas informaciones.
Resumen por Andrea Moncada para onthinktanks
Acceder online
Gosling, L. (2012) ‘How-To Guide: Monitoring and Evaluation’, BOND for International
Development.
La guía ofrece definiciones básicas de las actividades de Monitoreo y Evaluación. Luego describe el
ciclo de un proyecto, en virtud del cual se organiza un programa de MyE. Finalmente, se proponen
algunas herramientas y estrategias convencionales de MyE.
Acceder online
5
Tomás Garzón de la Roza, Enrique Mendizabal y Vanesa Weyrauch
Este trabajo fue realizado con el apoyo de la Think Tank Initiative (IDRC)
Ebrahim, A. (2010), ‘The many faces of nonprofit accountability’, Harvard Business School,
Working Paper 10-069.
El artículo prove un resumen de las presiones de accountability que enfrentan los líderes de
nonprofits, y examine varios mecanismos disponibles como evaluaciones de desempeño y auto
regulación. El autor propone adaptar esos mecanismos a las características de la organización, y
prestar más atención a formas de accountability guiadas por la estrategia que ayuden a alcanzar la
misión de la organización.
Acceder online
Hovland, I. (2007) ‘Making a Difference: M&E of Policy Research’, Overseas Development Institute
Working Paper 281.
Este trabajo está orientado a mejorar la comprensión acerca de cómo monitorear y evaluar
investigación en políticas públicas. Las herramientas y conceptos que ofrece no se aplican a
investigadores individuales sino a programas, proyectos e instituciones. Ofrece cinco dimensiones de
análisis en términos de desempeño: estrategia y dirección, gestión, producción (outputs), recepción
(uptake), y resultados e impacto. Cada dimensión tiene una serie de prácticas de MyE explicadas y
ejemplificadas. La última sección contiene una lista de mejores prácticas para cada dimensión.
Acceder online
Kaplan, R. (2001), ‘Strategic Performance Measurement and Management in Nonprofit
Organizations’, Nonprofit Management & Leadership, Vol. 11 No. 3.
El artículo describe la adaptación para organizaciones sin fines de lucro de una nueva medición de
desempeño y estrategia de management: el Balanced Scorecard. Se ofrecen varios ejemplos de
implementación.
Acceder online
Schwartz, S. y Austin M. (2009), ‘Implementing Performance Management Systems in Nonprofit
Human Service Organizations: An Exploratory Study’, Mack Center on Nonprofit Management in
the Human Services.
Este estudio exploratorio examina las experiencias de cinco nonprofits de servicios humanos que
desarrollaron sus sistemas de información de gestión (MIS) para responder a requerimientos de
evaluación internos y externos.
Acceder online
Alavi, M. y Leidner, D. (2001), ‘Knowledge Management and Knowledge Management Systems:
Conceptual Foundations and Research Issues’, MIS Quarterly, Vol. 25 No.1.
6
Tomás Garzón de la Roza, Enrique Mendizabal y Vanesa Weyrauch
Este trabajo fue realizado con el apoyo de la Think Tank Initiative (IDRC)
El artículo ofrece las bases teóricas para entender los conceptos de conocimiento, gestión del
conocimiento (Knowledge Management) y los sistemas relacionados (Knowledge Management
Systems); conceptos que son multifacéticos y complejos.
Acceder online
McManus, R. (2004), ‘Knowledge Management in the Real World’, ReadWrite.com.
Luego de señalar los errores o problemas del concepto de knowledge management, el autor
propone no abandonar el uso del término e identificar cuáles son las prácticas valiosas que las
organizaciones pueden adoptar a partir del mismo concepto.
Acceder online
Wilson, T.D. (2002), ‘The nonsense of 'knowledge management'’. Information Research, Vol. 8 No.
1.
Examina críticamente los orígenes y bases teóricas del knowledge management, sus componentes y
su desarrollo como un campo de práctica de consultoría. La conclusión es que el concepto en
realidad es un paraguas inexacto para denominar muchas actividades organizacionales.
Acceder online
7