Evaluacion multicriteria-Introduccion

Fuente: Martínez, Eduardo y Escudey, Mauricio (eds.) (1997), Evaluación y decisión multicriterio: reflexiones y
experiencias, Santiago, USACH, UNESCO © 1997
EVALUACION Y DECISION MULTICRITERIO: UNA PERSPECTIVA
Eduardo Martínez1
Errar es de humanos sin información precisa,
... o de tontos que sí la tienen
La insistencia en la racionalización y formalización
del análisis termina empobreciendo nuestro
conocimiento de la realidad
I.
LA EVALUACION Y LA TOMA DE DECISIONES
La búsqueda de la eficiencia, la productividad y la competitividad; la gestión por la
calidad (total); la internacionalización de las economías y los procesos de integración
regional (Tratado de Libre Comercio de America del Norte, Mercosur, etc.) están
contribuyendo a la tímida introducción en América Latina de una 'cultura de evaluación' y
de metodologías racionales de toma de decisiones.
Hasta ahora, en la mayoría de las instituciones, programas y proyectos del sector
público, de educación superior y de investigación no se ha desarrollado una cultura de
evaluación; prevalece una racionalidad interna de auto-reproducción, con decisiones
burocráticas y corporativas, sin una función de evaluación, y sin un juicio externo respecto
a los fines, eficacia y eficiencia, capacidad, pertinencia, y calidad de los servicios y
actividades.
Por otra parte, los mecanismos estatales de asignación de recursos continuan
operando frecuentemente en forma inercial y automática, manteniendo los subsidios a la
oferta tradicional de servicios, sin una vinculación con la 'responsabilidad formal'
('responsabilización'-accountability), la calidad, el desempeño, la productividad, y los
resultados. Tampoco se ha avanzado en la implantación de métodos racionales, de toma
de decisiones multicriterio. Una situación similar, levemente atenuada, se observa en la
mayoría de las empresas públicas y en no pocas privadas.
La evaluación y la toma de decisiones contienen intrínsicamente una dimensión
referida al ejercicio del poder (interno-externo) y al control. Naturalmente, las
metodologías de evaluación y de toma de decisiones son implementadas en un marco de
referencia, con subyacentes dimensiones conceptuales y valorativas. Las actuales
transformaciones económicas, sociales, políticas, institucionales y organizativas ofrecen
una oportunidad para la implantación de métodos de evaluación y de toma de decisiones,
de garantia de calidad, de financiamiento asociado al desempeño. Aunque también
pueden surgir nuevas formas de regulación y control político, institucional y administrativo.
La evaluación y la toma de decisiones deben enmarcarse en un proceso
continuo de "prospectiva–planificación estratégica": cada programa o proyecto se
1
Especialista Regional en Gestión de Ciencia y Tecnología, UNESCO (Luis Piera 1992, 11200 Montevideo,
Uruguay; fax (598-2) 4132094; tel. 4132075; [email protected])
E. Martínez (1997), Evaluación y Decisión Multicriterio
2
debe analizar y gestionar como una unidad autocontenida. ¿Cuál es la evolución posible
del entorno, de las variables sociales, ambientales, económicas, y tecnológicas directa y
específicamente relevantes? ¿Cuál es: su misión, naturaleza, capacidad establecida
(fortalezas y deficiencias), desafíos y oportunidades, potencialidades, la evolución de los
campos (propios y afines) del conocimiento?
Evaluación significa estimar la magnitud o la calidad de un hecho, de un proceso o
producto. En consecuencia, la evaluación implica el análisis de contexto, la determinación
de criterios, parámetros de referencia, variables, mediciones e indicadores, y la selección
del agente evaluador. Por definición, la evaluación es relativa, está asociada a un marco
conceptual/lógico de referencia, no es posible plantearla en términos absolutos. Una
definición más operativa podría ser:
Evaluación: proceso orientado a la toma de decisiones y a la acción, que busca
determinar la pertinencia, eficiencia, efectividad, impacto y sustentabilidad del uso de
recursos, actividades y resultados en función de objetivos pre-establecidos o criterios
definidos.
La evaluación, que puede ser 'ex-ante' o 'ex-post', constituye un proceso dinámico,
técnico, sistemático, riguroso, transparente, abierto y participativo, apoyado en datos,
informaciones, fuentes y agentes diversos y explícitamente incorporado en el proceso de
toma de decisiones. La unidad de evaluación (evaluador) debe ser independiente de las
instancias políticas y de los ejecutores e involucrados, y tener credibilidad y autonomía.
Actualmente, los métodos multicriterio de evaluación se utilizan crecientemente en
problemáticas muy variadas, obviamente incluyendo la evaluación de proyectos.
La toma de decisiones es el proceso de convertir información en acción. Es un
proceso de identificación y formulación de soluciones factibles, evaluación de las
soluciones y selección de la mejor solución. Las decisiones pueden ser: estratégicas,
administrativas y operativas.
Los métodos de apoyo a la toma de decisiones persiguen eliminar las conjeturas
improvisadas, el pensamiento no explicado, injustificado e intuitivo que subyace en la
mayoría de las decisiones que se toman respecto a problemas complejos.
Adicionalmente, sería útil distinguir, por su pertinencia, los siguientes conceptos:
Proyecto: conjunto integrado de actividades orientadas a alcanzar objetivos y
metas específicas, con un presupuesto definido, recursos asignados, personas/entidades
responsables, y en un plazo determinado. Recientemente se reconoce la importancia de
contar con un 'marco lógico' del proyecto para facilitar el proceso de conceptualización,
diseño, ejecución y evaluación del mismo.
Eficiencia: optimización de los recursos utilizados para la obtención de los
resultados previstos (logro de los objetivos predefinidos). Esta noción resulta
particularmente práctica ya que frecuentemente se utilizan recursos óptimamente en el
logro de objetivos irrelevantes.
Eficacia: contribución de los resultados obtenidos al cumplimiento de objetivos
globales (de la sociedad); relevancia, pertinencia, validez o utilidad socio-económica de
los resultados (objetivos predefinidos).
Efectividad: generación sistemática de resultados consistentes integrando la
eficacia y la eficiencia.
II. LOS METODOS DE EVALUACION Y DECISION MULTICRITERIO
E. Martínez (1997), Evaluación y Decisión Multicriterio
3
A principios de la década del 50, en los medios académicos estadounidenses, 2 del
novel campo de la investigación de operaciones surgió el estudio sistemático acerca de
las cuestiones teóricas y metodológicas de la decisión multicriterio, aunque tomando
distancias de aquél, a través de la crítica de la noción de optimización. A partir de los
inicios de la década del 70,3 se produjo una expansión continua del interés y los
desarrollos teóricos y prácticos de los métodos de decisión multicirterio.
Los métodos de evaluación y decisión multicriterio comprenden la selección entre
un conjunto de alternativas factibles, la optimización con varias funciones objetivo
simultáneas y un único agente decisor, y procedimientos de evaluación racionales y
consistentes.
Los métodos de Decisión Multicriterio Discreta se utilizan para realizar una
evaluación y decisión respecto a problemas que, por naturaleza o diseño, admiten un
número finito de alternativas de solución, a través de:
i. un conjunto de alternativas estable, generalmente finito (soluciones factibles -que
cumplen con las restricciones-, posibles o previsibles); se asume que cada una de ellas
está perfectamente identificada, aunque no son necesariamente conocidas en forma
exacta y completa todas sus consecuencias cuantitativas y cualitativas
ii. una familia de criterios de evaluación (atributos, objetivos) que permiten evaluar cada
una de las alternativas (analizar sus consecuencias), conforme a los pesos (o
ponderaciones) asignados por el agente decisor y que reflejan la importancia
(preferencia) relativa de cada criterio; las propiedades de una familia de criterios
consistente son: exhaustividad, coherencia, no-redundancia (independencia),
operacionalidad, mensurabilidad y economicidad
iii. una matriz de decisión o de impactos que resume la evaluación de cada alternativa
conforme a cada criterio; una valoración (precisa o subjetiva) de cada una de las
soluciones a la luz de cada uno de los criterios; la escala de medida de las
evaluaciones puede ser cuantitativa o cualitativa, y las medidas pueden expresarse en
escalas cardinal (razón e intervalo), ordinal, nominal, y probabilística
iv. una metodología o modelo de agregación de preferencias en una síntesis global;
ordenación, clasificación, partición, o jerarquización de dichos juicios para determinar
la solución que globalmente recibe las mejores evaluaciones, y
v. un proceso de toma de decisiones (contexto de análisis) en el cual se lleva a cabo una
negociación consensual entre los actores o interesados (analista -'experto'-, decisor, y
usuario).
La tasa (razón) de intercambio entre dos criterios (trade-off) representa la cantidad
que se debe sacrificar en un criterio para obtener a cambio una unidad de incremento en
otro criterio.
Los métodos de evaluación y decisión multicriterio pueden ser compensatorios o
no. Un método es compensatorio cuando, en la asignación de los pesos: (i) una mejora
en un criterio permite compensar un deterioro en otro, o (ii) el conjunto de criterios es
considerado en forma simultánea.
Los métodos de Decisión Multiobjetivo se utilizan para realizar una evaluación y
decisión respecto a problemas que pueden presentar un conjunto infinito de alternativas
2
3
T. C. Koopmans (1951), y H. W. Kuhn and A. W. Tucker (1951)
1st. World Conference on Multiple Criteria Decision Making (South Carolina University, U.S.A., 1972)
E. Martínez (1997), Evaluación y Decisión Multicriterio
4
de solución. Las funciones objetivo (criterios) pueden adoptar un número infinito de
valores (un continuo).
Los métodos de evaluación y decisión multicriterio introducen una lógica de
análisis con el fin de aprehender el conjunto de factores involucrados en la consecución
de objetivos, y ofrecer una coherencia a las apreciaciones individuales o grupales para
obtener conclusiones válidas. Dicha lógica, que debe ser simple y accesible, se
contrapone al pensamiento y preferencias no explicitados, no justificados e intuitivos que
subyacen en gran parte de las evaluaciones y decisiones relacionadas con programas,
proyectos y actividades complejas.
En general, no existe una alternativa (solución) que satisfaga y sea preferible en
cada una de las funciones objetivo (criterios). Normalmente, se presenta el caso de
alternativas factibles, o sea aquellas que cumplen las restricciones, que son mejores que
otras en relación a algunos criterios y que son peores que otras respecto a los restantes
criterios.
Una alternativa dominante es superior a otra en al menos un criterio e igual en los
restantes (o sea, no es superada en ninguno de los criterios). Obviamente, la
identificación de una alternativa dominante resuelve 'ipso facto' el problema de decisión.
Por el contrario, una alternativa dominada es inferior a otra en al menos un criterio
e igual en los restantes (o sea, no supera a la otra en ninguno de los criterios). Estas
soluciones pueden descartarse en problemas en que se busca la mejor alternativa,
aunque no en aquellos en que se busca una ordenación del conjunto de alternativas
(algunas alternativas pueden ser dominadas por otras pero no necesariamente por todas
-respecto a las que podrían compararse ventajosamente).
Una alternativa es eficiente o no-dominada4 cuando no existe otra alternativa que
sea superior a ella en al menos un criterio e igual en los restantes (ninguna alternativa es
dominante en relación a ella), es decir, o son iguales en todos y cada uno de los criterios,
o la otra la supera en uno o más criterios y, a su vez, ella supera a la otra en al menos
uno de los criterios restantes.
La relación de dominancia definida previamente resulta útil como una primera
aproximación, para la realización de un pre-análisis (de dominación), aunque,
obviamente, es insuficiente. La toma de decisiones considera el conjunto eficiente de
alternativas, de soluciones eficientes o no-dominadas, y busca la selección de la mejor
alternativa a través de la revelación de las preferencias (subjetivas) del agente decisor.
En términos estadísticos, e intuitivos, el número de alternativas eficientes crece conforme
aumenta el número de criterios (con 10 o más criterios las alternativas serán casi todas
no-dominadas).
Los métodos multicriterio responden también a la necesidad de superar los análisis
o evaluciones de criterio único (unicriterio), como el Análisis (Social) de Costo-Beneficio
(AC-B). El AC-B constituye una estimación y evaluación de los beneficios netos
asociados con alternativas destinadas a alcanzar un objetivo (público), particularmente el
análisis sobre la conveniencia económica de emprender un proyecto de inversión. El
incremento del ingreso nacional constituye el objetivo único con el cual se mide la
4
Optimo de Pareto: el estado óptimo de una comunidad se presenta cuando ninguna persona puede
mejorar su situación sin que empeore la de otra (Vilfredo Pareto, 1896)
E. Martínez (1997), Evaluación y Decisión Multicriterio
5
efectividad de las diversas alternativas. La utilización del AC-B, como una alternativa a la
rentabilidad comercial (análisis financiero privado), surge de la necesidad de 'corregir'
distorsiones en los mercados de productos y factores ocasionadas por distintos tipos de
imperfecciones de mercado y políticas fiscales; el AC-B calcula los costos y beneficios de
un proyecto con base en 'precios sombra' o 'precios de cuenta', que buscan superar las
divergencias entre los precios de mercado y los valores sociales. El AC-B requiere la
cuantificación monetaria de todos los costos y beneficios por medio de una común unidad
de cuenta (numerario), aunque frecuentemente no es práctico ni posible evaluar
alternativas con atributos exclusivamente en valores monetarios. Las metodologías
principales son: LMST-OCDE/Banco Mundial, y ONUDI. El AC-B ha sido objeto de serias
críticas (en particular sus supuestos básicos) y frecuentemente su aplicación es
difícil,compleja e insegura. El AC-B ha sido utilizado en el ámbito de las grandes
inversiones y decisiones del sector público y es preferido por los organismos
internacionales de financiamiento, pero no es aplicable o apropiado para pequeños y
medianos proyectos.
Los métodos de evaluación y decisión multicriterio no consideran la posibilidad de
encontrar una solución óptima. En función de las preferencias del agente decisor y de
objetivos pre-definidos (usualmente conflictivos), el problema central de los métodos
multicriterio consiste en: (i) seleccionar la "mejor" alternativa(s) (problema tipo  );
(ii) aceptar alternativas que parecen 'buenas' y rechazar aquellas que parecen 'malas'
(problema tipo  ); (iii) generar una 'ordenación' (ranking) de las alternativas consideradas
(de la 'mejor' a la 'peor') (problema tipo  ). Para ello han surgido diversos enfoques,
métodos y soluciones.
Los principales métodos de evaluación y decisión multicriterio discretos son:
A. Ponderación Lineal (scoring)
Es un método con una fundamentación teórica ortodoxa y directa 5, que permite
abordar situaciones de incertidumbre o con modestos niveles de información, y que
consiste en construir una función de valor para cada alternativa. El método de
Ponderación Lineal supone la transitividad de preferencias o la comparabilidad. Es un
método completamente compensatorio, y puede resultar dependiente, y manipulable,
de la asignación de pesos a los criterios o de la escala de medida de las
evaluaciones. Es un método intuitivo y sencillo de utilizar y, por ello, ampliamente
difundido.
B. Utilidad multiatributo (MAUT)
Para cada atributo se determina la correspondiente función de utilidad (parcial), y
luego se agregan en una función de utilidad multiatributo de forma aditiva o
multiplicativa. Al determinarse la utilidad de cada una de las alternativas se consigue
una ordenación completa del conjunto finito de alternativas. El método de utilidad
multiatributo supone la transitividad de preferencias o la comparabilidad, utiliza
'escalas de intervalo', y acepta el principio de 'preservación de orden' (rank
preservation). La condición de independencia preferencial mutua entre los atributos
suele aceptarse casi axiomáticamente, e implícitamente la no-interacción entre las
5
La Teoría de la Utilidad (y la Teoría del Valor) postula que un individuo puede elegir entre un conjunto de
alternativas disponibles de forma que maximice su satisfacción. Ello implica que conoce cada una de las
alternativas y es capaz de evaluarlas. En el caso de un individuo racional y consistente es posible definir
una función de valor (determinística) o una función de utilidad (probabilística) que represente sus
preferencias.
E. Martínez (1997), Evaluación y Decisión Multicriterio
6
preferencias, cuando en realidad frecuentemente es cuestionable y no refleja la
estructura de preferencias del agente decisor. El rigor y rígidez de los supuestos
teóricos de este método, usualmente controvertidos y difíciles de contrastar en la
práctica, lo que obliga a relajarlos, requiere un elevado nivel de información del
agente decisor para la construcción de las funciones de utilidad multiatributo, aunque
permiten abordar fluidamente cuestiones de incertidumbre y riesgo. No obstante las
dificultades en su utilización, este método cuenta con una variedad de experiencias
prácticas en el mundo anglosajón (Estados Unidos e Inglaterra).
C. Análisis jerárquico
(AHP-Analytic Hierarchy Process-Proceso de Jerarquía Analítica)
El AHP descompone una situación compleja y no estructurada en sus componentes,
los ordena en una jerarquía, realiza comparaciones binarias y atribuye valores
númericos a juicios subjetivos (respecto de la importancia relativa de cada variable), y
sintetiza los jucios, agregando las soluciones parciales en una sola solución. El AHP
utiliza 'escalas de razón', no admite el principio de 'preservación de orden' (pueden
producirse indeseables efectos de 'inversión de orden' -rank reversal-, aunque es
posible evitarlos -Modo de Medición Absoluta o el Modo Ideal de Medición Relativa), y
permite realizar un atractivo análisis de sensibilidad. Normalmente, los objetivos
(criterios) son ordenados de los más generales y menos controlables a los más
específicos y controlables. Es un método bastante intuitivo en su aplicación,
difícilmente manipulable, posee un atractivo y robusto software de apoyo (Expert
Choice), y probablemente sea el método más difundido y con la mayor gama de
experiencias prácticas tanto en los Estados Unidos como en el resto del mundo.
D. Relaciones de superación ('surclassement', sobreordenación, sobreclasificación,
outranking)
(ÉLECTRE-ÉLimination Et Choix Traduisant la REalité, PROMÉTHÉE-Preference
Ranking Organization METHod for Enrichment Evaluations)
Estos métodos constituyen instrumentos relativamente sencillos para obtener una
preselección de grupos de alternativas (elecciones) muy amplios. El tamaño del
conjunto de soluciones eficientes se reduce por medio de una partición en un
subconjunto (núcleo) de alternativas 'más favorables' y otro de 'menos favorables'.
Una relación de superación constituye un modelo de agregación de preferencias, y
representa el caso particular de dos alternativas que son 'incomparables'. La
construcción de relaciones de superación no necesita absolutamente efectuar
comparaciones binarias de las alternativas, no supone necesariamente la transitividad
de preferencias o la comparabilidad, utiliza escalas ordinales, es indiferentes al
principio de 'preservación de orden', y no es fácilmente manipulable. Los enfoques
más conocidos (Electre) se basan en los conceptos de 'concordancia' y 'discordancia',
y otros se sustentan en el de 'tasas de sustitución' o en una familia de funciones de
utilidad. El modelo de la relación de superación consiste en admitir para cualquier par
de alternativas que una 'supera' a la otra cuando son satisfechas una condición de
concordancia y una de discordancia (tests, índices). La concordancia cuantifica el
'grado de dominación' de la alternativa A sobre la alternativa B; la discordancia
cuantifica el 'grado de no-dominación' de la alternativa B sobre la A. Conforme al nivel
de incertidumbre, existen relaciones de superación determinísticas y 'difusas' (fuzzy).
Los métodos de superación han surgido de la Escuela Francesa, y su uso también es
favorecido en Bélgica, Holanda y el resto de Europa.
REFERENCIAS
E. Martínez (1997), Evaluación y Decisión Multicriterio
7
BARBA-ROMERO, Sergio (1991), Evaluación multicriterio de proyectos; en Eduardo Martínez (ed.)(1993),
Ciencia, tecnología y desarrollo:
interrelaciones teóricas y metodológicas (Nueva
Sociedad/CEPAL/UNESCO/UNU/CYTED, Caracas, 1994, pp. 455-507)
BARBA-ROMERO, Sergio y Jean-Charles Pomerol (1996), Decisiones multicriterio: fundamentos teóricos y
utilización práctica (Universidad de Alcalá, España, 1997, pp. 5-36)
BRANS, Jean-Pierre and Bertrand Mareschal (1992), How to decide with PROMETHEE
DUCKSTEIN, L. and A. Goicoechea (1993), Value and utility concepts in multicriteria decision making, in
Janos Bogardi and Hans-Peter Nachtnebel (eds.) (1993), Multicriteria decision analysis in water
resources management (UNESCO, Paris, 1994, pp. 63-85)
FLAMENT, Michel (1991), Evaluación multi-criterio de proyectos de inversión en ciencia y tecnología; en
Eduardo Martínez (ed.)(1992), Estrategias, planificación y gestión de ciencia y tecnología teóricas y
metodológicas (Nueva Sociedad, CEPAL/UNESCO/UNU/CYTED, Caracas, 1993, pp. 319-361)
HIPEL, Keith (1992), Multiple objective decision making in water resources (Water Resources Bulletin, vol.
28, no. 1, Feb. 1992, pp. 3-12)
KOOPMANS, T. C. (1951), Analysis of production as an efficient combination of activities; in T. C. Koopmans
(ed.) (1951), Activity analysis of production and allocation (J. Wiley, U.S.A., pp. 33-97)
KUHN, H. W. and A. W. Tucker (1951), Nonlinear programming; in J. Neyman (ed.) (1951), Proceedings of
the 2nd. Berkeley Symposium on mathematical statistical and probability (University of California Press,
U.S.A., pp. 481-91)
MARTINEZ, Eduardo (ed.) (1994), Ciencia, tecnología y desarrollo: interrelaciones teóricas y metodológicas
(Nueva Sociedad/CEPAL/UNU/UNESCO/CYTED, Venezuela, 1994, 523 p.)
NACHTNEBEL, Hans-Peter (1993), Comparison of multi-criterion modelling techniques and guidelines for
selection, in Janos Bogardi and Hans-Peter Nachtnebel (eds.) (1993), Multicriteria decision analysis in
water resources management (UNESCO, Paris, 1994, pp. 203-234)
NACHTNEBEL, Hans-Peter (1993), Multicriterion decision making methods with ordinal and cardinal scales:
Electre I-III, in Janos Bogardi and Hans-Peter Nachtnebel (eds.) (1993), Multicriteria decision analysis in
water resources management (UNESCO, Paris, 1994, pp. 113-138)
ROMERO, Carlos (1992), Teoría de la decisión multicriterio: conceptos, técnicas y aplicaciones (Alianza,
España, 1993, caps. 1-2, pp. 19-45)
ROY, Bernard et Denis Bouyssou (1993), Aide multicritère à la décision: méthodes et cas (Economica,
Paris, 699 p.)
SAATY, Thomas (1994), How to make a decision; in Thomas Saaty and Luis Vargas (eds.) (1994), Decision
Making in economic, political, social and technological environments (RWS/University of Pittsburgh,
USA, pp. 1-25)
SAATY, Thomas (1996), Toma de decisiones para líderes (RWS, Estados Unidos, 1997, pp. 21-42)
STAKHIV, Eugene (1992), Does choice of multicriteria method matter ? An experiment in water resources
planning ? (Water Resources Research, vol. 28, no. 7, Jul. 1992, pp. 1767-1779)
TECLE, A. and L. Duckstein (1993), Concepts of multicriteria decision making, in Janos Bogardi and HansPeter Nachtnebel (eds.) (1993), Multicriteria decision analysis in water resources management
(UNESCO, Paris, 1994, pp. 33-62)
VARGAS, Luis (1994), Comparison of three multicriteria decision making theories: the Analytic Hierarchy
Process, multiattribute utility theory and outranking methods (University of Pittsburgh, USA, photoc., 11
p.)
YI-XIANG, Wei and Wang Xiao-Yuan (1989), Application of AHP in the evaluation and selection of the
research projects applied to science foundations (A.I.T., Thailand, 1989, 13 p.)