los demas protagonistas. Consecuentemente, cualquier evaluaci6n

los demas protagonistas. Consecuentemente, cualquier evaluaci6n da lugar a
conclusiones relativas: estas conclusiones dependen del punto de vista del
actor considerado. Aquellos protagonistas que se sit(ian en una buena posi. ci6n en el proceso de negociaci6n no tendran empacho en declarar que la
accion es un exito; los perdedores, en cambio, la juzgaran en terminos desfavorables. "Puede ocurrir, incluso, que una acci6n se desarrolle pese a que
ningt n actor la considcre acertada, pues el coste de romper la negociaci6n
superaria el cosie de mantenerla aun en el marco de una negociaci6n desfa-
CAPITULO V
vorable" (59).
LAS ESTRATEGIAS Y LOS DISPOSiIVOS DE EVALUACION
Este capitulo se propone ofrecer los elementos necesarios para que efect(ten las elecciones estrategicas previas a la concepci6n de una evaluaci6n
tanto quienes la encargan como aquellos a quienes compete Ilevarla a termino. No se trata de una tarea sencilla, pues en la evaluaci6n concurren muchas
problematicas dispares, cuando no opuestas. Este hecho to abona la proliferaci6n de calificativos, particularmente en la literatura anglosajona: formative
evaluation, summative evaluation, process evaluation, contextual evaluation,
responsive evaluation, etc.
iPara que sirve una evaluaci6n? Recordaran sin duda que quienes encargan evaluaciones en EE.UU. ante todo critican la pobre utilizaci6n que cabe
hacer de sus resultados. Pero esta cuesti6n nos remite a otra: iCuales son los
objetivos de la evaluaci6n proyectada? El termino evaluaci6n deriva del ingles
value (valor) (•) . Dicha filiaci6n semantica provoca un contrasentido frecuente, que alimenta a menudo un quid pro quo entre quienes conciben la
evaluaci6n, de un lado, y quienes la encargan, de otro.
El examen detenido de los terminos de la polemica metodol6gica revela que, en lo que atane a la utilidad de una evaluaci6n, la cuesti6n clave no
reside canto en la metodologia cuanto en to creible que la evaluaci6n resulte para los actores sociales. Credibilidad que no.depende, como se pens6
durante mucho tiempo, del rigor tecnico de los instrumentos empleados, sino
de cuan legitima consideren la propuesta los destinatarios de la evaluaci6n.
En efecto, la evaluaci6n nunca es una pr$ctica neutral y ajena a las relaciones de poder; es un acto politico que forma pane integrante del contexto
politico del programa, incluso silos -evaluadores. (1) soslayan tal dimensi6n
(') Nos ha parecido mds oportuno seilalar directamente 1a transposici6n semgntica del
I6rmino "evaluaci6n • (excepcionalmente, nos hemos permitido modificar la frase del original que,
no obstante, reproduclmos: "Etlmol6gicamente, evaluaci6n w cons(ruye a partir de .valor.")
(N. del T.).
(1) Parte de este capitulo y del siguiente proceden de uri articulo escrito en colaboraci6n
129
y pretenden negarla. Por ello proponemos al final de este capitulo un enfoque pluralista que asocie a los actores sociales con el desarrollo de la eval uaci6n, a fin de incrementar su credibilidad y, consecuentemente, su utilidad
social.
V.I. Los
DIFERENFES ENFOQUES A LA HORA DE EVALUAR
Tyler, a quien citamos ya como uno de los pioneros en materia de eval uaci6n, tuvo el merito de poner las bases de un enfoque que adopt6 los: •
objetivos concrptos del programa considerado como punto de partida. Desde entonces, este enfoque por los objetivos ha cosechado muchas criticas y
se han aplicado otros metodos. Sin animo de hacer una lista exhaustiva, examinaremos sucesivamente en que las otras cuatro grandes farnilias -enfoque
por los efectos, enfoque por la forma en que el programa se puso en practica, enfoque por los procesos y enfoque por los actores sociales- se diferencian de la primera.
Para evitar desarrollos prolijos, nos referiremos a cada una de ellas partiendo del caso de las evaluaciones a posteriori, por ser el mas comun. Al lector le dejaremos la tarea de imaginar la situaci6n para las evaluaciones a priori o las evaluaciones concomitantes. Esta presentaci6n, ademas, nos brindara
l a ocasi6n de definir algunos conceptos slave de las evaluaciones.
IA /i IALUAC'ION /)/:' Lr)S /MPAC70S ABUNDANC/A DE' AR1FFAcmS
La concepci6n mas tradicional de la evaluaci6n, probablemente la mas
tosca, se centra en una cuesti6n muy elemental: iEn que medidd ha producido el programa los efectos esperados? en otras palabras, icorrelacionan los
efectos observados con los objetivos previstos?
Este enfoque, que confronta los resultados con los objetivos iniciales del
programa, se utiliza todavia hoy con una frecuencia alta. Un buen numero de
responsahles consideran, sin duda err6neamente, que este tipo de evaluaci6n, denominado evaluaci6n de impaclos o de resultados, cumple con su
finalidad en la mayoria de los casos. El enfoque se apoya basicamente en la
hip6tesis de que existen objetivos -claros, precisos y mensurables•, con los
que se relacionarian los efectos, susceptibles, a su vez, de ser medidos:
con V, Spenlchauer y que apareciO publicado en la revista Politiques el Management Public, vol.
10, num. 3, septiembre 1992. Contarnos con la amable autorizaci6n de la revista.
130
tt
Objetivos
I
Programas
de Acci6n
Efectos
Aun cuando la mayoria de las evaluaciones de este tipo no se limiten a
contar los impactos (ni a analizar la relaci6n coste/beneficios), si que tropiezan codas con la dificultad de traducir en terminos operativos, racionales y
jerarquizados, unos objetivos que, por lo general, pecan de ambiguos, incoherentes y hasta de contradictorios. Por esta raz6n, muchas tecnicas proponen procedimientos formales, a fin de posibilitar que el programa sea
e valuable- segun este enfoque (2). Pero tales tecnicas, como las entrevistas
Delphi o los analisis multicriterios, como maximo consiguen crear un consenso artificial (entre los diferentes actores sobre una definici6n compartida
de los objetivos del programa). El consenso se quiebra ineludiblemente en rl
momento de discutir los resultados de la evaluaci6n (3).
Por lo demas, este enfoque se fundamenta en otros multiples artefactos,
que no se adectian con los procesos de decisi6n mas habituates. Sabemos,
por ejemplo, que la puesta en practica de un programa diverge inevitablemente, en mayor o menor medida, del dispositivo inicialmente previsto; hay
que mantener, por tanto, las debidas reservas sobre la atribuci6n de efectos
a la causa que se supone es el programa previsto en origen. Asi, algunas
innovaciones han sido descartadas con cierta precipitaci6n ante una evaluaci6n de los resultados, dandose la circunstancia de que las organizaciones
experimentaron dificultades, durance el desarrollo del programa, no imputables a la propia innovaci6n (4). Pese a estas consjderaciones, una cuarta parte de las evaluaciones realizadas para el Ministerio de Sanidad americano en
1970 no incluian el menor analisis sobre la utilizaci6n efectiva de los medios
previstos inicialmente. En otro campo, una metaevaluaci6n (una evaluaci6n
de 213 evaluaciones) de programas locales de ahorro energetico, puesta en
practica en California, demostr6 que la gran mayoria de los informes finales
de los estudios prescindian de una descripci6n, incluso somera, de los
medios utilizados en el marco del programa evaluado (5).
(2) Entre los mss conocidos, citaremos a Coon, T., y CuePHRU, D., 1979: Quasiexperimen-tation: design and analysis Issues for field setting, Chicago, Rand McNally, y
Roi, P.11., y FRi
MAN, H. E., 1982: Evaluation: a systematic approach, Londrei, Sage.
(3) PATTON, M. Q., 1978: Utilization focused evaluation, Londres, Sage. En Ia obra, M. Q. Patton describe varias estrategias utilizadas por los actores sociales para hacer fracasar estas tecni-
cas: estrategia de la .pirueta., de la formulaci6n de objetivos contradictorios o de -guerra de los
objetivos..
(4) FRErm.w, H. E., 1977: -The present status of evaluation research., en Evaluation Studies
Review Annual, vol. 2.
(5) WHnr., L. T.; ARCHER, D., y ARONSON, E., et al., 1984: -Energy consumption research of California's utilities., en Evaluation Review, vol. 8, num. 2.
LA EtALI/A(.ION (1PE/?A!7c1 /.1 /:L/(;IJNCIA COMO /JE'
Un enfoque mas realista consiste, pues, en considerar el programa no ya
como una entidad homogenea invariante, sino como un conjunto heterogeneo de medios empleados (financieros, tecnicos, de comunicaci6n.... ). La
cuestion central se formula esta vez de la siguiente manera: iHan permitido,
la selection y la utilization de los medios, alcanzar los resultados esperados?
Como cuestion subsidiaria queda: .Fueron empleados los medios de
acuerdo con el proyeclo y los obelivos iniciales?
Este enfoque se puede representar conforme al esquema siguiente:
Medios
utilizados
Efectos
T
Estas evaluaciones operativas (implementation evaluation) se proponen,
ademas de medir la eficacia global del dispositivo, maximizar los medios
(realmente empleados) en relaci6n con los fines (los objetivos fijados). Los
experimentos mas elaborados, descritos en la.Tercera Pane (del estilo del
Great Housing Experiment), se relacionan precisamente con una aproximacion de este tipo. Las evaluaciones clan lugar a una respuesta mas ajustada a
su primera finalidad -la de describir hechos o acontecimientos surgidos
durante el programa-, pero no alcanzan, sin embargo, a explicarlos. Las
intenciones de los organizadores del programa ocupan, como en el enfoque
anterior, un lugar central que, de un lado, tiende a restringir la unidad de analisis solo a los efectos previsibles y, de otro lado, a reducir la interpretaci6n
solo a los factores endogenos al programa.
LA F.VALVACLGN LIBFI2ADA DE LOS OBJE77VOS: EVALU/AR SIN AA7F.OJERAS
Conscience de estos limites, M. Striven presento en un texto, que ha
generado intensas polemicas, un enfoque que prescinde totalmente de los
objetivos oficiales: las evaluaciones liberadas de los objetivos (Goal free evaluation) (6). En opinion de este autor, las evaluaciones no deben polarizarse
en los objetivos iniciales, sino mas bien responder a esta cuestion: eCuales
son, entre el conjunlo de los efectos de un programa, los que salisfacen necesidades fundamenlales? Esto puede represcntarse asi:
(6) ScRnvr,, M., 1973: Goal Free Evaluation, en
and Process, Nueva York, McCutchan.
1 32
HouSE,
E. (ed.): School Evaluation: the Politics
Objetivos
Necesidades
fundamentales
Por encargo del Ministerio de Educaci6n norteamericano, se le encomend6 a M. Scriven que seleccionara, entre los productos y los metodos de
ensenanza nuevos, aquellos que merecian ser difundidos.Este encargo le permiti6 apreciar c6mo fracasan muchos proyectos con relaci6n a sus objetivos
iniciales, aunque produzcan, en cambio, consecuencias positivas en otros
campos, siendo entonces -recomendables.. Un metodo innovador de ensenanza de las matematicas, por ejemplo, puede no causar impacto a la horn
de que los alumnos adquieran conocimientos en la materia, pero incrementar, sin embargo, su creatividad o incluso la comunicaci6n dentro de la clase.
i
Con otras palabras, es indiferente que no se cumplan los objetivos iniciales si el programa innovador causa efectos beneficiosos (aun sin ser intencionados) o, al reves, que se logren los objetivos al precio de efectos indeseables. Puede ocurrir, ademas, que diferentes actores sociales pretendan
conseguir efectos similares, pero que no se pongan de acuerdo sobre los
medios a utilizar; o, al contrario, que, estando de acuerdo sobre la forma del
programa, minoren efectos opuestos.
En este ultimo extremo se sit6an algunos programas de ahorro energetico, que han producido to que se ha convenido en llamar el .efecto boomerang. cuando se trataba de hogares con recursos precarios y, particularmente, en el caso de la Tercera Edad: los ancianos incrementaron su consumo de
calefacci6n despues de las obras gratuitas de rehabilitaci6n de sus viviendas,
fulminando los ahorros de energia esperados. Para los responsables, preocupados por el ahorro energetico, el programa entonces fue un fracaso; ahora
bien, los servicios sociales, pendientes de la salud de los ancianos, y los propios beneficiarios, estaban a su vez convencidos de que la iniciativa habia
sido un exito (7).
El evaluador, seg6n Scriven, debe pues abstenerse de leer los folletos o
de discutir con los responsables oficiales del programa antes de proceder al
analisis de los efectos, a fin de eliminar los sesgos perceptivos asociados con
un conocimiento previo de las expectativas. Esta precauci6n permite evitar
una visi6n de ttinel. y despojar de connotations negativas los efectos inesperados (cf. los calificativos habituales: efectos secundarios, perifericos, perversos...).
Esta aproximaci6n, sin embargo, ha sido escasamente utilizada porquc
(7) MONNIER, E., et al. (eds.), 1986: Consumer Behavior and energy policy: an international
perspective, Londres, Preager.
1 33
su aplicaci6n es delicada. Sobre todo en to que atane a la determinaci6n de
las famosas -necesidades fundamentales-, el evaluador corre el riesgo de sustituir, con su propio sistema de valores, el de los responsables (8). De cualquier modo, este enfoque ha contribuido a que se profundice en la refexi6n
sobre las a priori situaciones de evaluaci6n.
LA
EvALUAC/ON DE LOS PROCESOS: LAS INTERACC/ONES SIS7lMICAS
Las teorias sisti micas inspiraron un enfoque por_los procesos cuya finalidad principal consiste en explicar los fen6menos a partir de un analisis.de
las interacciones entre el programa y su entorno. Dicho de otro modo, ahora la cuesti6n es: ,Cuales son los procesos que se hallan en el origen de los efeclos observables?
Este tipo de evaluation de procesos (process evaluation) tiene entonces
por objetivo la identificaci6n y la comprensi6n exhaustiva de los hechos relativos a las acciones emprendidas (a veces reciben la denominaci6n de comprehensive evaluation).
El programa y su organizaci6n se perciben como entidades dinamicas
que camhian a medida que se adaptan al contexto donde son llevados a la
practica. Los objetivos iniciales pueden verse suplantados por nuevos objetivos operatives, su jerarquia puede verse alterada y, por ultimo, los medios
emplcados de facto nacen de un compromiso y divergen de los medios pre•u na
vistos in abstraclo. La evaluaci6n pcrsigue, puts, reajustar los medios (
optimizaci6n-) en funci6n de las caricteristicas del entorno. El sistema es
transferible al esquema siguiente:
Objetivos
y medios
i nicialmente
previstos
Entran
I,
Oportunidades
y restricc'iones
del contexto
(8) Pnl'j
1 34
, M. Q., 1978: Op. cit.
Objet >s
y medios
de facto
accio-
R
nes del
entorno
i
En el marco de este acercamiento, las intenciones de los responsables del
programa prevalecen, pero esta vez sus_ objetivos (y sus medios) son asumidos de facto y no ya in abstracto, como ocurria con las evaluaciones operativas mencionadas anteriormente. Estos objetivos y medios de facto pasan a
convertirse en las referencias con las que se confrontan los efectos.
Muchos modelos de conducta de este tipo de evaluaci6n han sido propuestos por los academicos americanos en respuesta a las nuevas exigencias
de los responsables (9). Son muy titiles en el caso de programas simples, no
excesivamente innovadores y de gran envergadura (desarrollados en varias
localidades a un tiempo). En los demas casos, las evaluaciones de procesos
plantean todavia problemas practicos mal resueltos (abundan las variables
independientes o explicativas) y siguen siendo muy caras, sobre todo si se
respeta el paradigma experimental.
Por lo demas, los modelos p'ropuestos conservan, de un lado, una visi6n
sin6ptica de los procesos de decisi6n y, de otro lado, una aproximaci6n en
terminos de sistema cerrado que persigue la exhaustividad. Se soslayan, pues,
las posiciones implicitas y los conflictos entre las diferentes partes que intervienen; tambien se obvia el tema de la diversidad de los sistemas de valores
de los actores afectados., Ahora bien, los actores, cada vez mss numerosos,
ponen en duda canto la existencia de un consenso en torn a los objetivos
(o al sistema de valores), como la posibilidad de que una evaluaci6n logre
alcanzar conclusiones objetivas e imparciales (10).
U EYALUAC/ON PLURALJSTA: EL REC0NOCIMIEMO DE LOS ACIORSS
Este ultimo enfoque se sittia desde la perspectiva de las posiciones sociales emergentes en vez de partir de los objetivos explicitos. Se apoya en (-i
reconocimiento de una pluralidad de sistemas de valores que coexisten en cl
seno de la sociedad. El programa se concibe como un proceso siempre abierObtienen
Efectos
(9) Cf. los modelos citados en las obras siguientes: Eraow, A., 1968: 7be Active Society.. a
lbeory of societal and political processus, Free Press; Pexxow, C., 1970: Organizational Analhis: a
sociological view, Wadsworth; STuFYIsBEu, D. L., et al., 1971: Educational Evaluation and Dccision-Making, Peacock Publisher; Mossier, E., et a!.: Evaluation Metbods for Energy Conservation
Programs in the Residential Sector, en MoNME,, E., et al.'Zeds.): Consumer Behavior and Energy
Policy: an international perspective, Nueva York, Preager.
(10) Pese a que difieren a veces sustancialmente desde el punto de vista de sus propuestas, existen muchas coincidencias entre autores como Cronbach, Guba, Lincoln y Patton. Cf. CiosBAoi, L. J., et al., 1980: Toward reform of Program evaluation, San Francisco, Jossey Bass; Gu.
aA, E.: y Lscou , Y., 1981: Effective Evaluation, San Francisco, Jossey Bass;
PArroN, M. Q.,
1978: Op. cit. Cf. tambien las distintas contribuciones sore el terra: Wens, C. (ed.), 1983: -Stakeholder-Based Evaluation-, en New Directions for Program Evaluation, num. 17, San Francisco,
Jossey Bass.
135
RECUADRO NUM. 1
UNA PROPUFS7A PARA UN NUEVO ENFOQUE
A
-Recomiendo el enfoque interactivo (responsive approach) a fin de encumbrar la evaluacion de las cuestiones (issues) que son relevantes para cada programa en particular. Es un modo de abordar el tema que sacrifica en pane la
precision cuantitativa en aras de incrementar su utilidad para quienes intervienen en el marco del programa o se yen afectados por este. La evaluaci6n de
una practica educativa sera pluralista si confiere prioridad a las actividades reales frente a los resultados perseguidos, si aporta una respuesta a las demandas
de information de las personas interesadas y silos informes sobre los fracasos
o los exitos obtenidos reflejan, en su elaboration, los distintos sistemas de valores vigentes.El enfoque propuesto implica, por canto, que se realicen determinadas actividades, cada una de ellas repetidamente a lo largo de una evaluacion, y conforme a un orden que el curso de los acontecimientos dictara al evaluador:
1. El evaluador definira los limites del cameo respecto de lo que se considera pane integrante del programa. Para ello tomara como referenda
l os documentos oociales, los archivos del programa, etc.
2. El evaluador aprecia directamente el contenido del programa y corrige
sus ideas preconcebidas con relation a este.
3. Se halla entonces en condiciones do situarse ante las parses implicadas,
de calibrar sus expectailvas frente al programa y sus objetivos Implicit os respecto a la evaluaciOn.
4. Se forma una rcpresentaciGn conjunta de las positions y de l os problemas que dehe estudiar.
5. Esta preparado para determinar una estrategia de evaluacion y elegir la
conception adecuada (design), los datos y las informaciones que habra
de recoger.
6. El evaluador selecciona su modo de recopilar los datos y las informaciones en funci6n de sus necesidades coyunturales. Por lo general,
recurrira a juicios de observadores humanos.
7. Se procede a la obtencdon de los datos.
8. Presentation de los resultados: el evaluador buscara unos medios que
le permitan comunicarlos con la maxima naturalidad, informando muy
extensamente sobre experiencias personales.
9. El evaluador debe seleccionar que informaciones difundira de manera
mas amplia, determinar a quien hard participe de que resultados y
adaptar la forma a! destinatario.
10. Dara por terminada la evaluacion reuniendo los puntos de las conclusiones que se inf eran de su trabajo a tenor de las clausulas estipuladas
en su contrato de evaluador.
Fuente: Stake, R. E., y Gjerde, C., 1974: An evaluation of T-City, the twin city institute for
talented youths, Chicago, Rand McNally (Monograph Series in Curriculum Evaluation,
num. 7).
13 6
to de aprendizaje colectivo y de b6squeda pluralista de soluciones a los problemas sociales. La evaluacion pluralista (11) participa entonces de esta
vision heuristica y aspira a responder a la siguiente cuesti6n: 4Cudles son las
informaciones que requiere el sistema de actores pans comprender mejor los
efectos o los acontecimientos sobrevenidos durante el desarrollo de un programa?
SISTEMA QUE EVOLUCIONA EN EL TIEMPO
t
Actores
sociales
Y
EN EL ESPACIO SOCIAL
Acci6n/Reacci6n/Adaptaci6n
en el marco del programa
,
Evaluaci6ri
I
Efectos
Por canto, la primera tarea de la evaluaci6n consiste en identificar a los
responsables y a quienes utilizaran los resultados.del analisis; la segunda, en
explicitar los sistemas de valores que orientaran los objetivos de la evaluaci6n y sus caracteristicas (m6todo, criterios.... ). El conjunto se concibe entonces como un sistema abierto donde la evaluaci6n queda integrada, produciendose una evolution de los objetivos de 6sta 6ltima a medida que va desarrollAndose.
Ateni6ndonos a este enfoque, no se espera de los actores que busquen
una solution optima, sino una soluc16n .satisfactoria • en funci6n del contexto. El sistema de valores y de referencias de cada actor evoluciona seg6n
se cumplan o se frustren sus expectativas; 6stas (ltimas (el nivel de aspiracibn, en terminologia psicol6gica) varian en funci6n de sus experiencias individuales y colectivas (12). Sucede con los objetivos lo mismo que
con el horizonte, que se alejan en canto que se avanza. Cuanto mas incierto es el entorno, menos estables y concretos son los objetivos. En otras palabras, cuanto menos previsible es el futuro, mas (itil resulta la evaluaci6n,
ya que reduce la incertidumbre de los respori§ables con respecto a su
entorno.
(11) En la literatura americana encontramos numerosas denominaciones de lo que llamamos evaluaci6n pluralista:.Responsive Evaluation., citado en ST.ue, R. E., y Gtexce, C., 1974: An
Evaluation of T.City, 7be twin city Institute for talented youths, Chicago, Rand McNally (Monograph Series in Curriculum Evaluation num. 7); -Active-reactive-adaptative evaluation., citado en
P~rroN, M. Q., 1978: Op. cit.; -Stakeholders evaluation., citado' en Wuss, C. (ed.), 1983: Op. cit.
(12) PArroN, M. Q., 1978: Op. cit.
137
V- 2. LA UTILIDAD SOCIAL DE LA EVALUACION
LAS DIMF.NSIONES Poijwc4S DE LA EvALUACI6N
Recordaremos sin duda que los experimentadores positivistas esperaban
que la ciencia aboliese la politica y que el gobierno de los hombres Ilegara a
ser una rama de la estadistica aplicada. Pero la realidad es otra: la evaluaci6n
no ha desbancado a la politica, pues esta se encuentra en el nucleo mismo
de toda evaluaci6n. M. Q. Patton dirigi6 una encuesta, entre los respectivos
responsables que gestionaron veinte programas experimentales del Ministerio Federal de Sanidad y entre sus evaluadores, que pone de manifiesto una
i magen bastante inusual de las condiciones en las que se realizan las evaluaciones (13). Los interlocutores de M. Q. Patton admitieron, mayoritariamente,
que habian influido consideraciones politicas en los juicios emitidos en el
marco de la evaluaci6n, asi como en la propia forma de trabajar. En efecto,
la politica no se reduce al campo de las representations o ideas expuestas
por los politicos. En una sociedad, cualquier situation de arbitraje entre concepciones que no concitan un consenso es politica. Por esta raz6n, la implementaci6n de un programa de acci6n de los poderes p6blicos es un proceso
politico, y lo mismo ocurre con la evaluacibn: las elecciones entre sistemas
de clasificaci6n, de referencias, los conceptos, las teorias, los modelos o hasta los puntos de vista asumidos o rechazados, participan todos en los procesos politicos.
El ca racter politico de la evaluaci6n tambien se percibe, sin embargo, en
las condiciones sociales de acceso a la information que origina, asi como en
l a toma de decisiones que desencadena. Por ultimo, se aprecia en la negativa, por pane del evaluador, a mantener algunas cuestiones formuladas por
l os organizadores o los destinatarios de un programa. No pretendemos discutir el caracter beneficioso o nefasto de dicha dimension politica, sino subrayar que la eventual utilizaci6n de la evaluacibn es inseparable de su vinculacion con la esfera politica. Cualquier intento de huir de esta realidad equivaldria, en la mayoria de los taros, a renunciar a toda utilidad social de la
evaluaci6n.
Las antcriures ol>servaciones vienen confirmadas por la constataci6n,
plenamente empirica, efectuada por nuestros colegas norteamericanos a prop6sito de una serie de evaluaciones cuyos autores habian anticipado, excepcionalmente, que estas ocasionarian su participation en algunas procesos
politicos. De ahi se puede extraer una consecuencia que conecta directa•U na teoria
I ncnte con una de las 95 tesis de Cronhach y de sus •a sociados •:
como
teoria
de
la
interaction
politica
de la evaluaci6n ha de ser tanto una
(13) PAITON, M. Q.,
138
1978: Op. cit.
una teoria relativa a la descripci6n de hecho • (tesis ntim. 11) (14). Si se quiere definir una evaluaci6n con conocimiento de.causa, es convenience, pues,
concebirla apoyandonos en un analisis de la dinamica politica donde se integra. Este analisis, desde luego, no se puede verificar en gran medida durante la evaluaci6n, pero su explicitacion significa el atisbo de que se intuye el
caracter relativo de cualquier evaluaci6n y, por tanto, abre la posibilidad de
modificaciones ulteriores (15). En efecto, ya hemos comentado que la informacion y la comunicaci6n son esenciales para alimentar las negociaciones
cuyo eje lo constituye cualquier programa publico.
Despues de haber insistido sobre las dimensiones propiamente politicas que reunen las evaluaciones, procede recordar que la evaluaci6n no
puede sustituir a la decision politica. Incluso se diria que, cuando los evaluadores han intentado aprovechar la evaluaci6n de programas experimentales para favorecer una decisiorr, alcanzaron invariablemente el resultado
inverso. Esta es la conclusion que se obtiene del analisis de D. Greenberg y
P. Robins sobre una serie de experimentos sociales realizados en EE. UU. a
partir de 1968 (16).
En efecto, entre 1968 y 1985, los programas que se ilevaron a cabo
suponen los esfuerzos por justificar las reformas profundas en concepto de
provision de servicios sociales por el Gobierno federal. Tales programas
dieron lugar a numerosisimos debates entre los politicos y los expertos.
Estos 61timos situaron sistematicamente la controversia en el campo de los
metodos y no consiguieron que prevaleciera un punto de vista unico. Los
politicos, a falta de informaciones creibles desde su perspectiva, suelen
zanjar las cuestiones enarbolando principios eticos o •s ociol6gicos•, pero
ante esta nueva situaci6n se vieron abocados a asumir posiciones de cautela y mas bien de espera. Por ello, las evaluaciones de los grander programas sociales, polo de atracci6n para los polemistas mas apasionados,
provocaron (como por inadvertencia) que disminuyeran las posibilidades dc
que algunas de esas innovaciones fuerai adoptadas por los responsahles
politicos.
Parece, pues, que las evaluaciones tradicionales quedan en entredicho, al margen de su rigor metodolbgico, si no se preocupan por encontrar
una l gitimidad politica. Durante largo tiempo se crey6 que la indepcn-
dencia institucional y financiera del evaluador ofrece una garantia de objeti(14) CNONIMOI,
L. J., et al., 1980: Op. cit.
(15) El estudio de la pertinencia de estas teorias sobre'el funcionamiento politico de ciertas
organizadones proviene evidentemente de la investigacibn en ciencias sociales, no de las evaluaciones. Esto significa que las 6ltlmas pueden beneflclarse.ntuchu sl se apoyan en las primer:.
(16) GMEENBERG, D., y Roams, P., 1985: •The changing role of social experiments in policy
analysis., en Evaluation Studies Annual Review, vol. 10.
139
T
vidad; por tanto, una legitimidad (cientifico-tecnica) suficiente. No fue asi,
sino todo lo contrario: emplazandose en el centro mismo de los procesos
politicos es como el evaluador evita que se rechace la fundamentacibn de las
conclusiones. Una evaluaci6n pluralista sobre la base de un analisis colectivo de los datos, siempre que sortee artimanas fruto de los virajes politicos,
puede reivindicar una -no-parcialidad. (noci6n que sustituye a la de objetividad).
LLegados a este punto en la definicibn de las evaluaciones, senalemos
que, ante todo, hay que preguntarse con que finalidad se decide realizar una
evaluaci6n, despues definir desde que vertientes se quiere llevar a cabo la
evaluaci6n de un programa y, por ultimo, explicitar los medios asignados y
l os efectos que se esperan de la accibn. Por lo demas, es preciso autodescribirse, lo mas satisfactoriamente que sea posible, los procesos politicos que
conforman ei contexto donde el programa y la evafuaci6n se desarrollaran, a
fin de precisar que lugar ocupara esta en aquel.
Al formular tales recomendaciones, nos contentamos con plantear algunas cuestiones con una potential utilidad practica de cara a la definicibn de
una evaluaci6n, pero nos abstenemos de proponer un modelo normativo que
responda a cualquiera de dichas cuestiones por coherencia con el contenido
de los analisis precedentes.
LAS CoNDIcIoNIS hE'CESARIAS PARA QUE SEAN UInLES L4s CONCLUS/ONES
DE L4 EVALUACION
Se_ acumularon las desilusiones por parte de los investigadores ante el
escaso interes que prestaron los responsables politicos, o los gestores, a los
resultados de sus trabajos (de coste elevado), asi como las desilusiones de los
responsables de los programas experimentales ante la naturaleza de las conclusiones de las evaluaciones, antes de que el tema de la utilizaci6n de los
resultados se ahordara de forma clara. La respuesta parece evidente, pero no
lo es: una evaluaci6n puede establecer ei balance de las consecuencias social es de un programa publico desde diversos puntos de vista. La interpretation
de las relaciones de causa-efecto (entre los medios empleados en el marco
del programa y los hechos posteriores), segun lo comprobamos con los experi mentos sociales norteamericanos, es dificil y cara. Para formular las hipbtesis relativas a los impactos de un programa, lo que denominamos una teoria
de accibn, debemos adoptar una posici6n. Dicha position, iacaso no es siempre la del poder publico que aporta la financiaci6n del programa? Ciertamente, quien encarga la evaluaci6n suele ser la instituci6n que financia el
programa, o que asume la tutela administrativa de su puesta en practica, aunque este dato no baste para definir un punto de vista, puesto que el aparato
14 0
estatal no conforma una entidad homogenea. En su seno coexisten distintas
perspectivas, defendidas por los multiples agentes que pertenecen a los distintos niveles de un mismo organismo o por organismos que cumplen misiones y estrategias institucionales variadas.
En este sentido, es preciso senalar que la evaluaci6n puede ser objeto de
utilizaciones perversas, como lo evidencib la reforma administrativa de 1964
ya comentada. Los autores norteamericanos hasta han Ilegado a proponer
una tipologia de las perversions que puede entranar una demanda de evaluaci6n: evaluaciones-coartada., que consisten en exhibir, en primera linea,
operaciones exitosas a fin de que sirvan de pantalla al analisis sistematico de
un programa; -evaluaciones-aviso., en las que se destaca un . indicador de fracaso, para justificar, sin un examen mas detenido, la interrupci6n de un programa montado por la Administration a reganadientes, por la presi6n de los
politicos locales o nacionales... Tambien encontramos frecuentemente el caso
de -evaluaciones-alegato pro domes, encargadas por la propia organization
evaluada, con el prop6sito de justificar su existencia con respecto a otras institutions (mantenimiento de un organismo, de una escuela, etc.).
El responsable financiero de un programa suele adoptar, como minimo,
uno de los tres puntos de vista siguientes:
1. iCuales son la pertinencia y la utilization efectiva de los medios en el
contexto de la accibn definido por el programa? (Se corresponde con
el punto de vista adoptado, por ejemplo, por las Inspecciones Generales de los ministerios franceses.)
2. jExiste alguna posibilidad de mejorar la~ provisi6n de los servicios
prestados en el marco del programa? (Se corresponde con el enfoque
habitual de las consultorias en organizaci6n.)
3. iQue nuevas medidas cabe arbitrar para resolver los problemas sociales en 19s que el programa ha permitido una profundizaci6n? (El
Ministerio de Sanidad, por ejemplo, puede esperar que un progrania
experimental valga para informarle en que condiciones los drogadictos j6venes aceptaran una cura de desintoxicaci6n.)
No obstante, la perspectiva asumida por los poderes pt blicos puede,
indistintamente, coincidir con la de uno de los adores del programa, excluyendo entonces a los demas implicados (a veces, excluyendo a la propia
Administraci6n). El Ministerio de Sanidad britanico ha realizado, en este sentido, evaluaciones de programas de asistencia a enfermos graves en sus propios domicilios desde la 6ptica del familiar que procura los cuidados basicos
al enfermo. La adopci6n de esta perspectiva ha impulsado al Ministerio a
141
modificar ]as directivas impartidas a los medicos y a los profesionales que
tambien intervienen en tales situaciones.
Observamos asi que, to mismo que para la definicion de la evaluaci6n
y de ]as cuestiones evaluativas, hay tantas perspectivas posibles para interpretar los datos y l as conclusiones de la evaluacion como situaciones socialmente definidas. Podemos igualmente atenernos a un punto de vista critico
ajeno al funcionamiento de la sociedad. Esto fue to que hicieron muchos
i nvestigadores norteamericanos deseosos de promover un gobierno cientifico de las sociedades puesto que, en su opinion, la resolucion de los
problemas sociales pasa por la organizacion de expe'riencias in situ, di
rigidas conforme a los canones de la ciencia experimental. Esta vision quiza nos parezca hoy graciosa, pero conviene preguntarse cuales son los
efectos sociales de las evaluaciones tal como han sido generalmente practicadas hasta la fecha (sustancialmente respetuosas con el paradigma experimental).
La encuesta de M. Q. Patton, ya citada, resulta inapreciable para comprender cuales son los factores que favorecen una utilizacion real de los
resultados de una evaluacion por las panes implicadas en el programa. Para
empezar, por mucho que la utilidad de una evaluaci6n sea ocasionalmente
percibida con fuerza nor los actores, esta nunca se pods demostrar. En efecto, su utilidad se very menos cuestionada cuantos mas contactos haya propiciado la realizaciem de la evaluaci6n entre, por un lado, el responsable del
programa, su gestor, y, por otro [ado, el encargado de evaluar: la evaluaci6n
se muestra, pues, como un proceso que facilita y enriquece la reflexi6n, pero
quc nunca se fragua en el aislamicnto. La evaluaci6n se mezcla con las reflexiones que imponen el trabajo ordinario y los acontecimientos. Por otra parte, es tanto mas eficaz cuanto mas interactiva se vuelve. Asi es como la eficacia de la evaluaci6n, desde la perspectiva de los responsables, parece relacionarse con su implicaci6n en el proceso evaluativo. La evaluacion, frente a
l os proye ctos grandiosos de sus teoricos mas ilustres, se nos manifiesta entonces, mas modestamente, como un proceso de trunsformacion de las ideas y
de los conocimientos que contribuye a una evolucion lenta o a unos cambios
marginales de los programas sobre los que versa (esto es en el mejor de los
casos, aquellos donde los actores reconocen que han jugado un papel nada
desdcrlablc).
Asi pues, la utilidad social de una evaluaci6n depende de las condiciones de upropiacicin de sus conclusiones por los actores sociules a l os que va
destinada. Por ello sostenemos que las evaluaciones pluralistas son las mas
i ndicadas cuando se trata de crear las condiciones para una apropiacion real,
por tanto de una utilizaci6n de sus resultados. l3asandose en un diagnostico
de las panes afectadas, de las posiciones vigentes y de las cuestiones innegables, el acercamiento pluralista recomienda suscitar un proceso interactivo
e iterativo. Interactivo, en el sentido de que la implicaci6n activa de los actores en la interpretaci6n de los datos favorece la expresi6n de nuevos planteamientos, la entrada en escena de nuevos actores y Ileva a las partes a reconsiderar el conjunto de sus iniciativas con relaci6n al problema social que ha
desencadenado originariamente el programa evaluado. Iterativo, ya que la
participaci6n de los actores conduce, en sentido inverso, a redefinir las bases
operativas de la evaluaci6n.
Este tipo de evaluaci6n se desarrolla, pues, de acuerdo con un proceso
analogo al del programa que ha sido descrito en el capItulo anterior; esto es,
de acuerdo con un proceso evolutivo que debe converger hacia un compromiso sobre la interpretaci6n de los hechos entre observadores y observados,
de un lado, y entre los diferentes protagonistas del programa, de otro lado.
A nuestro entender, en ello es en to que se puede fundamentar la legitimidad de una evaluaci6n. Una evaluaci6n es creible (por canto, puede ser (nil
socialmente), si goza de legitimidad ante los ojos de los actores sociales a
quienes incumbira despues aplicar las mejoras sugeridas por la propia evaluaci6n.
Existe una fuerte analogia entre el modelo de las evaluaciones pluralis- ,
tas y el de los Circulos de Calidad en la industria: Los industriales, en efecto,
presionados por la competencia internacional (e influidos por el modelo
japones, que relevo al modelo sueco), aprendieron las ventajas de enfocar los
problemas de organizaci6n desde una 6ptica humanista (17). Al adoptar cl
principio de los Circulos de Calidad, los industriales operaron una •revolucion
cultural.: renuncian implicitamente al postulado tradicional segt n el cual existe una unica soluci6n tecnica preferible y llegan a la conclusion de que mas
vale una solucion propuesta por aquellos que han de aplicarla, incluso a
expensas de que parezca mediocre ante los ojos de los expertos tecnicos. La
participaci6n de los destinatarios de la innovaci6n en su concepci6n facilita
la adhesion de estos y, en consecuencia, recorta las dificultades posteriores
de su aplicaci6n. Del mismo modo, las evaluaciones pluralistas renuncian a
establecer conclusiones •r
igurosas. (verificadas'cientificamente) en arcs de
negociar, con Los actores implicados, un compromiso aceptable por quienes
deberan sacar provecho de las conclusiones en su quehacer. La perdida de
rigor (o de calidad cientifica) es el coste de cara a evitar el rechazo de toda
la evaluaci6n por pane de sus destinatarios.
(17) MmiiR, C., 1986:
prendre, junio.
•Logique de la mode manag6riale,en Annales des Mines, Gereret corn-
1 i3
V-3. EL DISPOSI'1'IVO DE EVALUACION
ISVALUAC16N ENI X)FORMA77VA Y EVAL UC76N Rl.'cAl'rnp.177VA: LA 7t)AfA EN CONSIDI/RAC76N
DF L1 S EXPI/CTA77VAS DI:' LOS DFSI7NATARIOS
La distinci6n mas util entre las situaciones de evaluaci6n, y que prosper6 al otro lado del Atlantico, fire concebida por M. Scriven (18): si el proposito de evaluar consiste en informar a los protagonistas del programa para.
que puedan modificar sus conductas, mejorar la accion y transformar asi su
propio objeto, diremos que la evaluacion es endoformativa (formative evaluation); si la evaluacion esta destinada a favorecer que personas ajenas al
programa -poderes publicos, representantes politicos, ciudadania en generalse formen una opinion global acerca del valor intrinseco de la accion, al margen de la opinion de sus protagonistas, diremos que es una evaluaci6n recapitulative (summative evaluation). Las dos situaciones pueden coincidir parcialmente, pero suelen ser radicalmente distintas. Para concretar algo mas,
diremos que la evaluacion endoformativa se propone suministrar una ayuda
operativa a los organizadores del programa, mientras que la evaluaci6n recapitulativa sirve, al mismo tiempo, para que quienes, ajenos a la organizaci6n,
financian ei programa, decidan sobre su lanzamiento, su mantenimiento o su
reproducci6n, y para (Iue otros actores sociales juzguen si es oportuno adoptar, para si mismos, el programa evaluado.
Nuestros colegas Callon et al. Ilegaron a identicas conclusiones. No obstante, emplean una terminologia distinta -evaluacion interna y evaluacion
externa- que, quiza, Ileve a engano. Dicha terminologia se utiliza frecuentemente para aludir, no ya a los destinatarios, sino a la pertenenciap no del
equipo evaluador a la organizaci6n responsable del programa evaluado. De
ahi que vayamos a recurrir a los terminos de evaluacion endoformativa o
recapitulativa. Una u otra pueden ser Ilevadas a cabo indistintamente por un
equipo de evaluaci6n interno o externo a la institucion responsable del programa.
Como mucho, en el caso de una evaluaci6n recapitulativa, los actores no
i mplicados en el programa desconfiaran si la evaluaci6n se realiza con personal interno. Por to demas, un equipo puede ser interno a una organizaci6n
de diversas maneras. Asi, por ejemplo, la mayoria de las grandes instituciones internacionales, como el Banco Mundial o el Banco Interamericano,
i ncluyen en su organigrama canto a un gabinete de evaluaci6n (Review and
Evaluation office), dependiente de la Direcci6n General, como a diversos
(18) Scxnrs, M., 1967: 7be Methodology of Evaluation, en Ty, ,. R., CAGNE, R. Y Sciuvm, M.
(eds.), I'enpective of Curriculum Evaluation, Chicago, Rand McNally (Monograph Series in Curriculum Evaluation, num. 1).
144
gabinetes de evaluaci6n operativa (Operations Evaluation Office) en el sen4,
de cada departamento sectorial.
Como ya hemos visto, en concebir evaluaciones puramente recapitulativas residia la gran ambici6n de los experimentadores en EE. UU. a principios
de los anos setenta. El caracter en pane esterilizador de tales experimentc>.'
sociales, excesivamente centrados en resaltar el valor dntrlnseco • de uua
innovacion, fue la causa de que se desarrollara la vertiente endoformativa de
la evaluacion.
El contenido de los dos tipos de evaluaci6n difiere sensiblemente segun
el objetivo del programa innovador evaluado. Consideremos la distincion,
anteriormente apuntada, entre los programas cuyo objetivo es poner en marcha un prototipo de innovacion y aquellos que se proponen adaptar un programa innovador a un contexto local distinto (los programas de transferencia
de innovacion). En el caso ya citado de los programas locales de ahorro encigetico en Francia, conocidos como las .ciudades-piloto • (19), la Agencia, en
un primer momento, habia seleccionado tres localidades donde fueron idcados y probados varios medios. Opt6 por una evaluaci6n endoformativa
durante el curso del programa, y luego por una evaluaci6n recapitulativa para
calibrar la oportunidad de reproducir esta modalidad de accion. Cuando, en
una segunda fase, la Agencia decidi6 organizar una nueva serie de •ci udadespiloto •, se seleccionaron emplazamientos intencionadamente distintos de l o.s
primeros. Como en tal caso no se habla previsto una evaluaci6n endoforinativa, los resultados fueron mas aleatorios. Uno de los lugares elegidos para
i mplantar la innovacion tenia un caracter eminentemente rural: por bien porn
se evit6 el fracaso, dado que los agricultores, destinatarios del programa, tildaron de escandaloso el lujo de una campalia de promoci6n que, sin embargo, habia sido favorablemente acogida en ciudades de tipo medio.
Con otras palabras, la transferencia de un programa nuevo invita a preguntarse por el valor de un prototipo en un determinado contexto. Desde una
perspectiva practica, se trata sin duda de situaciones totalmente dispares que
resulta prioritario tener presentes. En el supuesto de que no se haya hecho
el trabajo de construcci6n sistematica de los objetivos de la evaluaci6n, cane
esperar que se enjuicie una accion en funci6n del sistema de valores de un
actor local especifico y que ello entrane su rechazo, si su valor no ha silo
reconocido en otros contextos.
En el recuadro num. 2 se resumen las principales caracteristicas de las
evaluaciones que son producto del cruce de una finalidad endoformativa o
recapitulativa de la evaluaci6n y de una situacibn de establecimiento de un
i
E., 1985: • M atrise de I'energie clans le secteur domestique., en Cahien du
CSTB, enero-febrero, num. 1972.
(19) MONMER,
145
w
- 'II r r %
ww ®w® VV
v
prototipo y de transferencia de programas innovadores, explicitando tanto el
tutelar, generalmente la que resolvi6 la financiaci6n del programs, encarga
utilizables. Este ultimo concepto no se delimita facilmente, pues se carece de
un metodo para resolver la dificultad inherente, pero es importante retener
entrevista con los responsables de la acci6n y mide los efectos. La tercera fase
propOsito de la evaluaci6n y sus destinatarios como las fuentes de referencia
que pertenece al enunciado de la situaci6n.
una evaluaci6n a un equipo independiente. En una segunda fase, e;ste sc
la cubre la redacci6n de un informe final de evaluaci6n. Esta etapa constituye
el eje de la misi6n de los -evaluadores. tradicionales. Por ultimo, y en cuarto
lugar, el informe se publica, desencadenandose tormentas politicas, a no ser
que (ermine prudentemente dentro de tin caj6n del que no volvera a sacarse.
RECUADRO NUM. 2
CARACTERIS77CAS DE UNA EVALUACION SEGUN SUS FINALIDADES
Tip.
de evaluaci6n
Endoformativa
Recapitulativa
Programas que persiguen
La puesta a punto de un
programs innovador
Objetivos: concepci6n y mejora de la situaci6n
Destinatarios: los protagonistas
de la innovation
Ohjetivos: validar a garuttlzar
la innovaciOn
Destinatarios: responsables nacionales, colegas,. expertos,
profesionales, potenciales
usuarios.
_
La transferencia de un programs
i nnovador '
Objetivos: adaptaci6n de una
innovaci6n en un contexto
determinado
Destinatarios: el equipo local
encargado de la adaptaci6n
Objctlvus: ceniftcar o dclhnltar
el campo de aplicaci6n de la
i nnovaci6n
Destinatarios:
responsables
l ocales interesados en la
innovaci6n, responsables
nacionales.
Fuente: Guba, E., y Lincoln, Y., 1981: Effective Evaluation. San Francisco, Jossey Bass.
Admitimos que esta discusi6n parezca abstracta, pero no deberia come-
terse el error de pensar que, por ello, esta desprovista de importancia practica. Al contrario, al preguntarnos antes de iniciar un programa nuevo, even-
t ualmente muy oneroso, lo clue dehe ser su evaluation, se pueden reducir
costes y evitar disgustos innecesarios (cf. recuadro num. 3).
LA LVALUACION PLURAUSTA: UN LUGAR DE NF.000UCLONES FN CASCADA
En su modalidad mas tradicional, la evaluaci6n de una acci6n publica se
ajusta a un procedimiento en cuatro Cases. De entrada, una Administraci6n
RECUADRO NGM. 3
UNA 7RANSFERENCIA DE INNOVACION CON UN COS7E ELEYADO
Hard diez ados, la ciudad de Nueva York, cuyo deficit presupuestario
adquiria perfiles inquietantes, encarg6 a una gran empresa de estudios (ls Rand
Corporation) que analizara la organizaci6n y el coste de la recogida de basuras
domesticas. Tras un estudio operativo, se concluy6 que la eficacia en la tarea
podria incrementarse considerablemente si se mejoraba la productividad de los
basureros. Para ello bastaba con equiparlos de volquetes con un volumen superior y de un manejo bastante mas mecanizado. Convencida de la importancia
del ahorro que esta iniciativa terminaria por suponerle, la ciudad de Nueva
York compr6 una flotilla de camiones nuevos gracias a los cuales debia doblarse cl volumen de basuras recogldas por empleado, La puesta en servicio dv
estos nuevos vehiculos ocasion6 una huelga de recogida de basuras cuyos cfectos tienen su parang6n en la altura de los rascacielos de Manhattan. En ultima
i nstancia, se multiplic6 por dos al personal de servicio en cada volquete.
Se preguntaran que relaci6n guards esta historia con nuestro tema: no pasa
de ser una anecdota, y todos conocemos docenas de historias similares; no hay
que it a America para encontrar situaciones dee esta indole. Para colmo, ini
siquiera trata de evaluaciones! Precisamente, la alcaldia de la ciudad de Nueva
York habia solicitado consejo a unos expertos, estos podian garantizar el valor
intrinseco de una soluci6n tecnica y, por canto, la una y los otros creyeron que
su acci6n equivalia a realizar una evaluaci6n en el contexto neoyorkino. Si
hubieran sido mas circunspectos, habrian recordado que la puesta en marcha
de una innovaci6n frecuentemente conlleva una disminuciOn en el rendimiento, y se habrian preocupado por establecer un dispositivo de evaluaci6n endoformativa, a fin de corregir el punto de mira si era necesario. Una reflexi6n previa a la implementaci6n del programs y una evaluaci6n endoformativa habrian
revelado que el sistema sindical era parte integrante del contexto de dicha innovaci6n. La alcaldia de Nueva York no lo ignoraba sin duda, pero tambien habria
puesto en evidencia a las restantes fuerzas sociales susceptibles de intervenir,
ya que eran actores implicados en esta transformaci6n de la recogida de basuras. El riesgo del hloqueo politico de la innovaci6n hubiera podido motivar quo
se alterara la forma tecnica. Esto quiza fuera lo que temian los responsables de
l os servicios tecnicos de la ciudad de Nueva York y ide ahi que optaran por
lanzarse a una piscina vacia!
14 7
Este procedimiento responde al modelo burocratico y tecnocratico; debe
ser energicamente denunciado, pues atenta contra la productividad, ya que
su coste es elevado. Sabemos por experiencia, en efecto, que la recopilaci6n
de datos es mas dificil, mas cara y a veces hasta imposible dentro de la funci6n p6blica sin la cooperaci6n de los -evaluados.. Por otra pane, el riesgo
de caer en un contrasentido, o de interpretar superficialmente los datos, es
proportional a la resistencia de las panes interesadas en la evaluaci6n. De
hecho, acabamos de verlo, la utilidad social de los resultados de las evaluaciones esta estrechamente vinculada con la relaci6n de confianza y de cola
boraci6n entre analistas y analizados.
Tales correlaciones, que los psicoanalistas conocen a fondo, fueron constatadas en el marco de la metaevaluaci6n de Freeman y Bernstein ya comentada (20). SegOn estos autores, en efecto, la calidad de una evaluaci6n correlaciona positivamente con el grado de interdependeocia entre el programa y
la evaluaci6n. Con otras palabras, dichos autores comprobaron empiricamente que, en su conjunto, •las investigations en las que los responsables
del programa y los de la evaluaci6n pertenecian a la misma organizaci6n,
eran de mejor calidad que las producidas por evaluadores procedentes de
una organizaci6n independiente de la del pr ograma •.
Las evaluaciones realizadas por equipos totalmente ajenos a la organizaci6n carecen del conocimiento cualitativo ,esencial sobre lo que ha pasado
realmente y fomentan un conflicto cr6nico entre los eyaluadores y los responsables directos del programa. Tales considerations nos Ilevan a criticar
la recomendaci6n de la Comisi6n de la Comisaria del Plan en el sentido de
adoptar la regla deontol6gica Ilamada de la •s eparabilidad... Segun esta, la
calidad de una evaluaci6n (se entiende, su -objetividad.) depende de la independencia financiera e institucional, respecto al organismo evaluado, del
equipo al que aquella se ha encomendado.
iHay que concluir, en sentido inverso, que las evaluaciones deberian ser
siempre Ilevadas a cabo en el seno del mismo programa? No es lo que defendemos, puesto que, si subrayamos las necesarias relaciones de confianza
entre la persona encargada de evaluar, de yn lado, y el conjunto de los protagonistas de la acci6n, de otro lado, una gran proximidad con uno, y uno
solo de entre ellos, podria comprometer la credibilidad de su trabajo con respecto a los demas protagonistas. Como, por otra pane, un mismo individuo
raramente puedc pertenecer al mismo tiempo a varias organizaciones, su
independencia institucional parece recomendable a fin de evitar'la colusi6n
con uno de los protagonistas en detrimento de los restantes.
(20) Citado por B rwo, M., Y Smmur1a,NG, E., 1983: Handbook ofEraluation Research, Londres,
Sage.
1AQ
Para que la evaluaci6n genere verdaderamente un espacio para negociar,
se puede contar desde luego con la capacitaci6n profesional del evaluador,
pero nosotros mas bien recomendamos establecer un dispositivo id6neo
(cf. recuadro num. 4).
RECUADRo NUM. 4
DISPOSI77VO DE EVALUACION PL URALISTA
INSTANCIA DE EVALUACION
Informe
pCblico
que integra destinatarios
y socios de la acci6n
i
Financiad6n
Relaciones contractuales
t
I
Mktodo
Interpretaci6n
i
Equipo encargado
de evaluar
C---
Recopilaci6n
de datos
El n6cleo del dispositivo propuesto es, sin duda, lo que Ilamamos un
-comite de pilotaje., que agrupa a los diversos protagonistas, selecciona al
equipo encargado de evaluar y hace un seguimiento de todos sus trabajos.
Con un dispositivo de este tipo, quienes encargan la evaluaci6n no detentan
un poder superior al de los demas miembros del comite sobre las orientations de la evaluaci6n y, en este marco, se informan de la progresi6n de la
reflexi6n colectiva. El informe final se convierte asi en un documento meramente formal destinado s6lo a las personas extemas (redactado con el prop6sito de cumplir con las clausulas contractuales), donde se describen los instrumentos tecnicos del trabajo realizado, los datos recogidos y se refleja el
compromiso negociado entre los protagonistas de cara a la interpretaci6n de
los hechos y las mejoras posibles de la innovaci6n.
Hay que precisar aqui que distinguimos entre, la negociaci6n y la concertaci6n, tal como se la practica habitualmente, puesto que no se trataria de
buscar una perfecta representatividad de las diferentes partes en el comite de
pilotaje, ni de creer en la igualdad de sus pesos respectivos en el marco de
las negociaciones.
14 9
I
En el caso de que una evaluaci6n endoformativa no hubiera podido ser
Ilevada a cabo, entendemos que seria razonable realizar la evaluaci6n recapitulative sobre la base de varias evaluaciones paralcias confiadas a equipos
seleccionados por coda uno de los protagonistas del programa (cf. los elementos que liguran ennlarcados en el recuadro nuns. 4). Si la financiaci6n no
permite un dispositivo de este tipo, serdn suficientes, por ejemplo, dos eval uaciones: la primera hard de defensora del programa y la segunda, de detrac-
tora (21).
La evaluaci6n es (debe concebirse como) un proceso pluralista, sin dud4,
pero tamhi6n evolutivo y con multiples finalidades. En vez de ello acostumbra a mantenerse como un procedimiento rigido, totalmente orientado hacia
el exclusivo prop6sito de verificar el absoluto respeto a las reglas administrativas o la buena gesti6n de los medios empleados.
La formulaci6n de las finalidades de la negociaci6n varia en funci6n de
que la evaluaci6n tenga lugar antes, durante o despu6s de la acci6n. En el
supuesto de una evaluaci6n endoformativa, podemos enumerar al menos siete finalidades de l as negociaciones (22):
1.' poner en prdctica un sistema integrado de recogida y tratamiento de
las informaciones (econ6micas, sociales y operativas) gracias a la
colaboraci6n activa de los participantes en la acci6n;
2.' desvelar las restricciones (o las dificultades encontradas) de orden
t&cnico, econ6mico, cultural o politico, relacionadas con el entorno
donde la innovaci6n se aplica;
3.' conceptualizar nuevos medios (o ajustes operativos), reconocidos por
l os diferentes actores como susceptibles de aportar una soluci6n al
prohlema social considerado;
4.' clarificar la naturaleza del problema social que motiv6 la reacci6n ori5.
'
ginal;
explicitar conflictos en la interpretaci6n de los hechos y definir los
objetivos de la acci6n;
6.' aprender una terminologia y unos conceptos comunes por la aculturaci6n reciproca de los distintos protagonistas; en otras palabras,
constituir y generalizar to que se ha convenido en Ilamar un
r
refe
ents comun;
(21) E.ste principio de investigaciones contradictorias fue sugerido por Rossi, citado en CRON.
nani, L. J., 1980: Upv cit.
(22) Esta enumeraci6n se ha adaptado a partir de las conclusions de L. Nizard sobre las
dunciones. de l a elahoraci6n del 6° Plan. Nvwxn, L., 1974: Cbangement social et apparel! d Etat:
du c ittrluieme tat s mente Plan, St. Martin d 'I lcres: CERAT.
1 50
7.' estimular el cambio social a partir de una confrontaci6n constructiva
de los valores y de las expectativas, de los que son portadores los
distintos componentes de la sociedad, poniendo en comun la capacidad creativa. Esta lista ni es exhaustiva ni estd jerarquizada; la presentamos aqui a titulo indicativo solamente, para subrayar la importancia del campo que cubren las negociaciones, asi como el interes,
para quien encarga una evaluaci6n y para quien la Ileva a cabo, de
reconocer su papei.
La construcci6n de la legitimidad politica de la evaluaci6n implica:
- crear una •Instancia de Evaluaci6n •, depositaria del mandato politico,
distinta de los •Encargados de evaluar •, es decir: de los profesionales en
Ciencias Sociales contratados para brindar una ayuda t6cnica;
- en segundo lugar, aseguiarse de que los tres subsistemas de actores
(legitimaci6n, acci6n, reacci6n; cf. capitulo IV-2) estdn representados
en el seno de la instancia.
En cualquier caso, son condiciones necesarias pero no suficientes, pues
se plantea la cuesti6n de seleccionar a los individuos a quienes se invitar:i :t
participar en la evaluaci6n. Normalmente, la tarea de analizar el sistema de
actores, asi como la de proponer a tal o cual miembro a quienes la encargan,
suele recaer en el evaluador. El terra de los criterios para seleccionar a los
miembros de Ia instancia de evaluaci6n es delicado. En to que nos concicrne, nos esforzamos por integrar, entre los criterios, la actitud de los sujetos
respecto a la idea de evaluaci6n. En concre to, procuramos que los elegidos
reunan aptitudes para la •escucha•, vayan de •buena fe• y est6n disponibles
(manifiesten •b uena volutad •) .
Por -aptitudes para la escucha • queremos: indicar que •a ceptan el cardcter colectivo de la reflexi6n por encima de la acci6n •. Este criterio desaconseja a veces mantener a ciertas personas que hacen gala de una posici6n de
autoridad condescendiente, siendo poco proclives, pues, a aceptar que los
demds actores expresen su opini6n (23). Asimismo, los miembros de la instancia habrdn de convenir en que el debate se plant6e sobre la base de las
caracteristicas concretas de la acci6n en cuesti6n y de las informaciones
correspondientes. Por ello habrd que prescindir de algunas personalidades, o
de algunos Iideres sindicales, encastillados en su jerga y en actitudes motivadas por consideraciones estrat&gicas excesivamente ajenas a la acci6n por
evaluar.
(23) En esta linea nos referia M. Patton el caso de ui a evaluaci6n de programa pare la prevenci6n de la delicuencia en el transcurso de la cual se vi6 obligado a sugerirle al juez ame ncano, que tutelaba el programa, la conveniencia de que abandonara la instancia de evaluaci6n
por su actitud obstruccionista con relaci6n a la expresi6n de opiniones distintas a la suya.
151
Por otra parte, insistimos sobre el hecho de que la participaci6n en el
proceso evaluativo exige una disponihilidad suficiente. No hay que comprometer las interacciones ni las iteraciones requeridas por la evaluacion a causa de un absentismo pronunciado. Los responsables de mayor nivel jerarquico, o quienes determinan la accion, pecan de falta de disponiblidad (a veces,
de disponibilidad mental: no dan lugar a las reconsideraciones). Por tanto, la
eleccion de los colaboradores mas proximos a estos jerarcas, o de quien
merezca la confianza de estos y vaya a ser susceptible de defender sus intereses, equivale a una medida juiciosa y realista.
V-4. LOS ACTORES Y SUS EXPECTATIVAS EN EL MARCO DE LA EVALUACI6N
Segtin pertenezcan al subsistema de la legitimacian, de la accion o de la
reaccion, los actores cuya participaci6n se solicita en el seno de una iniciativa pluralista albergan expectativas peculiares a tenor de la idea que se forman de la evaluacion. Conviene, por Canto, delimitar estas expectativas antes
de aventurarse en la fase de la concepci6n, propiamente dicha, de la evaluacion.
LA LFGlDMAC/ON DE L1 ACCION POR LOS -RESPONSABLFS CUAIIFICADOS-.
L1 TEATACION DE CON7ROLAR Y LA NECESIDAD DE FEED-BACK
Los actores que participan en el subsistema de la legitimacion aprueban
la accion o ejercen un derecho de veto sobre ella. Detentan un poder institucional (legitimidad juridica, o ganada en las urnas), que no deriva exclusivamente de su estatuto, sino tambien de sus funciones y de su capacidad para
i ntegrar y mediar entre las diferentes categorias de actores que, incluso si
cuentan con representaci6n, dificilmente Ilegaran por si solos a elaborar compromisos (24).
Los -responsahles cualificados- o -contratistas- no tienen por que ser, forzosamente, quienes han asumido la iniciativa de la accion. Al carecer de respunsabilidad operativa, en elios no se concentra todo el poder; muy al contrario, por indiscutible que sea su legitimidad, esta no les permite coaccionar
facilmente a los actores que pertenecen a los restantes subsistemas. Ello no
es obice para que muchos de estos responsables cualificados se aahieran al
modelo hurocratico mecanicista de gestion de los asuntos publicos, cuyo
corolario es cl control administrativo de la buena ejecuci6n de las actuacio(24) Qnno,w, M., y Twwm,., J., 1975: O/,.
15 2
cit.
nes previstas. Otros expresan una desconfianza acentuada hacia los ejectitores, en quienes radican valores y estrategias diferentes.
Por tanto, las evaluaciones que se efectuan a instancias de los responsables cualificados conlievan, a menudo, una dimension normativa o de control heredada de un pasado aun muy pr6ximo. En efecto, se manifiesta con
mucha intensidad la tentacion (consciente o inconsciente) de dejar campo
libre a los antiguos tioos de control de las practicas mientras se Ileva a cabo
la evaluacion. Asi, pot ejemplo, los altos mandos policiales prodaman, sin
duda de buena fe, la voluntad personal de comprometer a sus Administraciones en una iniciativa de evaluacion de la prevenci6n en sintonia con los
responsables de la politica de la ciudad. Lo hacen aun cuando carezcan de la
dotaci6n de medios necesarios para materializar dicha voluntad. La falta de
profundidad, o de realismo, del diagn6stico que elaboran sobre el funcionamiento del sistema policial (considerado por muchos como la caja de Pandora), conduce a la situaci6n siguiente: a una desvalorizaci6n, a nivel de los
agentes que patrullan, de las acciones preventivas; a una relaci6n exagerada
y enganosa de los logros en la accion represiva; a una desconfianza con relaci6n a los demos actores intervinientes (25).
Los controles, sobre todo a poslerlorl, resultan ineludibles en una democracia pluralista y deben it reforzandose a medida que la gesti6n se descentraliza. Se trata, no obstante, de un ejercicio independiente, sin duda cotnplementario, pero cuya aplicacion es incompatible con la defrnicion anteriormente presentada de la evaluacion como un espacio para negociar.
Los responsables cualificados necesitan una retroalimentaci6n informativa en orden a redefinir y clarificar el enunciado de los problemas sociales que
motivaron la accion. En efecto, la aplicacion concreta de los medios, igual
que el examen, incluso parcial, de los impactos de la politica, invalidan, inevitablemente, una parte de la teoria de accion subyacente a la misma. En virtud de su papel especifico, la atenci6n de los responsables se centrara en
determinados aspectos concretos; empiricamente se constata que suelen
preocuparse mas por los objetivos generales (la estrategia global) o, en el
polo opuesto, por impactos politicos a corto plazo (busqueda de un efecto
anuncio maximo, por ejemplo). Con frecuencia dejan en manos del ejecutor
l a responsabilidad de estructurar la accion y los terminos operativos.
La desaparici6n de los circuitos tradicionales de feed-back debida, entre
otras razones, a la descentralizaci6n, explica que el Gobierno se vea obligado a multiplicar las instancias de evaluacion: Comite Nacional de EvaluaciOn
action
(25) MUNJAMDrr, D., 1991: -De la difflcultN des policiers 3 rentrer daps la politique de prevention-, tioletin La revue de l
sociale el de la justice, riumero monogrSfico -L"Flat de Ia
police-, num. 26.
153
de las Universidades, de to lnvestigaci6n, Comite Interministerial de Evaluaci6n, etc... En el seno de la administraci6n francesa, la evaluaci6n parece abocada a suponcr, para los responsables cualificados, una suerte de reforzamiento de los circuitos de informacibn clasicos, sembrados ya de excesivos
filtros territoriales o sectoriales. La ley alusiva al Salario Minimo Interprofesional ilustra, sin duda, una conciencia nueva de la necesidad de una informacibn retroactiva sobre la pertinencia de las decisiones publicas.
Los CU,VS7XUC.~UIUS DL LA ACC76N: EvAfuACI6NAU1OLEGmMAN/E
YNECISLDAD DE EIAL(ACIOWFS CONCOMITAN7TS
El sushsistema de la acciOn es el que, paradbjicamente, presenta el proceso de decisi6n mas estructurado y, al mismo tiempo, menos explicito. Los
valores y las finalidades de esta categoria de actores son complejos: metas
latentes, multiples, incluso inconfesables (26). Tebricamente, el punto de vista de los ejecutores refleja el mandato del que son depositarios; no obstante,
l os mandatos se definen de un modo muy impreciso, lo cual les otorga un
margen de libertad importante.
Los valores que prevalecen en el grupo de los ejecutores son la eficacia
y la eficiencia operativas. La tentaci6n de estos estriha en zafarse de la tutel a de los responsables cualificados mediante la construcci6n de una legitimidad propia de tipo cognitivo (detencibn del saber, de una pericia). Asi, se
observa que las evaluaciones, en el seno de instituciones como el Banco
Mundial o la Comisi6n de las Comunidades Europeas, ejecutores institucionales sin una genuina legitimidad politica, tienden a fundamentar su autolegitimaci6n basandose en una pericia tecnico-cientifica (27).
Para los ejecutores, los dispositivos de evaluaci6n quedan itacorporados
a la modalidad de gesti6n rutinaria de la organizaci6n a fin de perfeccionar
su coherencia interna y, a veces, a fin de limar su problematica de acci6n.
Esto puede incitar a los actores a utilizar la aparente logica del sistema de
informacibn para justificar una decisi6n ya tomada, o darle caracter definitivo (cf. el emblematico analisis -coste-benefcio •, gracias al cual se termina por
concluir to que se quiera, ya que las hipbtesis basicas apenas si se cuestionan; o el caso de las variantes de los grander proyectos de transporte, que se
elaboran de modo a que sea elegida la solucibn medianera) (28).
(26) Podran encontrarse argumentos de peso para convencerse de ello poi' ejemplo en los
excelentes analisis y casos concretos que se presentan en SrEz, L., 1981: Op. cit.
(27) Toctrw,NUE, J., 1990: L "evaluation des effets economiques des programmes de recherche
de la communaute europeenne, CEOPS/ENTPE, Commission des Communautes Europeennes
(CD-NA-13146-FR-C).
(28) Dtcroe:v,, O.; MoNNIER, E., Y SPENU:neurR, V., 1990: -L"evaluation comme outil de IEgiti-
15 4
La puesta en practica de la acci6n forzosamente conlleva una reformulaci6n de sus modalidades operativas en virtud de los recursos por movilizal
se aun, en atenci6n al numero y a la importancia ale los objetivos todavia inalcanzados y en respuesta a las reacciones de los'destinatarios de la politica y
de sus diferentes coparticipes, voluntaries o no. Con todo, en aras de sti
caracter cientifico-tecnico, el sistema de representaci6n de los ejecutores adolece de una rigidez considerable; admite pocos ajustes sobre la marcha.
Este hecho refuerza, en nuestra opini6n, la necesidad de concehir una
iniciativa de evaluaci6n concomitante en funcibn de negociaciones, entre los
tres subsistemas de actores, sobre las modalidades de secuenciaci6n de la
acci6n. Sin ello, el subsistema •a ccion• no implementara mas que lo que ya
sabe hacer; es decir, prescindira de consideraciones hacia ei contexto sociopolitico de la acci6n. Tenemos un ejemplo Ilamativo en el conjunto de las
politicas de desarrollo del Mezzogiorno italiano (desde los anos cincuenta
hasta nuestros dias). Estas siempre se evaluan ex past o ex ante, a tenor de
sus resultados o de sus objetivos, pero nunca como proceso concreto de
acci6n en un contexto especifico. En consecuencia, aunque tales politicas
scan regularmente objeto de profundas renovaciones de acuerdos institucionales, no se arbitra mecanismo alguno de aprendizaje institucional, y una
especie de fatalidad ante el fracaso se instala en el animo de la mayoria do
los actores (29).
LAS REACCIONls: CON17 APODERI-S, PRF_SIONFS DE LOS MFDIOS DE COMUMCAC/6N
YAcTuAci6N DE LOS LOBBIES
El subsistema de la -reacci6n- abarca principalmente el conjunto heterogeneo de los actores de la -sociedad civil sometidos a, o beneficiados por, la
politica considerada. Este subsistema es el menos estructurado, el mas coyuntural, diriamos; basicamente, existe en estado latente. Puede ser -activado- ya
por un efecto anuncio, ya por la puesta en practica de la acci6n, ya por un
acontecimiento repentino (accidente, articulo en la prensa, etc.). La funda:
mentaci6n de las politicas publicas reside en una definici6n de la demand
social-; en otras palabras, en una identificaci6n e` interpretacibn de problemas
sociales que requieren una intervenci6n de los poderes publicos. Por tant<,.
el conjunto de los grupos sociales, o de las categorias de actores que disfrumation: le cas des grandes organisations internationales., en Politiques et Management Pub/i,
volumen 8, n6m. 4.
(29) Las evaluaciones ex ante (coste-beneficio) se cuentan por centenares. Para las evaluaciones ex post, menos frecuentes, el lector podr3 remitirse a los -estudios economicos dc la
OCDE, por paises. En to que concierne a la - renovaciOn dt: acuerdos institucionales., picnscsr
en las leyes relativas al Mezzogiorno de 1957, 1965... 1986; actualmente esta en curso un proyecto de referendum para modificar estas politicas.
1 55
RECUADRO NtJM. 5
^R QUE EVALUAR DESDE ABAJO?
. Cualquicr acercamiento a la evaluaci6n de las political p6blicas pane, implicita o explicitamente, de un determinado n6mero de postulados alusivos al an5lisis de las mismas. Por el coritrario, el desarrollo de las investigaciones generates
sobre las political publicas deberia generar concepciones nuevas en el campo de
la evaluaci6n (...).
La puesta en practica de una politica nunca puede analizarse en terminos de
ejecuci6n pasiva. La concepci6n meramente instrumental de la Administraci6n ha
sido invalidada mediante un gran n6mero de estudios empiricos. Hay que descartar una via 6nica de implementaci6n de una politica. Cada una de las etapas
se analizara como un proceso de reducci6n de hipotesis (...).
Dicho proceso de reducci6n de hipOtcsis dcberfa situarse en el centro de los
trabajos de evaluaci6n. La evaluaci6n tiene que aportailuz en cada una de las etapas de implementaci6n una vez estudiadas las implicaciones de las estrategias cruzadas de los diferentes actores (...). Puede suscitar interrogantes y la b6squeda de
otras modalidades de funcionamiento. Tales cuestiones exigiran entonces que se
busquen nuevas informaciones, las cuales vendran potencialmente a enriquecer la
reflexi6n colectiva. En este sentido, la evaluaci6n se aproxima mss a una actividad de estimulaci6n del aprendizaje colectivo que a la experimentaci6n controlada de las ciencias duras.
Ahora bicn, dicho proceso dc aprcndixije colectivo u tnincara si no contempla la especificidad del propio objeto de las Ciencias Sociales. En estos campos, la accibn del Estado va directamente dirigida a individuos y grupos sociales.
Por tanto, el exito, la orientaci6n de las politicas p6hlicas, dependen estrechamente de c6mo interpreten, movilicen y seleccionen los productos y las reglas
propuestas los grupos que, te6ricamente, son sus'benefciarios. La accibn del beneficiario es un factor productivo basico en la direcci6n de las politieassociales.
El modelo burocratico que aCn impregna la organizaci6n de las politicas
p6blicas se sit6a, no obstante, en las antipodal de dicha idea. En cambio, esta
cuesti6n deberia servir de guia para las politicas de evaluaci6n desde abajo (...).
Para que la evaluaci6n revierta en un aprendizaje colectivo, habria que it
decodiflcando paulatinamente, con los actores, los mecanismos de formaci6n de
los modelos de referencias de la accibn colectiva. Pero es preciso plantear la hip6tests de que no existe adecuaci6n entre el modelo de referencia propuesto y las
representaciones del sector por pane de los beneficiarios. Parece importante analizar las divergencias entre el reference de las instituciones y los c6digos de los
beneficiarios. Esta perspectiva presenta la ventaja de que evita la tentaci6n de evaluar una accibn p6blica en funci6n de los objetivos explicitos de quien decide que
se Ileve a cabo (...).
Si las politicas p6blicas no se hacen para los profesionales ni los dirigentes
politicos, iacaso no habria que evaluarlas a tenor de los criterios de erfji iciamiento de aquellos a quienes van dirigidas?.
Jobert, B., y Warin, Ph.: L evaluation par le bas? Actas del Seminario CERATPlan Urbano, Grenoble, 13-14 junio de 1989.
Fuente.
tan de una legitimidad demografica (capacidad para movilizar a las masas), o
de una legitimidad econ6mica, pueden alzarse como un contrapoder eficaz y
proponer nuevas definiciones de los problemas sociales (a falta de ejercer un
poder compartido). En programas aun complejos, como las operaciones de
Desarrollo Social de los Barrios (DSQ) (30), se han experimentado con 6xito
m6todos encaminados a promover e integrar estas definiciones en la tarea de
evaluaci6n.
El subsistema de la reacci6n incluye tambi6n a las instancias que carecen de protagonismo en terminos de legitimaci6n o de accibn. Ante todo,
son susceptibles de emitir una opini6n -de peso., dado que se remiten a una
pericia especifica, o porque utilizan canales de informaci6n y medios de
comunicaci6n poderosos. El papel de los periodistas y de los media puede
ser considerable, aunque tambi6n los aprovechen con exito los otros subsistemas, seg6n lo ejemplifica el caso_de los acontecimientos en Rumania en
1990.
Si la practica del lobbying ha alcanzado escaso desarrollo hasta el
momento en Francia, existe, sin embargo, decde hace tiempo en algunas esfcras. En materia salarial, por ejemplo, patronal y sindicatos han desarrollado
sus propias capacidades de pericia. De forma general, estas practicas evolucionan a partir de intereses corporativistas o sectoriales, puesto que sabemos
que la sociedad civil y el Estado entran parcialmente en contacto a trav6s de
las redes de los corporatismos (31).
Dichas redes transforman la demanda social,bruta, llevandola mas alki
de un umbral critico de relevancia politica. En este marco, las practicas de
evaluaci6n no suelen estructurarse en tomb a un enfoque abierto o transversal de los problemas sociales (en el caso de Francia por to menos). No
nos cabe mas que suscribir las recomendaciones de M. Viveret en lo que atane a la creaci6n de polos de evaluaci6n independientes en nombre de la
sociedad civil. Tenemos que consignar, pese a todo, que el modelo americano de evaluaci6n por los lobbies no resulta inocuo desde un punto de vista democratico (lo cual llegaria a inquietar a los propios representantes politicos) (32).
(30) Aludimos particularmente a la operaci6n DSQ de' la ciudad de Grande-Synthe (None),
cuya evaluaci6n fue concebida y Ilevada a cabo por Helen Milet. En cuanto a la metodologia,
remitimos a, 1986: Les politiques sociales trmnsversales, une ,ne:bodologie d "Evaluation de leer,
effets locaux Paris, La Documentation Francaise.
(31) JoBErr, B., 1985: -L'Etat en action: I'apport des politiques publiques, Revue Francaise
de Science Politique, n6m. 4, vol. 35, pigs. 654-682.
(32) Asi, en 1975, la mayoria de los representantes politicos y de los responsables de l a
Administracibn pensaban que, de cars a concebir politicas y lograr acuerdos entre organizaciones, resultaba mas oportuno no asociar al proceso a la opini6n p6blica • (respectivamente, los
porcentajes eran del 64 y 80 por 100); CRonER y TMOENG, 1975:'O, P. cit.
157
1w
w
"wee
V o V V d V w d w
LA 6tALUAL/GN I'LUHALTh7A Y LA CUL'S71)N Dl:'/. SA/3IR-//ACLR
La creaci6n de instancias de evaluacion pluralista, en el marco de acciones publicas con un carscter coparticipativo, en apariencia mejoraria eficientemente la pcrtinencia del sistema de decision y del propio sistema concreto
de acciOn. Apoysndose en un modo de gesti6n negociado, la evaluaci6n puede reducir cl ricsgo de acciones no contempladas o que entrar en efectos
negativos irreversibles.
No se trata, con todo, de una empresa fscil. Hemos de ser cuidadosos en
el terra de la concepci6n y el use de los dispositivos de evaluacion. Algunos
actores, especialmente quienes trabajan en funci6n del corto plazo, pueden
considerar que la evaluacion es un ejercicio intelectual suplementario que
reporta porn, perdiendo asi en seguida el interes por ella. Otros querrsn
aduehirsela para convertirla en una herramienta de gesti6n estrategica exclusivanlente a su servicio. Algunos actores se dejarsn deslumbrar por el flujo de
i nformaciones obtcnidas. Por otra pane, en la medida en que un dispositivo
de evaluaci6n deli: scr animado sustancialmetlte por los propios actores,
siempre tenders a calcar su sistema de informaci6n, sobre el del sistema de
decision hasta fundirse progresivamente con este (lo. cual equivale a reducir
l a informacion a la nada). Esta es la raz6n por la que, en las psginas anteriores, hemos intentado hacer el balance de las ultimas enseiianzas extraidas de
nuestra praxis: el establecimiento de dispositivos de evaluaci6n pluralista utiles de cara a los procesos de decision, si bien conservando su entidad propia.
Al nivel de nuestro acercamiento general a las politicas publicas, hemos
mencionado la pluralidad de los actores, la necesidad creciente de coparticipes en la accion, la aceptacion de la ambigiiedad de las decisiones y de las
acciones. Respecto a las condiciones favorables para llevar a cabo evaluaciones pluralistas, hemos subrayado la importancia de modalidades operativas
como el conocimiento de los actores, la voluntad de estos en participar, la
i nstauracion de un clima de confianza reciproca, etc. Pero siguen quedsndonos pendientes, de cara al futuro, muchas cuestiones: como asegurar un equilibrio adecuado en la rcprcsentaci6n de los puntos de vista; que significa el
respeto a lo que los actores no suscriben; c6mo pueden ser congruentes, con
l a temporalidad de las decisiones (ritmos y ciclos), los circuitos de informaciones evaluativas; cusl es el estatuto del contlicto en la evaluaci6n; c6mo
l ograr que sea operativo en la evaluaci6n el concepto de sistemas de valores.
Cuestiones, todas ellas, que requieren indudables perfeccionamientos metodol6gicos.
CAPITULO VI
IA CONCEPCION Y IA REAUZACION . DE UNA EVALUACION
PLURALISTA
VI-1.
EL MANDATO DE EVALUACIONX LA POSICI6N DE LOS ACTORES
La evaluaci6n pluralista es un espacio para la mediaci6n y la integraci6n
donde se negocian distintas rejillas de interpretaci6n de la decisi6n y de la
acci6n. En el seno del dispositivo de evaluaci6n quedan organizados los flujos de informaci6n; estos fomentan una reflexi6n colectiva sobre los modos
de regular el proceso de decision y sobre la formaci6n de opiniones individuales fundamentadas. Por ejemplo, asi como durance el desarrollo de la evaluaci6n resuita ut6pico aspirar a que las estrategias de cada participante scan
transparentes, debe negociarse c6mo se difundirsn los debates en el seno del
colectivo de actores de cara al exterior. Tales negociaciones contribuyen a
crear unas relaciones de confianza susceptibles de favorecer una participaci6n positiva respecto a la iniciativa de evaluaci6n y, a la vez, respecto al proceso de decision.
El poder de decisi6n se reparte entre los tres subsistemas ya comentados, incluso si las decisiones de cada uno discrepan en su naturaleza y en su
secuenciaci6n. El conjunto configura un sistema en el sentido de que un cambio que afecta a uno de los elementos afecta tambien a los restantes. Interesa resenar este dato, pues la inestabilidad polencial de la distribuci6n del
poder de decisi6n puede perturbar profundalnente la realizaci6n de una evaluaci6n (irrupci6n de un nuevo responsable, promoci6n de un responsable,
remodelaci6n ministerial, etc.) (1).
En el marco de una evaluaci6n pluralista, conviene clarificar el mandato
que reside en la Instancia de Evaluaci6n, coristitulda por actores que intervienen en la acci6n La instancia de evaluaci6n, estructura temporal - ad hoc,
(1) Nosotros mismos hemos vivido la experiencia de ver interrumpida una evaluaci6n pluralista puesta en marcha, a titulo experimental, para un proyecto urbano de la Comunidad Urbana de Lyon. Remitimos al caso IV. 1 de la Tercera Parte.
1 58
159