evaluación en la gestión pública: caso del sistema nacional

INSTITUTO NACIONAL DE LA ADMINISTRACIÓN PÚBLICA
EVALUACIÓN EN LA GESTIÓN PÚBLICA:
CASO DEL SISTEMA NACIONAL DE EVALUACIÓN EDUCATIVA
COORDINADOR DEL PROYECTO: DR. HUGO H. CHUMBITA
SERIE I. DESARROLLO INSTITUCIONAL Y REFORMA DEL ESTADO
DIRECCIÓN NACIONAL DE ESTUDIOS Y DOCUMENTACIÓN
DIRECIÓN DE ESTUDIOS E INVESTIGACIÓN
BUENOS AIRES 1997
CONTENIDO
I PARTE: EVALUACION EN LA GESTION PUBLICA
INTRODUCCION
3
1. ANALISIS EVALUATIVO Y CONCEPTOS BASICOS
1. 1. El análisis evaluativo
1. 2. Monitoreo, control, auditoría y otros enfoques
1. 3. Técnicas de medición de resultados
1. 4. Eficacia, efectividad y metas
1. 5. Eficiencia gerencial y económica
1. 6. Productividad
5
2. TIPOS, METODOLOGIA Y USOS DE LA EVALUACION
2. 1. Tipos de evaluación
2. 2. Criterios, modelos y métodos
2. 3. Acerca del uso de los resultados de la evaluación
15
3. INFLUENCIA DEL NUEVO PARADIGMA DE GERENCIAMIENTO PUBLICO
3. 1. Gestión de calidad y orientación al cliente
3. 2. La motivación profesional
3. 3. Evaluación de la calidad
3. 4. Tendencias y aportes críticos
21
4.
27
ALGUNAS CONCLUSIONES SOBRE TECNOLOGIAS DE EVALUACION
II PARTE: CASO DEL SISTEMA NACIONAL DE EVALUACION EDUCATIVA
28
1. ANTECEDENTES
1. 1. Experiencias internacionales
1. 2. Tipos de evaluación educativa
1. 3. El concepto de calidad en la educación
28
2. CASO DEL SINEC
2. 1. Definiciones de la Ley Federal de Educación
2. 2. La organización del SINEC
34
Página 1de 50
2. 3. La instrumentación descentralizada
2. 4. Operativos de evaluación
2. 5. Indicadores y análisis evaluativo
2. 6. Utilización de los resultados
2. 7. Modalidad de gestión y costos
3.
CONCLUSIONES SOBRE LA EVALUACION EDUCATIVA
Referencias bibliográficas
44
46
Página 2de 50
I PARTE: EVALUACION EN LA GESTION PUBLICA
INTRODUCCION
La lógica democrática del funcionamiento del Estado, el ejercicio de las
responsabilidades políticas de los gobernantes, las demandas y propuestas de los
ciudadanos y cualquier iniciativa de reforma o de mejora en el funcionamiento de la
Administración, requieren un conocimiento fundado del desempeño de los
organismos públicos y de su repercusión en el ámbito social al que se dirigen y en el
que actúan. Este es el sentido de la evaluación. Las elaboraciones teórico-prácticas
al respecto pretenden contribuir a que las decisiones de los actores no se basen en
meras opiniones, sino en datos y estudios sistemáticos sobre los procesos, los
productos, los resultados y el impacto de la acción de los poderes públicos.
La evaluación de políticas, programas y servicios públicos se desarrolló como
técnica de análisis utilizando la metodología de las ciencias sociales para indagar
diversos aspectos de la gestión pública y suministrar información a los decisores e
interesados en la misma. Sus aplicaciones se potenciaron a partir de la década de
1960 en Estados Unidos y otros países junto con la expansión de los “programas
sociales” y la ayuda internacional, así como también con la introducción de reformas
“racionalizadoras” en los sistemas presupuestarios nacionales.
La evaluación se convirtió así en un campo de estudio interdisciplinario y una
especialidad profesional. En Estados Unidos, Canadá y los países europeos se han
institucionalizado sistemas de evaluación de la gestión pública y, sobre la base de un
importante caudal de conocimientos y experiencias, los organismos internacionales
promueven hoy la difusión y transferencia de las tecnologías recomendables.
La necesidad de evaluar políticas, programas y servicios respondiendo a
distintas demandas y propósitos, ha dado lugar a una variedad de tipos, modelos y
metodologías que caracterizamos brevemente en este estudio. A partir de las
técnicas de medición de resultados de enfoque económico, el campo de la
evaluación ha ido ampliándose para abarcar también la formulación de las políticas
y los procesos de gestión, con un carácter interdisciplinario.
Además, la evaluación es considerada hoy un elemento primordial dentro de
la renovación inspirada por el paradigma de una administración gerencial, orientada
a atender al ciudadano-cliente y a movilizar los recursos humanos en función de las
exigencias de calidad, flexibilidad y creatividad.
Aunque la preocupación por evaluar la acción pública ha estado presente en
nuestro país de diversas maneras, sus logros son aún incipientes. Existen
precedentes de ensayos para medir la eficiencia y la productividad de la
Página 3de 50
Administración, a lo cual se ha agregado recientemente el enfoque de la calidad de
los servicios.
En el último lustro se emprendieron varias innovaciones institucionales que
han contribuido a introducir la problemática de la evaluación en la gestión del
Estado. A partir de la Ley de Administración Financiera y Sistemas de Control de
1992 se aplica un nuevo modelo de elaboración y ejecución presupuestaria y se
pusieron en marcha la Auditoría General de la Nación, la Sindicatura General de la
Nación y las unidades de auditoría interna en la APN, que tienen algunas funciones
de evaluación (Lerner, 1996).
El Premio Nacional a la Calidad del sector público que se otorga desde 1994
se basa en la realización de procedimientos evaluativos en los organismos
postulantes (Chumbita, 1996). Otra experiencia que ha tenido gran repercusión en la
opinión pública fue la puesta en marcha del Sistema Nacional de Evaluación de la
Calidad previsto por la Ley Federal de Educación.
Los requerimientos de numerosos programas emprendidos con cooperación o
financiamiento internacional impulsaron la incorporación de metodologías de
evaluación en diversos organismos nacionales, provinciales y municipales (Zapata,
1993). Actualmente la Secretaría de Desarrollo Social está organizando el Sistema
de Evaluación y Monitoreo de Programas Sociales para el seguimiento de
actividades apoyadas por el gobierno nacional que se ejecutan en todo el país a
través de agencias oficiales y entidades no gubernamentales.
En la Primera Parte de este trabajo sintetizamos un panorama conceptual del
tema, de los problemas que presenta y de sus nuevas perspectivas relacionadas con
el cambio de paradigma en la Administración, sobre la base de la literatura sobre la
materia y como marco para el estudio de experiencias en nuestro país. Fue elaborado
teniendo en cuenta diversos antecedentes aportados al INAP, en consulta con otros
investigadores y en particular con la valiosa colaboración del Lic. José Luis Tesoro.
En la Segunda Parte consideramos el caso del Sistema Nacional de
Evaluación Educativa, implementado por el Ministerio de Educación en
coordinación con las jurisdicciones de todas las provincias y la Ciudad de Buenos
Aires, que ha realizado una de las experiencias más completas y trascendentes en
cuanto a la evaluación de políticas públicas en nuestro país.
Página 4de 50
1. ANALISIS EVALUATIVO Y CONCEPTOS BASICOS
La pluralidad de usos habituales del término, e incluso las nuevas
connotaciones o reformulaciones que refleja la bibliografía, requieren delinear los
alcances del concepto de evaluación como tecnología analítica y delimitar su relación
con otros enfoques de la actividad administrativa.
1. 1. El análisis evaluativo
La evaluación, situada en el marco teórico de las ciencias de la administración
como una especialidad del análisis de políticas públicas, aplica los métodos de
investigación de las ciencias sociales con el propósito de valorar un programa o
actividad pública, buscando determinar sus resultados, conocer sus procesos y explicar
sus efectos.
Se puede definir como una técnica tendiente a producir información de
utilidad para mejorar diversos aspectos de la gestión pública: 1) las decisiones y la
planificación, 2) el funcionamiento operativo y 3) los resultados finales en relación
con los recursos invertidos (Ballart, 1992).
En principio, entonces, su campo abarca la definición y formulación de
políticas y programas, la implementación, los procesos, productos, resultados e
impacto, considerando la eficacia, la efectividad y la eficiencia. Tiene en cuenta el
contexto en el cual se desarrollan las acciones, y apunta incluso a explicar las causas y
factores de los logros o fracasos en alcanzar los objetivos expresados o deseables.
Un sistema de evaluación sería un conjunto racional y coherente de principios y
pautas de procedimiento conducentes a los fines de la misma. Las finalidades de la
evaluación pueden ser variadas (tornar más transparente la gestión, reducir los costos,
replantear un programa, corregir su aplicación, etc.), pero siempre se trata de extraer
conclusiones útiles sobre el significado de lo que se mide.
Se pueden evaluar políticas, programas, servicios permanentes, proyectos y
cualquier acción específica. La evaluación puede ser anterior, para considerar su
factibilidad, oportunidad, razonabilidad, etc.; posterior, en cuyo caso comprende el
análisis de resultados, o concomitante, en cualquier momento durante la realización de
un programa, para retroalimentar su gestión.
Evaluar los resultados se distingue de evaluar los procesos, es decir los
mecanismos internos, las reglas, los medios, que no constituyen fines en sí mismos.
Cabe hacer la salvedad de que ciertos aspectos del “cómo se hace” pueden ser
considerados un objetivo, y por lo tanto un resultado: por ejemplo, trabajar en un
ambiente saludable para los empleados.
Página 5de 50
Un problema central del análisis evaluativo es la selección de los criterios a
aplicar. Por ejemplo, el evaluador puede adoptar un criterio económico de
eficiencia/rendimiento, focalizando la relación entre los resultados obtenidos y los
recursos utilizados, o un criterio de significación política, observando los resultados
aportados por el programa con respecto a las necesidades públicas consideradas
prioritarias; puede optar por una combinación de los dos criterios anteriores, u otros
criterios de tipo social, administrativo, etc. El problema subsiguiente consiste en la
operacionalización de los criterios escogidos, de modo que éstos se traduzcan en
formulaciones inequívocas y expresadas en magnitudes empíricamente mensurables y
verificables (Tesoro, 1979).
La evaluación se basa así en indicadores que reflejan ciertos hechos. Cada
programa o actividad que se enfoca requiere escoger los indicadores apropiados (por
ejemplo, para apreciar los resultados de una campaña sanitaria contra el cólera, la
cantidad de nuevos casos de enfermedad, el número de víctimas fatales, etc.).
Por supuesto, no todo es susceptible de medirse con la misma precisión. Hay
factores y efectos más fácilmente determinables que otros. Existen diferentes
opiniones sobre lo que es relevante, y criterios diversos acerca de qué y cómo medir.
Hay resultados que en un momento o para ciertos fines son importantes, y por razones
de economía de esfuerzos siempre se seleccionan aquéllos que se consideran más
significativos.
Analizando los procesos evaluativos se puede identificar la valuación como
resultante de los juicios críticos de valor de los cuales dependen las conclusiones del
estudio. En efecto, se requieren juicios de ese tipo para establecer los principios de
evaluación y traducirlos en criterios operativos, para determinar las mediciones de
efecto correspondientes a cada criterio que se toma como significativo, para establecer
qué datos cualitativos se consideran como evidencia de satisfacción de los criterios
con que se trabaja, etc. En este sentido, la valuación define el "qué" de la evaluación, y
el diseño de investigación (incluyendo el plan de recolección y análisis de datos) sería
el "cómo".
La evaluación comprende entonces la medición (incluyendo también la
experimentación) y la valuación, consideradas como componentes complementarios,
esenciales el uno al otro. En la perspectiva de la evaluación como disciplina científica,
se puede considerar el concepto de valuación como núcleo central en torno al cual se
genera su área específica de investigación (Crane, 1988).
Valuar en sentido lato es una operación intelectual que consiste en asignar un
grado de valor, lo cual implica referir algo a una escala de valores predeterminada. En
el sentido que nos interesa aquí, la valuación, si bien no puede ser éticamente neutral,
aspira a la objetividad. Por supuesto, los evaluadores no deben basarse en sus valores
personales. Pero los valores no sólo son personales, sino ante todo sociales. La
Página 6de 50
evaluación de políticas es un ejercicio de aplicación de valores sociales. Las
valuaciones no deben representar la visión de una sola persona, sino la de un grupo o
conjunto cuya visión se considera válida por razones objetivas.
Los diversos juicios de valor que requieren los procesos de evaluación en
cualquiera de sus fases o enfoques (para decidir qué criterios de medición emplear,
para plantear un estudio acerca de sí se justifica o no el costo de un programa, etc.)
pueden ser objetivados: por ejemplo, recurriendo al análisis de costo-beneficio o de
costo-efectividad de un programa determinado, o a través de una operación de
medición social que consulte la opinión de una muestra del conjunto de personas
beneficiarias o directamente interesadas o afectadas.
La evaluación puede ser realizada por el mismo organismo, en cuyo caso cabe
llamarle autoevaluación. Acotemos que la evaluación individual de desempeño de los
agentes administrativos, aunque no es ajena al tema, es una técnica diferente a la
evaluación de la gestión en sentido global.
1. 2. Monitoreo, control, auditoría y otras funciones
A fin de deslindar otras funciones de control que enfocan la gestión pública y
se relacionan con la evaluación, sintetizamos la siguiente conceptualización conforme
a las aproximaciones usuales en la literatura de economía y administración.
El monitoreo o seguimiento consiste en la obtención periódica de información
relevante para observar y describir la marcha de determinadas actividades,
comparando de manera sistemática los desarrollos efectivos y los resultados
alcanzados con las previsiones; para ello es necesario disponer de un plan como
referente, en el que se definan las variables objeto del seguimiento y las magnitudes de
las mismas que constituyen las metas a alcanzar. El monitoreo o el seguimiento
pueden ser procesos autónomos o proveer datos como parte de un sistema más amplio
de control o de evaluación.
La supervisión es la función tradicional de control directo del personal o de
unidades laborales por los superiores jerárquicos, ejercida por funcionarios u
organismos que tienen capacidad legal para coordinar tareas y dar instrucciones a
otros. La evaluación puede en principio realizarse por un órgano supervisor, aunque lo
usual es que sea encomendada a un equipo externo como insumo para la supervisión.
El control de gestión, según la concepción amplia hoy difundida, consiste en
medir y evaluar lo actuado con relación al plan, las normas y/o los objetivos fijados,
para observar los desvíos, corregirlos y/o sancionarlos, incluso con fines de
retroalimentación para la propia dirección o el planeamiento del organismo. El control
adquiere particular importancia al separarse la propiedad de la gestión. La noción de
propiedad proviene de la empresa privada, pero es extensible al sector público, donde
Página 7de 50
corresponde a los ciudadanos y/o a sus representantes políticos conforme al sistema
jurídico constitucional.
El control puede ser ejercido por la conducción de un organismo o conjunto
administrativo, puede ser de carácter externo, o interno a cargo de unidades
especializadas, en cuyos casos tiene diversas particularidades y alcances. Debe basarse
en un sistema de información, y reclama unidad de criterio de los diversos niveles
jerárquicos concurrentes.
El control de gestión abarca algunas dimensiones de evaluación. En nuestro
país, la nueva legislación de control (Ley 24.156, artículo 103) contempla la
evaluación de proyectos, programas y operaciones, excluyendo la evaluación de
políticas. Las evaluaciones que realizan normalmente los órganos de control son
selectivas o por encargo y según los casos pueden ser más o menos exhaustivas.
Se llama control de gestión integrado al enfoque totalizador que considera la
interrelación de diversas variables para apreciar en conjunto la gestión, por oposición
a las visiones segmentadas o focalizadas en el cumplimiento de las normas legales y
contables. En su concepción más avanzada puede decirse que asume algunos criterios
de la evaluación de resultados.
La auditoría es una forma de control de la razonabilidad de los
procedimientos, la utilización de recursos y los resultados. Más estrictamente se
denomina así al examen o revisión formal de las operaciones de una unidad
administrativa, utilizando mediciones y evaluaciones que acentúan el enfoque
normativo y de verificación, realizado por un organismo independiente. Puede haber
diversas auditorías especializadas por disciplina o materia (auditoría contable, legal,
técnica, etc.).
Las nuevas concepciones de auditoría operativa o de gestión apuntan a un
examen más integral del funcionamiento de la organización, que debería contribuir a
mejorar las condiciones y el rendimiento del trabajo. La tarea puede ser efectuada por
auditores externos o por unidades de auditoría interna, desde una posición también
imparcial aunque ligada a la conducción del organismo, colaborando y asesorando de
manera constante sobre el manejo administrativo. Esta modalidad incluye la
evaluación de resultados, y así lo establece en nuestro país el nuevo régimen de
control (Ley 24.156, art. 102).
El rol de los departamentos de control y auditoría, sin perjuicio de la función
primordial de fiscalización para prevenir fraudes, tiende a incorporar pautas más
amplias de evaluación y se plantea actualmente como un servicio de apoyo a los
organismos, para organizar el aprendizaje, asesorar en la búsqueda de mejoras, ayudar
a los gerentes públicos a enunciar los resultados esperados y diseñar indicadores
apropiados, asistirlos con un criterio de prevención y sugerir alternativas de acción
(Quesnel, 1993).
Página 8de 50
Si bien el control y la auditoría en una concepción amplia incluyen prácticas de
evaluación, se diferencian del análisis evaluativo por el enfoque del objeto de estudio
y la metodología. El control requiere indagaciones periódicas sistemáticas, basadas
principalmente en fuentes de información internas a la organización, en tanto el
análisis evaluativo es una investigación puntual que por lo general se apoya en fuentes
más diversificadas. Según la conclusión de un experto (Masoni, 1993), un sistema
completo de evaluación se distingue del control por dos dimensiones básicas: a) el
examen crítico de todos los objetivos, y b) su propósito “formativo”, tratando de
extraer lecciones de experiencia para formular futuros programas e identificar
aspectos de la organización que requieren mejoras.
1. 3. Técnicas de medición de resultados
La medición de los resultados o del desempeño (performance) se basa en
algunas nociones elementales provenientes del modelo de organización empresaria y
extensibles a los organismos públicos.
Resultados finales o rendimientos, en sentido general, serían los efectos que
realmente producen los organismos con los medios puestos a su disposición. Dentro
de ello quedarían comprendidos diversos elementos: 1) los productos concretos,
medibles físicamente, logrados a partir de los insumos o recursos; 2) los resultados en
sentido estricto, definidos con relación a los objetivos perseguidos; 3) el impacto en la
sociedad o el medio ambiente, comprendiendo la influencia sobre otras instituciones y
sobre los propios miembros del organismo.
Los métodos de medición usuales se basan en la función de producción, que
relaciona los productos y los insumos. Los productos o salidas (output) son las
unidades de bienes y servicios que provee una organización.
Los productos son entonces cosas o acciones tangibles, mensurables como
unidades físicas y/o susceptibles de tener un valor expresado en dinero (por ejemplo,
las recorridas de vigilancia policial o las vacunas aplicadas por un servicio sanitario).
Los resultados son los efectos positivos que tienen tales productos con relación
a los fines del servicio o programa de que se trata, lo cual exige comprobar si se
verifica la teoría o la relación causal implícita (en los ejemplos dados, que la
vigilancia policial sirve para controlar los delitos y que las vacunas previenen la
enfermedad).
Esta verificación se relaciona con la indagación del impacto o los efectos
sobrevinientes, que es posible percibir a través de indicadores adecuados (por
ejemplo, los índices de criminalidad en las zonas patrulladas y de salud en la
población donde se vacuna). Estos efectos pueden ser, además, consecuencias no
Página 9de 50
deseadas o inesperadas (aumento de criminalidad en otras zonas no vigiladas,
aparición de otras enfermedades, etc.).
Los insumos, entradas (input) o recursos son los bienes, durables o no,
materiales, financieros, humanos y de cualquier otro tipo, incluyendo el tiempo y
también medios como la planificación, el control, etc., que emplea la organización
para lograr el producto. Los insumos pueden asociarse con determinados costos
(precio y amortización de edificios, muebles y máquinas, salarios de los empleados,
etc.), cuya suma permite calcular un costo total del servicio.
Las técnicas de Presupuesto por Programas, Presupuesto por Objetivos o
Presupuesto por Resultados, al adoptar como criterio central de las previsiones del
financiamiento público una relación entre insumos y productos, sobre la base de
información precisa y periódica sobre las metas y los resultados, facilita asignar los
recursos al cumplimiento de objetivos concretos y evaluar lo realmente sustantivo, que
es la racionalidad en el empleo de los recursos. El sentido de presupuestar actividades
es ver “lo que el gobierno hace”, en lugar del sistema tradicional que sólo indica “lo
que se compra para hacer las cosas”. La utilización de esta técnica no garantiza por sí
misma mejorar el rendimiento de la organización, pero un sistema presupuestario
racional puede contribuir a ello y es el requisito insoslayable de una adecuada
planificación (Martner, 1972; Tesoro, 1979; Lerner, 1996).
Consideramos a continuación los conceptos de eficacia, efectividad, eficiencia
y productividad, que serían diversas maneras de entender, interpretar o medir la
relación entre productos e insumos.
1. 4. Eficacia, efectividad y metas
La eficacia, en la acepción más corriente, es el logro de los objetivos. Según
una definición usual, es la medida en la cual se han alcanzado los mismos.
En la literatura anglosajona se utiliza el término efectividad (effectiveness),
para indicar el logro oportuno de las metas previstas. El concepto de eficacia suele
emplearse en nuestro medio en el mismo sentido, y también puede tener un
significado más amplio, aproximado al de “impacto social”.
Tal como ha propuesto Angel Ginestar, sobre la base de los aportes de una
reunión latinoamericana de expertos realizada en 1985, la eficacia se refiere al
cumplimiento de un conjunto de “efectos sociales esperados y concientemente
buscados”, los cuales comprenden los productos en sentido amplio y también los
efectos de demandar ciertos insumos -por ejemplo, crear fuentes de empleo en una
población- e incluso de procesarlos de determinada manera -por ejemplo, aplicar una
tecnología particular. Por lo tanto, se puede considerar eficaz una actividad en la
medida en que responde en forma positiva a un cuadro general de expectativas
Página 10de 50
relacionadas con el contexto social.
Es importante la acotación de que para medir esta noción amplia de eficacia no
existen indicadores convenidos y la multiplicidad de objetivos a considerar la torna
difícil de expresar (Ginestar, 1990).
La efectividad, como ya señalamos, se refiere al logro de objetivos previstos.
Es una medida de proporción que relaciona el producto (output) real observado (Ot)
con el producto planeado o deseado (ot) en un período de tiempo (t). Dividiendo Ot
por ot y multiplicando por 100 se determina el porcentaje de efectividad. Por ejemplo,
si una operación municipal planeó barrer 1.500 kilómetros de calles en el segundo
trimestre y realizó el barrido de sólo 1.350 kilómetros, sería sólo un 90 % efectiva. Si
se planeó limpiar 1.500 kilómetros y se limpiaron 3.000, la operación sería un 200 %
efectiva. Adviértase que una organización efectiva no necesariamente es eficiente. La
operación de limpieza de 3.500 kilómetros con 200 % de efectividad puede ser hecha
también con un costo por kilómetro que triplique el de otras operaciones comparables.
La utilidad de medir la efectividad depende directamente de una apropiada
planificación de las metas físicas. Si éstas constituyen un objetivo significativo que
plantea exigencias razonables al organismo, la medición de la efectividad puede ser
una herramienta gerencial útil.
El problema que se plantea respecto a las metas de los organismos
gubernamentales es quién debe establecerlas. Puede considerarse que corresponde que
lo hagan los ciudadanos o contribuyentes (aunque éstos a menudo no están
organizados y carecen de elementos de juicio acerca del servicio público), los sectores
de interés organizados, los empleados (aunque éstos podrían tender a reducir los
niveles para disminuir su carga de trabajo), los funcionarios políticos, analistas
externos sobre la base de cálculos económicos de beneficios y costos, o todos o
algunos de ellos en conjunto.
Los desacuerdos sobre las metas y por lo tanto acerca de los resultados
deseados, y sobre lo que constituye la efectividad, son endémicos en la experiencia
norteamericana. Normalmente se presentan considerables divergencias acerca del
nivel aceptable de los diversos rendimientos gubernamentales, las visiones
contrapuestas son difíciles de conciliar, y la cuestión de efectividad se resuelve a
menudo mediante simplificaciones arbitrarias, por lo cual los expertos advierten que
esta forma de medición resulta por lo menos problemática (Downs y Larkey, 1986).
1. 5. Eficiencia gerencial y económica
La eficiencia es la relación entre productos e insumos. Usualmente se considera
eficiente una actividad si se logran los resultados con el mínimo óptimo de los
Página 11de 50
recursos necesarios. Obrar con alta eficiencia reclama elegir las mejores relaciones
posibles entre productos e insumos, dadas las posibilidades.
Siguiendo a Downs y Larkey (1986), podemos distinguir dos conceptos de
eficiencia, en sentido gerencial o ingenieril y en sentido económico. La primera es la
acepción más corriente, que relaciona los productos con los insumos utilizando como
medida el costo por unidad de producto. Por ejemplo, una operación municipal de
limpieza de calles emplea los insumos de personal, vehículos, gasolina, servicios de
mantenimiento, varios materiales y provisiones, y espacio edificado (oficina, depósito,
etc.). El producto podría ser la cantidad de kilómetros de calzada barridos. La base
para medir la eficiencia sería pues el costo por kilómetro limpiado.
Aplicada con fines prácticos, se trata de una medida relativa, basada en los
niveles de rendimiento previos del mismo organismo o los de otros organismos
comparables. Si el costo del kilómetro de calles limpiadas decrece de un año para otro,
se supone que el servicio es más eficiente. La mejora podría deberse a un programa de
entrenamiento de los barrenderos, a la disminución de “tiempos muertos”, a la
aplicación de una ordenanza que prohibe estacionar automóviles en las calles, etc.
Claro que la mejora puede ser sólo aparente, por ejemplo si resulta de registros
falseados, o de un nuevo equipamiento de automotores cuyo costo se refleja en la
cuenta de capital pero no en la medida de eficiencia.
De manera análoga, si barrer un kilómetro de calles en el mismo período cuesta
en un municipio más que en otro, puede tratarse realmente de una diferencia en la
eficiencia relativa o puede ser atribuible a un conjunto de otros factores tales como
disparidades físicas entre las ciudades, diferencias en el mercado de trabajo, en la
calidad del servicio o en las prácticas contables. Un sistema de producción es más
eficiente que otro si tiene un costo menor por unidad de producto o un más alto
producto por unidad de costo y los sistemas son idénticos en todos los demás aspectos
relevantes.
En abstracto es posible especular acerca de la eficiencia absoluta, pretendiendo
conocer todo acerca de los medios para alcanzar los resultados y el costo de cada uno
de ellos. Podría entonces compararse el modo actual de operar con todas las otras
alternativas, para elegir la de mínimo costo, o sea la más eficiente. Sin embargo, es
difícil que exista alguna situación real, no trivial, donde realmente se conozcan todas
las alternativas y sus respectivos costos. Las que se utilizan son siempre medidas de
eficiencia relativas.
La eficiencia no cuestiona el beneficio que proporciona el producto. Un
organismo de sanidad puede empeñarse en la eficiencia de un sistema de vacunación
de niños en edad escolar, sin considerar si es más útil vacunar o prevenir la
enfermedad con mejor alimentación en la primera edad. El sistema de vacunación más
eficiente es simplemente el que aplica una cantidad de vacunas al menor costo o más
vacunas por un costo dado. La medida de eficiencia es insensible al valor último del
Página 12de 50
producto, aunque por supuesto siempre tiene implicaciones positivas: diseñar un
sistema nuevo que haga lo mismo que el anterior por menos dinero siempre dejará
recursos disponibles para otros programas.
La eficiencia económica es un concepto mucho más abstracto que la eficiencia
gerencial. Uno de los criterios de eficiencia preferidos por los economistas es el de
Pareto: un estado económico (un conjunto dado de dispositivos organizacionales, de
asignaciones y distribuciones) es económicamente eficiente si no es posible cambiarlo
para lograr alguna mejoría sin que nada empeore. Un problema práctico con este
criterio es que resulta extremadamente difícil que alguna nueva política no empeore
algo. Otro problema es concretar el concepto. Aplicar el criterio a cualquier
circunstancia real requiere pronósticos cuidadosos de todos los efectos relevantes de
un cambio propuesto, usualmente numerosos, complicados y a menudo también
inmanejables.
Otro criterio de eficiencia, utilizado a menudo en el análisis de costo-beneficio,
es el de Kaldor-Hicks: un estado es económicamente eficiente si no es posible
cambiarlo de modo que aquéllos que son beneficiados puedan compensar a quienes se
perjudican. Este criterio implica que son deseables los proyectos con beneficios netos
positivos (o una proporción de beneficios sobre costos mayores que 1). Ello no
requiere que se compense efectivamente a los que pierden, sino sólo que tal
compensación sea factible. Un ejemplo de tal compensación sería el subsidio
gubernamental a industrias afectadas por la reducción de tarifas aduaneras. Este
criterio de eficiencia económica presume que la distribución de beneficios y costos
antes del cambio es razonable, sino óptima.
El análisis de costo-beneficio apunta a establecer cuál es la relación entre el
valor actual de los beneficios y el de los costos asociados con uno o varios programas,
lo cual indicará la conveniencia de aquellas alternativas que permiten lograr una
mayor diferencia entre beneficios y costos. Este análisis presenta problemas de
conmensurabilidad, pero es útil como apoyo de las decisiones cuando se trata de
asignar recursos a determinados sectores (por ejemplo, dar prioridad a salud,
educación o vivienda) o áreas programáticas dentro de un sector (por ejemplo
atención médica, medicina preventiva o saneamiento ambiental).
Relacionado asimismo con la eficiencia, el análisis de costo-efectividad
(también llamado costo-eficacia) se aplica para establecer cuál es la alternativa o
combinación de alternativas entre ciertos programas que, con relación a un objetivo
determinado, alcanzan la mayor efectividad a un costo dado, o un nivel dado de
efectividad al menor costo. La clave de la factibilidad de este análisis es la definición
de los resultados en términos de metas físicas adecuadas (por ejemplo, para un
programa sanitario, cantidad de personas salvadas, años de vida ganados, etc.), con lo
cual el problema se reduce a identificar cuál de los medios alternativos para lograrlo
es el de menor costo (Tesoro, 1979).
Página 13de 50
1. 6. Productividad
Las mediciones de productividad también enfocan los productos y se
relacionan estrechamente con las mediciones de eficiencia gerencial. La medición de
productividad más común relaciona un factor de insumo singular, el trabajo, con el
producto, estableciendo por ejemplo cuántas horas-persona (o meses, días, etc.)
insume fabricar una unidad o efectuar una tarea determinada. Se usa a menudo para
comparar los cambios de productividad a través del tiempo (por ejemplo, producir un
televisor insumió 20 horas-persona en 1980 e insume 15 horas-persona hoy) o entre
distintas localizaciones (por ejemplo, una inspección sanitaria en un municipio
requiere 5,7 horas de trabajo y en otro comparable utiliza 6,4 horas).
La productividad de un insumo se expresa en estos ejemplos como
productividad media. También se puede expresar como productividad marginal del
insumo, dividiendo el incremento de producción en cierto tiempo por el incremento
del insumo en ese lapso y suponiendo el resto constante, lo cual permite analizar, por
ejemplo, el efecto de un aumento en la cantidad de empleados o de horas de trabajo
(Prokopenko, 1989; Ginestar, 1990).
Tales mediciones son menos útiles de lo que puede parecer por las dificultades
en relacionar productos particulares con insumos particulares. Fuera del esquema
simple de la línea de montaje, el trabajo a menudo contribuye a múltiples productos, y
es difícil distribuir el costo entre ellos. Un ejemplo extremo de esta dificultad es el
problema de distribuir el valor del trabajo de un director general de un policlínico
entre los diversos servicios que presta. Muchas de sus actividades se refieren a más de
un producto, y para decidir qué proporción de su trabajo está asociado con cada uno
debe recurrirse a estimaciones arbitrarias.
Por otra parte, es evidente que los múltiples insumos determinan
conjuntamente los productos. Las comparaciones de un factor singular no tienen
sentido a menos que de algún modo se controlen los otros factores relevantes que
juegan un rol en determinada producción. Esta insuficiencia llevó a plantear
mediciones de productividad de factor total, relacionando el producto con todos los
insumos, o al menos con los más significativos. Actualmente es usual incluir como
factores, además del trabajo, el capital financiero y sus costos, el capital tangible
(instalaciones, equipos, etc.) e incluso las materias primas, el transporte y la energía.
En esta perspectiva “multifactorial” habría productividad marginal positiva cuando se
verifica que hay una diferencia entre el aumento del producto y el aumento en los
costos de los factores considerados (Kendrick y Vaccara, 1980).
Sin embargo, y especialmente al aplicar el cálculo de productividad a la
actividad administrativa, falta agregar aún un elemento “modificador de los factores”,
que sería la “organización de la producción” (el componente “empresarial” en la
empresa privada), es decir, el modo en que se combinan los factores, donde
Página 14de 50
intervienen variables complejas. Esto se manifiesta al observar que la función de
producción es mayor que la simple suma de factores. El problema que se presenta es
que, particularmente en la administración pública, los determinantes que concurren
sólo son definibles a priori con un alto nivel de abstracción: la “racionalidad del
proceso productivo” relacionada con las fuerzas económicas e institucionales, la
dimensión de la capacidad gerencial y tecnológico-organizativa, o los condicionantes
del comportamiento humano (Thiry-Cherques,1996).
Página 15de 50
2. TIPOS, METODOLOGIA Y USOS DE LA EVALUACION
Los métodos de evaluación utilizables y las opciones al respecto deben
adecuarse lógicamente a los criterios que se adopten, y éstos a su vez varían en
función de los tipos de evaluación de que se trate. En términos generales se pueden
efectuar al respecto las siguientes clasificaciones.
2. 1. Tipos de evaluación
Ante todo hay que tener en cuenta la diferencia entre evaluar una política, un
programa o proyecto, un servicio permanente, una acción o incluso una organización.
En principio, una política pública tiene un alcance más genérico y a menudo
más estable que un programa, y un proyecto abarca un conjunto de actividades más
acotadas que un programa; aunque conviene advertir que no siempre hay uniformidad
en el uso de esta terminología.
La evaluación organizacional o institucional considera la capacidad de una
entidad pública, o también privada, para cumplir con las funciones asumidas o con
nuevos planes de acción, y apunta a definir las cualidades estructurales y de
funcionamiento de la organización por comparación con un modelo deseable
previamente definido. Puede tener aplicaciones muy amplias y diversas, y tiene
elementos en común con los estudios de diagnóstico organizacional. Es asimismo un
enfoque habitual respecto a entidades convocadas a actuar en la gestión de programas
sociales; en estos casos se vincula con la necesidad de apoyar el fortalecimiento de sus
recursos que le permitan cumplir los objetivos mediatos e inmediatos de manera
sustentable.
Asimismo hay que deslindar la autoevaluación de un organismo, la evaluación
del “propietario” o de un órgano supervisor y la evaluación externa, que puede ser un
encargo originado en diversas fuentes.
Según la relación de tiempo con el programa o actividad, como ya advertimos,
la evaluación puede ser anterior (ex ante), posterior (ex post) o concomitante .
Como también señalamos antes, la evaluación de procesos (o formativa) se
diferencia de la evaluación de resultados (o conclusiva).
La evaluación puede ser comprensiva de toda una política, programa o servicio
para valorar sus resultados, relacionándolos con su concepción inicial, su
administración y sus costos, o puede tener una perspectiva más limitada.
Puede tener la finalidad general de tornar más transparente la gestión pública y
acumular experiencia para futuras decisiones políticas, o un propósito más acotado,
Página 16de 50
como apoyar la gestión de un programa durante su implementación o proporcionar
elementos de juicio para decidir sobre la continuidad o no de una política.
Se distingue incluso entre evaluación descriptiva y analítica, según la
naturaleza del estudio y la profundidad del análisis.
En cuanto a los alcances del enfoque, se pueden enumerar los siguientes tipos
de evaluación:
1)
Evaluación de los efectos netos de la intervención pública,
considerando “efectos netos” aquéllos que no se hubieran producido sin el
programa o acción de que se trata, en lo cual quedan comprendidos los
resultados en sentido amplio. Se trata de saber si se alcanzaron los objetivos
y si ello no se debió a otras causas.
2)
Evaluación de la implementación de programas y servicios,
focalizando el grado de cobertura de una población o un área, cómo se
utilizan los recursos y cómo se distribuyen los servicios.
3)
Evaluación de la concepción y diseño de los programas y servicios,
que se cuestiona si los mismos se han diseñado de acuerdo con los objetivos
iniciales y si ello resulta razonable en función de una relación de causalidad
que tenga adecuado fundamento teórico.
4)
Evaluación económica, según los análisis de costo-efectividad y
costo-beneficio, para establecer si el programa o servicio implica un uso
eficiente de los recursos en comparación con otras alternativas factibles.
La metaevaluación o “evaluación de las evaluaciones”, por último, sería la
confrontación de los resultados de varias evaluaciones provenientes de diversas
fuentes, apuntando a una comprensión de síntesis. También se denomina así a la
evaluación de los resultados de cada una de tales evaluaciones con relación a sus
costos.
2. 2. Criterios, modelos y métodos
En perspectiva histórica se puede observar que la metodología de evaluación
ha ido evolucionando a partir de los criterios formales y legalistas de los sistemas
tradicionales de auditoría hacia concepciones cada vez más abarcadoras en cuanto a
los aspectos a considerar y a los sujetos involucrados o participantes de la misma.
El mérito o el valor de las actividades de un programa o servicio puede
juzgarse de acuerdo a diferentes criterios: según la medida en que se alcanzaron los
objetivos expresos, según los logros en relación a objetivos generales de producción o
Página 17de 50
distribución de recursos, según la opinión de los gestores del programa o de los grupos
beneficiados, perjudicados o en general afectados por el mismo, etc.
Conforme al criterio elegido, la metodología de evaluación se definirá en una
gama de variantes, que van desde un enfoque racional centrado en los objetivos
declarados hasta las aproximaciones basadas en los puntos de vista de una pluralidad
de actores o interesados. El modelo clásico de evaluación por objetivos se atiene a los
fines específicos prefijados, otros modelos introducen métodos para reflejar el grado
de concreción de otros efectos deseables, y el modelo “focalizado en la utilización” o
“pluralista” que postulan algunos autores (Patton, 1986; Ballart, 1992) recurre a un
proceso evaluador en varias etapas, de carácter dinámico e interactivo, que produzca
información útil para los diversos actores involucrados reconociendo la multiplicidad
de perspectivas posibles. En el marco de tales opciones, el diseño de la investigación
admite una gran variedad de técnicas que deben adecuarse en cada caso al propósito
de la evaluación.
En los modelos más corrientes adquiere importancia primordial la selección de
las variables a considerar como indicadores del cumplimiento de objetivos (por
ejemplo, en un programa educativo, los conocimientos o habilidades adquiridos por
una población determinada; en un programa de cambio institucional, los aspectos en
que se modificó el servicio o la relación entre empleados y usuarios, etc.). Las
variables-indicadores deben reunir requisitos suficientes de validez, en cuanto a su
relación con los objetivos, así como de fiabilidad, de modo que los datos no dependan
de los instrumentos de recolección; deben abarcar el conjunto de objetivos relevantes
y ser pertinentes en el sentido que la variable realmente dependa de la intervención de
la agencia a evaluar y no de otros factores que escapan a su control; además habrá que
considerar la economía, es decir que los costos de obtención de la información sean
razonables.
En cuanto a las fuentes de datos y los métodos de obtención, la evaluación
utiliza los instrumentos tradicionales de las ciencias sociales: entrevistas y
cuestionarios, tests de conocimientos, actitudes, preferencias, etc., registros, archivos y
ficheros administrativos, otros documentos producidos por el programa o acción en
cuestión, estadísticas oficiales, observaciones (directas o indirectas, abiertas o
encubiertas), evaluaciones de expertos, etc.
Para la medición de impacto existen importantes experiencias de aplicación de
diseños experimentales o cuasiexperimentales, basados en la comparación de grupos
destinatarios del programa y grupos de control. La observación de un grupo-objetivo
afectado por un programa y otro grupo-testigo no afectado permite obtener
información válida sobre las relaciones causales entre la intervención pública y los
impactos, a condición de que los grupos construidos sean equiparables y no sufran
alteraciones significativas en el tiempo necesario para desarrollar el estudio (Meny y
Thoenig, 1989; Ballart, 1992).
Como elemento auxiliar para estructurar la información en el proceso de
Página 18de 50
evaluación, pueden elaborarse modelos -en un sentido diferente al de los modelos de
evaluación antes referidos- como representaciones del funcionamiento del sistema
considerado, en los aspectos que son relevantes para el programa en cuestión. Tales
modelos reflejarán distintas “teorías” sobre el comportamiento del sistema, según las
percepciones o experiencias que existan al respecto (por ejemplo, en una oficina de
atención al público, cuáles son los períodos y las secciones en los que aumenta la
demanda de recurrentes, de lo cual resultarán diversos modelos). Ello permite ensayar
sobre tales modelos, por analogía con el método experimental, determinadas
alternativas programáticas (por ejemplo, asignar dotaciones de personal y terminales
de computación, las cuales se definirán como alternativas a1, a2, a3, etc.). Si alguna
de las alternativas resultara ser la mejor en todos los modelos, sería sin duda la
preferible; en caso de existir discordancias entre las mejores alternativas según los
modelos, habría que elaborar otros criterios para arribar a una conclusión (Tesoro,
1979).
2. 3. Acerca del uso de los resultados de la evaluación
Aún en los países altamente desarrollados donde la evaluación ha sido puesta
en práctica con mayor rigor metodológico, tanto los evaluadores como la propia
tecnología han sido blanco de críticas, que según Sulbrandt (1993) se pueden resumir
centradas en los siguientes puntos: a) sus conclusiones no resultan definitivas,
suficientemente convincentes o incontrovertibles; b) no se producen a tiempo para
apoyar la toma de decisiones; c) son de escasa relevancia o utilidad para muchos de
los interesados.
El debate generado en torno a tales falencias o debilidades del trabajo de los
evaluadores contribuyó a los replanteos de la investigación evaluativa. Las críticas que
cuestionaban la aplicabilidad, la utilización o el destino de las evaluaciones obligaron
a reconsiderar los problemas técnicos o específicos de la evaluación en el marco de la
problemática general del funcionamiento de la administración.
Hay que tener en cuenta que la formulación e implementación de las políticas
públicas en general resultan de un complejo proceso de conflicto-cooperación entre
demandas y apoyos de distintos grupos con determinados intereses y valores,
mediatizados por diversas organizaciones, todo lo cual se plasma en decisiones a
través de un conjunto de órganos y mecanismos (los poderes legislativo y ejecutivo,
sus respectivas burocracias, etc.). Como observa Oszlak (1978), difícilmente puede
captarse tal complejidad mediante la “intelección” de una racionalidad técnica,
presuponiendo un sistema ideal de relaciones donde la acción se subordina a la razón
y los comportamientos se dirigen hacia ciertos fines escogiendo los medios más
racionales. En cambio, en un modelo de “interacción”, partiendo de la premisa de que
la acción es más bien producto de transacciones entre partes y la prosecución del
interés de cada una realiza el fin colectivo que las vincula, puede interpretarse que el
Estado -en el cual conviven numerosas fuerzas con intereses divergentes- es una
Página 19de 50
especie de “arena” donde se enfrentan los actores sociales y donde las políticas no
surgen de un diseño racional previo, sino como resultado de presiones, luchas,
compromisos, negociaciones y transacciones durante su formulación e
implementación.
Según señalan otros analistas, lo que sucede en general es que, a través de una
serie de acomodamientos se van perfilando ciertas líneas de acción pública, que sólo
retrospectivamente pueden ser visualizadas como “políticas” o “decisiones”. A veces
las mismas surgen como efectos colaterales de cuestiones ajenas, mientras que otras
están determinadas por los precedentes o por el azar de la improvisación.
Considerada en este marco, la evaluación tiene una dimensión conflictiva
inmanente. Sus actividades, productos y resultados pueden percibirse como un
componente de la pugna entre distintos grupos para orientar la estructura y la
asignación de recursos en el Estado. Esos actores interesados determinan en definitiva
qué alcance tendrá una evaluación y qué se hará con sus conclusiones, en un proceso
determinado a su vez por los valores, intereses, suspicacias, temores, recelos y
aspiraciones de quienes tienen algún grado de poder sobre las políticas o programas
sometidos a evaluación. Existe toda una constelación de interesados que se hallan
cómodos con el mantenimiento del statu quo y no están predispuestos a que se
“mueva el tablero” con información evaluativa. Por lo tanto, ninguna evaluación
podría sustraerse a condicionamientos e interferencias en su gestación, en su
desarrollo, en la obtención e interpretación de sus resultados y en la utilización de los
mismos. Incluso los evaluadores externos con mayor independencia de criterio se
verían involucrados en el juego de presiones y contradicciones manifiestas y
subyacentes.
Frente a esta apreciación del cuadro, se puede distinguir una corriente de
autores en la que se sitúa Carol Weiss (1972), que advierten las restricciones que
implica para la evaluación tal diversidad de intereses y problemas. Puede resumirse su
posición al respecto en la afirmación de que existen mayores probabilidades de que la
información evaluativa influya en las decisiones políticas cuando provenga de: a) una
investigación de calidad satisfactoria, b) sobre aspectos específicos y claramente
delimitados, c) realizada por expertos acreditados, d) presentada oportunamente y en
forma adecuada, y e) que no implique alteraciones sustanciales de las creencias,
preferencias y predisposiciones de los actores clave.
Weiss postula que los resultados de una evaluación tendrán mayor probabilidad
de atraer la atención de los “usuarios” si se encuadran en las siguientes “situaciones de
uso” de la información: a) advertir sobre problemas críticos, con señales claras de que
las cosas no andan bien y debe hacerse algo al respecto; b) orientar para el cambio,
con elementos de juicio comparativos sobre opciones viables, sus condiciones y
posibles resultados; c) reconceptualizar cuestiones clave, proporcionando marcos de
referencia más eficaces para examinarlas; d) plantear la movilización de apoyos, con
propuestas dirigidas a reforzar las posibilidades de éxito en el plano político.
Página 20de 50
Otra corriente, cuyo exponente principal es Patton (1986), sostiene que el uso
de los resultados de la evaluación depende fundamentalmente de los evaluadores,
planteando que para ello es necesario establecer claros compromisos iniciales con los
responsables de las políticas y programas sometidos a evaluación. En este sentido,
para que una evaluación sea utilizable y evaluable, deberían cumplirse las siguientes
condiciones: a) que los evaluadores estén auténticamente convencidos de las virtudes
de su producto evaluativo para mejorar la gestión; b) que sean capaces de escuchar y
responder a dudas, prejuicios y manifestaciones de frustración de los potenciales
usuarios, y de sintetizarlas para obtener consenso sobre la necesidad de la evaluación;
c) que puedan asegurar impactos controlables y evaluables de la evaluación,
sometiendo también su propio desempeño a evaluación; d) que acuerden como
contrapartida con los usuarios una visión común y claros compromisos sobre el uso de
los resultados para mejorar la gestión, predisponiéndolos a aceptar tales resultados y a
cambiar en función de ellos los planes, metas, estructuras, procesos o técnicas; e) que,
a partir de tales compromisos recíprocos, atiendan a las necesidades e inquietudes de
los usuarios, trabajando con ellos para facilitar la utilización de los productos de la
evaluación.
De esta manera, en lugar de dejar libradas a su suerte las conclusiones de la
evaluación, que podrían extraviarse en la incertidumbre, la inercia burocrática o el
azar de las interpretaciones interesadas, se propone un fuerte compromiso y una
adecuada compenetración del trabajo de evaluadores y usuarios para que los
resultados realmente contribuyan al cambio y el mejoramiento de la gestión pública.
Página 21de 50
3. INFLUENCIA DEL NUEVO DE PARADIGMA DE GERENCIAMIENTO
PUBLICO
La revolución tecnológica que se opera en nuestros días a escala universal
conlleva nuevos problemas para las organizaciones y nuevas formas de percibirlos y
actuar sobre ellos. Estos cambios contextuales afectan a la cuestión de la evaluación.
Con esa perspectiva abordamos aquí en forma sintética las proyecciones de la gestión
de calidad en la administración y la cuestión de los recursos humanos, considerando la
problemática específica de la evaluación de la calidad en el sector público, así como
otras observaciones y aportes recientes en esta materia.
3. 1. Gestión de calidad y orientación al cliente
El concepto de calidad, que se contrapone al de mera cantidad, corresponde a la fase
actual de desarrollo económico-social en la que va quedando atrás la era de la
producción industrial en gran escala y del consumo de masas estandarizado. En la
industria, en la economía y en general en el “mundo de los servicios”, incluidos los de
la administración pública, aparece como valor importante, incluso más que el precio,
la diferenciación y la adaptación del producto o servicio a múltiples necesidades
específicas de los usuarios. La agudización de la competencia, resultante del
desarrollo de la capacidad productiva y acentuada a escala internacional por la
globalización, confiere al cliente nuevas opciones. Las preferencias particulares de los
usuarios o clientes y su propio conocimiento de la funcionalidad de los productos o
servicios constituyen elementos de gran relevancia para concebir y planear la
producción.
En los países occidentales, la percepción de esta transformación impulsó una
corriente de ideas en torno a los temas de la excelencia, el management moderno y el
modelo japonés, replanteando la concepción del proceso de trabajo y llamando la
atención sobre los factores de la cultura organizacional. La difusión de los círculos de
calidad y las técnicas de flexibilización, descentralización y participación en la
industria produjeron notables avances en la calidad y productividad, originando un
modelo aplicable también a los servicios. Partiendo de la aplicación de los métodos de
control de calidad, y entendiendo que ésta es resultante del conjunto de las actividades
de la organización, Deming, Juran y otros difundieron un modelo integral de gestión
de la calidad en las organizaciones (Total Quality Management), que se corresponde
con la noción del Management participativo caracterizado por algunos analistas
europeos.
Tal como señalamos en un estudio anterior sobre el tema (Chumbita, 1992), los
dos postulados clave de esta corriente son: a) "incorporar al cliente" como recurso y
orientar hacia él los procesos productivos, ya que el destinatario del producto o
servicio es el que aprecia y define la calidad; 2) potenciar al empleado
(empowerment), ya que nadie conoce mejor que él su propio trabajo y las variables
Página 22de 50
para mejorarlo, en base al compromiso con los resultados.
Así como la mayor competencia en los mercados crecientemente globalizados
confiere al cliente o consumidor un nuevo “poder”, también el ciudadano “cliente” de
los servicios estatales está ejerciendo su capacidad de demanda y muchos organismos
públicos se están reorientando a satisfacerla .
Paralelamente a los fenómenos del cambio organizacional, se advierte que ha
decrecido la necesidad y el prestigio de las funciones coercitivas de la autoridad
estatal, y la legitimación del Estado se apoya cada vez más en los bienes y servicios
que provee a los ciudadanos. En gran medida ciertas prestaciones públicas compiten o
concurren hoy con las de determinadas empresas u otras organizaciones, y se plantean
nuevas modalidades de articulación de la acción estatal y los actores particulares.
Se trata de lo que los analistas definen como un cambio de paradigma en la
administración pública, un nuevo paradigma “post-burocrático” (Barzelay, 1992), que
se traduce en la “orientación hacia el ciudadano-cliente” (Richards, 1994; Löfler,
1996), que se plantea como “reinvención del gobierno” (Osborne y Gaebler, 1994) o
también una “cultura del gerenciamiento público” basada en la innovación (Crozier,
1996).
La nueva administración gerencial que se postula para superar el modelo
burocrático, no sólo implica mejorar la “atención al público” en las oficinas,
simplificar trámites y garantizar los derechos de los recurrentes mediante adecuada
información y normas de transparencia, sino también rediseñar los productos en
función de las necesidades y medir constantemente la satisfacción del usuario como
criterio para orientar la planificación, procurar su participación activa a través de
diversas modalidades de consulta y cooperación, brindarle posibilidades de elegir
entre diversas ofertas de servicio, e incluso facilitar los medios y posibilitar que las
entidades representativas de los intereses involucrados resuelvan por sí mismas sus
problemas.
3. 2. La motivación profesional
En el panorama de las relaciones laborales internas, la tendencia a potenciar y
comprometer al personal con los fines o resultados de la organización continúa el
proceso histórico de evolución que podemos caracterizar partiendo de las enseñanzas
de una obra clásica de Amitai Etzioni (1965).
Los medios de control social aplicados a las organizaciones han sido
universalmente de tres tipos: físicos, materiales o simbólicos. El control coercitivo
mediante la amenaza física corporal (ejemplo actual: las cárceles), el control utilitario
empleando las recompensas en cosas, servicios o dinero (empresas), y el control
normativo que busca la adhesión a un credo o a ciertos ideales (iglesias y otras
Página 23de 50
organizaciones voluntarias). Hay entre estos tipos una gradación en la severidad del
control, en la apelación a la razón o convicción, y en el ahorro de costos humanos y
económicos. El progreso socioeconómico impulsa y a la vez requiere menores
componentes coercitivos y cada vez mayores incentivos materiales y abstractos.
Frente a la revolución científico-tecnológica y los nuevos procesos de trabajo,
la empresa privada, basada tradicionalmente en sistemas de recompensa, busca
crecientemente lograr la adhesión, la lealtad o el compromiso del trabajador. Este es el
significado evidente de las corrientes de innovación luego de los éxitos del “modelo
japonés” y el Management participativo en la industria europea y norteamericana.
Es un dato comprobado que las recompensas económicas tienen un techo o
encuentran cierto límite. No sólo no pueden ser incrementadas indefinidamente, sino
que más allá de cierto nivel pierden progresivamente su efecto estimulante. La
administración pública, donde los incentivos de recompensa son menos practicables,
por la rigidez de los estatutos salariales y/o por las restricciones que impone el manejo
presupuestario, requeriría con mayor razón avanzar en el sentido de la motivación de
tipo “normativo” o simbólica de sus agentes.
Como señala Crozier (1997), la complejidad creciente de las actividades de la
administración y la calificación profesional de los agentes conlleva hoy nuevas
oportunidades y demandas de libertad de los servidores públicos. Éstas son
incompatibles con las pautas de obediencia del antiguo paradigma burocrático, a la
vez que constituyen el potencial de las actitudes innovadoras que se han tornado
necesarias.
Las comprobaciones acerca de la eficacia relativa de los controles y la
concepción de que todos los niveles de empleados deben involucrarse para cooperar
en la mejora de la organización, conducen a promover en el seno de las unidades
administrativas el interés por la aplicación de sus propias mediciones de evaluación.
La idea base es que una apropiada circulación de la información y del conocimiento
puede promover el compromiso de los agentes públicos con los fines de la
organización y el deseo de ser eficientes más allá de sus meras obligaciones.
3. 3. Evaluación de la calidad
La evaluación de la calidad supone una nueva forma de valoración del
producto o resultado, pero también, conforme a la concepción del TQM, una
evaluación del conjunto de la organización, desde la planificación y el gerenciamiento
-en términos de liderazgo-, pasando por los procesos y la gestión de recursos humanos
hasta el impacto ambiental.
Como estándares de calidad existen normas internacionales, en particular las
ISO 9000-9004, a los que se atienen los correspondientes sistemas nacionales de
Página 24de 50
acreditación. Se aplican al sector privado, aunque también hay ensayos de aplicación
al sector público. Por otra parte, los numerosos premios a la calidad que existen en
Japón, Estados Unidos y otros países europeos y americanos -e incluso en la
Argentina desde 1992- tanto para empresas como para organismos públicos, han
generado criterios bastante uniformes y diversas metodologías de evaluación de los
mismos, pautadas según las reglas del concurso e instrumentadas por jurados y
evaluadores (Löfler, 1996).
La incorporación del análisis de calidad suscita problemas, especialmente al
trasladarse los enfoques del TQM originados en la empresa a los organismos públicos.
El concepto mismo de calidad posee cierta ambigüedad y reclama una adecuada
interpretación. Hay diversas formas de definir la calidad, de manera objetiva (como
“la conformidad con las especificaciones”), subjetiva (según la satisfacción del
cliente) o combinando ambos enfoques.
La gestión de calidad trasciende la noción elemental de calidad como atributo
del producto, y según las definiciones más amplias abarca la eficiencia económica, la
satisfacción de los empleados, el funcionamiento gerencial, la cultura organizacional,
la proyección hacia el futuro, etc.
Al evaluar la calidad, la empiria presenta habitualmente ciertas dificultades.
Por ejemplo, la aproximación que distingue las dimensiones de cantidad y calidad
debe ser matizada: el incremento en la cantidad (por ejemplo de conocimientos
adquiridos por un estudiante) puede constituir un cambio cualitativo. En las
mediciones de productividad, es evidente que un producto de mayor calidad sería un
resultado más valioso, pero ello plantea otro dilema de interpretación: el cálculo puede
conducir a una falacia si el cambio es tal que puede considerarse que se trata de otro
producto (Thiry-Cherques, 1996).
Al reconocer al ciudadano-cliente un papel central, se asigna gran importancia
a la satisfacción del mismo como criterio para evaluar el resultado de políticas,
programas y servicios públicos, y de hecho las encuestas de satisfacción se han
difundido como método usual de control. Sin embargo, el Estado tiene la obligación
de equilibrar intereses divergentes entre distintos grupos de “clientes” y entre los
beneficiarios directos de los servicios y la generalidad de los contribuyentes. A
diferencia de la empresa privada, la administración pública debe considerar como
cliente al conjunto de los ciudadanos, y la cantidad y la calidad de los bienes públicos
suministrados debe ser determinada en última instancia por ellos.
Además, definir la calidad en términos puramente subjetivos según la
apreciación del cliente puede ser válido para la empresa privada pero no en el sector
público, donde la presumible progresión de las expectativas conduciría a un aumento
de las exigencias de los usuarios imposible de satisfacer. De ello se deduce ante todo
que el resultado calidad no debe concebirse sólo en términos subjetivos para el sector
público, e incluso que los organismos públicos con recursos limitados deberían
Página 25de 50
“administrar las expectativas”, aclarando a los ciudadanos qué es factible y qué no lo
es (Löfler, 1996).
3. 4. Tendencias y aportes críticos
El influjo de las nuevas concepciones sobre la administración se advierte en
algunas innovaciones para hacer participar como actores de los procesos y sistemas de
evaluación a los usuarios o ciudadanos interesados o afectados directamente por las
políticas y programas. En esta dirección, la instrumentación de los controles
constitucionales del régimen democrático tiende a articularse con las propuestas de
gestión participativa.
Asimismo, la tendencia a la descentralización que señalan algunas recientes
reformas administrativas, siguiendo la lógica de reducir el gigantismo burocrático y
acercar la gestión a los usuarios locales de los servicios, requieren de los órganos
superiores de gobierno un mayor esfuerzo para evaluar resultados, abarcando a
menudo un universo muy amplio de organismos responsables.
La observación verificada por los estudios de Desarrollo Organizacional acerca
de la problemática de los controles y la necesidad de que los empleados se involucren
en la mejora del rendimiento ha conducido a impulsar la internalización de las
técnicas de evaluación, lo cual constituye una línea de innovación en la administración
norteamericana (Empowerment Evaluation).
Una proposición que aparece de diversas maneras en la literatura especializada
sobre el tema es la importancia de cuestionar el sentido o la oportunidad de cualquier
programa o acción gubernamental. Esto se relaciona con el tema del “costo de
oportunidad” manejado habitualmente por los economistas. Desde el punto de vista
del “propietario”, es un criterio básico de evaluación “cuestionar la propia existencia
del programa” (Masoni, 1993). Osborne y Gaebler (1994) hacen un señalamiento
coincidente al referirse a la necesidad de medir los resultados políticos, lo cual
implica considerar cuestiones más amplias que el resultado inmediato de la acción de
un organismo. Por ejemplo, la efectividad de un programa de barrido de calles urbanas
se mide consultando la satisfacción de los ciudadanos con el grado de limpieza de la
calle, pero medir la efectividad política requiere consultarles si están de acuerdo en
que los fondos públicos se gasten en tal programa o en otras alternativas para lograr el
mismo resultado.
Osborne y Gaebler recomiendan la evaluación de resultados, sin negar la
importancia de medir los procesos internos, pero evitando que ello conduzca a
acumular datos insustanciales. Por ejemplo, medir la cantidad de egresados de un
instituto sería insuficiente sino se mide también cuántos de ellos obtienen trabajo en el
campo en que han sido formados, su grado de satisfacción y la de quienes los
Página 26de 50
emplean, etc. Observan también que la preocupación excluyente por la eficiencia, por
reducir lo que cuesta cada unidad de resultado, puede ser alienante para los
funcionarios, olvidando la necesidad y la finalidad de un servicio.
Entre sus recomendaciones sobre el tema podemos destacar las de interés más
general: a) combinar las medidas cuantitativas con valoración cualitativa; b) hacer
participar a proveedores y empleados para desarrollar las medidas adecuadas,
previniendo así posibles resistencias y dando oportunidad de discutirlas a quienes se
opongan ; c) someter las mediciones a revisión y modificación anual, ya que siempre
se trata de aproximaciones imperfectas que requieren ajustes; d) no utilizar
demasiadas formas de medición, dado que los gestores podrían llegar a abrumarse de
datos y papeleo, ni demasiado pocas, de modo que no se reflejarían todas las metas del
organismo.
Michel Crozier (1997) afirma que la evaluación es una de las mejores
herramientas para influir en los miembros de la burocracia administrativa en el sentido
de una nueva cultura del gerenciamiento público, haciéndolos conscientes de para qué
son útiles. Organizando y publicando cuidadosamente las evaluaciones, puede
lograrse un mecanismo de comparación (Benchmarking). En cualquier caso, la
evaluación será decisiva para progresar hacia un cuerpo de servidores públicos con
mayor conocimiento y comprensión, capaces de escuchar y diagnosticar los problemas
a tiempo, y contribuirá a que los programas y aún las leyes se elaboren tomando en
cuenta los resultados anteriores.
Lo más importante no sería el impacto inmediato de los cambios de
procedimiento, sino el impacto cultural sobre los sistemas de toma de decisiones. Los
evaluadores deberían ser entrenados más en la nueva filosofía de los servicios que en
las técnicas sofisticadas, que pueden llevarlos a construir sólo un nuevo sistema
sofocante de control. La introducción de la evaluación debe apuntar a cambiar la
cultura administrativa, y será técnicamente exitosa sólo si es culturalmente exitosa, lo
cual insumirá tiempo y constancia.
Crozier subraya que la evaluación requiere profesionales capacitados,
diferentes del clásico burócrata y aún de los auditores convencionales, que deberían
dedicar sólo una parte de su carrera a ser evaluadores a fin de evitar que se constituya
una burocracia de expertos. Para el entrenamiento de jóvenes profesionales -que
podría incluir su formación parcial en otros países, apuntando a ampliar el horizonte
de sus métodos y filosofía- propone crear institutos dedicados a la capacitación y a la
vez a la investigación y a la acción, donde los practicantes pudieran acudir
regularmente para recibir apoyo intelectual.
Página 27de 50
4. ALGUNAS CONCLUSIONES SOBRE TECNOLOGIAS DE EVALUACION
La adecuada utilización de la evaluación aparece como un instrumento
primordial para mejorar la conducción y orientación de la Administración por los
responsables políticos, para aumentar la transparencia de la actividad estatal ante la
ciudadanía, para complementar el cumplimiento de las funciones legales de control
por los órganos competentes y para los propios fines específicos de las reparticiones
y del desempeño del personal administrativo.
Los conceptos tradicionales para la medición económica de resultados
(eficiencia, efectividad, eficacia, productividad) aportan herramientas básicas para
evaluar la actividad administrativa, que se integran en el conjunto de la tecnología de
evaluación.
No obstante, la realidad se presenta por lo general de manera más confusa y
compleja que en los análisis académicos, por lo cual hay distancias entre las
definiciones teóricas y la posibilidad de aplicarlas a las situaciones concretas, que
deberían ser salvadas por la inteligencia y la percepción experimentada de los gestores
y evaluadores.
Un aspecto crucial es el uso de sus resultados de la evaluación, que pueden
perderse por falta de oportunidad, de precisión, etc. o tropezar con intereses
refractarios a la información evaluativa. Dentro de las diversas propuestas para
prevenir estas frustraciones sobresale la idea de que los evaluadores partan de un
firme compromiso con los usuarios para asegurar el impacto de la evaluación,
trabajando con ellos para facilitar la aplicación de los productos de la misma a
ulteriores cambios y mejoras en la gestión.
Los nuevos sistemas de administración presupuestaria y las funciones de
control y auditoría en su concepción más actualizada, inducen la aplicación y
extensión de las técnicas de evaluación, aunque se trata sin duda de enfoques y
actividades diferentes a la del análisis evaluativo.
Una de las iniciativas más promisorias en esta materia parece ser la promoción
de la autoevaluación de los organismos públicos, que no implicaría grandes costos ni
encontraría las resistencias con que tropieza habitualmente cualquier tipo de control
externo. En el caso de recurrir a consultores externos para la evaluación, la modalidad
más aconsejable sería el trabajo integrado con los gestores del organismo para contar
con plena y certera información y producir conclusiones realmente útiles.
Los cambios en el paradigma de la gestión han influido en los sistemas de
evaluación introduciendo nuevos criterios para evaluar. Se ha ido produciendo un
desplazamiento del foco desde los criterios de cumplimiento de normas hacia la
valoración de la creatividad y la respuesta a las demandas de los ciudadanos. Dentro
de lo que se caracteriza como “orientación hacia el cliente”, se asigna creciente
Página 28de 50
importancia a la medición de la satisfacción del usuario o destinatario directo del
servicio, pues la definición subjetiva de la calidad de los servicios se refiere a la
conformidad del usuario. No obstante, dado que el Estado debe equilibrar intereses
divergentes entre distintos sectores, y entre los beneficiarios directos de los servicios y
la generalidad de los contribuyentes, la administración pública tiene que considerar
como “cliente” al conjunto de los ciudadanos.
Según surge de la experiencia universal contemporánea, la implantación de la
evaluación choca con la cultura burocrática tradicional centrada en el cumplimiento de
las reglas y procedimientos antes que en los objetivos y resultados de la gestión. En la
generalidad de los países latinoamericanos existen probablemente mayores
restricciones derivadas del contexto histórico cultural de la sociedad, donde en general
los éxitos personales y organizacionales se perciben sólo secundariamente asociados
con los logros de eficiencia, y en particular en la administración existen fuertes
resistencias a difundir o proporcionar información objetiva sobre los procesos y
resultados. Tales serían algunos de los obstáculos con que puede tropezar la absorción
de la tecnología de evaluación en la gestión pública.
Las innovaciones en esta materia postulan y requieren un cambio cultural. Los
organismos administrativos afrontan el desafío de incorporar una “cultura de
evaluación”, que puede considerarse como una parte primordial de la nueva “cultura
del gerenciamiento público”. Es evidente que las disposiciones legislativas y la
elaboración de metodologías son insuficientes si no se modifica la conciencia
profesional de los gestores, funcionarios y empleados, lo cual reclama un esfuerzo
persistente en el tiempo y una acción sistemática en tal sentido.
Página 29de 50
II PARTE: CASO DEL SISTEMA NACIONAL DE EVALUACION
EDUCATIVA
1. ANTECEDENTES
La evaluación de los niveles básico y medio de enseñanza en la Argentina es
un caso de evaluación global de políticas públicas en un campo muy significativo de
las responsabilidades del Estado. Lo encaramos como parte de una investigación
cuyo primer avance caracterizó las aplicaciones y modalidades de la evaluación en
la gestión pública, considerando asimismo las perspectivas que abren recientes
aportes críticos en torno al nuevo paradigma de gerenciamiento público. El informe,
editado como material de apoyo a la capacitación del INAP (Chumbita, 1997),
resume el marco teórico y conceptual del presente estudio de caso en cuanto a la
tecnología del análisis evaluativo.
De acuerdo con la misión propia del INAP, el sentido de nuestra indagación
es aportar al conocimiento y la mejora de las tareas de la administración pública,
presentando de manera objetiva una realización precursora que ilustra sobre las
posibilidades de desarrollo de la evaluación en las prácticas de gestión estatal. A tal
efecto, sobre la base de la consulta de los materiales y registros disponibles, con la
colaboración de los funcionarios responsables de la gestión -principalmente la
Directora Nacional de Evaluación Educativa, Lic. María Lucrecia Tulic, que nos
brindó su testimonio y nos orientó en la búsqueda de otras fuentes-, describimos los
principales fundamentos y criterios, las modalidades operativas, así como los límites
y logros de esta importante experiencia.
1. 1. Experiencias internacionales
En los años 60, en Estados Unidos, una enmienda a la legislación de
educación primaria y secundaria (Primary and Secondary Act, 1965) contempló la
evaluación de los programas de aplicación de la ley, a partir de lo cual se produjo
una información sustancial que generó debates y favoreció la asignación de recursos
considerables a la evaluación del sistema educativo.
El Informe Coleman, “Equality of Educational Opportunity” (1966),
realizado por encargo del Congreso y patrocinado por la Oficina de Educación del
gobierno federal, alcanzó gran credibilidad y fue pionero de los nuevos enfoques de
evaluación. A diferencia de estudios anteriores centrados en los procesos escolares y
en datos cuantitativos, el equipo de Coleman se aplicó a determinar los efectos de
sistema en cuanto al aprendizaje de los alumnos, llegando a establecer que los
resultados dependían más de los antecedentes individuales de los estudiantes y de
los del conjunto de sus compañeros. Según las conclusiones de la investigación, “los
efectos parecen derivar no tanto de factores que el sistema educativo controla, sino
Página 30de 50
de factores externos al medio escolar”.
En el Reino Unido, Francia y otros países desarrollados se hicieron
experiencias en el mismo sentido y los gobiernos promovieron la evaluación
continua de los sistemas educativos con diversos alcances y variantes. Los
organismos internacionales contribuyeron a apoyar esos trabajos. La OCDE
(Organización para la Cooperación y el Desarrollo Económico) avanzó en la
elaboración de un conjunto de Indicadores Internacionales de la Educación
(Proyecto INES). La UNESCO y otras entidades como la Asociación Internacional
para la Evaluación de Resultados Educativos han auspiciado estas iniciativas.
En Francia, donde se efectuaban regularmente evaluaciones masivas al final
de los ciclos de enseñanza elemental y media, se experimentaron diversos “cortes”
en los mismos, y desde 1989 se realizan en forma sistemática cada dos años. En
1992 se produjo un amplio informe sobre el “Estado de la Escuela”, describiendo en
términos de indicadores globales el conjunto de costos, procesos y resultados del
sistema educativo.
En algunos estados asiáticos como Malasia, Singapur y Corea, la
implantación de los procedimientos evaluativos, como parte de políticas orientadas
decididamente a aumentar la eficiencia de la gestión y mejorar la calidad de la
educación, permitieron verificar notables progresos en sus respectivos sistemas.
Estos países se sitúan en altos estándares en las comparaciones internacionales
(alrededor de 650 puntos sobre un máximo de 800).
En América Latina, Chile y Costa Rica emprendieron iniciativas precursoras
en la materia, y los gobiernos de casi todos los países comenzaron a organizar sus
propios sistemas nacionales de evaluación. La OEI (Organización de Estados
Iberoamericanos para la Educación, la Ciencia y la Cultura) impulsó en 1995 el
Programa de Cooperación y Asistencia Técnica para el Desarrollo de Sistemas
Nacionales de Evaluación de la Calidad Educativa. La OREALC, entidad regional
de la UNESCO, promovió el Laboratorio Latinoamericano para la Evaluación de la
Calidad de la Educación, con el propósito de proveer apoyo técnico a tales
esfuerzos.
En el marco de una tendencia actual a la fragmentación del poder en los
regímenes democráticos y la creciente complejidad de las decisiones públicas que
involucran a diversos actores sociales, la información generada por los sistemas
evaluativos ha contribuido a proporcionar fundamento objetivo a los debates sobre
las políticas educativas.
1. 2. Tipos de evaluación educativa
Una particularidad del tema en el área de la educación es que la evaluación,
referida a los educandos, es parte constitutiva del proceso de aprendizaje y de la
Página 31de 50
pedagogía. Sin embargo, la noción a la que nos referimos aquí es mucho más
amplia, comprendiendo un conjunto de aspectos y problemas que se relacionan con
la finalidad de conducir el sistema educativo.
La evaluación concebida con ese propósito principal de conducción puede
enfocarse de diversas maneras. Usualmente se distingue la evaluación de alumnos,
la evaluación de la administración educativa y la de los centros escolares (Casanova,
1992). Siguiendo una exposición de Albert Michel (1996) y las recomendaciones
que formula, podemos caracterizar los siguientes tipos de evaluación, que implican
objetivos y métodos diferentes:
a) Evaluación de conocimientos y aptitudes adquiridos por los alumnos, que puede
efectuarse mediante evaluaciones “de masa” o sobre muestras representativas.
La primera modalidad se orienta esencialmente a ayudar a los docentes para
adaptar sus técnicas pedagógicas a la heterogeneidad de los alumnos y
acompañar las innovaciones; mientras que la segunda, menos costosa, es
suficiente para evaluar el rendimiento académico a escala nacional o a efectos de
comparación internacional, permitiendo además hacer comparaciones en el
transcurso del tiempo. Para que sean más eficaces como instrumentos de
conducción del sistema, estas evaluaciones deberían centrase progresivamente en
los elementos “no cognitivos” o “curriculum oculto”, es decir las competencias,
aptitudes y valores que conforman las demandas de los mercados de trabajo.
b) Evaluación de los centros escolares, que según los criterios escogidos enfatizará
en los procesos y actores, en la eficiencia o en la eficacia. Resulta de gran
importancia para la conducción de los propios centros, y también para una
política global que tienda a corregir las disparidades excesivas entre instituciones
comparables. En esta modalidad resulta conveniente complementar el
autodiagnóstico y la evaluación externa. Cada institución debería tener cierta
autonomía para elegir los instrumentos, en particular para evaluar elementos de
su proyecto específico, pero debe haber un tronco común de indicadores que
permitan las comparaciones.
c) Evaluación global del sistema, que permite a la conducción nacional rendir
cuentas de la utilización del presupuesto público, medir los avances en una
orientación dada y efectuar comparaciones internacionales. Ello requiere
construir un conjunto de indicadores (para lo cual existen propuestas de los
organismos internacionales) que den una medida sintética de los costos, la
actividad y los resultados del sistema educativo, proporcionando información
decisiva para el debate y la obtención de consenso social en las políticas
nacionales sobre la materia. Es importante que los indicadores permitan
conceptualizar los problemas de la equidad y la igualdad de oportunidades
educativas y la cuestión de las disparidades geográficas.
d) Evaluación de las innovaciones y de políticas específicas, que apuntan a
Página 32de 50
retroalimentar la dirección de determinados procesos de cambio. Toda
innovación debería incluir, desde su origen, dispositivos de evaluación para
seguir su aplicación, constatar sus resultados, analizar dificultades y efectos no
previstos y a partir de ello reexaminar los objetivos y la economía del proyecto.
También es posible y deseable incorporar la evaluación de experimentos a
escalas significativas, antes de decidir su generalización.
1. 3. El concepto de calidad en la educación
El concepto de calidad en la educación tiene ante todo el sentido de superar
anteriores enfoques de medición cuantitativa, basados por ejemplo en datos sobre
las cantidades o proporciones de alumnos, egresados o docentes, cantidad de tiempo
o de recursos invertidos, etc. El foco en la calidad apunta, además de lo anterior, a
saber qué aprenden realmente los estudiantes y cómo, e incluso si los conocimientos
y capacidades adquiridos son los que ellos y la sociedad necesitan.
Las nuevas preocupaciones cuestionan ciertos presupuestos tradicionales,
como que los alumnos aprenden yendo a la escuela, que ésta les proporciona la
calificación que necesitan y que más años de escolaridad equivalen a una mejor
preparación. Desde la visión tradicional, partiendo de la responsabilidad del Estado
en esta materia, lo importante era que la población accediera y permaneciera en el
sistema. Desde el punto de vista de la calidad, ello es necesario pero no suficiente,
pues además el Estado debe asegurar los resultados del proceso educativo,
dotándolo con los medios y agentes idóneos para lograr que satisfaga las demandas
sociales.
En las formulaciones de especialistas comprometidos con el tema
encontramos tres aproximaciones complementarias como “dimensiones del
concepto de la calidad” (Tulic, 1996; Toranzos, 1996). Resumiendo, una sería la
eficacia o efectividad del sistema, en el sentido que los alumnos realmente aprendan
lo que está establecido en los planes y programas curriculares. Una segunda
dimensión sería la relevancia de lo aprendido para que el educando se desarrolle
como persona y se desempeñe en los diversos ámbitos de la sociedad. La tercera se
refiere a la aptitud de los procesos y medios que se ofrecen, es decir un cuerpo
docente calificado, contexto físico, métodos y materiales adecuados, etc.
Se trata entonces de una manera de considerar los procesos educativos con la
cual se desplaza el énfasis y se incorporan nuevos problemas. Para evaluar el
sistema no basta con los indicadores tradicionales, como los de cobertura y
deserción, sino que deben diseñarse otros para indagar el rendimiento escolar, la
incidencia en el mismo de diversos factores y su relación con el medio social.
Para ello se requiere un “modelo evaluativo” que, considerando al sistema en
el marco social y clarificando sus objetivos, capte los indicadores más significativos
Página 33de 50
y tenga en cuenta todos los subsistemas implicados en el proceso. Aparecen así,
como aspectos clave de la calidad, el desempeño, la capacitación, la estabilidad y las
perspectivas de desarrollo de los equipos docentes y de los directivos
institucionales, la optimización de la organización curricular, la distribución y el
aprovechamiento del tiempo de aprendizaje, las relaciones entre las familias y la
escuela, el clima de convivencia, la armonía de la “comunidad educativa”, etc.
(Teijido de Suñer, 1995).
Parece claro que las postulaciones sobre la calidad de la educación surgieron
contemporáneamente con diversas manifestaciones de preocupación respecto al
deterioro absoluto o relativo de los niveles de la enseñanza, que se relacionan con
problemas de masificación, sobredemanda e ineficiencia de las instituciones
escolares. Ello llevó al primer plano de la opinión pública la idea de una “crisis
educativa” prácticamente universal, pero hay diversas maneras de verla y afrontarla.
La cuestión de la calidad puede ser interpretada desde varios ángulos ideológicos
con diferentes propósitos.
En Argentina, según observa un especialista (Filmus, 1995), la crisis del
sistema educacional se precipitó por un conjunto de factores, particularmente las
políticas autoritarias, la desinversión en el sector y las profundas y crecientes
desigualdades sociales. Frente a la situación actual de general disconformidad agrega- se manifiestan diversos diagnósticos y opiniones contrapuestas que pueden
desvirtuar el concepto de calidad.
Siguiendo su caracterización, habría una óptica “tecnocrática” que vincula la
baja calidad del servicio educativo con la escasa eficiencia del sistema, planteando
que es necesario mejorar la productividad de actores e instituciones a través de
determinadas acciones técnico-pedagógicas. Otra concepción enfoca la calidad
como un problema de mercado, proponiendo generar escenarios de competencia y
facilitar al demandante o cliente elegir escuelas y por lo tanto niveles de calidad a
los que aspira. Dejando de lado los otros factores del contexto, ambos enfoques
tienden a culpabilizar el comportamiento de los actores y en la práctica estarían
propiciando la calidad para pocos.
Frente al sesgo elitista de tales discursos, en algunos sectores docentes que
defienden una posición democratizadora han surgido actitudes que niegan o
relativizan la problemática de la calidad, y caen a veces en el reduccionismo de
cifrar toda la crisis educativa en la cuestión del financiamiento. Sin embargo, los
reclamos para aumentar el presupuesto corren el riesgo de aislarse como consignas
“corporativas” si no se sustentan en esfuerzos dirigidos a mejorar el aprendizaje de
los alumnos. La comunidad educativa debería tomar conciencia de que una mayor y
mejor inversión es una condición necesaria pero no suficiente para salir de la crisis.
Lo que sugiere el autor citado es afrontar la necesidad de una estrategia integral,
apuntando a elevar la calidad de educación para todos, que sería la reformulación
actual de la tradicional exigencia de igualdad de oportunidades.
Página 34de 50
Página 35de 50
2. EL CASO DEL SINEC
En la Argentina se han comenzado a poner en práctica formas sistemáticas de
evaluación global en todos los niveles de la educación, pública y privada. La Ley
Federal de Educación de 1993 estableció una norma general al respecto, que tuvo
aplicación inmediata en la enseñanza básica y media. Posteriormente, la Ley de
Educación Superior de 1996 contempló en particular la evaluación de la enseñanza
universitaria y de posgrado, asignando funciones para dictaminar en relación a
diversos requerimientos a una entidad ad-hoc, la Comisión Nacional de
Acreditación y Evaluación Universitaria, que inició un vasto plan de tareas
abarcando en forma progresiva distintos sectores institucionales.
En este trabajo focalizamos el Sistema Nacional de Evaluación de la Calidad
(SINEC), implantado desde 1993 para el nivel básico y medio por el Ministerio de
Cultura y Educación de la Nación, en cuyo ámbito se creó a tal efecto una
Subsecretaría y una Dirección Nacional con atribuciones específicas.
2. 1. Definiciones de la Ley Federal de Educación
La puesta en marcha del SINEC en 1993 se basó en las previsiones sobre
evaluación de la Ley 24.295 promulgada el mismo año. Cabe señalar que el ministro
que adoptó la resolución de aplicarla había impulsado antes la sanción de aquella
normativa como presidente de la Comisión de Educación de la Cámara de
Diputados.
Hay que tener en cuenta que, descentralizados los anteriores servicios
educativos nacionales de nivel básico, medio y terciario, la gestión de los
establecimientos quedó en manos de las jurisdicciones provinciales y municipales y
del sector privado. Al Ministerio nacional corresponde la conducción estratégica, y
la coordinación de políticas educativas se realiza en el seno del Consejo Federal de
Cultura y Educación integrado por todos los estados provinciales y la Ciudad de
Buenos Aires.
La Ley Federal de Educación sanciona en el artículo 15 la obligación del
Estado de “garantizar igualdad en la calidad y logro de aprendizajes”, poniendo de
esa manera de relieve la cuestión de la calidad de la enseñanza.
El título IX de la Ley está dedicado al tema de la calidad y su evaluación,
prescribiendo que el Ministerio nacional, los estados provinciales y el de la ciudad
de Buenos Aires realicen la evaluación permanente o periódica del sistema
educativo. El artículo 48 define la evaluación como medio para “garantizar la
calidad de la formación impartida en los distintos ciclos, niveles y regímenes
especiales” controlando su adecuación a la ley, a las necesidades de la comunidad y
a las políticas educativas federales y de cada jurisdicción. Con esta finalidad se
Página 36de 50
prevé convocar “a especialistas de reconocida idoneidad e independencia de criterio
para desarrollar las investigaciones pertinentes por medio de técnicas objetivas
aceptadas y actualizadas”. Los resultados de evaluación deben integrar el informe
anual del Ministerio a las comisiones competentes del Congreso sobre la aplicación
de la ley.
El artículo 49 dispone que la evaluación de la calidad “verificará la
adecuación de los contenidos curriculares (...) a las necesidades sociales y a los
requerimientos educativos de la comunidad, así como el nivel de aprendizaje de los
alumnos y la calidad de la formación docente”.
El artículo 50 aclara los alcances de la norma general puntualizando que las
autoridades educativas de las jurisdicciones subnacionales evaluarán la calidad y el
funcionamiento del sistema en su ámbito de competencia.
La cláusula del artículo 48 de la ley plantea exigencias de idoneidad,
independencia de criterio y rigor metodológico para asegurar la objetividad de los
procesos de evaluación. Si bien la formulación legal admite o sugiere la posibilidad
de externalizar estas operaciones, el sistema que se organizó adjudica la
responsabilidad central a una dirección nacional del Ministerio, estableciendo la
participación de las autoridades locales para acordar y definir sus alcances y
modalidades.
2. 2. La organización del SINEC
En materia de información educativa se partía de un notorio déficit. Los
funcionarios consultados manifiestan que desde 1968 había comenzado a producirse
un deterioro que se fue agravando posteriormente, hasta el punto que en la década
de 1980 el Ministerio nacional dejó de informar a los organismos internacionales.
Al crearse la Secretaría de Programación y Evaluación Educativa y la
Subsecretaría de Evaluación de la Calidad Educativa, la Red Federal de Información
Educativa quedó a cargo de una Dirección General, y se creó la Dirección Nacional
de Evaluación Educativa. La Red continuó atendiendo la obtención y
sistematización de datos sobre cobertura del sistema, efectividad interna (cuestiones
de deserción, ausentismo, etc.) y racionalidad de costos.
La Dirección Nacional de Evaluación Educativa -cuya titular poseía una
importante experiencia anterior en planificación y evaluación- se abocó a la
organización del SINEC. En su ámbito emplea actualmente a unas 40 personas en
total, un 70 % de las cuales son personal de planta permanente y el resto expertos
contratados.
En el diseño del sistema de evaluación se tuvieron en cuenta como
Página 37de 50
principales modelos los de Francia y Estados Unidos, resultando en definitiva una
adaptación, influida por la filosofía del sistema francés y por la tecnología del
norteamericano.
Se decidió dirigir las primeras experiencias a la evaluación de las
competencias adquiridas por los alumnos, mediante pruebas anuales,
complementadas con encuestas a los sectores de la comunidad educativa para
detectar las asociaciones de factores que contribuyen al aprendizaje. Se optó por la
técnica de muestreo, diseñando una muestra aleatoria probabilística, sin descartar la
posibilidad de abordar progresivamente evaluaciones de masa o censo completo.
Éstas se fueron efectuando con carácter experimental, a requerimiento de algunas
provincias donde existía interés de las autoridades y era más factible por las
dimensiones de la jurisdicción abarcar el total de establecimientos.
Las pruebas se concibieron para verificar en qué medida se lograba el
aprendizaje de conocimientos mínimos, no para medir niveles superiores de
excelencia. A tal efecto hubo que salvar la dificultad de que aún no estaban
aprobados los Contenidos Mínimos Curriculares, los cuales se sancionaron en 1994
a través del Consejo Federal de Cultura y Educación, en base a los estudios de otra
área del Ministerio nacional. A partir de entonces existe para todo el país un marco
bien definido de objetivos referentes a la adquisición de conocimientos y
habilidades.
Respecto del universo a investigar, se decidió tomar inicialmente los alumnos
de último grado de la enseñanza primaria común y del último año de enseñanza
media, que comprende bachillerato, comercial y técnica (industrial y agraria). Se
excluyó la enseñanza básica especial, educación para adultos y otras especialidades
del nivel medio.
La elaboración de las pruebas y de las encuestas se fue perfeccionando en
base a los modelos existentes, las consultas con especialistas y la reflexión sobre las
experiencias realizadas. Antes de cada uno de los operativos anuales, se efectuaron
previamente operativos piloto para validar los instrumentos.
Las tareas de la Dirección Nacional de Evaluación, en su organización actual,
articulan básicamente cuatro equipos de trabajo: uno encargado de la elaboración y
análisis de las pruebas; otro dedicado a la investigación sobre factores asociados al
rendimiento escolar; un tercer grupo responsable de las propuestas de programas de
mejora de la enseñanza, y otro dedicado a las acciones de capacitación.
2. 3. La instrumentación descentralizada
Una tarea inicial para asegurar los fines del SINEC fue la concertación con
los gobiernos locales a fin de asegurar la viabilidad política del sistema, así como su
Página 38de 50
viabilidad orgánico-institucional y técnica. El tema se trató en el Consejo Federal de
Educación y en contactos directos con las autoridades de cada jurisdicción, que
aceptaron colaborar en forma prácticamente unánime. En una sola provincia (Santa
Cruz) se presentaron problemas de carácter político que retrasaron su incorporación
al conjunto.
La Dirección Nacional de Evaluación se hizo cargo de coordinar el sistema
con las unidades ejecutoras que se organizaron en cada provincia y en la ciudad de
Buenos Aires. Estas unidades varían en cada jurisdicción, según las características
de la administración local y la importancia que se le ha conferido al sistema
evaluativo. En algunas provincias los ministros han encomendado la responsabilidad
a un equipo o a un funcionario determinado, y en varios casos se crearon direcciones
de evaluación específicamente encargadas de esta misión. El Ministerio nacional
colaboró a los efectos de dotar a las unidades ejecutoras de personal técnico
entrenado para las tareas a realizar. Todos los costos de los operativos son
financiados con fondos del presupuesto nacional.
El universo educativo de la Argentina, en los niveles medio y básico, público
y privado, comprende aproximadamente 9 millones de alumnos (el Censo Nacional
de 1994 registró 8.890.679), que se distribuyen en unos 43.000 establecimientos alrededor de 10.000 de ellos son escuelas rurales-, con alrededor de 700.000
docentes y 3.600 supervisores.
Tomando como unidad de análisis la sección o grado, desde la coordinación
nacional del sistema se proyecta el operativo en cada jurisdicción para cubrir la
muestra representativa correspondiente, sorteando las escuelas y secciones. Según
los resultados de cada año, en las muestras se ha aumentado el número de unidades
cuando se observaban mayores variaciones en los resultados. Las pruebas se toman
simultáneamente en todo el país y todos los establecimientos, fijando un día para la
prueba de cada materia.
Conforme a las pautas generales establecidas a escala nacional, en cada
jurisdicción se contrataron los equipos de coordinadores y “agentes de evaluación”
remunerados, responsables del cumplimiento regular de las pruebas en cada zona,
escuela o localidad. Estos agentes son en gran número docentes jubilados o que no
se hallan en servicio, a quienes previamente a cada operativo anual se imparten
cursos de instrucción. Ellos se encargan de llevar oportunamente los formularios de
las pruebas y encuestas, que se remiten en cajas selladas en vísperas del operativo y
deben quedar reservados hasta el momento de su distribución, verifican que se
cumplimenten por los grupos correspondientes y se ocupan de recogerlas para su
devolución a la oficina central que efectúa el procesamiento. La coordinación
nacional envía veedores para verificar la regularidad de estos pasos.
En base a una consulta con las jurisdicciones locales, se estableció como
fecha más adecuada para los operativos los meses de octubre y noviembre. Desde el
Página 39de 50
primer operativo, realizado en 1993, se han continuado efectuando en el mes de
noviembre.
En San Juan, en 1994, y en Tierra del Fuego en 1994 y 1995, se realizaron
con carácter experimental evaluaciones de tipo censal, abarcando la totalidad de las
unidades educativas. Posteriormente las provincias de Mendoza y Santa Cruz
solicitaron para 1996 la realización de un censo completo en sus respectivas
jurisdicciones.
2. 4. Operativos de evaluación
Inicialmente se resolvió tomar pruebas sobre Matemática y Lengua,
considerando que se trata de disciplinas fundamentales para acceder a las bases del
conocimiento y la comunicación social. Evaluar en estas dos materias permite en
cierto sentido equilibrar el resultado, teniendo en cuenta que los rendimientos en la
primera dependerían en un 40 % de factores extraescolares, familiares, etc., y en un
60 % de la escuela; mientras que por lo general en Lengua tales proporciones se
invierten, dependiendo en un 60 % de factores externos y un 40 % de la escuela (ver
apreciaciones coincidentes en estudios sobre varios países latinoamericanos de que
dan cuenta Horn, Wolff y Vélez, 1992).
En los operativos de 1994 y 1995 se incluyeron además Ciencias Naturales y
Ciencias Sociales, y se ha previsto ampliar las pruebas en lo sucesivo a otras áreas
disciplinarias.
La encuesta adicional a alumnos, docentes y directivos -que en 1993 abarcó
también a las familias- se dirigió a captar información sobre los factores escolares y
extraescolares que inciden en el aprendizaje: características de la comunidad, del
hogar de los alumnos, del director, de las escuelas, del maestro, actitudes de los
alumnos y de los maestros, sala de clases, oportunidades de aprendizaje, etc.
La encuesta de 1993 dirigida a las familias, mediante formularios que fueron
contestados por sus padres o tutores, se cumplió con una pérdida de sólo el 10 % de
encuestas no recibidas. Se consideró necesario reformularla y se prevé incluirla en
futuros operativos perfeccionando la instrumentación.
Aunque la evaluación de desempeño docente se pospuso, hallándose aún en
estudio, se efectuó una encuesta o prueba experimental de carácter voluntario. Los
gestores del sistema perciben cierta resistencia de los docentes, uno de cuyos
indicadores es el alto porcentaje de pruebas remitidas a los voluntarios que no
fueron respondidas.
En síntesis, las características de los operativos fueron las siguientes:
Página 40de 50
♦ 1993: Muestra de 20.000 alumnos, áreas Matemática y Lengua, en 7º grado
primario y 5º año secundario.
♦ 1994: 80.000 alumnos; Matemática, Lengua, Ciencias Sociales y Ciencias
Naturales en 7º grado y 5º año.
♦ 1995: 180.000 alumnos; Matemática y Lengua en 3º y 7º grado primario, 2º y 5º
año secundario; Ciencias Sociales y Ciencias Naturales en 7º grado.
♦ 1996: 229.700 alumnos; Matemática y Lengua en 3º, 6º y 7º grado, 2º y 5º año;
Ciencias Sociales y Ciencias Naturales en 6º y 7º grado.
En el operativo de 1997 la cantidad de alumnos ascenderá a 570.000, pues se
contempla una prueba censal en el último año de enseñanza media (Quinto ó Sexto,
según las modalidades), lo cual comprende a unos 340.000 estudiantes en todo el
país.
A comienzos de 1994 se obtuvieron y se publicaron los primeros resultados,
que provocaron una notable impresión en la opinión pública y avivaron el debate
sobre las políticas educativas. Desde entonces, la publicación de resultados se ha
realizado regularmente al finalizar el procesamiento de los sucesivos operativos
anuales
2. 5. Indicadores y análisis evaluativo
Los resultados de los sucesivos operativos anuales, hasta 1996, no arrojaron
grandes diferencias en el cuadro general, si bien permitieron ampliar el campo de
evaluación incluyendo las áreas de ciencias sociales y naturales. Los porcentajes de
rendimiento experimentaron variaciones que no alcanzan a tener significación
estadística.
En términos generales, el análisis de los resultados de las pruebas indica:
a) mejores resultados en las jurisdicciones de mayor desarrollo relativo, como
Capital Federal, provincias de Buenos Aires, Mendoza, Santa Fe, etc. y peores
resultados en las provincias “pobres” del norte del país;
b) los valores medios de rendimiento a nivel nacional en el último grado de
enseñanza básica oscilan entre un 52 y 63 %, y en el último año de enseñanza
media entre un 46 y 70 % del rendimiento mínimo correspondiente a los
programas de estudio de Lengua y Matemática;
Página 41de 50
c) en las cuatro áreas disciplinarias se observan diferencias de alrededor de un 10
% en los rendimientos de las pruebas según se trate de alumnos de escuelas
urbanas públicas o privadas, atribuibles principalmente a factores extraescolares
(el alumnado en general proviene de familias de mayor nivel socioeconómico).
d) en general se observan resultados levemente mejores en Lengua que en
Matemática, principalmente en la enseñanza media;
e) no se observan diferencias apreciables entre alumnos de bachilleratos y de
escuelas comerciales;
f) se evidencian diferencias notables entre los alumnados en los ámbitos urbano y
rural, con resultados inferiores de estos últimos.
En cuanto a los factores escolares que inciden en el rendimiento, las
encuestas realizadas permitieron identificar variables significativas que se asocian
con mejores resultados en las pruebas. Este aspecto del análisis evaluativo adquiere
especial interés porque confirma la existencia de un margen considerable para
mejorar la calidad del servicio a través de políticas específicamente educativas,
atendiendo a la administración escolar y los recursos humanos.
A ese fin son reveladores los datos sobre los recursos de la escuela y del aula,
sobre las características de directores y maestros, las prácticas de enseñanza,
aprendizaje y relaciones organizacionales, así como sobre las expectativas, creencias
y valores que conforman la cultura institucional. En muchos casos las conclusiones
son bastante obvias: por ejemplo, cuando hay más días de clase, cuando el edificio o
el ambiente físico escolar es bueno, o se dispone de más recursos didácticos, o
cuando el director y/o el maestro es titular del cargo que ocupa, aumenta la
probabilidad de que los alumnos rindan más. Pero el análisis permite observar,
además, en qué proporción unos u otros factores ayudarían a mejorar el aprendizaje,
cuáles son las variables más significativas y cuáles son las posibles combinaciones
más eficaces.
En otros puntos temáticos del análisis, las conclusiones que se pueden extraer
no son tan obvias, y han puesto de relieve aspectos de gran importancia que deben
seguir explorándose con los instrumentos de evaluación. Por ejemplo, los
rendimientos del alumnado aumentan cuando es mayor la edad del maestro y la del
director (también cuando es mayor la antigüedad docente, pero esta es otra variable).
Asimismo se observa una vinculación de los mejores puntajes con la
existencia de más participación del maestro en la toma de decisiones institucionales.
Es sugerente en tal sentido la verificación de un rango de casi 20 % de diferencia en
los resultados según exista muy alta o muy baja participación del docente en las
decisiones sobre temas del aula y de la escuela.
Página 42de 50
Entre las preguntas formuladas a directores y profesores, se apuntó, por
ejemplo, a conocer la incidencia de las condiciones de trabajo docente y el grado de
satisfacción profesional de los agentes de la educación. Se trata sin duda de factores
críticos, acerca de los cuales existen evidencias de malestar en varios sectores y
niveles del cuerpo docente, e incluso se da actualmente un contexto conflictivo por
reclamos gremiales que han tenido notable repercusión en la opinión pública. La
correlación entre los puntajes de las pruebas y las manifestaciones de satisfacción o
insatisfacción de los docentes con las condiciones laborales -de la profesión en
general y en su escuela en particular- refleja índices de alrededor del 10 % de
diferencia en el rendimiento de los alumnos.
El procesamiento e interpretación de esta clase de datos y su traducción en
informes para las autoridades educativas como insumo de las políticas públicas
constituye una de las tareas más trascendentes que cumple el SINEC.
2. 6. Utilización de los resultados
La información que se obtiene y sistematiza tiene como destino usos internos
y externos. Los primeros se relacionan con las políticas administrativas (gobierno y
conducción general, monitoreo y evaluación de programas nacionales) y la gestión
administrativa (diagnósticos, materiales dirigidos a diferentes actores internos). Los
usos externos, relacionados con una gran diversidad de interesados y entidades, se
facilitaron a través de textos de difusión dirigidos a la sociedad en conjunto a través
de los medios masivos de comunicación. En especial se han elaborado textos con
recomendaciones pedagógicas dirigidas a actores considerados estratégicos como
los profesores, directores y supervisores.
Cuando en 1994 se publicaron los primeros resultados, éstos pusieron de
manifiesto la situación de crisis del sistema educativo en los niveles básico y medio,
que como señalamos antes no cubre las expectativas de rendimiento mínimo. Las
opiniones que se manifestaron en los medios de prensa, apuntando principalmente al
debate de las políticas y el financiamiento de la educación, no han cuestionado la
necesidad ni la oportunidad de implementar el sistema, aunque han efectuado
observaciones críticas sobre el contexto en que se realiza la evaluación.
Algunos especialistas plantearon que la medición no capta en realidad los
resultados de calidad. Los funcionarios del Ministerio admiten que para la
evaluación de la calidad en sentido integral falta abordar la dimensión de la
relevancia de las capacidades adquiridas, lo cual constituye un desafío para futuros
desarrollos del sistema que se prevé realizar gradualmente.
Desde el enfoque de algunos gremialistas docentes se señala que, dada la
disconformidad generalizada de los educadores con sus actuales condiciones de
Página 43de 50
trabajo -no solamente en el aspecto salarial- y la persistencia de arraigados vicios
autoritarios en las administraciones locales del sistema escolar, se dan condiciones
adversas para esta tarea, con riesgos de distorsión o manipulación de los resultados.
La falta de disposición a cooperar de muchos profesores y maestros que perciben la
evaluación con desconfianza conspiraría contra las posibilidades de
aprovechamiento de la información y de las propuestas de mejora.
El análisis de resultados de los operativos de evaluación efectuado por los
equipos técnicos del SINEC indicó que, al margen de la incidencia de los factores
extraescolares, existía un campo para actuar en la mejora del aprendizaje con
medidas específicas de carácter pedagógico, por lo que se puso énfasis en la
devolución de la información sobre el desempeño de los alumnos a los
establecimientos, aportando orientaciones técnicas para que profesores, supervisores
y directivos pudieran mejorar su ejercicio profesional, alentándolos a ensayar
nuevas estrategias didácticas.
A ese efecto se diseñaron y elaboraron diversos materiales de
recomendaciones metodológicas para el mejoramiento de la enseñanza, teniendo en
cuenta las evaluaciones anuales, referidas a las áreas de matemáticas y lengua para
los niveles primario y medio en 1993/94 y 1994/95, agregando las áreas ciencias
sociales y ciencias naturales a partir de 1995/96.
En las Recomendaciones Metodológicas para la Enseñanza de las Ciencias
Sociales editadas en 1997, por ejemplo, se parte de una observación de las
dificultades que se presentaron en forma recurrente en los operativos de años
anteriores en la resoluciones de los temas de prueba, referidos a “Las sociedades a
través del tiempo” y a “Las actividades humanas y la organización social”. El texto
incluye: a) precisiones conceptuales acerca de los contenidos que presentaron
dificultades; b) el análisis de algunos ítems de las pruebas con una explicación de
los procesos que desarrollan los alumnos para resolverlos y los problemas que
pueden haber encontrado; c) propuestas de actividades pedagógicas para abordar los
contenidos con las dificultades identificadas. A ello se acompañan comentarios
sobre los objetivos de la enseñanza de las ciencias sociales, las características de
relativa abstracción y complejidad de los conceptos que se manejan, los obstáculos y
problemas de adquisición del conocimiento histórico y social por los alumnos,
sugerencias sobre las formas de intervención del docente e incluso algunas
especificaciones que sirven de base para la construcción de las pruebas.
Estos materiales fueron enviados desde Buenos Aires a la totalidad de las
escuelas del país. Conforme a las pautas fijadas por las autoridades locales, los
supervisores y los directores deben organizar su difusión y utilización por los
docentes. Sin embargo, existen dudas sobre el efectivo aprovechamiento de los
materiales, que en algunos casos no habrían llegado a destino o no serían difundidos
adecuadamente.
Página 44de 50
Los técnicos del SINEC elaboraron en 1995 módulos para la capacitación de
supervisores y directores en el uso y aplicación de la información evaluativa como
insumo para la mejora de la gestión escolar.
Cabe agregar que dirigentes de la organización sindical de los docentes
CTERA, no obstante sus críticas y reticencias al sistema, recientemente han
solicitado información sobre los operativos de evaluación y han utilizado
determinados datos con fines reivindicativos.
2. 7. Modalidad de gestión y costos
La gestión del SINEC se basa en equipos calificados de especialistas en
investigación social, pedagogía y estadística cuyo núcleo son profesionales de la
administración nacional, con la colaboración de consultores contratados
individualmente. Solamente se han externalizado o subcontratado tareas
secundarias, como la impresión de materiales.
La política de evaluación definida por el Ministerio contempló el objetivo de
fortalecer la capacidad evaluadora del Estado y asegurar la capacitación de los
recursos humanos propios. Por otra parte, los requisitos de imparcialidad se
consideran suficientemente cubiertos en tanto el núcleo crítico de la tarea de
evaluación es realizado por un órgano del gobierno nacional, y quienes prestan los
servicios educativos evaluados son las reparticiones provinciales y las entidades de
carácter privado.
Se ha recibido financiamiento parcial y apoyo técnico de organismos
internacionales como el Banco Mundial, y los técnicos del SINEC a su vez también
han colaborado o asistido en acciones de cooperación internacional para implantar o
fortalecer sistemas de evaluación en otros países latinoamericanos.
La Dirección Nacional de Evaluación Educativa colabora actualmente con
los planes de capacitación del INAP para transmitir sus experiencias y ha recibido
asimismo pedidos de cooperación desde otras dependencias del gobierno nacional,
por ejemplo del Ministerio de Economía y Obras y Servicios Públicos, para
contribuir al diseño de procedimientos evaluativos referentes a otro tipo de políticas
públicas.
El costo anual de los operativos del SINEC se calcula en 250 pesos por cada
sección, o 10 pesos por alumno evaluado. El presupuesto total de la Dirección
Nacional de Evaluación del Ministerio no ha sobrepasado en años anteriores los 3
millones de pesos, alcanzando en 1997 unos 3,5 millones (para costear un operativo
anual que comprende pruebas a 570.000 alumnos).
En Estados Unidos, el programa federal de evaluación educativa, previsto
para un plazo de doce años, está realizando evaluaciones a una muestra de
aproximadamente 200.000 alumnos mediante un sistema de contratación de
Página 45de 50
consultoras externas, e insume alrededor de 48 millones de dólares anuales.
En Brasil se ha optado por un sistema de contratación de los operativos y
análisis evaluativos con consultoras privadas -que adoptan la figura jurídica de
fundaciones- y puede estimarse que el costo se duplica en comparación con el
presupuesto destinado a ese fin en nuestro país.
3. CONCLUSIONES SOBRE LA EVALUACION EDUCATIVA
La evaluación del sistema educativo, que actualmente es una preocupación en
todo el mundo y ha generado un caudal importante de experiencia internacional, se
ha introducido en nuestro país como un principio fundamental de las políticas
públicas del sector y se ha afianzado como práctica permanente apoyada en el
ámbito de concertación del gobierno nacional con las jurisdicciones provinciales.
La implantación de la evaluación educativa contó con un respaldo legal
imperativo, que facilitó su aceptación. De ello se desprende la sugerencia de que
esta previsión de la ley tendría que extenderse a otras esferas de las políticas
públicas. En principio, cualquier materia de legislación, especialmente cuando se
trata de innovaciones sustanciales, podría y debería contemplar la evaluación de los
resultados de su aplicación.
La evaluación a escala nacional ha permitido confirmar la percepción de la
situación de crisis y relativa decadencia de la educación en nuestro país, aportando
parámetros objetivos categóricos. Esta es una amarga comprobación, pero es un
paso adelante poseer un diagnóstico cierto, como punto de partida para cualquier
iniciativa de superación.
Por otra parte, el análisis evaluativo proporciona un cúmulo de información
sustantiva que permite dimensionar lo que puede hacer la administración y los
agentes del sistema educativo con las herramientas específicas disponibles, más allá
de factores extraescolares desfavorables sobre los que no tienen control, como el
origen social y las condiciones socioeconómicas de los alumnos. Los estudios
realizados sobre esa base de datos muestran la existencia de posibilidades concretas
para tratar de compensar las disparidades mediante el mejoramiento de los servicios
educativos públicos en función de una política de equidad.
Aunque dado el carácter de nuestro estudio no ahondamos en la
consideración del instrumental metodológico ni en los resultados particulares de los
operativos evaluadores, las técnicas de medición utilizadas para indagar los factores
que se asocian con el rendimiento escolar aportan evidencia de que las condiciones
de trabajo y el grado de participación de los docentes en las decisiones relativas a su
ámbito laboral pueden ser palancas positivas para la mejora del servicio, lo cual
Página 46de 50
concuerda con otros estudios y propuestas sobre el gerenciamiento moderno
aplicables al sector público.
Dada la descentralización de los servicios educativos hacia las jurisdicciones
locales, la modalidad de gestión directa por el organismo administrativo nacional
que articula el sistema parece ser un modelo eficaz y mucho menos oneroso para el
presupuesto público que la contratación de consultoras privadas, facilitando además
la generación de una capacidad estatal de evaluación congruente con el nuevo rol
coordinador y planificador asignado al Ministerio de Educación en el nivel federal.
El conocimiento y la capacidad técnica que han desarrollado los equipos del
SINEC pueden servir directa o indirectamente al desarrollo de sistemas de
evaluación en otras esferas de la acción gubernamental donde ha comenzado a
percibirse su necesidad para lograr la conducción efectiva y eficiente de programas
y servicios.
Página 47de 50
Referencias bibliográficas
♦ AGUERRONDO Inés (1993) “La calidad de la educación: ejes para su definición y
evaluación”, en Revista Interamericana de Desarrollo Educativo La Educación, Año
XXXVII, Nº 116, III, OEA, Buenos Aires.
♦ AUDITORIA GENERAL DE LA NACION (1996), “Normas de Auditoría Externa”, en
Ley de Administración Financiera y Control de Gestión, Revista Argentina del Régimen
de la Administración Pública, Buenos Aires.
♦ BALLART, Xavier (1992), ¿Cómo evaluar programas y servicios públicos?
Aproximación sistemática y estudios de caso, Madrid, INAP.
♦ BARZELAY, Michael (1992), Breaking Through Bureaucracy. A New Vision for
Managing in Government, California Press.
♦ CASANOVA María Antonia (1992), La evaluación, garantía de calidad para el centro
educativo, Madrid, Edelvives.
♦ CHUMBITA, Hugo (1992), “Aplicación del modelo de gestión de calidad en el sector
público”, ponencia al IX Congreso Nacional de Administración Pública, INAP/Gobierno
de Mendoza/Universidad de Cuyo, noviembre.
♦ CHUMBITA, Hugo (1996), (coord.), “Nuevas tecnologías de gestión en la
Administración pública”, Buenos Aires, INAP, Dirección de Estudios e Investigaciones,
Serie I, Documento Nº 54.
♦ CRANE, John A. (1988), “Evaluation as scientific research”, en Evaluation Review, vol.
12, Nro. 5, October.
♦ CROZIER, Michel (1997), “La transición del paradigma burocrático a una cultura de
gestión pública”, en Revista del CLAD Reforma y Democracia, Nº 7, Caracas, enero.
♦ DOWNS, George W. y LARKEY, Patrick D. (1986), The Search for Government
Efficiency, New York, Random House.
♦ ENGBERG-PEDERSEN, Poul y BARTHEL HANSEN, Tom (1993), “Evaluación de los
aspectos institucionales de la cooperación internacional para el desarrollo”, documento
presentado al Seminario Regional sobre Seguimiento y Evaluación para un Desarrollo
Sostenido, Quito, noviembre.
♦ ETZIONI, Amitai (1965), Organizaciones modernas, México, UTEHA.
♦ FILMUS Daniel (1995), “Calidad de la educación: discurso elitista o demanda
democratizadora”, en FILMUS Daniel (comp.), Los condicionantes de la calidad
educativa, Buenos Aires, Novedades Educativas.
♦ GINESTAR, Angel (1985), “Una propuesta de identificación conceptual sobre
Página 48de 50
eficiencia”, CICAP/OEA-IDEA, Buenos Aires.
♦ GINESTAR, Angel (1990), “Una aproximación conceptual sobre productividad,
eficiencia, eficacia y efectividad”, en INAP / U.N. Cuyo / CICAP-OEA, Angel
GINESTAR y colaboradores, Costos educacionales para la gerencia universitaria,
Mendoza, EDIUNC.
♦ GINESTAR, Angel (1992), “Los cambios en la gestión pública”, documento del IX
Congreso Nacional de Administración Pública, INAP/Gobierno de Mendoza/Universidad
de Cuyo, noviembre.
♦ HAMMER, Michael y CHAMPY, James (1994), Reingeniería, Bogotá, Norma.
♦ HORN Robin, WOLFF Laurence y VELEZ Eduardo (1992), “Sistemas de evaluación
educacional en América Latina. Reseña temática y experiencias recientes”, en Boletín del
PPE, Nro. 27, UNESCO/OREALC, Santiago de Chile, abril.
♦ KENDRICK, John W. y VACCARA, Beatrice (1980), New Developments in
Productivity Measurement and Analysis, Chicago, University of Chicago Press.
♦ LERNER, Emilia Raquel (1996), “El rol de la Auditoría Nacional argentina en el control
de resultados de la Administración Pública Nacional”, documento al I Congreso
Latinoamericano del CLAD, Río de Janeiro, 7 al 9 de noviembre.
♦ LÖFFLER, Elke (1996), “La modernización del sector público desde una perspectiva
comparativa: conceptos y métodos para evaluar y premiar la calidad en el sector público
en los países de la OCDE”, Documentos INAP Nro. 8, Madrid, julio.
♦ MARTINEZ NOGUEIRA, Roberto (1981), “Modelos e instrumentos para la formulación
de diagnósticos de las administraciones públicas y para la programación, diseño y
evaluación de acciones de reforma administrativa”, estudio para el Consejo Federal de
Inversiones, Buenos Aires.
♦ MARTNER, Gonzalo (1972), Planificación y presupuesto por programas, México, Siglo
XXI.
♦ MARQUIS Carlos (comp.), Evaluación Universitaria en el Mercosur, Ministerio de
Cultura y Educación, 1994.
♦ MASONI, Vittorio (1993), “Algunas lecciones de experiencia sobre evaluación de
programas”, documento presentado al Seminario Regional sobre Seguimiento y
Evaluación para un Desarrollo Sostenido, Quito, noviembre.
♦ MENY, Yves y THOENIG, Jean-Claude (1991), Las políticas públicas, Barcelona, Ariel.
♦ MICHEL Alain (1996), “La conducción de un sistema complejo: la Educación
Nacional”, en Revista Iberoamericana de Educación, Nro. 10, Madrid, OEI, eneroabril.
Página 49de 50
♦ MINISTERIO DE CULTURA Y EDUCACION DE LA NACION, Secretaría de
Programación y Evaluación Educativa, informes sobre Operativos Nacionales de
Evaluación 1994, 1995 y 1996.
♦ MINISTERIO DE CULTURA Y EDUCACION DE LA NACION, Secretaría de
Programación y Evaluación Educativa (1996), “Censo Nacional de Docentes y
Establecimientos Educativos ‘94”.
♦ MINISTERIO DE CULTURA Y EDUCACIÓN, Dirección Nacional de Evaluación
(1994), “Sistema nacional de evaluación de la calidad: el caso argentino”, en Revisla
Latinoamericana de Innovaciones Educativas, OEA, Año IV, Nro. 17, setiembre.
♦ MINISTERIO DE CULTURA Y EDUCACIÓN, Dirección Nacional de Evaluación
(1996), “El Sistema Nacional de Evaluación de la Calidad en Argentina”, Buenos
Aires.
♦ MINISTERIO DE CULTURA Y EDUCACION DE LA NACION, Secretaría de
Programación y Evaluación Educativa (1997), “Recomendaciones metodológicas para
la Enseñanza” (serie).
♦ NARDELLI, Jorge R. (1973), Ensayo sobre auditoría operativa, Buenos Aires,
Ediciones de Contabilidad Moderna.
♦ OSBORNE, David y GAEBLER, Ted (1994), La reinvención del gobierno, Barcelona,
Paidós.
♦ OSZLAK, Oscar (1978), Formación histórica del Estado en América Latina: elementos
teórico-metodológicos para su estudio, Estudios CEDES, vol. 1, Nro. 3, Buenos Aires.
♦ PATTON, Michael Q. (1986), Utilization-Focused Evaluation, Beverly Hills, California,
Sage.
♦ PEREL, Vicente (1976), El control de gestión, Buenos Aires, Macchi.
♦ PIETRAGALLA, Cándido O. (1976), Introducción al estudio de las organizaciones y su
administración, Buenos Aires, Macchi.
♦ PROKOPENKO, Joseph (1989), La gestión de la productividad. Manual práctico,
Ginebra, OIT.
♦ OEI, ORGANIZACION DE ESTADOS IBEROAMERICANOS PARA LA
EDUCACION, LA CIENCIA Y LA CULTURA (1994), Evaluación de la calidad en la
educación, documento base, Buenos Aires.
♦ QUESNEL, Jean S.(1993), “Asistencia responsable. Las cambiantes relaciones entre
auditoría y evaluación: la experiencia canadiense”, documento al Seminario Regional
sobre Seguimiento y Evaluación para un Desarrollo Sostenido, Quito, noviembre.
Página 50de 50
♦ RAVELA Pedro (1994), “Bases conceptuales del sistema nacional de evaluación de la
calidad de la enseñanza básica y media”, Ministerio de Cultura y Educación, Buenos
Aires.
♦ RICHARDS, Sue (1994), "El paradigma del cliente en la gestión pública", en Gestión y
Análisis de Políticas Públicas, Nro. 1, Madrid, INAP, Setiembre/Diciembre.
♦ SULBRANDT, José (1989), “Evaluación de políticas y programas sociales masivos en el
sector público”, en Administración de Empresas, tomo 20, Nro. 233/234, Buenos Aires,
agosto-setiembre.
♦ SULBRANDT, José (1989), “Evaluación de políticas y programas sociales masivos en el
sector público”, en KLIKSBERG, Bernardo (comp.), ¿Cómo enfrentar la pobreza?,
Buenos Aires, Grupo Editor Latinoamericano.
♦ SULBRANDT, José (1993), “La evaluación de los programas sociales: una perspectiva
crítica de los modelos usuales”, en KLIKSBERG, Bernardo (comp.), Pobreza: un tema
impostergable, México, Fondo de Cultura Económica.
♦ TESORO, José Luis (1979), “Esquema sobre evaluación de programas públicos”, INAP,
Buenos Aires.
♦ TESORO, José L. y SAROKA, Raúl H. (1988), “El mercado de información
especializada en la Argentina”, en Administración de Empresas, Tomo 19, Nro. 218,
Buenos Aires, Mayo.
♦ THIRY-CHERQUES, Hermano Roberto (1996), “La guerra sin fin sobre la
productividad administrativa”, en Revista del CLAD Reforma y Democracia, Nro. 5,
Caracas, enero.
♦ TULIC, María Lucrecia (1996), “Una aproximación a la evaluación de las políticas
públicas: el caso del SINEC”, en Revista Iberoamericana de Educación, Nro. 10, Madrid,
OEI, enero-abril.
♦ WEISS, Carol H. (1972), Evaluation Research. Methods of Assessing Program
Effectiveness, Prentice Hall.
♦ WILDAVSKY, Aaron (1972), “The Self-Evaluating Organization”, en Public
Administration Review, septiembre-octubre.
♦ ZAPATA, Juan A. (1993), “Seguimiento y evaluación: Argentina”, documento al
Seminario Regional sobre Seguimiento y Evaluación para un Desarrollo Sostenido,
Quito, noviembre.
Página 51de 50