EVALUACIÓN DE PROYECTOS DE SEGURIDAD PÚBLICA

EVALUACIÓN DE PROYECTOS DE SEGURIDAD PÚBLICA
Lic. Ricardo Ohoka
INTRODUCCIÓN
Es indudable que no es posible llevar adelante Proyectos de Seguridad Pública
eficaces y eficientes, si no se evalúan los resultados de su aplicación.
En este marco buscamos centrar nuestro análisis en los componentes de
metodologías adecuadas para evaluar Proyectos de Seguridad Pública.
Una oportuna evaluación contribuye elevar la eficacia y la eficiencia mediante un
incremento de la racionalidad en el diseño y ejecución de los proyectos de este área temática
en particular, identificando problemas, seleccionando alternativas de solución, y previendo dentro de lo posible- sus consecuencias.
Conjuntamente señalaremos cuáles son las fuentes de los recursos, los criterios de
asignación y procedimientos para analizar de qué manera el Estado aplica los mismos.
Definiremos un concepto de evaluación y su inserción en el proceso de planificación.
Por otra parte detallaremos los aspectos metodológicos de la evaluación de impactos,
analizando elementos de causalidad y cuestiones relacionadas con la medición.
La evaluación es un elemento intrínseco a cualquier actividad de planificación. Sin
embargo, la práctica muestra una situación totalmente diferente.
Dentro de los Proyectos de Seguridad Pública es una actividad infrecuente, por no
decir excepcional.
MARCO TEÓRICO
Concepto de Evaluación
Hay diferentes modelos de evaluación.
Sin embargo, lo constante es, por un lado, la pretensión de comparar un patrón de
deseabilidad (imagen-objetivo hacia la cual está orientada la acción) con la realidad (lo
que realmente sucedió como consecuencia de la actividad que se desplegó) y, por
otro lado, la preocupación por alcanzar los objetivos planteados, cualesquiera sean,
con eficacia.
El énfasis en el carácter procesal de la evaluación quiere destacar que no se trata de
un hecho ajeno y separado del proyecto en cuestión, sino que es una dimensión del
mismo.
Concepción de Proyecto
Tomaremos a modo de definición general la de Ginestar (2000) que concibe al
proyecto como: “el quehacer de las personas planteado en forma de emprendimiento
productivo–financiero específico para ser administrado por objetivos y resultados. Por
eso se dice que cada proyecto constituye organizacionalmente una unidad de gestión
planificada por objetivos, identificando bienes a producir, necesidades a satisfacer y
destinatarios. Luego, se debe ejecutar según indicadores productivo-financieros y
controlar los resultados, como un sistema de aprendizaje. De esta forma, desde lo
micro o específico del accionar humano, se persigue lograr los efectos deseados en la
realidad y mejorar a las personas individualmente e integradas con otras en
comunidad”.
Seguridad Pública
En cuanto a la Seguridad Pública vamos a tomar como tal la definición expresada por
Saín (2002), “en un contexto democrático, la Seguridad Pública es la actuación política
y social en que las personas tienen legal y efectivamente garantizado el goce pleno de
sus derechos –considerados éstos no solamente como principios o garantías formales
sino también prácticas sociales-, a defender y ser protegidos en su vida, su libertad, su
igualdad de oportunidades y su efectiva participación en la organización política,
económica y social, así como en su igualdad ante la ley y su independencia ante los
poderes del Estado, y a obtener el pleno resguardo de la totalidad de sus derechos y
garantías emanadas del Estado de derecho”.
El Problema del diagnóstico
Es cuando menos improbable que un Proyecto de Seguridad Pública sea efectivo, y al
mismo tiempo utilice eficientemente los recursos disponibles, si no se efectúa un
adecuado análisis de la situación que se pretende modificar y, por lo tanto, no se
conoce en profundidad el tipo de problemas a enfrentar.
No son suficientes las evaluaciones cuantitativas, es necesario poseer en forma
conjunta, información adecuada para su interpretación.
Por otra parte, deben tenerse en cuenta, cuáles son los recursos con los que cuenta el
Estado o a qué otros puede acceder.
Si bien los objetivos deben establecerse en proporción a los recursos disponibles,
puede suceder que de acuerdo al diagnóstico, los proyectos establezcan objetivos
inalcanzables con los recursos disponibles.
Hay pocos cursos de acción para enfrentar una situación donde las necesidades
sociales y las demandas, cada vez más organizadas, aumentan.
La más obvia es aumentar los recursos destinados a la Seguridad Pública.
Frente al nulo crecimiento, o incluso reducción, de los recursos disponibles, es
necesario explorar caminos alternativos para alcanzar los objetivos que se plantean
los diferentes Proyectos de Seguridad Pública.
Hay que incrementar la racionalidad con la que se aplican los recursos destinados a la
Seguridad Pública.
Esto será posible en la medida que se evalúe la eficiencia con la que son utilizados y
verificando la eficacia con la que se alcanzan los objetivos de los proyectos. Es por
ello que se requiere evaluarlos.
Los recursos de la Seguridad Pública
Analizar los gastos en Seguridad Pública resulta de particular relevancia a los fines de
determinar cuáles son los aspectos característicos de las políticas de seguridad y
porque, sobre todo, permite identificar a los verdaderos beneficiarios y medir el
impacto que éstas producen.
Esta tarea se encuentra motivada en la inquietud por mejorar la eficiencia en la
utilización de los recursos e incrementar la eficacia para alcanzar los objetivos de los
proyectos.
Todo esto puede lograrse si se incrementa el conocimiento sobre el diseño de los
Proyectos de Seguridad Pública y cómo se implementan los mismos.
Deben establecerse, en forma imprescindible, cuáles son las prioridades efectivas de
estos proyectos.
¿Cuáles son las fuentes de financiamiento de la Seguridad Pública? Básicamente son
las siguientes: Impuestos, endeudamiento, recursos extrapresupuestarios y el
financiamiento por los propios usuarios.
La fuente clásica de financiamiento ha sido la impositiva, rara vez se recurre al
endeudamiento destinado a la Seguridad Pública, probablemente, porque no se ve a
ésta como una inversión sino como un gasto.
Tampoco es habitual que se efectúen procesos de racionalización presupuestaria para
obtener recursos orientados a esta función.
Los procesos de retracción del Estado, y una creciente sensación de inseguridad, han
incrementado la expansión del financiamiento privado de los servicios de seguridad,
profundizando la inequidad social y económica también en el plano de la Seguridad
Pública.
Los Proyectos de Seguridad Pública demandan recursos que también son requeridos
por otros sectores. La distribución de los mismos está ligada a la concepción que se
tenga de la Seguridad Pública.
Si la Seguridad Pública es concebida como una inversión, deberá reconocerse que la
misma no perjudica al crecimiento, sino que incluso lo facilita.
Una vez decidido destinar una parte de los recursos del Estado a la Seguridad
Pública, debe resolverse su distribución entre proyectos dirigidos a diferentes
objetivos. Aquí influyen los juicios de valor y las concepciones teóricas que se tengan
a priori.
Los mecanismos de asignación reconocen diversos procedimientos. Uno es el de
recurrir a la tradición, efectuando las mismas asignaciones presupuestarias que el año
anterior.
Otro procedimiento es el que está orientado por las preferencias expresadas por los
destinatarios.
La última alternativa es la de asignar en base a una planificación sustentada en
criterios técnicos.
En el caso de la Seguridad Pública no existe la opción entre criterios universales o
selectivos.
La universalidad es el criterio a aplicar porque, así como la Seguridad Pública es
financiada por toda la sociedad –esencialmente a través del pago de impuestos-, la
provisión de la misma debe ser realizada a la sociedad en su conjunto, sin
consideración de los ingresos o contribuciones que realicen los miembros de la
misma.
La diferentes racionalidades de los actores involucrados y los conflictos frente a la
evaluación
Durante la ejecución de los Proyectos de Seguridad Pública conviven una pluralidad
de actores sociales.
Esto hace que muchas veces se produzcan desencuentros derivados de las diferentes
racionalidades que subyacen al comportamiento de los actores.
Se trata de la presencia de diferentes actores: a) los políticos encargados de tomar las
decisiones y fijar los objetivos del sistema y las políticas, b) Los burócratas con una
racionalidad orientada a la aplicación de las normas, la competencia legal y los
procesos y c) los técnicos con una racionalidad de fines.
Este conflicto también se traslada al campo de la evaluación, donde el rol esencial de
quienes realizan la evaluación consiste en aumentar la eficiencia; esto es, alcanzar los
objetivos propuestos con una utilización óptima de los recursos.
El desempeño de estos roles tiene tiempos diferentes, lo que incorpora otro problema
al cual se enfrenta la actividad de evaluación.
Existe la necesidad de comprender y compatibilizar los roles que debe cumplir cada
uno de los actores de las Políticas de Seguridad Pública.
Asimismo debe enfatizarse la importancia del consenso entre los diferentes actores
respecto a un conjunto mínimo de postulados que hagan a los diferentes Proyectos de
Seguridad Pública.
Evaluación: concepto y especificidad
La evaluación se diferencia de lo señalado precedentemente porque acentúa el foco
en la objetividad, la información suficiente, y la utilización de métodos rigurosos para
llegar a resultados válidos y confiables.
La objetividad intenta captar lo que ha sucedido en la realidad, mediante
procedimientos que eviten que la ideología, las ideas preconcebidas, e incluso los
intereses de quien realiza la evaluación, afecten el resultado del ejercicio.
La información debe ser suficiente y no necesariamente “completa”.
La validez demanda que los medios que se utilizan para evaluar midan lo que se
intenta realmente medir.
La confiabilidad está dada por la calidad y estabilidad de la información y, por
propiedad transitiva, la de los resultados obtenidos.
La calidad es el grado de adecuación de la información a la utilización que se hará de
ella.
Planificación y Evaluación
La evaluación forma parte del proceso de planificación de la política pública.
En el área de la Seguridad Pública es una práctica infrecuente pese a que jugaría un
rol fundamental para producir un adecuado proceso de retroalimentación, que permita
elegir entre diferentes proyectos, de acuerdo a su potencial eficacia.
La incorporación de este proceso facilitaría el posterior análisis de los logros que se
obtengan con las acciones previstas, creando la posibilidad de rectificar y reorientar
las acciones para poder alcanzar el fin postulado.
Evaluación y Seguimiento
La evaluación debe distinguirse del “seguimiento”.
Mientras el seguimiento, o monitoreo, es una actividad de gerencia interna que se
efectúa durante el período de ejecución, la evaluación puede realizarse, durante la
implementación, o a la finalización del proyecto o un lapso prudencial posterior,
cuando se estime que el mismo ha alcanzado desarrollar todo su impacto.
Evaluación e investigación
Hay una estrecha conexión entre evaluación e investigación, ya que la primera emplea
un conjunto de modelos, herramientas y procedimientos que tienen su origen en la
metodología de investigación en ciencias sociales.
La evaluación busca suministrar información para incrementar la racionalidad del
proceso decisorio, jerarquizando los proyectos, o mejorando su arquitectura de
implementación, tratando de maximizar la eficiencia y la eficacia de acciones
orientadas a modificar segmentos de la realidad.
Debemos diferenciar el propósito fundamental de la investigación, que es incrementar
el conocimiento, del propósito de la evaluación, que pretende la asignación óptima de
los recursos disponibles, para lo cual tiene que disponer previamente de un modelo
teórico-causal que diferencie la variables que operan como parámetros de las que
constituyen los elementos que van a ser utilizados como ejes de la acción
transformadora.
Se trata de las variables condición y de las variables instrumentales (medios).
Las variables-condición, si bien resultan relevantes para la descripción y explicación
del fenómeno, operan como parámetros dentro del contexto del proyecto.
Todo lo dicho tiene una estrecha relación con la evaluación. El proceso comienza con
un “concepto de Proyecto” que busca cubrir un déficit (presente o futuro), con la
intención de solucionar o paliar un problema de Seguridad Pública.
A ello sigue el diagnóstico, cuya función explicativa permite la asignación racional de
los recursos disponibles en el proyecto. Este diagnóstico es el elemento central de la
evaluación ex-ante. Pero el cuerpo de conocimientos disponible y la experiencia
existente, resultado de la evaluación de proyectos análogos, puede ser insuficiente
para producir una asignación óptima de recursos. La evaluación continua o de
procesos es la que permite ir corrigiendo el modelo causal y la consiguiente
implementación para reorientarla en función de los objetivos perseguidos.
Efectos e Impacto
a) Efectos
Hay que diferenciar objetivos y efectos. El análisis de los objetivos, permite describir la
situación futura a la que se desea llegar una vez resueltos los problemas. Su
ubicación temporal es previa a la realización del proyecto y son fijados según los
valores sustentados por los planificadores. En cambio, los efectos constituyen la
resultante de las acciones llevadas a cabo y, por tanto, se verifican durante o después
de la implementación del mismo. Puede incluso distinguirse entre efectos o productos
intermedios (que se obtienen durante la implementación del proyecto) y los finales
(que coinciden con la transformación comprobable en la población-objetivo asignada
al proyecto).
b) Impacto
El impacto se define como el resultado de los efectos de un proyecto (ONU, 1984).
Insumos, procesos y resultados
El concepto de insumo está vinculado a los recursos. Estos últimos son el stock que
se ha acopiado para realizar actividades, obtener productos y alcanzar los objetivos
propuestos.
Los insumos reflejan los flujos de stocks que se emplean durante la implementación
del proyecto.
Los procesos están constituidos por el conjunto de las actividades que se realizan
para tratar de arribar a los objetivos propuestos.
Los productos son los resultados concretos de las actividades desarrolladas a partir de
los insumos disponibles (López, 1985).
Se suele distinguir a los productos, de los efectos y del impacto. Los efectos resultan
de la utilización de los productos del proyecto. Aparecen durante el proceso de
implementación pero, habitualmente, no se producen en su totalidad mientras el
proyecto no haya alcanzado su pleno desarrollo, aún después de su terminación (ONU
1984).
El impacto como consecuencia de los efectos de un proyecto expresa el grado de
cumplimiento de los objetivos respecto a la población meta del proyecto.
Cobertura
La Cobertura es la proporción que existe entre la población que tiene la necesidad,
forma parte del grupo-meta, y recibe los servicios, con la necesidad de la población
total que el proyecto busca atender o paliar.
Eficacia
Existen dos concepciones básicas de eficacia
a) Primera noción de eficacia. Surge de la teoría de la administración pública y asocia
al binomio insumo-producto con el contexto social en que se produce. Por eso, se
entiende a la eficacia como dependiendo de los objetivos sociales esperados y,
cuando éstos son múltiples, del ordenamiento jerárquico que se establezca entre
ellos.
b) Segunda noción de eficacia. En ella se resalta la razón última del proyecto que es
producir cambios en alguna parcela de la realidad, solucionar un problema de
Seguridad Pública específico, o prestar un servicio a un subconjunto poblacional
determinado. Por consiguiente, el contexto social que aquí se tiene en cuenta es
externo a la organización-agente y ajeno a cualquier actor social que no sea
partícipe del grupo meta. La eficacia, entonces, es operacionalmente el grado en
que se alcanzan los objetivos y metas del proyecto en la población beneficiaria del
mismo, en un período precisado de tiempo, independientemente de los costos en
que se incurran.
Eficiencia
El concepto de eficiencia puede considerarse desde dos ópticas complementarias:
a) Si la cantidad de producto está predeterminada, se persigue minimizar el costo
total o costo medio que se requiere para generarlo.
b) Si el gasto total está fijado de antemano, se busca optimizar la combinación de
insumos para maximizar el producto.
Se justifica la inclusión de las nociones de eficacia y eficiencia por dos razones
básicas: 1) son conceptos esenciales en la evaluación, lo que exige su clarificación y
definición operacional; 2) son herramientas útiles para establecer el grado de
racionalidad en la asignación de recursos dentro del campo de actividades que
integran los Proyectos de Seguridad Pública.
Efectividad
La efectividad expresa la relación entre lo logrado y lo programado, o entre el
resultado y el objetivo.
TIPOS DE EVALUACIÓN
De acuerdo al momento en que se efectúa y los objetivos perseguidos
a) Ex ante
Se efectúa antes del que el proyecto inicie, analiza , anticipadamente, los factores que
influyen en el proceso decisorio.
Intenta suministrar criterios de racionalidad para una decisión en el plano cualitativo: la
implementación, o no, del proyecto.
Puede intentar ordenar las alternativas de proyecto según su grado de eficiencia y
eficacia.
Genera información sobre experiencia adquirida y prácticas óptimas que pueden
sugerir mejores enfoques.
Debe incluir datos de referencia e indicadores de desempeño para el trabajo futuro de
monitoreo y evaluación.
La introducción de principios de evaluación, hace que se considere a esta etapa como
“formativa”, ya que sienta las condiciones para el futuro análisis.
b) Ex post
Se realiza durante la ejecución del mismo o cuando ya finalizó. En este caso el
proceso decisorio se cumple fundamentado en los resultados alcanzados.
En este caso se busca suministrar elementos de juicio para adoptar dos clases de
decisiones (las que se encuentran interrelacionadas), una “cualitativa”, la
implementación o no, y otra “cuantitativa” (qué es una razón de grado).
De esta manera se reexamina la identificación y diseño originales y se indaga sobre
su ejecución y desempeño. En esta etapa , se considera a la evaluación como
“sumativa” (incorpora nuevas variables y estrategias para futuras implementaciones).
Evaluación de Procesos
Se realiza para establecer en qué medida los componentes de un proyecto
contribuyen, o no, al logro de los objetivos propuestos. Se realiza durante la
implementación.
Es una evaluación regular que genera información que permite detectar desvíos y la
aplicación de medidas correctivas que aumenten la probabilidad de éxito del proyecto.
Adopta la forma de monitoreo continuo, aunque en ciertos casos, también se hacen
evaluaciones formales operativas. Se la considera “formativa” porque su propósito es
respaldar la mejora continua durante la ejecución del proyecto.
Evaluación de Impactos
Trata de establecer en qué proporción el proyecto alcanzó sus objetivos, y cuáles
fueron los efectos que perduran a través del tiempo. También se la conoce como
evaluación terminal.
En relación a quién efectúa la evaluación
a) Evaluación externa
Es la efectuada por personas ajenas a la organización.
b) Evaluación Interna
La efectúa la misma organización que gestiona el proyecto.
c) Evaluación Mixta
Combina los dos tipos precedentes. Los evaluadores externos trabajan con
colaboración de la organización que gestiona el proyecto a evaluar.
d) Evaluación participativa
Se recomienda para proyectos acotados o de menor envergadura. Trata de disminuir
la distancia entre quienes están encargados de evaluar el proyecto y sus posibles
beneficiarios.
Intenta incorporar el factor endógeno y fortalecer la implementación de las medidas
correctivas.
Naturaleza de la Evaluación
a) Descriptiva
Enfatiza en las medidas de tipo cuantitativas, determinando la magnitud del “cambio”.
Está asociada a propósitos diagnósticos.
b) Explicativa
Trata de establecer un modelo causal que “explique” cuál fue la incidencia del
proyecto en el proceso de transformación mensurado.
Las medidas son tanto cuantitativas como cualitativas.
CONCLUSIONES
Hemos descripto, casi enumerado, los elementos necesarios para una adecuada
Evaluación de Proyectos de Seguridad Pública.
El sentido de la evaluación abreva en dos fuentes con posturas opuestas.
La primera niega la utilidad de este mecanismo, la segunda la eleva a una condición
que la convierte en una suerte de “solución mágica” a todos los problemas que
pudieran surgir.
Ambos extremos son cuando menos cuestionables.
La evaluación no es un fin en sí misma y tampoco resuelve todos los problemas.
Permite aumentar la racionalidad durante el proceso decisorio, optimizando el uso de
los recursos disponibles, al plantear cuáles son las alternativas de resolución y prever
las consecuencias de su implementación.
Una adecuada evaluación permite “aprender de la experiencia”.
Podemos acordar en los beneficios de la Evaluación de los Proyectos de Seguridad
Pública y, en los casos en que se practica, en que es una actividad que enfrenta
numerosos problemas y cuestionamientos.
Siendo así, ¿siempre debe evaluarse?
En algunos casos parecería que no. Por ejemplo, cuando ya se tomaron todas las
decisiones del proyecto y al mismo tiempo esto imposibilita realizar un proceso de
retroalimentación que corrija los desvíos detectados durante el proceso de evaluación.
Tampoco debería realizarse si durante el proceso de planificación se han establecido
objetivos excesivamente ambiguos, lo que impediría su evaluación por falta de
precisión.
Lo que de algún modo “tipifica” a la evaluación es que es un tipo de análisis inmerso
en un contexto de poder (ámbito político). Como consecuencia de esto surgen dos
cuestiones: a) debe concentrarse en aquellos aspectos que hacen a la aplicación de
políticas y programas, y b) si se realiza “correctamente”, propondrá modificaciones
que pueden ser consideradas como una amenaza a la estructura de poder establecida
entorno al proyecto analizado.
Sin duda la evaluación no sirve para todo, la cuestión es “para qué y para quiénes”.
No se trata de que sirva para justificar un núcleo de decisiones ya adoptadas.
Se puede evaluar para: a) racionalizar el proceso decisorio o intentar justificarlo, b)
modificar la estructura a cargo de la de implementación o para legitimarla, en sus
existencia y sus funciones; o c) para buscar el punto óptimo de asignación de los
recursos.
Las decisiones sobre estos aspectos se encuentran sesgadas por el tipo y nivel de
compromiso de los evaluadores.
Por último queremos hacer una mención a “los costos de la evaluación”. Si bien no
hay un único método de evaluación, lo que si tenemos claro es que ninguno es simple
o barato, pero, los beneficios en los que redundan, los convierten en “económicos” y,
algunos aspectos no mensurables, como el factor “disuasivo” de su presencia,
contribuyen a una mejor gestión de la cosa pública.
Bibliografía
Cohen, Ernesto y Franco, Rolando (1988), “Evaluación de Proyectos Sociales”, GEL
Grupo Editor Latinoamericano.
Ginestar, Angel (2001), “Pautas para identificar, formular y evaluar proyectos”, OEA,
Asociación Argentina de Evaluación, CICAP – Uruguay, Centro Interamericano de
Cooperación y Capacitación.
López, J. H. (1985), “La optimización frente a objetivos múltiples en empresas
públicas”, en La eficiencia en las empresas públicas. Buenos Aires, IDEA, CICAP,
OEA.
Organización de las Naciones Unidas (1984), “Seguimiento y Evaluación. Pautas
básicas para el desarrollo rural”. Roma, Grupo de Trabajo sobre desarrollo rural del
Comité Administrativo de Coordinación.
Organización de las Naciones Unidas (2004), “Manual para la elaboración de un
sistema de estadísticas sobre justicia penal”.
Ortegón, Edgard, Pacheco, Juan Francisco y Prieto, Adriana (2005), “Metodología del
marco lógico para la planificación, el seguimiento y la evaluación de proyectos y
programas”. Instituto Latinoamericano y del Caribe de Planificación Económica y
Social.
Pelacchi, Adrián Juan (2000), “Tratado sobre la Seguridad Pública”, Editorial Policial.
Policía Federal Argentina
Saín, Marcelo Fabián (2002), “Seguridad, democracia y reforma del sistema policial en
la Argentina”. Fondo de Cultura Económica.
Ricardo Ohoka
Actualmente se desempeña como Supervisor en la Dirección General de Asuntos
Institucionales y Partidos Políticos de la Auditoría General de la Ciudad Autónoma de
Buenos Aires - Avda. Corrientes 640 – 6to. piso (C1043AAT) Ciudad Autónoma de
Buenos Aires, Argentina – T.E.: 54 11 4321-3700 email:
[email protected] .
Especializado en evaluación de Programas de Seguridad Pública. Es Licenciado en
Ciencia Política, posee una maestría en Economía y Administración de Empresas, una
especialización en Administración Financiera del Sector Público y se encuentra
desarrollando su tesis de Maestría en Seguridad Pública. Formó parte de las cátedras
de Sistemas Políticos Comparados y Sistemática de la Ciencia Política en la
Licenciatura en Ciencia Política y de Sistemas Políticos Latinoamericanos
Comparados en la Licenciatura en Relaciones Internacionales de la Universidad del
Salvador. Actualmente forma parte de la cátedra de Políticas Públicas de la
Licenciatura en Ciencia Política de la Universidad de Morón. Como Instructor del
Programa de Capacitación de la Oficina de Asistencia a Desastres en el Exterior,
dependiente de la Agencia para el Desarrollo del Gobierno de los EE.UU,
(USAID/OFDA) ha dictado cursos en Argentina y la República Oriental del Uruguay.