EVALUACION DEL RENDIMIENTO DE PROGRAMAS DE SALUD` 0

EVALUACION
DEL RENDIMIENTO
DE PROGRAMAS
DE SALUD’
0. L. Deniston,’ 1. M. Rosenstoc!q3 W. Welch,” y V. A. Getting 3
En un trabajo anterior 5 se demostró la lógica de adoptar
un enfoque sistemático para evaluar la eficacia de programas.
El presente trabajo, basado en esa lógica, tiene por objeto
facilitar un método para medir el rendimiento.
La medición
de la eficacia y del rendimiento constituye una evaluación del
funcionamiento del programa.
los objetivos no consumen ni el tiempo ni
los recursos del programa.
Los programas constan de tres elementos
Independientemente de los procedimientos
constitutivos-objetivos,
actividades y reo
métodos que se utilicen en la planificacursos-que se definieron en el trabajo anteción
de un programa, el administrador debe
rior 5 en los términos siguientes:
adoptar
tres decisiones principales después
1. Objetivo:
Una situación o estado de
las personas o del ambiente que, a juicio del de definir el problema hacia la solución del
personal encargado del programa, es con- cual se ha de orientar el programa. Estas
veniente conseguir. (Los objetivos propia- decisiones comprenden: a) determinación
mente dichos comprenden objetivos íinales, de los objetivos y subobjetivos del programa
que se estiman necesarios y suficientes para
objetivos del programa y subobjetivos) .
2. Actividad:
Labor realizada por el alcanzar el objetivo del programa; b) sepersonal y equipo adscrito al programa lección de una o más actividades que, según
se estima, tienen grandes probabilidades de
para el logro de un objetivo.
3. Recursos. Personal, fondos, materiales contribuir al logro de cada subobjetivo, y
y servicios disponibles para apoyar la realiza- c) determinación de la clase y cantidad de
recursos necesarios para apoyar la realización de actividades.
ción
de las actividades programadas. Con
El objetivo del programa es distinto de la
frecuencia,
al tratar de aplicar el plan de un
actividad del programa; el término “objeprograma
será
necesario modificar el plan
tivo” se refiere a una situación que se esideal
de
acuerdo
con las limitaciones exispera exista en una fecha futura en un lugar
tentes.
Es
posible
que los recursos no basten
determinado. A diferencia de las actividades,
para apoyar todas las actividades que se desea llevar a cabo, o que las limitaciones de
personal impidan realizar algunas de ellas.
En tales casos, es preciso introducir modificaciones para restringir el nivel de actividades y, quizás, el alcance y amplitud del
objetivo del programa. El procedimiento
lógico consiste en utilizar recursos para apoyar la realización de actividades y, con ello,
‘Ex ayudante de investigaciones en dicho Departamento.
alcanzar los subobjetivos y el objetivo del
6Deniston, 0. L., Rosenstock, 1. M., y Getting, V. A.
“Evaluation of Program Effectweness”. Public Health
programa.
Rep 83:323-335, 1968.
389
Componentes
del
programa
390
Evaluacibn
BOLETÍN
de
DE LA OFICINA
SANITARIA
la eficacia
En general, las preguntas acerca de la eficacia se refieren a la evaluación del grado en
que, como consecuencia de la actividad del
programa, se ha logrado el objetivo programado o deseado. De ese modo, se sugiere
un análisis, en el cual la proporción en que
se ha logrado el objetivo del programa atribuible a la actividad del programa (OA) se
compara con el nivel deseado, que, durante
el proceso de planificación, los técnicos habían sugerido que se obtendría de la actividad del programa (OP) .O En el trabajo
anteriormente citado se describe la manera
de descontar cualquier logro que aparentemente resulte de acontecimientos distintos de
las actividades del programa.
La eficacia del programa se expresa como
la razón OA:OP, y esta razón es la única
medida legítima de la eficacia del programa.
No obstante, para interpretar debidamente
los resultados, es decir, determinar el fundamento de los supuestos en que se basa el
programa, es necesario también considerar
dos medidas secundarias de la eficacia. La
primera es el grado en que se ha llevado a
cabo la actividad programada como resultado de la utilización de recursos; en otras
palabras, la razón entre las actividades efectivamente ejecutadas y las actividades programadas para ser llevadas a cabo, es decir,
AE: AP. La segunda medida es el grado en
que los recursos se han utilizado en la forma
programada, es decir: la razón entre la utilización real y la utilización programada de
recursos, o RU: RP.
Estas dos medidas secundarias son importantes ya que en la realización del programa lo lógico es: a) que los objetivos del
programa se alcancen solamente si las actividades se han ejecutado en la cantidad y cali0 Clave
de las abreviaturas:
OA: Objetivos alcanzados que pueden atribuirse a la
actividad del programa.
OP: Objetivos programados para su consecución mediante la actividad del programa.
AE: Actividades efectivamente ejecutadas.
AP: Actividades programadas.
RU: Recursos efectivamente utilizados.
RP: Utilización programada de recursos.
PANAMERICANA
-
Noviembre 1969
dad programadas y b) que las actividades se
lleven a cabo únicamente si los recursos se
han utilizado efectivamente en la forma programada. Es posible que la comparación entre las tres razones RU:RP, AE: AP, y OA:
OP muestre que los recursos y actividades
programados como necesarios habían sido
sobreestimados o subestimados. En todo
caso, lo importante es que para medir la
eficacia del programa, OA:OP, así como
para aplicar las medidas secundarias de consecución de las actividades y recursos programados es necesario comparar la situación
efectivamente obtenida por cualquier variable del programa con la situación programada en relación con esa misma variable.
Lo que se ha dicho acerca de la evaluación del logro de los objetivos se aplica
también a la evaluación del logro de los subobjetivos. La eficacia en cuanto a la consecución de cada subobjetivo puede evaluarse
calculando la razón 0Asub:OPsub. Al considerar las actividades y recursos asignados
a cada subobjetivo determinado, se puede
también calcular AEsub: APsub y RUsub :
RPsub y obtener así la medida de la eficacia
de las actividades y recursos asociados a
determinados subobjetivos.
En el trabajo anterior se proporcionan detalles y ejemplos de la evaluación de la eficacia de programas.
Evaluación
del
rendimiento
Si se estimara que el logro de los objetivos
es deseable, independiente del costo, y si
se contara con recursos ilimitados para los
programas de salud, el rendimiento no sería
motivo de gran preocupación para los administradores. Sin embargo, como no existe
ninguna de estas condiciones, el rendimiento
ha de constituir una preocupación en el funcionamiento de un programa.
Se puede obtener una definición de rendimiento en los programas de salud pública remitiéndose a la definición clásica de
rendimiento físico: la razón entre la producción de energía de una máquina y la
,
Deniston et al
4
c
-
RENDIMIENTO
DE
PROGRAMAS
cantidad de energía suministrada. En los
programas de salud pública, el rendimiento
puede definirse como la razón entre producto (consecución neta de los objetivos del
programa) e insumo (de recursos utilizados
en el programa), u 0A:RU.
La razón inpermite obtener
versa, que sería RU:OA,
una medida del costo medio. En realidad,
en la programación de salud pública poco
importa si se examina el rendimiento o los
costos medios, ya que se obtendrá la misma
relación. No obstante, es a veces más útil
considerar un factor en vez del otro. Por
ejemplo, es más fácil comprender que la
localización y cura de un caso de determinada enfermedad supone 10,000 dólares
que la localización y cura de l/ 10,000 de
un caso cuesta 1 dólar. (Esta situación
no prevalece en física, ya que las unidades de comparación-energía-son
idénticas tanto en el numerador como en el
denominador, y el rendimiento máximo no
puede exceder de 100% debido a la ley de
la conservación de energía. No obstante, en
los casos en que el numerador y el denominador consisten en unidades diferentes, por
ejemplo, de objetivos y recursos, no hay
fundamento teórico alguno para estimar el
rendimiento máximo posible, y los términos pueden ser numerador o denominador) .
La medición del rendimiento general del
programa 0A:RU o RU:OA podría interpretarse examinando dos medidas intermedias de rendimiento, a saber: la relación de
las actividades con los objetivos y con los
recursos. Específicamente, es posible que
los estudios de rendimiento permitan resolver los problemas de la relación: a) entre
el grado en que se han alcanzado los objetivos y los recursos utilizados, b) entre el
grado en que se han alcanzado los objetivos
y el volumen y clase de actividades realizadas, y c) entre el volumen y clase de actividades realizadas y los recursos utilizados.
La proporción de eficacia del programa,
como ya se ha indicado, refleja la relación
DE
391
SALUD
entre dos estimaciones del logro de los objetivos del programa: la consecución programada y la consecución efectiva. Y cada
una de las dos proporciones secundarias de
eficacia supone comparaciones semejantes
entre actividades y recursos. En cambio, el
rendimiento del programa refleja la relación
entre dos variables diferentes: objetivos y
recursos. Dos medidas secundarias de rendimiento permiten también comparar combinaciones de variables distintas. De este modo,
se pueden expresar tres razones de rendimiento, o costo medio, una para cada uno de
los problemas anteriores, en los términos
siguientes:
1. Razón de objetivos alcanzados a recursos utilizados-OA: RU o RU :OA.
2. Razón de actividades ejecutadas a
recursos utilizados-AE:RU
o RU:AE.
3. Razón de objetivos alcanzados a actividades ejecutadas-0A:AE
o AE:OA.
Cada razón puede también calcularse para
aquellas partes del programa relacionadas
con cada subobjetivo. Como en el caso de
la eficacia, al examinar, a medida que
avanza el programa, el rendimiento que se
obtiene en la ejecución del plan, posiblemente se demuestre la necesidad de modificar el plan original.
Relación
entre
eficacia
y rendimiento
En las condiciones típicas de un programa,
el administrador procura obtener un nivel
aceptablemente elevado de consecución de
los objetivos a un costo mínimo (es decir,
maximizar la consecución a un nivel fijo de
cantidad de recursos o minimizar esta a un
nivel fijo de consecución). No obstante, para
interpretar debidamente el rendimiento es
necesario medir la actividad, de modo que
puedan calcularse dos relaciones secundarias
de rendimiento, 0A:AE y AE:RU. En
consecuencia, para proceder a una amplia
evaluación del funcionamiento, se requieren datos sobre los tres componentes: utilización de recursos, realización de la actividad
y consecución de objetivos (incluso subob-
392
BOLETÍN
DE
LA
OFICINA
SANITARIA
jetivos). Es preciso disponer de medidas
para evaluar la eficacia antes de poder interpretar significativamente las medidas de
rendimiento del programa, ya que, dada la
definición de rendimiento, se necesita información tanto de la eficacia como de los
recursos.
A menos que el administrador esté satisfecho con la eficacia obtenida, los estudios de
rendimiento no podrán interpretarse o serán equívocos. Será imposible decidir si un
programa con una proporción de rendimiento de dos unidades de consecución por
unidad de recursos es superior a un programa con una proporción de una unidad
de consecución por unidad de recursos si se
desconoce la eficacia de cada programa.
Por ejemplo, supongamos que dos programas persiguen el mismo objetivo. El programa A logra todo el objetivo a un costo
dado, mientras que el programa B alcanza
sólo la mitad del objetivo a un cuarto del
costo. El programa A es, pues, dos veces
tan eficaz como el programa B, pero en
cuanto a rendimiento sólo lo es en un 50
por ciento. iCuál programa es superior?
La respuesta lógica sólo podrá basarse en
información acerca de la eficacia y del rendimiento de cada programa.
La consecución de los subobjetivos y del
objetivo del programa no podrán medirse,
naturalmente, hasta haber estado el programa
en ejecución durante algún tiempo, pero
mientras tanto se pueden obtener otras
informaciones útiles. Es siempre conveniente
recopilar, periódicamente, datos sobre el progreso realizado a fin de garantizar que el
programa se lleve a cabo en la forma programada. Si esto no sucede, se pueden efectuar reajustes durante la ejecución del programa.
Generalmente, se pueden obtener medidas de evaluación continua en el orden siguiente:
1. El grado en que los recursos se utilizan
en la forma programada (RU:RP).
2. El grado en que las actividades se rea-
PANAMERICANA
.
Noviembre 1969
lizan en la cantidad y calidad programadas
(AE:AP) y el rendimiento en la utilización
de recursos (AE: RU) .
3. La consecución neta de los subobjetivos seleccionados ( OAsub: OPsub) y el
rendimiento en el logro de los subobjetivos
(0sub:Rsub) y (0sub:Asub).
4. Eficacia del programa (OA:OP), rendimiento del programa (0A:RU) y rendimiento de la actividad (0A:AE).
Si al principio de la ejecución del programa se obtienen datos sobre las tres primeras medidas de evaluación, dichos datos
pueden constituir un fundamento razonable
para modificar el programa con el fin de mejorar en grado importante su eficacia y
rendimiento. No obstante, la única medida
verdadera de la eficacia de un programa es
la razón entre los objetivos alcanzados y los
objetivos programados, y la única verdadera medida del rendimiento es la razón
entre los objetivos alcanzados y los recursos
utilizados. Por consiguiente, para proceder
a una evaluación general se ha de aplicar la
cuarta medida de evaluación.
Problemas
especiales
de medición
En el trabajo anterior se prestó considerable atención a la medición de objetivos y
subobjetivos. Pero no se trató detalladamente la medición de actividades y recursos.
En vista de que cualquier variable de un
programa comprende elementos cuantitativos
y cualitativos, se estima que la medición de
variables debe reflejar ambas dimensiones.
En la mayoría de los casos, las medidas
cuantitativas por sí solas no constituyen
base suficiente para determinar hasta qué
punto un componente del programa ha sido
adecuadamente aplicado. Por regla general,
hay diferencias cualitativas entre una categoría de objetos o actividades. El dólar
parece ser la excepción, ya que cualquier
dólar es igual a otro en cuanto a poder adquisitivo asequible al programa en un momento dado. Del mismo modo, es probable
que muchos medicamentos y vacunas es-
Deniston et al
$
L
*
RENDIMIENTO
DE
PROGRAMAS
DE
SALUD
393
dica en este trabajo, la preocupación por la
eficacia del programa es lógicamente anterior a la preocupación por el rendimiento
del mismo. Una vez que se han alcanzado
o mantenido los niveles deseados de consecución de objetivos, la evaluación del rendimiento del programa pasa a ser preocupación primordial. El administrador que
conoce el grado de eficacia y rendimiento de
su programa puede juzgar si los resultados
justifican el costo de los mismos.
Hemos dado a entender que la evaluación siempre entraña comparación con una
norma. En las evaluaciones de eficacia de
programas, la norma de comparación más
frecuentemente seleccionada es el nivel de
consecución programado antes de iniciarse la
ejecución del programa. Se podría utilizar
una norma semejante para determinar el
rendimiento. Cabe preguntarse si el nivel
efectivo de rendimiento, o los costos medios, son semejantes a los programados.
Quizá se haya previsto que cada unidad de
consecución costaría, por ejemplo, EUA
$100. Al evaluar el rendimiento tal vez se
demuestre que, en realidad, el costo de cada
unidad de consecución es EUA$104. En
tal caso, el encargado del programa puede
decidir que el rendimiento efectivo se aproxima tanto al programado que no se justifica que se le dedique atención extraordinaria. Por otra parte, puede llegar a la
conclusión de que la disparidad entre el rendimiento programado y el efectivo requiere
análisis adicional por ser bastante pronunciada. En tal caso, podría preguntarse si en
el rendimiento programado de los recursos y
de las actividades se ha deslizado algún
error y procurará revisar en consecuencia la
planificación del programa.
Con frecuencia, no se dispone de un elemento de juicio acertado para evaluar el
Utilización de datos sobre rendimiento
rendimiento programado; por ejemplo, en
Evidentemente, la preocupación principal aquellos casos en que puede obtenerse muy
del administrador es lograr un nivel deseado poca o ninguna información acerca de la
(generalmente elevado) de consecución de cantidad de recursos que se necesita para
objetivos a un costo mínimo. Como se in- apoyar una actividad o acerca del volumen
tandarizados se aproximen bastante en
cuanto a constancia de calidad, aunque ocurren a veces accidentes. Los problemas de
medición se reducen cuando se utilizan variables bastante uniformes.
En general, sin embargo, en la evaluación
de programas es conveniente determinar
tanto la calidad como la cantidad. Cuando
los recursos se describen en función de determinado número de médicos, enfermeras
o sanitarios “idóneos” o determinado número de servicios clínicos “adecuados”, ha
de determinarse el grado en que los recursos satisfacen efectivamente las necesidades
cualitativas y cuantitativas. Es preciso saber cuántos médicos, enfermeras, sanitarios
o clínicas se facilitaron y en qué grado cada
uno era idóneo o adecuado. Cuando las
actividades se describen en función del número de visitas de enfermería, inspecciones
sanitarias, exámenes físicos o esfuerzos educativos, es indispensable especificar tanto
los aspectos cualitativos como los cuantitativos y, ulteriormente, medirlos. Hay que
determinar no sólo el volumen de actividades, sino el grado en que cada una se llevó
a cabo al nivel técnico deseado.
Actualmente no se dispone de procedimientos para establecer y aplicar medidas
cualitativas, sólo se puede subrayar que estas son necesarias. Es conveniente que el
personal adscrito al programa tenga presente que en la eficacia y el rendimiento influyen tanto la calidad de los recursos y
actividades como la cantidad. En algunas
circunstancias, el administrador del programa y su personal podrán establecer sus
propias medidas sistemáticas para evaluar la
calidad de factores determinados y estarán
así en mejores condiciones de evaluar el funcionamiento general del programa.
394
BOLETÍN
DE
LA
OFICINA
SANITARIA
PANAMERICANA
+ Noviembre 1969
I
o clase de actividades indispensables para
alcanzar determinado objetivo. En tal situación, es preciso seleccionar otra norma de
comparación. Una que se utiliza a menudo,
pero peligrosa, es el funcionamiento del
mismo programa en un año anterior. Los
costos y condiciones pueden variar tanto de
un año a otro que las conclusiones derivadas
de proporciones de rendimiento tal vez ya
no sean válidas. No obstante, si se conocen
las circunstancias locales y el costo de vida,
se podrá estimar, a base de datos obtenidos
periódicamente, si el rendimiento aumenta
o disminuye. Lo importante es que la comparación del funcionamiento efectivo de un
programa con una norma razonable permite
juzgar si el rendimiento obtenido es o no
satisfactorio.
El administrador puede estar satisfecho
con la eficacia de un programa y, sin embargo, considerar poco satisfactorio su rendimiento. Cuando se procura mejorar el
rendimiento de un programa es necesario
considerar las medidas secundarias de rendimiento A:R y 0:A en relación con cada
subobjetivo y con el objetivo del programa.
Por ejemplo, se podría estudiar la manera
de mejorar el rendimiento de los recursos
(A:R) tratando de realizar una actividad
más amplia o mejor, o ambas, con una cantidad dada de recursos. Esta relación es la
que se considera cuando se habla del costo
de una visita de enfermería o de una inspección de saneamiento.
El empleo de material de inmunización
de antígeno múltiple en un amplio programa de control de una enfermedad transmisible sería un ejemplo del intento por
mejorar el rendimiento de una actividad
(0:A). En este ejemplo, se podría obtener
un grado igual o mayor de consecución de
objetivos como consecuencia de cierto volumen de actividad (de este modo, la inmunidad a varias enfermedades podría lograrse
mediante una serie de inoculaciones). En
tales circunstancias, no cabe duda que el
rendimiento del recurso aumentaría.
Cuando la eficacia del programa es menor que la deseada, el administrador tiene
cuatro alternativas. Una posibilidad consistiría en reducir el nivel deseado de realización al nivel efectivamente alcanzado.
Esta alternativa podría derivar de la creencia, tal vez estimulada por nuevos datos, de
que la consecución observada, aunque menor que la deseada, es la máxima que puede
razonablemente lograrse dadas las limitaciones existentes. Cuando se establecen
nuevos objetivos del programa a niveles corrientes de consecución, los estudios de rendimiento serán más útiles en la planificación
de las actividades subsiguientes del programa.
Una segunda alternativa que se presenta
al administrador que no está satisfecho con
la consecución de su programa consiste en
decidir, a base de los datos de evaluación,
que debe aumentar el volumen o mejorar la
calidad de las actividades orientadas hacia
el logro de subobjetivos y objetivos. Cualquier modificación de esa naturaleza repercutirá en la asignación de recursos y, por
consiguiente, podrá planearse en forma más
acertada con la ayuda de información sobre
rendimiento, es decir, acerca de las relaciones corrientes entre actividad y costo y
entre objetivos y actividades.
Una tercera posibilidad es la de que el
administrador mantenga el objetivo del programa original, pero, a base de los datos de
evaluación, decida introducir revisiones importantes en la teoría de su programa, es
decir, especificar algunos nuevos subobjetivos y orientar las actividades hacia ellos.
En tal caso, el estudio de los rendimientos
asociados con el logro de cada subobjetivo
que se ha de retener en el nuevo programa
facilitará la planificación de las actividades
subsiguientes.
Una última alternativa consistiría en
abandonar el programa, especialmente Si
la evaluación demuestra su bajo rendimiento
y si existen presiones internas 0 externas
-f
Deniston et al
-
RENDIMIENTO
DE
PROGRAMAS
para asignar los recursos existentes a otros
programas.
Limitaciones de las medidas de rendimiento
La utilidad de los estudios de rendimiento es limitada, ya que el rendimiento
quizá no sea constante en diferentes niveles
de funcionamiento del programa. Considérese el objetivo de un programa para eliminar totalmente un problema de una
comunidad. Si determinada cantidad de recursos y de actividades ha permitido eliminar el 60% del problema, no se puede
determinar con certeza qué rendimiento
puede esperarse del empleo de diferentes
cantidades. Por una parte, si se duplican
los recursos y las actividades, no se podrá
eliminar más del 100% del problema. Por
otra, si se asigna exactamente la mitad de
los recursos y actividades, probablemente no
se elimine exactamente el 30% del problema, sino más bien el 20 o el 40 por
ciento. A base de la experiencia, parece razonable suponer que la utilización de recursos muy limitados tendrá muy escasas
consecuencias (bajo rendimiento) ; si se
aumentan los recursos se obtendrá un efecto
proporcionalmente mayor (mayor rendimiento) ; y, finalmente, un gran incremento
de los recursos se traducirá en un rendimiento sólo un poco mayor (rendimiento
reducido). Esta idea se ilustra en la figura 1.
Se puede esperar una nivelación del rendimiento cuando un programa se acerca a
FIGURA
I-Eficacia
hipotética
de un
diversos niveles de utilización de recursos.
programa
o
DE
SALUD
-__
395
la consecución completa de su objetivo o
cuando se ha logrado la mayor eficacia posible de las clases de actividades realizadas.
Si en la figura 1 se conociera la curva de
determinado programa, se podría construir
entonces una curva de rendimiento como la
indicada en la figura 2. De este modo, se
podría esperar un mayor rendimiento con
el incremento de recursos, pero sólo hasta
determinado punto, de ahí en adelante, el
nivel de rendimiento decaería.
Mediante una sola evaluación del funcionamiento del programa, el administrador
no podrá saber en qué punto de esas curvas
se encuentra su programa. Pero, si pudiera
determinarse ese punto, dicho conocimiento
tendría importantes consecuencias para la
planificación de programas subsiguientes. Si
el administrador supiera cuál es el perfil correcto de la curva de la figura 1 en relación
con un programa determinado, sabría qué
proporción de los objetivos se podría alcanzar con la utilización de diversas cantidades de recursos. Si el nivel corriente de
realización del programa se encontrara en
el punto B de la curva, es evidente que con
recursos más cuantiosos no se aumentaría
considerablemente el grado de su realización; mientras que la mayor utilización de
recursos en programas que empiezan en el
punto A tendría un gran efecto sobre el
logro de los objetivos. Por otra parte, si la
cantidad de recursos que pudieran orientarse hacia los objetivos del programa fuera
FIGURA 2-Rendimiento
hipotético
de un programa
diversos niveles de utilización de recursos.
a
396
BOLETÍN
DE
LA
OFICINA
SANITARIA
definida, el administrador sabría qué proporción de los objetivos se podría alcanzar
y, de este modo, estaría en condiciones de
juzgar si el programa vale el esfuerzo que se
realiza. Por ejemplo, si solamente se contara con asignaciones suficientes para alcanzar los objetivos en el punto A de la figura
2, el administrador tal vez decidiría invertir
los recursos en un programa diferente en el
cual, con la misma asignación de fondos,
se podría obtener una consecución mayor del
objetivo, o quizá continuar el programa original si estimara que el problema en cuestión merece ser afrontado. En todo caso, si
se conoce la curva de rendimiento, será posible planear el programa con mayor acierto.
Construcción
de curvas de rendimien-fo
PANAMERICANA
.
Noviembre 1969
variable. Por ejemplo, tomemos el caso de
un programa encaminado a aumentar la
proporción de personas que utilizan el cinturón de seguridad entre toda la población
de una comunidad. La estructura de esta
población se modificará en cierta medida
de año en año. Todos envejecerán, algunos
emigrarán, otros fallecerán, surgirán nuevos
conductores de vehículos, pero en gran medida el número de habitantes será el mismo
de un año al siguiente. Un programa de esa
índole, que se ofrecería en los cursos para
educación del conductor destinado a las
clases del décimo grado en la comunidad,
beneficiaría a un nuevo conjunto de personas cada año, salvo a los pocos estudiantes
que podrían repetir el curso.
En las poblaciones beneficiarias que comprenden esencialmente las mismas personas
de año en año (por ejemplo, toda la población de una comunidad, las madres de niños
en edad escolar, administradores de restaurantes, etc.), los programas anteriores podrían ejercer considerable influencia sobre
los resultados de las actividades futuras. En
programas como los representados en el
primer ejemplo con el cinturón de seguridad,
es posible que mediante la labor realizada en
los primeros aiíos de su funcionamiento se
ejerza influencia sobre todos los integrantes
de la población beneficiaria que están pre
dispuestos a actuar, mientras el resto resista
todos los esfuerzos subsiguientes para influir
en ellos.
En programas como el segundo ejemplo
del cinturón de seguridad, es decir, aquellos
en que los posibles clientes proceden de una
“nueva” población cada año, cabría esperar
resultados semejantes de una labor análoga
de un año al siguiente si se toman en cuenta
los cambios en el costo de vida y otras variables cuyos efectos pueden estimarse.
El administrador podría construir una
curva de rendimiento subdividiendo la jurisdicción del programa y llevándolo a cabo
a diferentes niveles de utilización de recursos en cada subdistrito. (La fiscalización
sería esencial para garantizar que los distritos fuesen semejantes).
Por otra parte, el gobierno estatal o federal podría construir curvas de rendimiento
disponiendo la realización, en comunidades
análogas, de programas con niveles de actividades sistemáticamente distintos. En
tales experimentos, se subsanarían los efectos de la ejecución de programas anteriores
sobre la realización de programas subsiguientes. No obstante, subsistiría el problema del grado en que este conocimiento
podría aplicarse a programas futuros que se
realizan en condiciones que varían constantemente.
La exactitud con que pueden predecirse
los resultados futuros que probablemente se
obtengan de la utilización de diversas cantidades de recursos en un programa dependerá, en parte, de la composición de la po- Aplicación de métodos
blación a la que esté destinado el programa.
La aplicación de los métodos descritos en
En algunos programas, la población beneficiaria varía de un período de planificación a el presente trabajo a las situaciones reales
otro; en otros, permanece esencialmente in- de un programa será relativamente sencilla
Denisbon et al
.
RENDIMIENTO
DE
PROGRAMAS
en aquellos programas en los cuales es fácil
cuantificar recursos, actividades y resulta-dos en términos razonablemente significativos y en que la medición del logro de los
objetivos es, por consiguiente, bastante simple. Por ejemplo, el significado del empleo
regular de un cinturón de seguridad es conceptualmente claro, aunque para determinar
su consecución efectiva tal vez se necesite
bastante ingenuidad.
Sin embargo, esas situaciones sencillas no
son comunes; con más frecuencia, los objetivos del programa carecen de claridad conceptual. Cuando el director de un programa
proyecta mejorar el nivel de salud de un
grupo, sustenta ideas que tal vez no signifiquen lo mismo entre un grupo de expertos.
Es posible que un director piense en la ausencia de ciertos síntomas; un segundo, de
ciertas manifestaciones físicas; un tercero
de estabilidad emocional; un cuarto, de vigor físico y un quinto de productividad individual. Otros pensarán en la combinación
de varias de estasideas o de todas ellas. Antes de que el director del programa pueda
preparar una lista de lo que se ha logrado,
debe especificar los objetivos que procurará
medir, tarea que resulta sumamente difícil en
muchos programas de salud.
Del mismo modo, en la mayoría de las
situaciones, no se comprende claramente el
concepto de realización de una actividad en
la forma programada. iQué significa, realmente, una “visita de enfermería” o una
“inspección”? $ómo debe conducirse, específicamente, la enfermera 0 el sanitario?
Cuando se dice que una persona ha desempeñado una función “educativa” ¿qué se ha
de entender, precisamente, por educación?
Hasta que se pueda especificar cómo ha de
conducirse el profesional en una situación
determinada, primero en conceptos y luego
en función de medidas de cantidad y calidad,
no podrá llevarse a cabo una evaluación
amplia, y los programas no podrán mejorarse
en forma sistemática.
DE
SALUD
397
Conclusiones
Los medios descritos en estos trabajos
para evaluar la eficacia y el rendimiento son
de gran utilidad en aquellos programas en
que a) los objetivos han sido especificados
cualitativa y cuantitativamente y se han
atribuido en el tiempo a determinadas zonas
geográficas y a determinadas poblaciones a
las que se espera beneficiar, b) los programas se describen con bastante detalle, de
modo que es posible efectuar observaciones
fidedignas de la realización de la actividad
programada, y c) se han definido los recursos que se destinarán a la actividad relacionada con el programa.
En consecuencia, para evaluar la eficacia
y el rendimiento parece que es indispensable, ante todo, formarse una idea clara de
la naturaleza y contenido del programa. La
evaluación constituirá entonces una tarea
sencilla.
Resumen
La eficacia de los programas de salud se
establece a través de la evaluación del grado
en que se logró el objetivo buscado mediante las actividades programadas. La
comparación entre la proporción en que ese
objetivo se alcanzó (OA) y el nivel previsto
por los planificadores (OP) constituye una
vía de análisis adecuada y la única medida
legítima de la eficacia del programa se
expresa como la razón OA: OP.
En los programas de salud pública el
rendimiento, que conjuntamente con la eficacia es la medida con la que aquellos
pueden evaluarse, se deíine como la razón
entre producto (consecución neta de los objetivos del programa) e insumo (recursos
utilizados). El esfuerzo de la administración en un programa típico se concentra en
la obtención de un nivel aceptable de consecución de los objetivos previstos a un
costo mínimo. Pero una interpretación válida del rendimiento requiere información sobre la eficacia y los recursos del programa;
de otro modo, los estudios del rendimiento
398
BOLETÍN
DE
LA
OFICINA
SANITARIA
no podrían interpretarse o serían equívocos.
Si, por ejemplo, dos programas (A y B)
persiguen el mismo objetivo y el programa
A lo logra en su totalidad a un costo dado
PANAMERICANA
*
Noviembre
1969
Si bien no se dispone actualmente de procedimientos para establecer y aplicar medi-
das cualitativas, es conveniente que el personal adscrito al programa tenga en cuenta
mientras el B logra sólo un 50% a un cuarto que en la eficacia y el rendimiento influyen
del costo, el A es, por consiguiente, dos tanto la calidad como la cantidad de los
veces tan eficaz como el B, pero, en cuanto recursos y actividades y, en algunas circunsal rendimiento, es sólo 50% más eficaz. tancias, el administrador y sus colaboraPara realizar una comparación de ambos dores pueden establecer medidas de la caliprogramas en términos lógicos es necesario dad de ciertos factores a fin de crear mejores
disponer de datos sobre la eficacia y el ren- condiciones para la evaluación del funcionamiento general del programa. 0
dimiento de cada uno.
Evaluation
of Health
Program
The effectiveness of public health programs
may be established through an assessment of
the extent to which a planned or intended
objective has been attained through program
activity.
A comparison between attainment of program objective (AO) and the desired leve1
proposed by planners (PO) is a suitable tool,
and the only legitimate measure of program
effectiveness is the AO:PO ratio.
In public health programs efficiency may be
defined as the ratio between an output (net
attainment of program objectives) and an
input (program resources expended). In the
typical program setting the administration attempts to obtain an acceptably high leve1 of
attainment of objectives at minimum cost.
However, a proper interpretation of efficiency
requires information on both effectiveness and
resources; otherwise it will not be possible to
AvaliaSáo
do Rendimqnto
Efficiency
interpret efficiency studies or they might be
equivocal. If, for example, two programs (A
and B) have the same objective and program
A attains all of the objectives at a given cost,
while program B attains half of the objectives
at a quarter of the cost, program A is twice
as effective as program B, but only half as
efficient. A rational comparison of the two
programs can only be based on a knowledge
of the effectiveness and the effkiency of each
program.
Although at present there are no procedures
available for establishing and using qualitative
measures, program personnel should bear in
mind that the kind and amount of activities
performed have a bearing on efficacy and efficiency, and on occasion administrators and
their assistants may establish measurements for
certain factors to improve conditions for evaluating the general operations of the program.
de Programas
A eficiencia dos programas de saúde é determinada através da avaliacão do grau em que
as atividades programadas lograram atingir o
objetivo colimado. A comparac$o entre a propor@0 em que êsse objetivo foi atingido (OA)
e o nível previsto pelos planejadores (OP)
constitui método de análise adequado e a
única medida legítima da eficiência do programa se expressa como a razão 0A:OP.
Nos programas de saúde pública, o rendimento, que, com a eficiência, é a medida com
(Summary)
de Saúde (Resumo)
(recursos utilizados). 0 esfôrco da administracáo num programa típico concentra-se na
obten@0 de um nível aceitável de consecucáo
dos objetivos previstos, a um custo mínimo.
Mas a interpretacáo válida do rendimento re-
quer informa@0 sôbre a eficiência e os recur-
sos do programa; de outro modo, os estudos de
rendimento náo poderiam ser interpretados ou
seriam duvidosos. Se, por exemplo, dois programas (A e B) colimam o mesmo objetivo e
o programa A o alcanGa na sua totalidade, a
a qual podem ser êles avaliados, define-se determinado custo, enquanto o programa B
como a razáo entre produto (consecucão lí- alcanca apenas 50%, a urna quarta parte do
quida dos objetivos do programa) e insumo custo, o programa A é, por conseguinte,duas
Deniston
et al
-
RENDIMIENTO
DE
PROGRAMAS
vêzes mais eficaz que o B, porém, em matéria
de rendimento, é apenas 50% mais eficaz. Para
efetuar urna comparacão de ambos os programas em têrmos lógicos, é necessário dispor
de dados sôbre e eficiência e o rendimento de
cada um.
Embora não existam atualmente procedimentos para estabelecer e aplicar medidas
qualitativas, é conveniente que o pessoal lotado
Evalua+ion du rendemenf
DE
no programa tenha em conta que na eficiência
e no rendimento influem tanto a qualidade
como a quantidade dos recursos e atividades e,
em algumas circunstâncias, o administrador e
seus colaboradores podem estabelecer medidas
para a qualidade de certos fatôres, a fim de
criar melhores condicões para a avaliacão do
funcionamento geral do programa.
des programmes sanilaires
L’efficacité des programmes sanitaires est
établie en évaluant la mesure dans laquelle les
activités programmées ont atteint l’objectif
recherché. La comparaison entre l’objectif qui
a été atteint (OA) et le niveau prévu par les
planificateurs
(OP) constitue un moyen
d’analyse satisfaisant, et la seule mesure juste
de I’efficacité du programme est exprimée par
le rapport 0A:OP.
En ce qui concerne les programmes de santé
publique, le rendement qui, concurremment
avec l’efficacité est la mesure permettant de
les évaluer, est défini comme le rapport entre
le produit (réalisation nette des objectifs du
programme) et la consommation (ressources
utilisées). Dans un programme typique, l’administration s’efforce de parvenir à un niveau
acceptable de réalisation des objectifs prévus
à un coût minimum. Toutefois, une interprétation valable du rendement nécessite des
données sur l’efficacité et les ressources du
programme; sans quoi, l’étude du rendement ne
pourrait être interprétée ou serait douteuse. Si,
PESTE
EN
399
SALUD
(Résumé)
par exemple, deux programmes (A et B)
poursuivent le même objectif et que le programme A l’atteint en totalité à un coût donné,
alors que le programme B atteint seulement
50% au quart du coUt, le programme A est,
par conséquent, deux fois plus efficace que le
B mais, du point de vue du rendement, seulement 50% plus efficace. Si I’on veut comparer
les deux programmes en termes logiques, il
est nécessaire de disposer de données sur
I’efficacité et le rendement de chacun d’eux.
Bien qu’il n’existe pas encare de méthode
permettant d’adopter et d’appliquer des mesures
qualitatives, il y aurait intérêt que le personnel
affecté au programme tienne compte du fait
que non seulement la qualité mais également
la quantité des ressources et des activités
influent sur l’efficacité et le rendement et que,
dans certains cas, l’administrateur et ses collaborateurs peuvent établir les mesures de la
qualité de certains facteurs afin de créer de
meilleures conditions pour l’évaluation du fonctionnement général du programme.
BOLIVIA
A mediados de marzo de 1969 tuvo lugar un brote grave de peste en dos
aldeas situadas en un valle andino a 125 millas al norte de La Paz, Bolivia.
Informes preliminares indican que en esas aldeas-carentes de antecedentes de
peste-se produjeron 65 casos, 26 de los cuales fueron fatales. En casi todos
los casos fatales se observaron síntomas de peste neumónica, pero también se
establecieron formas de peste bubónica. El brote se inició en una familia de
la aldea de Upuni, tres miembros de la cual murieron a consecuencia de la
enfermedad. Muchos de los casos subsiguientes se produjeron en vecinos,
amigos y parientes que concurrieron a los funerales de las primeras víctimas.
Posiblemente, los demás contrajeron la enfermedad trabajando en los campos
vecinos. En Ipuni se registraron 20 casos, todos ellos fatales, y en Machíia, la
otra aldea asolada por el brote, de un total de 45 casos seis resultaron fatales.
Se obtuvo un cultivo de Pasteurella pestis de muestras tomadas con fines de
identificación de la enfermedad causante del brote. Asimismo, se observó en
las casas abundancia de moscas portadoras de X. cheopis. El programa de
control que se puso en práctica incluyó desinsectación de las casas con DDT
y caza y envenenamiento de roedores. [Weekly Epidemiological
Record 44
(17): 287, 1969.1