Evaluación Externa del Programa de Apoyo Alimentario a EJERCICIO FISCAL 2006

Evaluación Externa del Programa de Apoyo Alimentario a
cargo de DICONSA S.A. de C.V.
EJERCICIO FISCAL 2006
Institución Evaluadora:
Centro de Investigación y Docencia Económicas A.C.
Percepción de Beneficiarios
INDICE
5. PERCEPCIÓN DE LOS BENEFICIARIOS ................................................................. 3
5.1.
INTRODUCCIÓN ...................................................................................................... 3
5.2.
ENCUESTA DE SATISFACCIÓN REALIZADA PARA LA EVALUACIÓN EXTERNA
LLEVADA A CABO POR LA UNIVERSIDAD IBEROAMERICANA 2004-2006.......................... 4
5.2.1. Metodología........................................................................................................ 4
5.2.2. Análisis de los resultados ................................................................................... 4
5.2.4. Resumen del análisis de resultados .................................................................... 5
5.2.5
5.3.
Comentarios y Sugerencias .............................................................................. 13
OBSERVACIONES GENERALES DEL ANÁLISIS DE LOS ÍNDICES ............................ 14
5.3.1
5.4.
Resumen del análisis de resultados mediante índices de satisfacción............. 14
PROPUESTA DE ÍNDICE DE SATISFACCIÓN ........................................................... 18
5.4.1. Análisis de índices desarrollados por evaluaciones anteriores del PAL .......... 18
5.4.2. Los índices nacionales de satisfacción del consumidor. Fortalezas y
debilidades .................................................................................................................... 21
5.4.3. Índice de satisfacción para beneficiarios del PAL ........................................... 23
5.5.
RECOMENDACIONES PARA LA MEJORA DE LA EVALUACIÓN DE SATISFACCIÓN DE
BENEFICIARIOS................................................................................................................. 26
5. PERCEPCIÓN DE LOS BENEFICIARIOS
5.1. Introducción
Las mediciones de satisfacción resultan de gran utilidad para evaluar a través de la
percepción de los beneficiarios, la eficacia de la política pública en cuestión. Estas
mediciones pueden ayudar a identificar dificultades o problemas en la ejecución del
Programa, necesidades no atendidas, cambios en las necesidades y expectativas de los
beneficiarios para de esa manera mejorar el Programa por medio de decisiones informadas.
En particular, la satisfacción de los beneficiarios puede ser evaluada a través de
cuestionarios que midan el nivel de agrado de los encuestados. En este capítulo
analizaremos y discutiremos los resultados de la encuesta de satisfacción realizada para la
evaluación externa llevada a cabo por la Universidad Iberoamericana para el periodo
anterior1. Para ello, dividiremos el análisis en dos secciones. En primera instancia,
analizaremos y discutiremos los resultados obtenidos en la encuesta. Posteriormente,
examinaremos los índices de satisfacción basados en los resultados de la encuesta de
satisfacción.
Asimismo, en este capítulo, se propone la adopción de un índice de satisfacción junto a un
conjunto de indicadores cualitativos que sean producto de una investigación enfocada a
dicho propósito. El índice que se recomienda adoptar es el IMSU (Índice Mexicano de
Satisfacción del Usuario) pues contempla un concepto de satisfacción acumulativa y como
experiencia total. Este índice ofrece parámetros de comparación internacional y por ende
1
Universidad Iberoamericana, Evaluación Externa del Programa de Apoyo Alimentario, 2006.
3
permite llevar a cabo una evaluación que considere criterios tanto nacionales como
internacionales.
5.2. Encuesta de satisfacción realizada para la evaluación externa llevada a
cabo por la Universidad Iberoamericana 2004-2006.
5.2.1. Metodología
La encuesta se llevó a cabo en 1500 hogares y la muestra se elaboró de manera
estratificada. Se seleccionaron 16 ó 17 municipios en cada una de las regiones (norte,
centro y sur-sureste) y por nivel de marginación (muy alto, alto y medio). Posteriormente,
se seleccionaron 2 ó 3 localidades por municipio con el propósito de reunir 50 localidades
por región y 150 a nivel nacional. En cada localidad, se aplicaron 10 cuestionarios, lo que
equivale a 500 cuestionarios por región y 1500 a nivel nacional.
5.2.2. Análisis de los resultados
A continuación, se resumen y discuten los resultados obtenidos en la encuesta de
satisfacción elaborada para la evaluación externa de la Universidad Iberoamericana para el
periodo anterior2. En términos generales, la opinión de los beneficiarios del PAL con
respecto al Programa es muy favorable. A nivel nacional, el 25% de los entrevistados
considera que los beneficios que recibe del Programa son muy buenos mientras 74% los
considera buenos y únicamente 1% los califica como regular.
Los resultados fueron muy similares a nivel regional puesto que en el norte y en el sur, 99%
de las opiniones fueron positivas y en el centro 98% de las opiniones fueron favorables. El
capítulo de satisfacción de los beneficiarios del informe de la UIA se divide en dos
2
Idem.
4
secciones, la primera analiza de manera detallada los resultados mediante el uso de
herramientas de estadística descriptiva mientras que en la segunda sección se elaboraron
dos índices que reagrupan las preguntas que corresponden a la percepción de los
beneficiarios sobre la contribución del PAL a la superación de la pobreza y la percepción
de los beneficiarios sobre la ejecución del PAL. A continuación se resumen y comentan
brevemente los resultados obtenidos.
5.2.3. Observaciones generales del análisis de resultados:
Los resultados obtenidos de la encuesta fueron divididos conforme a las tres regiones
previamente establecidas y a los grados de marginación de las localidades. Este diseño
responde a los criterios con los que se elaboró la muestra. Se observa un patrón de
comportamiento en el cual los beneficiarios de la región norte generalmente están más
satisfechos que sus contrapartes en las regiones centro y sur por lo cual para fines de este
capítulo se omitirán las discusiones concernientes a las regiones a menos de que se observe
un patrón distinto al general ya mencionado.
5.2.4. Resumen del análisis de resultados
Información del Programa: En términos generales, los beneficiarios del PAL consideran
que la información que se les proporcionó respecto a la recepción del paquete alimentario
fue satisfactoria. El 77% de los beneficiarios consideraron que la información era buena,
mientras que el 15% de los encuestados la calificó como muy buena. En el caso de la
evaluación de la información sobre cómo recibir el paquete alimentario, el nivel de
marginación de las localidades no parece afectar la percepción de los beneficiarios, aunque
cabe señalar que los residentes de las localidades catalogadas como de muy alta
5
marginación reportaron un nivel un poco menor de satisfacción (91% comparado con 94%
para las localidades de alta y media marginación).
Gráfica 5-1 Evaluación de la información sobre cómo recibir el paquete alimentario
Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.
Gráfica 5-2 Evaluación sobre el contenido de la información entregada a las personas
que quieren inscribirse al Programa
Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.
6
Inscripción al Programa: Al igual que en el caso anterior, los beneficiarios reportan un
nivel alto de satisfacción con respecto al contenido de la información entregada a aquellos
que quieren inscribirse al PAL ya que 8% de los encuestados consideró que la información
era muy buena y 83% la evaluó como buena. Nuevamente observamos que las localidades
con mayor nivel de marginación resultaron un poco menos satisfechas con la información
que sus contrapartes ya que 90% de los entrevistados evaluaron como muy buena y buena
la información comparado con 93% de los encuestados en las localidades de alta
marginación y 95% de los beneficiarios de las localidades con nivel medio de marginación.
En términos de la difusión del Programa, los resultados son menos alentadores puesto que
únicamente 58% de los encuestados estaban satisfechos. Asimismo, 93% de los
encuestados calificaron como bueno y muy bueno el procedimiento de inscripción al
Programa. En términos generales, el trámite de incorporación resulta fácil para el 91% de
los encuestados y nada más 5% de los beneficiarios lo consideró como difícil. Sin embargo,
más de la mitad de los encuestados (55%) consideró el trámite tardado.
Gráfica 5-3 Evaluación sobre el procedimiento para inscribirse al Programa
Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.
7
Entrega del paquete alimentario: El 96% de los encuestados evaluó favorablemente el
procedimiento de entrega del paquete. Es interesante recalcar que en este caso, las
localidades de muy alto nivel resultan ser las más satisfechas con la provisión del paquete
ya que este proceso fue considerado positivamente por el 98% de los encuestados.
Operativamente, el Programa también parece estar funcionando de manera satisfactoria
puesto que al 95% de los entrevistados se les pidió su tarjeta para verificación en tanto que
el 96% de los encuestados reportan haber sido anotados en un registro de beneficiarios en
todas las ocasiones. Finalmente, el 91% de los beneficiarios declaró haber firmado en todas
las ocasiones para poder recibir el paquete. El 100% de los encuestados declaró que nunca
se les ha negado la entrega del paquete y el 99% corroboró que no se habían entregado
paquetes a personas no beneficiarias, ni se había condicionado la entrega a la compra de
otros productos y no se les ha pedido dinero para tramitar o renovar la tarjeta de
beneficiario.
Gráfica 5-4 Evaluación sobre la entrega del paquete alimentario
Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.
8
Calidad de los productos del paquete alimentario: La respuesta con respecto a la calidad de
los alimentos que provee el Programa fue favorable, el 21% consideró que la calidad era
muy buena y 77% la calificó como buena mientras que únicamente 2% de los beneficiarios
la percibe como regular. El nivel de marginación de las localidades no parece afectar
significativamente la percepción de la calidad del paquete alimentario. Cabe destacar que
en 99% de los casos, el paquete fue consumido siendo la machaca, la sardina y el cereal los
productos que reportaron menores niveles de consumo. Finalmente el 85% de los
encuestados están de acuerdo o muy de acuerdo en que los alimentos del paquete son
suficientes.
Gráfica 5-5 Evaluación sobre la calidad de los productos del paquete alimentario
Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.
9
Apoyos complementarios: El 36% de los encuestados calificaron estos apoyos como muy
buenos y el 62% como buenos. Es importante mencionar que con respecto a los apoyos
complementarios, la región sur parece estar más satisfecha ya que 50% de los encuestados
consideran las pláticas como muy buenas mientras que en el norte esta cifra fue de 48% y
en el centro únicamente 15%. Los resultados por grados de marginación fueron muy
homogéneos puesto que independientemente del nivel de marginación de la localidad, se
observó que 98% de los encuestados están satisfechos con las pláticas. Los estudios de caso
corroboran que entre 80% y 85% de los encuestados asisten a las pláticas y se encuentran
muy contentos con esta forma de apoyo que en muchos casos valoran aún más que el
paquete alimentario.
Gráfica 5-6 Evaluación sobre los apoyos complementarios
Muy bueno
36.0%
Ns/Nc
1.0%
Regular
1.0%
Bueno
62.0%
Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.
10
Comités de beneficiarios: La cobertura de los Comités de Beneficiarios es prácticamente
completa ya que 98% de los encuestados reportan la existencia de un Comité en su
localidad. Los niveles de satisfacción reportados también son altos ya que 98% de los
encuestados calificó de manera positiva el trato que recibe de los miembros. En el caso de
los Comités, 98% de los encuestados en las regiones norte y sur consideran que el trato es
bueno y muy bueno mientras que en la zona centro el porcentaje fue de 90%. Los
encuestados parecen conformes con la naturaleza democrática de dichos comités.
Gráfica 5-7 Evaluación sobre el trato de los miembros del Comité de Beneficiarios
Fuente: Universidad Iberoamericana, Evaluación Externa del PAL,
11
Atención y seguimiento de quejas: Finalmente, la encuesta revela que el porcentaje de
beneficiarios que acude a quejarse es bajo (18%) y que de aquellos que se han quejado, el
64% considera que la atención fue buena y muy buena. Aún considerando que los niveles
de satisfacción con respecto a la atención y seguimiento de quejas son bastante
satisfactorios, es importante recalcar que de todos los aspectos evaluados, éste es el que
obtuvo una evaluación menos satisfactoria.
Gráfica 5-8 Evaluación sobre la atención a quejas
Fuente: Universidad Iberoamericana, Evaluación Externa del PAL,
En términos generales, se observó que la ejecución del PAL es percibida como muy buena
por los beneficiarios. Asimismo, los productos incluidos en los paquetes alimentarios se
calificaron como suficientes y de buena calidad y el PAL es considerado entre los
beneficiarios como promotor del combate a la pobreza. Los beneficiarios también aprecian
12
los apoyos complementarios del PAL y los consideran útiles para mejorar sus hábitos de
higiene personal y al momento de cocinar y sus conocimientos respecto a nutrición. Sin
embargo, cabe señalar que aquellos encuestados que no reportan una opinión favorable al
Programa son aquellos, que de acuerdo a sus características sociodemográficas, más
requieren este tipo de apoyo.
5.2.5
•
Comentarios y Sugerencias
Para fines de futuras evaluaciones se sugiere que se analice de manera más detallada
la percepción de los beneficiarios que reciben algún otro programa federal o estatal
para de esa manera tener un punto de referencia que nos permita ver desde una
perspectiva comparativa los resultados obtenidos para el PAL. La encuesta
elaborada para la evaluación externa de la Universidad Iberoamericana3 identificó
18.9% de los encuestados como beneficiarios de otros programas federales o
estatales. Sería conveniente incluir preguntas específicamente dirigidas a estos
beneficiarios respecto a la ejecución del PAL comparada con la ejecución de otros
programas. Estas preguntas permitirán evaluar de manera comparativa el Programa
en cuestión.
•
Las variables que afectan la percepción de los beneficiarios no están igualmente
analizadas en el informe. Existe un énfasis en las variables “región” y “grado de
marginación”, sin embargo dado que la evaluación externa previa identificó que
variables como “género”, “ingreso” y “gasto en alimentos” claramente también
3
Universidad Iberoamericana, Evaluación Externa del Programa de Apoyo Alimentario, 2006
13
afectan la percepción de los beneficiarios sobre la ejecución del PAL4, sería
conveniente llevar a cabo estudios más detallados que permitan discernir el efecto
de estos componentes.
5.3. Observaciones generales del análisis de los índices
La creación de los índices resulta de gran utilidad para el análisis de la encuesta de
satisfacción de los beneficiarios puesto que permite reagrupar toda la información obtenida
de una manera clara y concisa. Asimismo, las tablas de contingencia de las variables de
cruce generales con los índices nos permiten distinguir que factores considerados, tales
como región, género, grado de marginación, tiempo como beneficiario, ingreso, gasto en
alimentos, posición en el hogar, escolaridad del jefe del hogar y escolaridad del ama de
casa, afectan la percepción de los beneficiarios.
5.3.1
Resumen del análisis de resultados mediante índices de satisfacción
Para elaborar los índices, se clasificaron las preguntas en dos rubros, el que corresponde a
la percepción de los beneficiarios sobre la contribución del PAL a la superación de la
pobreza y el de la percepción de los beneficiarios sobre la ejecución del PAL. La siguiente
tabla recapitula las variables incluidas en la construcción de índices.
4
Op. cit., pp. 633-635 y pp.647-649.
14
Tabla 5-1 Variables consideradas en la construcción de índices
Pregunta
Escala de respuesta
Índice 1: Percepción de los beneficiarios sobre la contribución del PAL a la superación de la
pobreza
La cantidad de alimentos incluidos en la despensa o paquete Muy de acuerdo
De acuerdo
alimentario es suficiente
Con la entrega de alimentos incluidos en las despensa o paquete En desacuerdo
Muy en desacuerdo
alimentarios alcanza más el gasto
No sabe
El Programa de Apoyo Alimentario apoya a la economía familiar
El Programa de Apoyo Alimentario atiende a la gente que lo No contestó
necesita
El Programa de Apoyo Alimentario ayuda a la gente a salir de la
pobreza
El Programa de Apoyo Alimentario es sólo para la gente pobre
Índice 2: Percepción de los beneficiarios sobre la ejecución del PAL
¿Cómo evaluaría la información proporcionada acerca de cómo Muy buena
Buena
recibir su paquete alimentario o despensa?
¿Cómo evaluaría el contenido de la información que se les da a las Mala
Muy mala
personas que quieren inscribirse al Programa?
En general ¿cómo evaluaría la difusión o propaganda que se hace No sabe
No contestó
del Programa?
En general ¿cómo evaluaría la difusión o propaganda que se hace
del Programa?
En general ¿cómo evaluaría el procedimiento para inscribirse al
Programa?
¿Cómo evaluaría el procedimiento de entrega de las despensas o
paquetes alimentarios a los beneficiarios?
¿Cómo evaluaría la calidad de los productos que vienen en la
despensa o paquete alimentario?
¿Cómo evaluaría a) las pláticas de higiene, nutrición y salud, b) el
apoyo de piso firme, c) el apoyo de letrinización?
En general ¿cómo calificaría el trato del facilitador (o persona que
haya mencionado como el que las imparte) respecto a las pláticas
sobre nutrición, higiene y salud?
En general ¿usted diría que los beneficios que recibe del Programa
de Apoyo Alimentario son…?
Por lo que usted sabe o ha visto, ¿usted diría que la atención que se
les da a los beneficiarios cuando acuden a quejarse?
En general ¿cómo calificaría el trato que recibe de parte de los
miembros del Comité de Beneficiarios?
En general ¿cómo calificaría el Programa de Apoyo Alimentario?
15
Se llevó a cabo la recodificación de las respuestas utilizadas en la construcción de los
índices de la siguiente manera:
Tabla 5-2 Recodificación de variables utilizadas en la construcción de índices
Índice 1. Percepción de los beneficiarios Índice 2. Percepción de los beneficiarios
sobre la contribución del PAL a la sobre la ejecución del PAL
superación de la pobreza
Escala de respuesta Escala de respuesta Escala de respuesta Escala de respuesta
original
recodificada
original
recodificada
Muy de acuerdo
4
Muy buena
5
De acuerdo
3
Buena
4
En desacuerdo
2
Regular
3
Muy en desacuerdo
1
Mala
2
Muy mala
1
Variables que afectan el grado de acuerdo Variables que no afectan el grado de
con el Programa
acuerdo con el Programa
Región
Género
Grado de marginación
Tiempo como beneficiario
Ingreso
Escolaridad del jefe del hogar
Gasto en alimentos
Escolaridad del ama de casa
Índice de percepción de beneficiarios sobre la contribución del PAL a la superación de la
pobreza (índice 1): El resultado general del índice es de 3.39 lo cual demuestra que en
términos generales, los beneficiarios están de acuerdo que el Programa promueve la
superación de las condiciones de pobreza. La elaboración de las tablas de contingencia de
16
las variables de cruce generales con el índice de percepción 1 arroja la siguiente
información:
En este caso, se observa que los beneficiarios de las regiones norte y sur son los que
reportan un menor nivel de acuerdo con la contribución del PAL a la superación de la
pobreza. En términos de marginación, los encuestados de las localidades de marginación
media son los que menos aceptan que el PAL contribuya a superar la pobreza. Los
beneficiarios que perciben un ingreso menor a 1500 pesos son los que reportan estar más en
desacuerdo con la aseveración del Índice 1.
Índice de percepción de los beneficiarios sobre la ejecución del PAL (índice 2): El
resultado general del índice en este caso fue de 3.9 en una escala de 1 a 5, lo cual indica que
la percepción fue muy buena. Con respecto a las tablas de contingencia de las variables de
cruce generales con este índice, la tabla siguiente presenta un resumen.
Variables que afectan el grado de acuerdo Variables que no afectan el grado de
con el Programa
acuerdo con el Programa
Región
Tiempo como beneficiario
Género
Escolaridad del jefe del hogar
Grado de marginación
Escolaridad del ama de casa
Ingreso
Gasto en alimentos
Posición en el hogar
Como lo demuestran los resultados de este reporte, variables tales como el ingreso y el
gasto en alimentos influyen en los dos índices y género y posición en el hogar también
17
influyen en el Índice 2. . El análisis previamente efectuado discute los resultados en función
de la región y el grado de marginación, variables que claramente afectan las percepciones
de los encuestados, e identifica otras variables generales igualmente importantes como
género, posición en el hogar, ingreso y gasto en alimentos por lo que valdría la pena llevar
a cabo análisis más detallados que nos permitan identificar de manera más comprensiva el
efecto de estos componentes en la percepción de los beneficiarios.
5.3.2. Observaciones y comentarios
Para fines del análisis sería conveniente crear una escala idéntica para los dos índices que
hiciera la comparación más factible. De acuerdo a la tabla 5-1, la escala de respuesta de las
preguntas consideradas en el Índice 1 incluye cuatro posibles respuestas (muy de acuerdo
hasta muy en desacuerdo) y cuatro posibles respuestas para las preguntas que conforman el
índice 2 (muy buena a muy mala) por lo que la compatibilidad de las escalas recodificadas
debería de ser factible.
5.4.Propuesta de índice de satisfacción
5.4.1.Análisis de índices desarrollados por evaluaciones anteriores del PAL
En el documento Estudio de Evaluación Externa del Programa de Apoyo Alimentario a
cargo de DICONSA S.A. de C.V., elaborado por la Universidad Iberoamericana, se
consideró como satisfacción: “la respuesta emocional del consumidor a la evaluación que
hace de las discrepancias percibidas en sus expectativas por las experiencias previas y
actuales con el producto o la organización”5.
5
Tomada de Terry G. Vavra. Improving Your Measurement of Customer Satisfaction: A Guide to Creating,
Conducting, Analyzing, and Reporting Customer Satisfaction Measurement Programs. ASQ Quality Press.
1997.
18
Con base en tal concepto y con la información obtenida de una encuesta aplicada a 1,500
beneficiarios, las dimensiones que ese estudio evaluó fueron: información, inscripción,
entrega, calidad de los productos, apoyos complementarios, comités de beneficiarios,
atención y seguimiento de quejas así como la evaluación general del Programa. Además, se
elaboraron dos índices. El Índice 1 que midió la percepción de los beneficiarios sobre la
contribución del PAL para la superación la pobreza; y el Índice 2 que midió la percepción
de los beneficiarios sobre la ejecución del PAL6.
Las ventajas de esta evaluación, en especial del Índice 2, son que reflejan claramente las
percepciones derivadas de la interacción con la ejecución del Programa y permite hacer
discriminaciones por grados de marginación y zonas geográficas. Sin embargo, muestra dos
claras limitaciones: 1) parte de una definición acotada de satisfacción, y 2) al construir
índices ad hoc para el PAL no permiten la comparación con otros programas de política
social, ni predecir patrones de consumo y satisfacción.
Respecto a la primera limitación, debemos mencionar que el Índice 2 cubre un solo aspecto
de la satisfacción (la evaluación de expectativas), mientras que definiciones más maduras y
estandarizadas por los principales índices de satisfacción del consumidor (CSI, por sus
siglas en Inglés) consideran a la satisfacción como una experiencia total del consumidor o
usuario con un producto o servicio. El factor de la experiencia remite a un enfoque de
aprendizaje al trascender la transacción-específica e incorporar un enfoque de satisfacción
acumulativa7. Por otra parte, además de expectativas se considera como componentes de la
6
Los principales resultados de las dimensiones y de los índices, así como de la metodología usada en para su
construcción se resumieron y analizaron en el apartado anterior.
7
Johnson, M. D., Nader, G., Fornell, C., 1995. “Expectations, perceived performance, and customer
satisfaction for a complex service: The case of bank loans”. Journal of Economic Psychology 17, 163- 182.
19
satisfacción la calidad percibida (del producto y de la transacción), el valor (relación
calidad/precio) y la imagen (de las marcas de los productos o del prestador del servicio).
Las ventajas de este enfoque estándar son que:
o Permite hacer pronósticos sobre conductas y desempeños económicos debido a que
los consumidores evalúan y deciden basados en sus propias experiencias de
consumo en una trayectoria de tiempo que llega hasta el presente, y no sobre una
simple transacción o episodio.
o Considera a la calidad como un conductor hacia la satisfacción y no como producto
de ella. Al aislar la variable calidad para en un segundo momento conectarla con la
satisfacción, permite evaluar de manera más clara el desempeño de la política y
detectar áreas de oportunidad y mejora.
o Permite construir una trayectoria del aprendizaje tanto del beneficiario como de la
política.
En lo que toca a la segunda limitación (carácter ad hoc de los índices), cabe mencionar que
el propósito del trabajo con índices CSI es explicar las causas y consecuencias de la
satisfacción o insatisfacción del consumidor, objetivadas en conductas de queja, deslealtad
y desconfianza. Estas explicaciones y el entendimiento de las conductas derivan no sólo de
una lectura internista de los datos, sino de la posibilidad de compararlos en dimensiones de
tiempo y espacio.
Al incorporar una visión de satisfacción acumulativa, a nivel agregado se iguala la
satisfacción al bienestar del consumidor. Y es esta visión de experiencia total y satisfacción
20
acumulativa la que predomina en la construcción de índices de satisfacción nacional,8 lo
que, a su vez, ofrece parámetros de comparación internacional.
Finalmente, cabe mencionar que a la par de los CSI internacionales, México cuenta desde
2005 con el Índice Mexicano de Satisfacción del Usuario (IMSU), el cual adopta la visión
estándar de satisfacción lo que representa a futuro y en la medida que el Índice se
consolide, una oportunidad de comparación con a) otros programas de política social
estatales y federales, b) con otros sectores de política federal y, c) consigo mismo a lo largo
del tiempo.
5.4.2. Los índices nacionales de satisfacción del consumidor. Fortalezas y
debilidades
Los principales índices nacionales de satisfacción son: Swedish Customer Satisfaction
Barometer (SCSB), 1989; The American Customer Satisfaction Index (ACSI), 1994;
Norwvegian Customer Satisfaction Model, 1996; y European Customer Satisfaction Index
(ECSI), 2000.
Una característica fundamental que comparten todos estos índices es que se basan en un
modelo, el cual consiste de un número de variables latentes9 y una relación de causa y
efecto entre ellas. Cada variable latente incluye varias variables manifiestas que actúan
como proxies para la variable latente. La satisfacción del consumidor es una variable
latente que está en el centro del modelo, esto es, encajonada en un sistema de variables que
8
Johnson, M.D., Gustaffson, A., Andreassen, T.W., Lervik, L., Cha, J. (2001), "The evolution and future of
national customer satisfaction index models", Journal of Economic Psychology, Vol. 22 No.2, pp.217-45.
9
Una variable latente refleja una dimensión relativamente compleja de la satisfacción del consumidor que no
puede ser medida directamente. Por ejemplo, calidad, precio e imagen. En cambio, una variable manifiesta es
un factor o criterio medible y relacionado directamente con la satisfacción del consumidor.
21
relacionan causas y efectos. Un buen modelo debe ser capaz de predecir un patrón de
relaciones y de efectos10.
En el contexto del gobierno sobresalen el ACSI y el Canadian Common Messurements
Tool. Sin embargo, es el índice americano el que más influencia ha ejercido en el resto de
los índices debido a su vasta cobertura geográfica, a los sectores que cubre (uno de ellos,
gobierno), a la importancia que otorga al aspecto de servicios, y porque propone tanto
variables como conductores (drivers).
Junto a las ventajas de estos índices, y en especial del ACSI para evaluar la satisfacción del
consumidor, conviene mencionar algunos aspectos que visiones críticas han señalado sobre
las encuestas de satisfacción. Primero, un indicador de satisfacción no dice suficiente sobre
las razones de cierto nivel de satisfacción. Es decir, no importa la satisfacción sobre cierto
aspecto (e.g. rapidez de la atención, amabilidad) sino la importancia de esos aspectos. Es
decir, un beneficiario del PAL puede no estar satisfecho con el tiempo que tiene que esperar
para recibir el apoyo, sin embargo este aspecto carece de relevancia ante el valor que se
otorga a la despensa o al apoyo en efectivo. De igual manera, pese al nivel de pobreza y
marginación, no todos los productos de la despensa son igualmente valorados, por lo que la
satisfacción con el apoyo puede estar más en relación con su adecuación a un repertorio de
la cultura alimentaria local, que con necesidades nutricionales manifiestas. En pocas
palabras, no hay una relación causal directa entre la calidad de ciertos servicios y la
satisfacción del usuario, esto se debe a las diferencias que existen entre proveedores y
consumidores respecto a sus visiones de calidad.
10
INRA y Deloitte & Touche for DG Health & Consumer Protection, “Development of indicators on
consumer satisfaction and pilot survey” ( Reporte final del Project for the European Commission Directorate
General
on
Health
and
Consumer
Protection).
1
Febrero,
2005.
Disponible
en
http://ec.europa.eu/consumers/topics/consumer_satisfaction_final_rep_en.pdf
22
Además, mayor calidad no necesariamente conlleva a mejores evaluaciones de satisfacción
porque los usuarios también experimentan cambios en sus expectativas. Alguna literatura
incluso sugiere que son las expectativas diferenciales y no las diferencias en el desempeño
del servicio las que determina los niveles de satisfacción. Estas expectativas no sólo
provienen de características individuales, o de la interacción individual con el servicio
provisto, sino que la interacción social entre usuarios tiene gran influencia en lo que los
usuarios esperan de los servicios e incluso en la manera como perciben el funcionamiento
de los mismos11.
5.4.3. Índice de satisfacción para beneficiarios del PAL
Teniendo en cuentas las ventajas y desventajas de los CSI señaladas en los dos apartados
anteriores, en este apartado recomendamos la adopción del IMSU como instrumento de
evaluación de satisfacción de beneficiarios del PAL. Sin embargo, señalamos algunas
adecuaciones que deben tomarse en consideración para aplicar una metodología
desarrollada en otro contexto social, económico y cultural. Al mismo tiempo, señalamos
que el IMSU debe ser uno de los instrumentos al interior de una estrategia de evaluación
que debe tener dos ejes: uno comparativo, otro interpretativo.
El IMSU, adoptado por México en 2005 se basa en el American Costumer Satisfaction
Index (ACSI), modelo que genéricamente vincula las expectativas de los consumidores, la
calidad percibida y el valor percibido como componentes de la satisfacción del usuario. Su
propósito es medir la experiencia del consumo en el hogar.
11
Geert Bouckaert & Steven Van de Walle (2003). Comparing measures of citizen trust and user satisfaction
as indicators of ‘good governance’: Difficulties in linking trust and satisfaction indicators, en: International
Review of Administrative Sciences, vol. 69 (3): 329-344.
23
El IMSU ha sido ya probado en la evaluación de dos programas sociales en México, el
Programa de Desarrollo Local (Microrregiones) de la SEDESOL y el Programa de Abasto
Rural (PAR) de DICONSA. Aquí tomaremos como unidad de referencia a éste último y nos
referiremos a él con la denominación IMSU-PAR.
El IMSU-PAR fue aplicado por el Departamento de Ingenierías de
la Universidad
Iberoamericana como prueba piloto para evaluar la satisfacción de los usuarios de las
tiendas DICONSA dentro Programa de Abasto Rural en el Estado de Puebla12. La encuesta
cubrió 40 tiendas con una muestra de 400 usuarios y fue levantada en octubre de 2006.
Los resultados arrojaron un nivel general de satisfacción de 74 en una escala del 0 al 100.
Además, el instrumento identificó impulsores de satisfacción directos e indirectos:
-Componentes directos: expectativas (78); calidad percibida ( 76)
-Componentes indirectos13: servicio al cliente (83); abasto (77); conveniencia (76)
Los resultados de la satisfacción fueron categorizados como quejas (4%) y confianza en el
futuro del Programa (78).
Finalmente, la evaluación reportó como incidentes en la adaptación del índice la dificultad
en comprender la escala del 1 al 10 al momento de responder las preguntas, especialmente
por parte de adultos mayores, y dificultad en aplicar el instrumento en localidades con más
del 70% de población indígena (aunque no especifica por qué). En términos generales el
IMSU-PAR adoptó el modelo ACSI para evaluación de las agencias gubernamentales
12
Universidad Iberoamericana, Departamento de Ingenierías. Maestría en Ingeniería de calidad, Versión
Final del Reporte de la Aplicación de la Metodología para la Obtención del Índice de Satisfacción del
Beneficiario del Programa de Abasto Rural. Octubre 2006.
13
El abasto consideró actividades de surtido de mercancía y ubicación de las tiendas. Conveniencia abarcó
calidad y precio de los productos. Servicio al cliente se operacionalizó con actividades de horario y
amabilidad.
24
En esta prueba piloto el IMSU-PAR mostró su eficacia como instrumento capaz de captar
la satisfacción como una representación multideterminada y que se concreta en la
incidencia o no de ciertas conductas. Además, brinda un marco general de comparación.
Por ejemplo, los 74 puntos de satisfacción obtenidos por el PAR pueden tener mayor
sentido si los leemos en relación al puntaje agregado de 72.3 obtenido por las agencias del
gobierno de los Estados Unidos, o si lo comparamos con los 84 obtenidos por el Programa
de Microrregiones.
Por otro lado, como instrumento de evaluación de política social dirigida a combatir la
pobreza en población de media, alta y muy alta marginación en México, la capacidad de
comparación del IMSU necesita ser complementada en un eje interpretativo con formas de
evaluación cualitativa que 1) refinen el índice y 2) provean información contextual que
ayude a explicar las respuestas y a emprender acciones de mejora.
Así por ejemplo, la incidencia de las expectativas como impulsor de satisfacción es un
elemento que se necesita problematizar a partir de más pruebas estadísticas y de
información complementaria, pues el puntaje obtenido (78) puede ser un correlato de lo que
algunos estudios han reportado sobre la irrelevante incidencia de este componente en la
satisfacción total.14
Por otro lado, considerar una relación causal directa entre satisfacción y quejas y confianza,
puede no reflejar con precisión las conductas derivadas de la satisfacción medida. Las
condiciones extremas de carencia de recursos y de opciones pueden objetivar la satisfacción
de los usuarios del PAL, en otro tipo de conductas o en una interpretación distintas de las
14
Ver Geert Bouckaert & Steven Van de Walle (2003), Op. Cit.
25
mismas. Asimismo, convendría evaluar con base en más intervenciones tanto cuantitativas
como cualitativas, la posibilidad de incluir en el modelo la variable “valor” que en la
metodología del ACSI mide la relación entre calidad y precio. Si bien en estos programas
no existe un precio medido monetariamente, hay sin embargo una inversión en términos de
tiempo y esfuerzos en el (re)ingreso al padrón, obtención física de la despensa,
participación en el comité de beneficiarios, asistencias a cursos de salud, nutrición e higiene
y participación en actividades de corresponsabilidad que pueden evaluarse como un gasto
relativo a la calidad y expectativas del apoyo recibido.
Con base en estos argumentos, nuestra recomendación es adoptar el IMSU como uno de los
instrumentos metodológicos que junto con otros de carácter cualitativo proporcionen
además de un índice, un conjunto de indicadores que capturen los diferentes aspectos del
desempeño institucional y de la interacción y representación social puestas en juego en un
programa social, y que inciden en su eficiencia y en la satisfacción de los beneficiarios.
Además, hablar de indicadores, en lugar de índices, contribuye también a distinguir la
evaluación de la política pública de las aproximaciones metodológicas propias del sector
productivo.
5.5. Recomendaciones para la mejora de la evaluación de satisfacción de
beneficiarios.
•
Continuidad en el levantamiento de información cuantitativa y cualitativa y
triangulación de datos.
•
Inclusión de datos sobre afiliación partidista, composición y tamaño del hogar
(adultos/infantes), edad de quien responde, y pertenencia étnica.
26
•
Adopción del IMSU como uno el índice de satisfacción que cubra las necesidades
de comparación local, nacional e internacional que toda evaluación. Tal adopción
debe partir de un trabajo de gabinete y de campo para su adaptación al 1) perfil de la
población meta (nivel educativo, pertenencia étnica, compromiso político); 2)
contexto socio-económico y cultural (que determina decisiones y riesgos); 3)
categorizaciones lingüísticas que pueden diferir de las asumidas en la encuesta.
•
Realización de una investigación exploratoria de carácter mixto (cualitativa y
cuantitativa) dirigida tanto a contextualizar y refinar el IMSU y su metodología de
aplicación, como a identificar los elementos que deben integrar los indicadores
interpretativos del PAL. A continuación se proponen cinco indicadores que
constituyen categorías que con alguna reiteración aparecen en las dos
investigaciones cualitativas que sirvieron de fuente a este estudio (una elaborada por
la Universidad Iberoamericana, y la otra por el CIESAS). Por tanto, tienen un
carácter hipotético pero se presentan aquí con el fin de contribuir al diseño de una
investigación exploratoria que tenga como objetivo principal la construcción de
indicadores de evaluación.
o Generación de capital social. Capacidad del Programa para generar este
capital tanto en su ejecución como en su evaluación. Este aspecto puede ser
probado como hipótesis en el modelo IMSU como resultado de satisfacción.
o Capacidad de innovación. Buscaría reflejar los esfuerzos de los actores en
incidir en mejoras o adecuaciones al Programa y las posibilidades reales o
potenciales de hacerlo.
o Confianza relativa. Se trataría de medir la certeza en la continuidad del
apoyo o las expectativas de que la política se va a corresponder con las
27
necesidades manifiestas, tomando en consideración que la confianza es una
categoría general (a diferencia de la satisfacción que es más específica) y
que está en relación con la confianza hacia diferentes componentes del
entorno (vecinos, familiares, autoridades, otros servicios, etc.)
o Perspectiva de género. Por ser el centro de la estrategia del PAL para el
cambio del patrón alimentario es necesario construir un indicador que
sintetice caracterizaciones de las beneficiarias de tipo socioeconómico,
educativo, cultural, emocional, de salud y de violencia intra familiar
o Cooperación. Dado el importante componente del esfuerzo cooperativo de
los actores institucionales en la eficiencia del Programa, podría evaluarse la
pertinencia de incorporar este componente como indicador en la evaluación
de satisfacción.
28