Informe final Proyecto

Informe Final del Proyecto Diseño de Implantación de una Metodología para el
Establecimiento del Índice Mexicano de Satisfacción de los Usuarios de Programas
Sociales de Sedesol
Clave del proyecto: 00091976
Convocatoria: S0009-2008-1
Elaborado por:
Dra. Odette Lobato Calleros,
Responsable Técnica del proyecto 00091976,
Profesora Investigadora del Departamento de Ingenierías
Universidad Iberoamericana-Cd. de México,
Dirección: Prolongación Paseo de la Reforma # 880, Colonia Santa Fe, Distrito
Federal, C.P. 01219. Email: [email protected]
Sujeto de Apoyo:
Universidad Iberoamericana. Cd. de México
Julio de 2011
Resumen del proyecto
La gestión basada en resultados en México cuenta con marco uniforme de normas
para el desarrollo de la evaluación y monitoreo de los programas sociales. No obstante,
un amplio número de evaluaciones sobre programas sociales no son comparables.
Incorporar la perspectiva de los usuarios en las evaluaciones de los programas
sociales puede permitir obtener: i) una definición de la calidad uniforme, ii) ampliar el
panorama del desempeño del programa con elementos sólo captados por los usuarios, y
iii) aumentar la eficacia y la eficiencia al identificar áreas de oportunidad de mejora sobre
la operación del programa.
Si bien, algunos gobernantes consideran que los ciudadanos no tienen suficiente
información para opinar sobre la calidad de los servicios que reciben. El Banco Mundial
recomienda “escuchar lo que los usuarios tienen que decir acerca de los productos y
servicios que reciben de los proyectos de desarrollo socioeconómicos"1
La investigación sobre la satisfacción de los usuarios muestra una tendencia
internacional a establecer indicadores nacionales con base en modelos teóricos de
ecuaciones estructurales que postulan las causas y los efectos de la satisfacción de los
usuarios del sector privado y del sector público, y que son estimados con base en el
enfoque de covarianzas y con la técnica de Mínimos Cuadrados Parciales (PLS por sus
siglas en inglés Partial Least Squares).
En contraste, la mayoría de las evaluaciones de la satisfacción de los usuarios de
programas sociales mexicanos son descriptivos univariados, por lo que no incrementan el
conocimiento sobre sus relaciones causales, como la que ocurre entre el desempeño del
gobierno, la satisfacción del usuario y la confianza del ciudadano en el gobierno2.
El objetivo de esta investigación es diseñar y aplicar una metodología para obtener
el Índice Mexicano de Satisfacción de los Usuarios de Programas Sociales de Sedesol
(IMSU-PSS), que evalúe la satisfacción, sus causas y sus efectos. Esta metodología es
puesta a prueba en 7 estudios de caso de programas sociales de la Secretaría de
Desarrollo Social.
Los principales características de la metodología diseñada son: 1) de los avances
teóricos, se elige al modelo del American Customer Satisfaction Index del sector público
(ACSI-SP) para poner a prueba su parte genérica; 2) con base en métodos mixtos, se
postula un modelo para cada uno de los 7 estudios de caso, dónde se adapta la parte
genérica del ACSI-SP y se establecen los factores que explican la calidad percibida; se
procede a diseñar un instrumento de medición; la propuesta metodológica se corrobora
mediante una prueba piloto; se elabora un diseño muestral nacional, se aplican 7
encuestas nacionales, se utiliza la técnica del PLS para estimar y poner a prueba el
modelo en cada caso y en el conjunto de casos, y 3) se verifica si la metodología es
reproducible y permite comparar a los casos.
Como resultado, en todos los estudios de caso se observa que: i) el modelo de
medida es válido y confiable; ii) no se rechazan las hipótesis generales de asociación
entre calidad percibida, satisfacción y confianza; y iii) en 5 de 7 estudios de caso se logra
un nivel de explicación moderado de la calidad percibida. Por último, la metodología es
capaz de realizar comparativos y es reproducible, por lo que es adecuada para iniciar el
establecimiento del IMSU-PSS para conocer la satisfacción y sus relaciones, e
incrementar paulatinamente el nivel de explicación de la calidad percibida por caso.
1
Talukdar Debabrata, Gulyani Sumila, Salmen Lawrence F. (2005:101). “Customer Orientation in the Context
of Development Projects: Insights from the World Bank”. Journal of Public Policy & Marketing, 24(1):100-111
2
Kelly, Janet M. (2005:77). “The Dilemma of the Unsatisfied Customer in a Market Model of Public
Administration”. Public Administration Review, 16(1): 76-84.
1. Resultados de la Investigación
1.1 Metas y objetivos alcanzados
Objetivo general: Diseñar y aplicar una metodología para obtener un índice
nacional sobre la satisfacción de los usuarios de los programas sociales de Sedesol.
El objetivo general se cumplió, ya que se diseñó una metodología con: i) un
modelo de medida que resultó válido y confiable; ii) no se rechazó el modelo estructural
general del American Customer Satifaction Index para el sector gubernamental (ACSI-SP)
respecto a las relaciones de la percepción de la calidad, la satisfacción y la confianza, que
se puso a prueba en los 7 estudios de caso y el diseño de la parte específica del modelo
que se realizó logró un nivel moderado de explicación de la calidad percibida en 5 de los 7
estudios de caso, por lo que se pudieron identificar las causas y los efectos de la
satisfacción, así como las áreas de oportunidad de mejora en cada estudio de caso; la
metodología mixta desarrollada es reproducible porque utiliza métodos estadísticos de
conocimiento público y permite comparativos a través del tiempo de un mismo estudio de
caso y entre estudios de caso.
Objetivos específicos:
i.Evaluar la satisfacción, sus causas y sus efectos, de los beneficiarios de los
siguientes 6 estudios de caso.

Abasto social de leche; Modalidad leche en polvo, perspectiva titulares de las
tarjetas de dotación.

Abasto social de leche; Modalidad leche líquida, perspectiva titulares de las
tarjetas de dotación.

Guarderías y Estancias Infantiles; Modalidad madres y padres trabajadores,
perspectiva madres y padres.

Guarderías y Estancias Infantiles; Modalidad apoyo a guarderías de nueva
creación, modalidad responsables.

Atención a adultos mayores 70 años y más: modalidad apoyo económico,
perspectiva del adulto mayor.

Programa para el Desarrollo de Zonas Prioritarias (PDZP); Modalidad obras de
infraestructura social, perspectiva responsables de obras.
ii.Obtener una metodología general propia, comparable y reproducible para el
establecimiento del Índice Mexicano de Satisfacción de los Usuarios de los
Programas Sociales de Sedesol (IMSU-PSS) válido y confiable.
iii.Comparar los resultados con otras metodologías comparables.
Los objetivos específicos en cuanto al número de estudios de caso, fueron
rebasados, porque adicionalmente a los comprometidos y con el mismo presupuesto ya
aprobado, se realizó el del Programa para el Desarrollo de Zonas Prioritarias (PDZP);
modalidad Acciones de Piso Firme, perspectiva dueño de la casa beneficiada. Esto a
solicitud de la Dirección General de Evaluación y Monitoreo de los Programas Sociales de
Sedesol (DGEMPS-Sedesol) y en atención a los hallazgos obtenidos en el estudio
cualitativo del PDZP, dónde se identificó la alta relevancia de esta modalidad.
Como se muestra en los reportes individuales de cada estudio de caso, se logró la
evaluación de la satisfacción de sus usuarios, sus causas y sus efectos.
La metodología desarrollada y puesta a prueba es propia porque mediante un
estudio cualitativo identifica las variables de la parte específica del modelo que buscan
explicar la calidad percibida de los usuarios de cada estudio de caso, reconoce el
lenguaje de los usuarios y enriquece la interpretación final; diseña un modelo de
evaluación por cada estudio de caso, lo que implica postular las hipótesis de la parte
específica y ajustar las variables de la parte general del modelo del ACSI-SP para hacerla
congruente con el estudio de caso; diseña el instrumento de medición; elabora el diseño
muestral de 7 estudios de caso; desarrolla una metodología de supervisión para la
encuestadora que incluye manuales, talleres, método de supervisión con formatos
especiales y análisis de los hallazgos; y estima los modelos de ecuaciones estructurales
con base al enfoque de covarianzas y su técnica de Mínimos Cuadrados Parciales (PLS
por sus siglas en inglés) de acuerdo a avances estadísticos para el análisis simultáneo de
sistemas de relaciones complejas, técnica recientemente difundida en su utilización.
Debido a que la metodología es sistemática y uniforme para cada estudio de caso,
sus resultados fueron comparables entre sí y en el tiempo, sin menoscabo de las
particularidades de cada programa.
La estimación de los modelos de ecuaciones estructurales mediante la utilización
de dos programas de cómputo para PLS, uno de uso restringido y otro de uso común,
hace a la metodología reproducible.
Se corroboró que los resultados de la técnica PLS del software del ACSI y el del
PLS del Smart-PLS son comparables, por lo que se cumple el objetivo de comparar
resultados entre técnicas de estimación.
1.2 Contribución técnica del proyecto
Se logró diseñar un modelo para cada uno de los 7 estudios de caso compuesto
por un modelo de medida válido y confiable, y un modelo estructural que permitió evaluar
la satisfacción de los usuarios, así como sus causas y efectos.
Se creó una base de datos con los resultados de los 7 de estudios de caso, que
será útil para futuras investigaciones, como comparativos a través del tiempo.
Con el objeto de estimar el modelo diseñado que incluye una red de relaciones, se
incursionó de manera exitosa en la utilización de los enfoques y las técnicas para estimar
los modelos de ecuaciones estructurales, lo que establece un antecedente para futuras
investigaciones, ya que hay pocos estudios en nuestro país, que utilizan estos enfoques y
técnicas de reciente difusión.
Se diseñó una metodología para supervisar el levantamiento de la encuestadora,
que incluyó manuales, talleres de capacitación, formatos para asentar las observaciones
de la supervisión y el análisis de los resultados de la supervisión.
1.3 Productos de la investigación
A continuación se enlistan los productos de investigación que se anexan a este
informe:
1
2
3
4
5
6
7
Lobato, O; Rivera, H; Serrato, H; Golden F (2010). Reporte de avances
correspondientes a la primera etapa: principales indicadores nacionales sobre la
satisfacción de usuarios, propuesta metodológica para el IMSU-PPS, diseño de la
prueba piloto y los hallazgos de la prueba piloto. Universidad Iberoamericana-Cd. de
México. Anexo Producto #1.
Lobato, O; Rivera, H; Serrato, H.; Gómez, ME; León, C; et al. (2011). Reporte de la
Metodología para el Establecimiento del Índice Mexicano de Satisfacción de los
Usuarios de Programas Sociales de Sedesol. Universidad Iberoamericana-Cd. de
México. Anexo Producto #2.
Lobato, O; Rivera, H; Serrato, H.; Gómez, ME; León, C; et al.; Cervantes, P.
(2011).Reporte final del IMSU-Programas Sociales Mexicanos. Programa 70 y más.
Universidad Iberoamericana-Cd. de México. Anexo Producto #3.
Lobato, O; Rivera, H; Serrato, H.; Gómez, ME; León, C; et al.; Cervantes, P. (2011).
Reporte final del IMSU-Programas Sociales Mexicanos. Programa de Estancias
Infantiles – Modalidad de responsables. Universidad Iberoamericana-Cd. de México.
Anexo Producto #4.
Lobato, O; Rivera, H; Serrato, H.; Gómez, ME; León, C; et al.; Cervantes, P. (2011).
Reporte final del IMSU-Programas Sociales Mexicanos. Programa de Estancias
Infantiles – Modalidad de madres. Universidad Iberoamericana-Cd. de México. Anexo
Producto #5.
Lobato, O; Rivera, H; Serrato, H.; Gómez, ME; León, C; et al.; Cervantes, P. (2011).
Reporte final del IMSU-Programas Sociales Mexicanos. Programa de Abasto Social de
Leche Liconsa – Modalidad de leche en polvo. Universidad Iberoamericana-Cd. de
México. Anexo Producto #6.
Lobato, O; Rivera, H; Serrato, H.; Gómez, ME; León, C; et al.; Cervantes, P. (2011).
8
9
10
11
12
13
14
15
16
Reporte final del IMSU-Programas Sociales Mexicanos. Programa de Abasto Social de
Leche Liconsa – Modalidad de leche líquida. Universidad Iberoamericana-Cd. de
México. Anexo Producto #7.
Lobato, O; Rivera, H; Serrato, H.; Gómez, ME; León, C; et al.; Cervantes, P. (2011).
Reporte final del IMSU-Programas Sociales Mexicanos. Programa de Desarrollo de
Zonas Prioritarias – Infraestructura municipal. Universidad Iberoamericana-Cd. de
México. Anexo Producto #8.
Lobato, O; Rivera, H; Serrato, H.; Gómez, ME; León, C; et al.; Cervantes, P. (2011).
Reporte final del IMSU-Programas Sociales Mexicanos. Programa para el Desarrollo
de Zonas Prioritarias – Apoyos de piso firme. Universidad Iberoamericana-Cd. de
México. Anexo Producto #9.
Lobato Calleros, O.; Rivera Navarro, H.; Serrato González, H.; León Flores, C.;
Gómez Cruz M.; Cervantes Sanvicente P. (2010). “Diseño e Implantación de una
Metodología para el Establecimiento del Índice Mexicano de Satisfacción del Usuario
de Programas Sociales: el caso del Programa 70 y más”. Memorias del Congreso
Internacional de Innovación Tecnológico 2010.ISBN: 978-607-487-243-9. Anexo
Producto #10.
Lobato Calleros, O.; Rivera, H.; Serrato, H.; Golden, F.; Gómez, Ma. Elena; León, C.;
Cervantes, Paola; Acevedo, A.; Méndez, I. (2010). “Design and Implementation of a
Methodology for the Establishment of the Mexican Customer Satisfaction Index for
Social Programs: The Case of the Subsidized Milk Program”. Memorias: The 3rd
International Multi-Conference on Engineering and Technological Innovation: IMETI
2010 . Anexo Producto #11.
Lobato Calleros, O.; Rivera Navarro, H.; Serrato González, H.; Delgado Fuentes, M.
A.; Gómez Cruz, M.E.; Cervantes Sanvicente, P.; Acevedo Tirado, A.; León Flores,
C.M.; Méndez Ramírez, I. (2010). “Development of the Mexican User Satisfaction
Index (IMSU) to evaluate social government programs in Mexico”. Memorias: The 2010
JCSD&CB (Journal of Consumer Satisfaction, Dissatisfaction & Complaining Behavior)
bi-enniel conference. Anexo Producto #12.
Conferencia en el Congreso Internacional de Innovación Tecnológico 2010. San
Andrés Cholula. Puebla, 2 de diciembre de 2010. Diseño e Implantación de una
Metodología para el Establecimiento del Índice Mexicano de Satisfacción del Usuario
de Programas Sociales: el caso del Programa 70 y más. Lobato Calleros, O.; Rivera
Navarro, H.; Serrato González, H.; León Flores, C.; Gómez Cruz M.; Cervantes
Sanvicente P. Anexo Producto #13.
Conference in The 2010 JCSD&CB (Journal of Consumer Satisfaction, Dissatisfaction
& Complaining Behavior) bi-enniel conference. Chicago, Illinois, Estados Unidos del 15
al 18 de junio de 2010. Development of the Mexican User Satisfaction Index (IMSU) to
evaluate social government programs in Mexico. Lobato Calleros, O.; Rivera Navarro,
H.; Serrato González, H.; Delgado Fuentes, M. A.; Gómez Cruz, M.E.; Cervantes
Sanvicente, P.; Acevedo Tirado, A.; León Flores, C.M.; Méndez Ramírez, I. Anexo
Producto #14a.
Conference in The 3rd International Multi-Conference on Engineering and
Technological Innovation: IMETI 2010. Orlando, Florida, Estados Unidos, 29 de junio a
2 de julio de 2010. Design and Implementation of a Methodology for the Establishment
of the Mexican Customer Satisfaction Index for Social Programs: The Case of the
Subsidized Milk Program. Lobato Calleros, O.; Rivera, H.; Serrato, H.; Golden, F.;
Gómez, Ma. Elena; León, C.; Cervantes, Paola; Acevedo, A.; Méndez, I. Anexo
Producto #15.
Conferencia en el XIV Foro mundial para la calidad y de la gestión para la mejora.
Puebla, Puebla, del 25 al 28 de mayo de 2010. El Índice Mexicano de Satisfacción del
Usuario: indicador que fomenta el desarrollo económico y social del país. Lobato
Calleros, O. Anexo Producto #16
17 Conferencia en el XX Encuentro de Estadísticos Cuba-México. La Habana, Cuba, 19
de marzo de 2010. Desarrollo del Índice Mexicano de Satisfacción de los Usuarios de
Programas Sociales. Lobato Calleros, M.O., Serrato H., Gómez M.E., Rivera H,
Golden F. y Méndez I. Anexo Producto #17.
Cabe señalar, que como resultado de nuestra participación en el congreso del Journal of
Consumer Satisfaction, Dissatisfaction & Complaining Behavior obtuvimos una felicitación,
la cual enviada por el editor de la revista indizada, Journal of Consumer Satisfaction,
Dissatisfaction & Complaining Behavior, al Rector de la Universidad Iberoamericana-Cd.
de México (Anexo Producto #14b).
De acuerdo al oficio de Conacyt FOSEDESOL/09/ST/003/2011 (Anexo Oficio Conacyt
#1), se nos comunica que debido a que Sedesol requiere de los resultados del proyecto,
se considerará culminado el proyecto con la entrega del “Reporte de Resultados de los 7
Estudios de Caso con base en el PLS versión del ACSI y Software Comercial”. Como se
puede observar, los productos del proyecto rebasan lo solicitado, ya que para facilitar la
entrega de resultados por Programa Social, se elaboró un reporte por cas estudio de caso
auto-contenido, además se entrega el reporte de la metodología desarrollada, la cual
pone a prueba dicha metodología para el establecimiento del IMSU-PS.
Por otro lado, en lugar de participar con una ponencia en congresos internacionales
dictaminados, se participó en 4; y además se obtuvieron 2 artículos en extenso que fueron
parte de las memorias de 2 de los congresos internacionales. Posteriormente, como el
Oficio Conacyt #1 lo establece, posteriormente cuando estén listos, se entregarán los 2
artículos en revistas nacionales indizadas, que se tienen comprometidos. Actualmente
contamos con los borradores de estos artículos, que pronto se mandarán a las revistas
seleccionadas.
1.4 Formación de recursos humanos
Los alumnos que fueron formados durante la realización de este proyecto fueron:
1. Anabel Vicencio Aguilar3, quién obtuvo el grado de maestría con mención
honorífica en la Universidad Iberoamericana. Examen de grado presentado el 13
de enero de 2011. Anexo Formación Recursos Humanos #1a y #1b.
2. Esmeralda Huerta De La Fuente4, quién el obtuvo grado de maestría con mención
honorífica en la Universidad Iberoamericana. Examen de grado presentado el 2 de
junio de 2011. Anexo Formación Recursos Humanos #2a y #2b.
3. Crhistian Mario León Flores5 obtuvo grado de maestría con mención honorífica en
la Universidad Iberoamericana. Examen de grado presentado el 26 de mayo de
2011. Anexo Formación Recursos Humanos #3a y 3b.
3
Esta alumna participó en la investigación sin ser alumna becaria de Conacyt.
Esta alumna durante el desarrollo de su tesis también colaboró en otro proyecto de investigación de
Conacyt y no fue alumna becaria de este proyecto.
5
Fue alumno becario de Conacyt de este proyecto, tiempo completo por año y medio.
4
4. María Elena Gómez Cruz6 postula a grado de maestría en la Universidad
Iberoamericana. Tesis aprobada y con fecha de examen de grado para el 22 de
agosto de 2011. Anexo Formación de Recursos Humanos #4.
5. María de Lourdes Muciño Alcántara7, quién obtendrá en dos meses el grado de
maestría en la Universidad Iberoamericana. Tesis aprobada por sinodales, falta
impresión de tesis y trámite de obtención de fecha de examen. Anexo de
Formación de Recursos Humanos #5.
6. Paola Cervantes Sanvicente8, quién tiene un avance del 50% de su tesis para
obtener el grado de maestría en la Universidad Iberoamericana, fecha de
terminación diciembre de 2011. Esta alumna participó como alumna becaria de
medio tiempo durante todo el proyecto, se anexa documento comprobatorio de
dicha situación, lo cual no fue favorable para que terminara la tesis en el tiempo
comprometido.
Además, participaron 4 alumnos por un período limitado de 4 a 5 meses en el proyecto,
quienes tuvieron dos objetivos, colaborar en la creación de un sistema de información
para el manejo de las bases de datos de los 7 estudios de caso realizados, y otras en el
futuro, e incursionar en nuevas perspectivas teóricas para continuar estudiando a la
satisfacción y otros factores. Dichos alumnos comprometieron un reporte que explicara
sus aportaciones al proyecto, dichos alumnos son:
1. Valentín Juan Casillas Sánchez9, alumno de maestría, Anexo de Formación de
Recursos Humanos #6.
2. Andrés Castro García10, alumno de maestría, Anexo de Formación de Recursos
Humanos #7
3. Carlos Octavio Picazo Díaz11, alumno de licenciatura, Anexo de Formación de
Recursos Humanos #7. Además, este alumno participó en forma importante en la
elaboración de los reportes finales.
4. Luis Antonio Peñaloza Martínez12, alumno de maestría, Anexo de Formación de
Recursos Humanos #7. Además, este alumno participó en forma importante en la
elaboración de los reportes finales.
En el protocolo del proyecto de investigación, se comprometió la formación de 4 alumnos
de maestría, no obstante se formó a 6 alumnos de maestría durante la elaboración de su
tesis, de los cuales 2 de ellos ya terminaron la tesis, como se observa en los documentos
aprobatorios, y 3 de ellos ya obtuvieron el grado de maestría.
Por otro lado, se contribuyó a la formación de 2 alumnos de maestría y 2 alumnos de
licenciatura en un tiempo corto, en el cual incursionaron en actividades asociadas a la
investigación. Uno de los alumnos de licenciatura ha expresado su interés en seguir
participando en labores de investigación.
6
Fue alumna becaria de Conacyt de este proyecto, tiempo completo por año y medio.
Alumna becaria de Conacyt de este proyecto, tiempo completo por 4 meses.
8
Alumna becaria de Conacyt de este proyecto, medio tiempo durante año y medio.
9
Alumno becario de Conacyt de este proyecto por 4 meses.
10
Alumno becario de Conacyt de este proyecto por 5 meses.
11
Alumno becario de Conacyt de este proyecto por 5 meses.
12
Alumno becario de Conacyt de este proyecto por 5 meses.
7
1.5 Colaboración interinstitucional y multidisciplinaria
Investigadores de diversas especialidades colaboraron de manera importante en el
proyecto. Dichas especialidades fueron: ciencias sociales (Mtro. Humberto Rivera, Lic.
Ma. Edith Vázquez, Dr. Marco Antonio Delgado y Dr. Alexander Von Eye), matemáticas y
estadística (Mtro. Hugo Serrato, Dr. Ignacio Méndez, Dra. Graciela González y Act.
Alfredo Ramírez), ingeniería (Dr. Fred Golden) y ciencias sociales e ingeniería (Dra.
Odette Lobato).
Este proyecto fue posible debido a la conjunción de los esfuerzos de investigadores
altamente experimentados con investigadores en formación. Por ello, la responsable del
proyecto propuso la formación del Consejo Técnico del IMSU, donde la responsable del
proyecto y los otros miembros del Consejo Técnico compartieron opiniones sobre el
diseño de la metodología para el IMSU-PS y los diferentes pasos de su puesta a prueba.
Como resultado de esta conjunción, la capacidad de investigación del equipo del IMSU,
se vio incrementada de manera muy relevante.
La Dra. Odette Lobato, profesora investigadora de tiempo completo de la Universidad
Iberoamericana-Cd. de México, fue la responsable técnica del proyecto, por lo que
estableció los lineamientos para el diseño de la propuesta de la metodología y su puesta a
prueba, coordinó al equipo de trabajo del IMSU, asignó tareas a cada integrante, coordinó
la relación con funcionarios de Sedesol y Conacyt, planeó y aprobó los gastos del
proyecto, coordinó el Consejo Técnico del IMSU.
El Dr. Ignacio Méndez Ramírez investigador del Instituto de Investigaciones en
Matemáticas Aplicadas y de Sistemas de la Universidad Autónoma de México (IIMASUNAM), fungió como Presidente del Consejo Técnico del IMSU, contribuyó en: la
comprensión de los modelos de ecuaciones estructurales (MEE) y los métodos del diseño
muestral, dar su opinión sobre la metodología desarrollada, revisar los avances en
reuniones con miembros del equipo de trabajo y asistir a las reuniones del Consejo
Técnico del IMSU donde se revisaron los avances y los resultados finales.
La Dra. Graciela González Farías investigadora del Centro de Investigación en
Matemática (CIMAT), contribuyó en la comprensión de la metodología de los MEES.
Participó en las reuniones del Consejo Técnico del IMSU.
El Act. Alfredo Ramírez
investigador del Centro de Investigación y Docencias
Económicas (CIDE), contribuyó en la comprensión de los métodos del diseño muestral y
en análisis de los resultados de las encuestas. Participó en las reuniones del Consejo
Técnico del IMSU.
El Dr. Alexander Von Eye investigador de la Universidad Estatal de Michigan contribuyó a
la comprensión de los métodos de los MEES y de los métodos de análisis de los
resultados de los cuestionarios. Debido a otros compromisos no pudo participar en las
reuniones del Consejo Técnico del IMSU.
El Mtro. Humberto Rivera, investigador independiente, participó como miembro del equipo
IMSU, fue responsable del diseño de los modelos de evaluación, los instrumentos de
medición, y el diseño de la metodología para la supervisión de la encuestadora.
Lic. Ma. Edith Vázquez, investigadora independiente, colaboró con el Mtro. Humberto
Rivera en la coordinación del equipo de supervisión a la encuestadora. Con el objeto de
realizar dicha supervisión, se contrató a 6 supervisores: Javier Téllez, Álvaro Bascuñan,
Lucia Bascuñan, María Cárdenas, María Pastor y Rolando Carrera. También se realizó la
revisión de la consistencia entre encuestas y bases de datos.
El Mtro. Hugo Serrato, profesor de tiempo parcial de la Universidad Iberoamericana-Cd.
de México, colaboró en el diseño muestral de la prueba piloto y del levantamiento
nacional, así como en la estimación de los MEES.
El Dr. Marco Antonio Delgado, profesor de tiempo completo de la Universidad
Iberoamericana-Cd. de México, colaboró como asesor del estudio cualitativo. En la
realización de las encuestas participó la Mtra. Latapí Ortega.
El Dr. Fred Golden13, exprofesor de tiempo completo de la Universidad IberoamericanaCd. de México, fue responsable del estudio del estado del arte de indicadores nacionales.
Otros colaboradores fueron:
La Mtra. Adriana Acevedo profesora de tiempo completo de la Universidad
Iberoamericana-Cd. de México, quien aportó en la logística de los entrenamientos a la
encuestadora y en la preparación de documentos para la asistencia a los congresos.
El Dr. Carlos Dorantes, profesor de tiempo parcial de la Universidad Iberoamericana-Cd.
de México, quien aportó en la parte de instrumentos de medición.
El Ing. Adolfo Mora, exalumno de la Maestría en Ingeniería de Calidad de la Universidad
Iberoamericana-Cd. de México, colaboró en la sistematización del desarrollo de
actividades para llevar a cabo la metodología diseñada.
Mtro. Oscar Morales, exalumno de la Maestría en Ingeniería de Calidad de la Universidad
Iberoamericana-Cd. de México, colaboró entre otras cosas a la redacción de los reportes
de investigación.
Por último también participaron como colaboradores: Ing. Jorge Moreno Vergara e Ing.
Giulio Antonio León Flores en el desarrollo de actividades de apoyo diversas.
El equipo de personas que colaboró en el desarrollo del proyecto cumplieron con sus
responsabilidades, por que el proyecto llegó a un buen término. Por lo que se puede
afirmar que esta investigación fue multidisciplinaria y con la participación de
investigadores de varias instituciones de educación superior mexicanas y de Estados
Unidos.
Con el objetivo de invitarme a colaborar en una red de investigación internacional, me
invitaron a una reunión en el Centro de Educación de la Provincia de Alberta Canadá que
se localiza en la Ciudad de Guadalajara Jalisco. En dicha reunión comenté con la Mtra.
Kristin Galicia de la Universidad de Lethbridge el proyecto del IMSU-PS y sus resultados.
Como consecuencia de esta reunión fui invitada a ir a la Universidad de LethbridgeCampus Calgary y Campus Lethbridge con el objeto de platicar con algunos profesores
13
El Dr. Golden falleció en el año 2010.
investigadores para buscar la realización de investigación conjunta sobre la satisfacción
de los usuarios de los programas sociales de México y Canadá (Anexo Red de
Investigación 1a, 1b y 1c).
Además, se realizó una estancia de tres semanas en la Universidad de Montreal con el
objeto de presentar los resultados de la investigación y discutir diferentes enfoques
teóricos para el estudio de las organizaciones, como son las instituciones
gubernamentales y de otro tipo. Como parte de esta estancia se tuvieron reuniones con
otros investigadores, como el Dr. Webb de la Universidad de Ryerson, y con funcionarios
responsables de programas sociales del gobierno de la Ciudad de Toronto y de la
medición de la satisfacción de sus usuarios. Durante esta estancia de investigación se
conoció otras metodologías para el análisis de la satisfacción de los usuarios, se
identificó las posibles causas de la débil relación de las expectativas y las quejas con la
satisfacción, también se resaltó la capacidad de la metodología de captar la opinión de los
usuarios y los pasos siguientes para que los hallazgos de esta investigación se trasformen
en mejoras en los programas sociales en beneficio de los usuarios, y se encontraron
posibilidades de trabajo conjunto en el futuro (Anexo Estancia Académica 1a, 1b y 1c).
2. IMPACTO DE LA INVESTIGACIÓN EN LOS SECTORES USUARIOS
De acuerdo a las instrucciones recibidas por el Mtro. Adán Silverio Murillo, quien tiene la
responsabilidad de coordinar la relación entre la Dirección General de Evaluación y
Monitoreo de los Programas Sociales de Sedesol (DEGMPS-Sedesol) y el equipo de
investigación del IMSU, se me informó, como Responsable Técnica del Proyecto, que los
reportes finales del mismo se deberían entregar a la Secretaría Técnica del Fondo
Sedesol-Conacyt, cuyos responsables después de realizar el proceso de dictaminación,
los turnarán a la DGEMPS-Sedesol. Por ello, parte de esta sección podrá ser contestada
cuando los reportes finales lleguen a la DEGMPS-Sedesol y a través de ellos a los
responsables de los programas sociales evaluados.
2.1 Productos de la investigación transferidos a los usuarios
Una metodología propia y reproducible adecuada para el establecimiento del Índice
Mexicano de Satisfacción de los Usuarios de los Programas Sociales de Sedesol.
7 Estudios de caso sobre la evaluación de la satisfacción de los usuarios de programas
sociales, así como de sus causas y efectos. En cada estudio de caso, se identifican áreas
de oportunidad sobre la operación del programa para mejorar la percepción de calidad, la
satisfacción y la confianza del usuario del programa social en cuestión.
2.2 Mecanismos de transferencia utilizados
El mecanismo para la transferencia de los resultados es a través de reportes de
investigación, lo cual concuerda con el Oficio de Conacyt #1.
Se entregó en febrero de 2010, el “Reporte de avances correspondientes a la primera
etapa: principales indicadores nacionales sobre la satisfacción de usuarios, propuesta
metodológica para el IMSU-PPS, diseño de la prueba piloto y los hallazgos de la prueba
piloto”.
Como parte de la entrega de los resultados finales, se envían con este Informe Final: 7
reportes, cada uno correspondiente a un estudio de caso; y el reporte de la metodología
diseñada y puesta a prueba.
2.3 Beneficio potencial del proyecto
Los resultados de esta investigación proporcionan información sobre las áreas de
oportunidad para mejorar la operación de los programas sociales evaluados desde la
perspectiva de sus usuarios, dicha información apoyará a los funcionarios responsables
de los programas sociales en la focalización de la atención de sus colaboradores, así
como de los recursos financieros disponibles.
La capacidad del indicador desarrollado para comparar los resultados de la satisfacción
del usuario de un programa social a través del tiempo permitirá verificar si los cambios
realizados por los funcionarios responsables del programa social en cuestión tuvieron los
resultados deseados. Lo que proporciona una vía para la gestión de la mejora continua de
los programas sociales.
El indicador permite realizar comparaciones entre programas sociales, información que
puede ser utilizada por los tomadores de decisiones para la solicitud financiamiento a
organismos internacionales, la distribución de presupuesto y la identificación de las
mejores prácticas en los programas sociales desde la perspectiva de sus usuarios para
ser difundidas entre los responsables de otros programas sociales.
2.4 Compromisos asumidos por los usuarios
Como se mencionó anteriormente, esta sección podrá ser contestada posteriormente.
2.5 Observaciones a la evaluación de los usuarios
Como se mencionó anteriormente, esta sección podrá ser contestada posteriormente.
3. APLICACIÓN DE LOS RECURSOS FINANCIEROS
3.1 Resumen financiero
A continuación se explican los principales gastos en relación con lo aprobado. El detalle
del informe financiero será enviado por la Dirección de Finanzas de la Universidad
Iberoamericana-Cd. de México.
Subcuenta 320, Trabajo de Campo: se tuvo un ahorro de alrededor de seiscientos mil
pesos, cabe mencionar que tanto para la prueba piloto, como para el levantamiento
nacional, se firmó un contrato entre la Universidad Iberoamericana-Cd. de México y la
encuestadora.
Subcuenta 305, Apoyo para Formación de Recursos Humanos: se aprobó el traspaso de
$85,710 en el Anexo Oficio Conacyt #2 como respuesta a el Anexo Solicitud a Conacyt #2
y de $5,000 al responsable administrativo, con el objeto de cubrir un mayor número de
becas, lo significó una diferencia de $89,923.20.
Debido a que las Subcuentas 336, 328 y 327, Viáticos, Pasajes y Otros para Pago de
Inscripción a Congresos, se utilizan de manera conjunta para el pago de congresos y
estancias, se comenta su estatus final de manera global. Considerando el traspaso a la
subcuenta de de $41,223 aprobado en el Anexo Oficio Conacyt #3 como respuesta al
Anexo Solicitud #3, se tuvo una diferencia positiva en el acumulado de estas subcuentas
de alrededor de $44,084.21pesos.
Subcuenta 321, Honorarios por Servicios Profesionales: no se realizaron traspasos y se
tuvo un remanente positivo de alrededor de treinta mil pesos.
Subcuenta 401, Equipo de Cómputo: A través del Anexo Oficio de Conacyt #2 como
respuesta al Anexo Solicitud #2, se obtuvo la aprobación para traspasar a esta cuenta
$275,762 pesos, considerando esta aprobación, se tuvo un saldo positivo de $90,615.20
pesos.
Subcuenta 301, Acervos Bibliográficos: se obtuvo la aprobación del Responsable
Administrativo para comprar libros por un monto de $19,490.26, lo que rebasó en
$7,990.26 pesos el presupuesto aprobado inicialmente para esta subcuenta.
Subcuenta 329, Publicaciones: se solicitó aprobación al Responsable Administrativo para
realizar un gasto por corrección de estilo de publicaciones que rebasara lo presupuestado
por $7,000 pesos.
Subcuenta 327, Otros: se tuvo un saldo positivo de $14,170, debido a que el costo de la
encuestadora incluyó el gasto correspondiente a impresión de cuestionarios.
En total, se ejerció el 91.9% del presupuesto y se tuvo un remanente de $381,833.14,
monto que será regresado a Conacyt.
3.2 Resumen de las aportaciones complementarias
No se tuvieron aportaciones complementarias en este proyecto de investigación.
4. RECOMENDACIONES
4.1 Para la implantación de acciones derivadas de la investigación
Se recomienda que se tomen en cuenta las áreas de oportunidad de mejora identificadas
para cada estudio con el objeto de establecer acciones en beneficio de los usuarios.
4.2 Para la difusión de los resultados
La Universidad Iberoamericana-Cd. de México tiene planeado realizar un evento a nivel
nacional para premiar a los dos programas sociales que obtuvieron la más alta calificación
por parte de sus usuarios con el Premio IMSU, la fecha que se tiene programada para
dicho evento es el 9 de noviembre del año en curso. La Universidad Iberoamericana-Cd.
de México cubrirá los gastos correspondientes.