Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios 9.6 ANÁLISIS DE LA CONSISTENCIA INTERNA DE LAS REGLAS DE OPERACIÓN Introducción La Constitución Política de los Estados Unidos Mexicanos en su artículo 3º, la Ley General de Educación y el Programa Nacional de Educación 2001-2006, establecen la obligatoriedad del Estado de proporcionar educación básica a la población y consagran a la misma como un derecho y una obligación para todos los mexicanos, como condición indispensable para contribuir a elevar sus niveles de bienestar y de calidad de vida. Para lograr cumplir con este objetivo es necesario que tanto la calidad de la educación como las condiciones socioeconómicas de los niños que asisten a los niveles inicial, preescolar, primaria y secundaria sean similares, con el fin de que cada niño tenga las mismas posibilidades para mejorar su calidad de vida. Considerando que en nuestro país existen grandes desigualdades sociales y económicas, que disminuyen las posibilidades de acceso a una educación con calidad para una gran cantidad de mexicanos, es necesario dirigir recursos adicionales para aquellas escuelas en mayor desventaja educativa, por lo cual el Consejo Nacional de Fomento Educativo (CONAFE) desarrolla sus actividades en función de dos vertientes: la Educación Comunitaria que se dedica a proporcionar y apoyar la educación básica para la población infantil de las comunidades rurales y urbanas marginales en desventaja, y los Programas Compensatorios, que se dedican a abatir el rezago de la educación básica en las escuelas rurales e indígenas del sistema regular. Estos programas al utilizar como estrategia principal la distribución de recursos financieros federales, están obligados a publicar las reglas de operación que los regirán1. En este sentido las reglas de operación buscan asegurar que la asignación de los recursos financieros se lleve a cabo bajo normas que eviten la discrecionalidad y uso indebido de éstos, estableciendo claramente el grupo objetivo, la población beneficiaria, los criterios de selección, los mecanismos de operación y ejecución, los procesos de asignación de recursos y los mecanismos de evaluación (tanto internos como externos) de los programas. Objetivo del documento El objetivo del presente documento es evaluar la consistencia interna de las reglas de operación de los Programas del CONAFE, con el fin de detectar las posibles debilidades y/o contradicciones de las mismas, y hacer un instrumento eficaz y ágil para cualquier tipo de lector. Generalidades En los 31 años de existencia del CONAFE, éste ha tenido una relevancia muy significativa en la política educativa del país, ya que a través de sus programas ha 1 Artículo 63, del Presupuesto de Egresos de la Federación (capítulo VIII). 2 Universidad Veracruzana; Dirección de Vinculación General Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios contribuido con el compromiso de cubrir los servicios de educación básica para coadyuvar en los problemas de rezago, puesto que al asegurar el acceso de la población a las escuelas que ofrecen servicios con niveles altamente contrastantes de calidad, se contribuye a disminuir las desigualdades sociales. Durante el análisis de las reglas de operación no se encontró una relación directa entre los objetivos generales y específicos de los programas. Esto a su vez impide encontrar una relación directa entre las estrategias y acciones de cada programa, así como en los indicadores establecidos para su monitoreo y evaluación. Otra deficiencia es que no hay una distinción clara entre objetivos generales, objetivos específicos, impactos esperados y metas2, lo que hace imposible evaluar la pertinencia de los indicadores consignados. La lectura de las reglas de operación se ve dificultada por una numeración irregular de sus elementos, la repetición, y la falta de un orden secuencial de muchos de los procesos operativos que se describen en el índice, pero no en el texto de las mismas. Este desorden se ve acrecentado por la mezcla de descripciones, objetivos de las acciones y normas de operación que dificultan no sólo su lectura sino su interpretación, lo que seguramente ha producido efectos nocivos (conflictos, interpretación errónea, constantes aclaraciones, correcciones, etc.) durante la ejecución de los programas y en la coordinación de las diferentes partes involucradas. Vertiente Educación Comunitaria OBJETIVOS El Programa de Educación Comunitaria se encuentra en una situación vulnerable, ya que tiene tres objetivos generales, sumamente ambiciosos y que podrían rebasar las propias posibilidades operativas del CONAFE. Esta situación se agrava por los objetivos específicos estipulados, los cuales no están correctamente relacionados con los objetivos generales propuestos. COBERTURA La determinación de la cobertura del programa es demasiado detallada, invadiendo elementos que deberán ser contemplados en la sección 4.4.1.1 Elegibilidad (Requisitos y restricciones). 2 En las reglas de operación no se especifican metas. Estas últimas fueron publicadas en el Diario Oficial de la Federación el 6 de marzo del 2002. 3 Universidad Veracruzana; Dirección de Vinculación General Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios POBLACIÓN OBJETIVO La población objetivo se define de manera clara, a su vez las modalidades de atención de la educación comunitaria en cada uno de sus niveles, se describen en la sección 6.3 Ejecución. TIPO DE APOYOS En esta sección se identifican los tipos de apoyo y los montos de los mismos, su lectura es comprensible, sin embargo, la descripción de sus elementos no es homogénea. BENEFICIARIOS (ELEGIBILIDAD Y TRANSPARENCIA) Esta sección no es desarrollada adecuadamente en las reglas de operación, ya que si bien se distinguen de manera clara cuáles son los requisitos y restricciones para elegir a las figuras docentes y las localidades, no se especifican los métodos y procesos que se deberán seguir para la selección de los beneficiarios. Esto va en detrimento de la transparencia del programa, ya que se deja en total incertidumbre a los postulantes y se abre toda posibilidad para la discrecionalidad y la corrupción. En lo relacionado con el método de postulación de las comunidades, se establece que su mecanismo principal es a través de la solicitud expresa de las comunidades, otros entes gubernamentales, de los instructores comunitarios o de las visitas de campo que tienen por objetivo detectar las localidades que requieren los servicios. Este mecanismo corre el riesgo de generar inequidades en el programa, ya que pueden existir comunidades con la necesidad de este tipo de servicios más pueden no solicitarlos por desconocimiento, o su solicitud puede ser bloqueada por interferencia de intereses políticos. En cuanto a la transparencia para la selección de beneficiarios, no se señalan cuáles serán los métodos o procedimientos que lo harán transparente. LINEAMIENTOS ESPECÍFICOS En esta sección no se identifica claramente quiénes son las entidades ejecutoras y normativas del programa. Esto puede generar conflicto en la coordinación y operación del mismo, ya que cada una de las partes puede tratar de apropiarse o deslindarse de derechos u obligaciones que les corresponden. MECÁNICA DE OPERACIÓN En esta sección se presenta una estructura difusa ya que la parte introductoria son actividades relacionadas con la ejecución, por lo cual deberían encontrarse en la sección 6.3 Ejecución . Esto mismo hace que en dicha sección no se distingan claramente los diversos procesos que articulan la ejecución del programa, a saber 1) los procesos de selección y capacitación de las figuras docentes, 2) los procesos eminentemente educativos; y 3) los procesos administrativos o de apoyo. 4 Universidad Veracruzana; Dirección de Vinculación General Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios Por otro lado, tampoco se especifican cuales serán los mecanismo de difusión y promoción del programa, si bien existen ciertas referencias en los elementos descritos en la sección 6.3 Ejecución, éstas son difusas y poco informativas. Otra deficiencia de esta sección es que no explica las razones de que las escuelas primarias comunitarias su proceso de enseñanza-aprendizaje en tres niveles y no en los seis grados como en las escuelas primarias generales. Esta omisión tiene graves repercusiones para la interpretación de los indicadores como se verá más adelante. EVALUACIÓN En la evaluación interna encontramos que los indicadores no están adecuadamente explicados, carecen de unidad de medida y de especificación del tipo de indicador. Esto es especialmente evidente en los indicadores de aprobación (esperada y no esperada), los cuales además de los defectos anteriores, presentan fórmulas iguales para diferentes índices de resultado (número de alumnos con dos ciclos o más en el nivel n que obtienen calificaciones aprobatorias en el examen final / número total de alumnos con un ciclo en el nivel n X 100). Además de esta deficiencia de diseño, la carencia de objetivos claros impiden comprender la utilidad de los indicadores propuestos, los cuales de una u otra forma miden principalmente los índices de permanencia, en lugar de la eficiencia y los impactos reales del programa. En el caso de los indicadores programáticos presupuestales la denominación del indicador es errónea y no se especifica la unidad de medida (por ejemplo, en el caso del indicador de eficiencia en el ejercicio del presupuesto, se trata en realidad de un indicador de la Eficacia presupuestal). En cuanto a la sección de indicadores de resultados, no se determinaron indicadores de evaluación educativa, ni aquellos que permitan evaluar a las figuras docentes. Programas de Fomento Educativo Estos programas se instrumentan, a través de dos proyectos el Financiamiento Educativo Rural (FIDUCAR) y el Sistema de Estudios a Docentes (SED). Podemos afirmar, en general, que las reglas de operación de estos proyectos son claras, precisas y concisas, aunque existen tres observaciones importantes. LINEAMIENTOS ESPECÍFICOS No se especifican quienes serán las instancias ejecutoras y normativas de ambos proyectos. Lo que deja en un estado de total incertidumbre a la instrumentación del programa. 5 Universidad Veracruzana; Dirección de Vinculación General Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios MECÁNICA DE OPERACIÓN En esta sección no se establecen los mecanismos mediante los cuales se llevarán a cabo las acciones de difusión y promoción de los proyectos, lo cual va en detrimento de la transparencia del mismo ya que limita el acceso a los apoyos que otorga. EVALUACIÓN Los indicadores no presentan claros sus objetivos, carecen de elementos para obtener adecuadamente los índices, así como no se precisa la unidad de medida, respectiva. Vertiente Programas Compensatorios OBJETIVOS El objetivo general del programa es proveer de los recursos materiales a las escuelas y alumnos localizados en las zonas de más alto rezago social y educativo. Esto lleva el supuesto implícito que si se realiza la consecución de este objetivo, se coadyuvará a que tanto los alumnos como los maestros permanezcan en el sistema educativo, mejoren su desempeño académico y desarrollen las capacidades necesarias para mejorar su bienestar, lo cual va más allá de la intención para el que fue creado. Si consideramos este objetivo como el adecuado, encontramos que los objetivos específicos no son aplicables, ya que éstos se convierten en los efectos que se desean obtener con la implementación del programa. COBERTURA En esta sección encontramos que la cobertura está bien definida en un inicio, sin embargo la descripción de las características que deberán tener las escuelas que serán apoyadas por el programa, son elementos que corresponden a la sección 4.4.1.1 Elegibilidad (Requisitos y restricciones), la cual no está desarrollada, en el texto. Asimismo, cabe resaltar que en un principio se habla de que los niveles educativos que abarcará el programa son educación inicial no escolarizada, preescolar, primaria y secundaria. Sin embargo, a lo largo de las reglas de operación algunas veces únicamente se mencionan las telesecundarias y otras se incluyen a las secundarias generales, lo que hace incierto a qué modalidad de la educación secundaria realmente se destinarán los apoyos. POBLACIÓN OBJETIVO Generalmente se entiende el término como el conjunto de personas, comunidades u organizaciones sobre quienes se espera que el programa tenga algún efecto. En este sentido la población objetivo se encuentra bien definida y es satisfactoria para las reglas de operación. 6 Universidad Veracruzana; Dirección de Vinculación General Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios TIPOS DE APOYOS En esta sección si bien se mencionan los tipos de apoyo y los montos de los mismos, su lectura se hace confusa debido a que en algunas secciones detalla elementos que no deberían describirse. Por ejemplo, se describen los requisitos que tienen que cubrir las diferentes figuras docentes para obtener el apoyo, además de que se precisan las partidas presupuestales de donde se obtendrán los recursos, lo cual es innecesario. Por otro lado, la clasificación de los apoyos se vuelve confusa, ya que cada subcomponente está estructurado de diferente forma; esto es especialmente evidente en lo que se refiere al subcomponente de Fortalecimiento de la Capacidad de Gestión a Nivel Federal y Estatal, en donde no se diferencia qué corresponderá a cada orden de gobierno. Otro problema detectado con los tipos de apoyo es que éstos no se pueden relacionar claramente con los objetivos establecidos. BENEFICIARIOS Generalmente se entiende por éste concepto a los grupos para quienes los efectos de los programas son benéficos o valiosos. Cabe mencionar que los beneficiarios no son necesariamente los mismos que la población objetivo. En este caso los beneficiarios si coinciden con el grupo objetivo, sin embargo no se encuentran especificados cuáles serán los requisitos de elegibilidad de los mismos, ya que estos se precisaron en la sección 4.1 Cobertura. En cuanto a los métodos y procesos de selección (transparencia) estos sólo están especificados para la selección de escuelas, más no para las figuras docentes y localidades. En cuanto al método estadístico de selección para las escuelas, este no se encuentra bien presentado ya que resulta confuso e ininteligible durante su lectura. Es necesario tener bien identificadas cuáles y qué tipos de escuelas son susceptibles para la aplicación de dicha metodología. DERECHOS Y OBLIGACIONES Las reglas establecen claramente que se suscribirán convenios de coordinación entre la SEP-CONAFE-Gobiernos Estatales para las acciones compensatorias, con los destinatarios y las figuras operativas. Sin embargo, es recomendable precisar los derechos y obligaciones generales de cada uno de los subcomponentes operativos del programa. LINEAMIENTOS ESPECÍFICOS Esta sección sí especifica claramente las líneas de coordinación entre las instancias ejecutoras y normativas de la acción compensatoria. MECÁNICA DE OPERACIÓN En esta sección no se establecen los mecanismos mediante los cuales se llevarán a cabo las acciones de difusión y promoción del programa. En caso de no existir 7 Universidad Veracruzana; Dirección de Vinculación General Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios acciones de difusión y promoción porque la decisión se toma de manera central, debería señalarse. En cuanto al subcomponente de las Redes Estatales de Asesoría para la Calidad en la Educación Primaria, éste trasciende las funciones del CONAFE, ya que no está facultado para proporcionar asesoría pedagógica, pues ésta facultad corresponde a la Subsecretaría de Educación Básica y Normal de la SEP. Situación que puede implicar una duplicación de funciones, con el subsecuente derroche de recursos del sector educativo. Adicionalmente, la operación de las redes no es comprensible, ya que no precisa claramente las funciones de cada uno de los agentes educativos de la cadena operativa, ni los procesos de coordinación mediante los cuales se otorgará la asesoría pedagógica. Otro apartado que se encuentra inmerso en los proyectos de coordinación sectorial, es el “Fondo de Innovación en la Educación Básica”, donde su operación y normatividad son confusas. EVALUACIÓN En esta sección las principales deficiencias se encuentran en los indicadores establecidos, ya que todos carecen del objetivo que se persigue con el mismo. Se entiende que los indicadores para evaluar los programas compensatorios son los indicadores considerados por la SEP, en el sentido de que el programa busca que la población de 0-14 años, permanezca y concluya exitosamente la educación básica, sin embargo, estos indicadores no señalan sus unidades de medida. Los fórmulas de los indicadores presupuestales son erróneas, ya que no se menciona su denominación, qué queremos medir con ellos y no presentan su unidad de medida. Considerando que los indicadores de cobertura son aquellos que miden el alcance de beneficios a la población objetivo en su dimensión real, se puede decir que éstos están bien definidos, sin embargo, las fórmulas son erróneas y carecen de unidad de medida, así como se omite su utilidad y forma de interpretación para el monitoreo y evaluación del programa. Por otro lado, el proyecto Fondo de Innovación no presenta indicadores de ningún tipo, lo cual representa una deficiencia para su evaluación. 8 Universidad Veracruzana; Dirección de Vinculación General Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios Recomendaciones Generales 1. Se recomienda ampliar el marco de referencia nacional de las reglas de operación, para que el lector tenga un panorama genérico de las principales políticas educativas en México (Plan Nacional, Programa Nacional, Programa de mediano plazo, Proyecto, etc.). Asimismo, para introducirse un poco más en el quehacer del Consejo como un organismo descentralizado, se recomienda mencionar su ámbito, desde el punto de vista de la Administración Pública Federal: Organismos descentralizados. Son entes jurídicos creados por ley o decreto emitido por el congreso de la Unión o por el ejecutivo federal, con personalidad jurídica y patrimonios propios, cualquiera que sea la forma o estructura legal que adopten.3 Estos organismos tienen por objeto realizar actividades estratégicas para la vida nacional, proporcionar un servicio público, o aplicar recursos para fines de asistencia o seguridad social. El patrimonio de estos organismos debe ser constituido total o parcialmente con fondos o bienes federales, de otros organismos descentralizados, asignaciones, subsidios, concesiones o derechos, que aporte u otorgue el gobierno federal o con el rendimiento de un impuesto específico. 2. Resulta indispensable la definición del objetivo general y específicos de los programas en congruencia con las atribuciones conferidas al CONAFE y a su misión. 3. Es menester que las reglas de operación guarden congruencia de inicio a fin definiendo claramente cada sección; evitar repetir textos iguales en varias secciones. En el caso de que unas secciones no apliquen a los programas mencionar la razón por la cuál no aplica. Se recomienda homogeneizar los conceptos básicos en todo el documento, ya que se detectaron inconsistencias de interpretación, principalmente entre la evaluación de desempeño y evaluación de impacto. Son dos conceptos totalmente diferentes y el CONAFE tiene que describir claramente su ámbito de interpretación. 4. Debido a que las reglas de operación son de acceso general al público, es conveniente describir de forma sencilla, con criterios claros, bien definidos y la metodología de focalización de la vertiente de los Programas Compensatorios. 3 Ley Orgánica de la Administración Pública Federal. Artículo 45. 9 Universidad Veracruzana; Dirección de Vinculación General Evaluación de los Programas del CONAFE; Educación Comunitaria y Programas Compensatorios 5. En el contexto de la Administración Pública Federal, los indicadores son los parámetros utilizados para medir los logros de los objetivos de los programas gubernamentales o actividades institucionales a través de las cuales las dependencias y entidades dan cumplimiento a su misión. Asimismo, permiten: 1) analizar el desempeño de las dependencias y entidades, vinculándolo con el cumplimiento de sus objetivos, 2) evaluar sistemáticamente el costo de los servicios públicos y de la producción de bienes, así como su calidad, su pertinencia y su impacto social, y 3) verificar que los recursos públicos se utilicen con honestidad, eficacia y eficiencia. Considerando lo anterior, resulta indispensable definir indicadores claros y acordes con los objetivos general y específicos de los Programas del CONAFE, que reflejen el desempeño e impacto de los programas y en consecuencia fortalezcan la toma de decisiones para mejorar la operación, la calidad de los servicios y verificar la eficacia programático-presupuestal (metas-recursos) y con ello conocer la eficiencia de la ejecución de los programas. 6. Si bien el artículo 64 del Presupuesto de Egresos de la Federación manifiesta que el CONAFE, entre otras dependencias, deberán publicar en el Diario Oficial de la Federación durante el primer bimestre del ejercicio fiscal, el monto asignado y la distribución de la población objetivo, sería conveniente que en las reglas de operación se hiciera mención de que esta información ya fue publicada. 10 Universidad Veracruzana; Dirección de Vinculación General