2005_047info.pdf

INFORME DE AUDITORÍA DE GESTIÓN
DIRECCIÓN NACIONAL DE INFORMACIÓN
Y EVALUACIÓN DE LA CALIDAD
EDUCATIVA
MINISTERIO DE EDUCACIÓN, CIENCIA Y
TECNOLOGÍA
- EJERCICIO 2.003 -
INFORME DE AUDITORÍA
AL SEÑOR MINISTRO DE
EDUCACIÓN, CIENCIA Y TECNOLOGÍA
Lic. Daniel FILMUS
En virtud de las funciones conferidas por el artículo 85 de la Constitución Nacional y
en uso de las facultades establecidas por el artículo 118 de la Ley 24.156 la AUDITORÍA
GENERAL DE LA NACIÓN procedió a efectuar un examen en el ámbito de la
DIRECCIÓN NACIONAL DE INFORMACIÓN Y EVALUACIÓN DE LA CALIDAD
EDUCATIVA del MINISTERIO DE EDUCACIÓN, CIENCIA Y TECNOLOGÍA,
(MECyT) con el objeto que se detalla en el apartado 1.
1.
OBJETO DE LA AUDITORÍA
El Programa 32 de Información y Evaluación de la Calidad Educativa, cuya Unidad
Ejecutora es la Dirección Nacional de Información y Evaluación de la Calidad Educativa
del MECyT, a efectos de evaluar la gestión del año 2.003.
2.
ALCANCE DEL EXAMEN
El trabajo fue realizado de conformidad con las normas de auditoría externa de la
AUDITORÍA GENERAL DE LA NACIÓN, dictadas en virtud de las facultades
conferidas por el artículo 119, inciso d) de la Ley 24.156.
Debido a la carencia de información que se expone en el punto 4. COMENTARIOS
Y OBSERVACIONES, la metodología aplicada para la recolección de la información se
basó principalmente en entrevistas con los responsables de las distintas áreas del
Organismo, y en el análisis de la legislación vigente, de los objetivos y metas establecidas, y
de la información generada por las áreas operativas.
Cabe aclarar que durante el período objeto de examen se produjeron cambios en la
conducción de la Dirección Nacional de Información y Evaluación de la Calidad Educativa
(DiNIECE). La conducción actual asumió en julio de 2.003, lo que produjo ciertas
demoras en las tareas programadas.
Las tareas propias del objeto de examen han sido desarrolladas entre el 22 de marzo
y el 16 de julio de 2.004.
1
Oportunamente, se ha puesto en conocimiento del organismo auditado el resultado
del examen efectuado a fin de que produzca los comentarios y aclaraciones que considere
pertinentes. En dicha instancia, el responsable manifestó una serie de comentarios sobre el
proyecto de informe, que fueron tenidos en cuenta al momento de la redacción final del
mismo.
3. ACLARACIONES PREVIAS
3.1. Situación de la Educación en el país
El sistema educativo argentino ha atravesado un proceso de descentralización de su
gestión dejando atrás el sistema de gestión centralizada. Este proceso de transformación se
inició con la transferencia de los servicios educativos a las provincias en el año 1.992; la
promulgación de la Ley Federal de Educación en el año 1.993 (N° 24.195) y de la Ley de
Educación Superior en el año 1.995 (N° 24.521).
Los objetivos centrales de esta transformación giraron en torno a impulsar un sistema
educativo de mayor calidad y equidad, a través de la inserción de los sectores más
desfavorecidos, por lo que, una de las principales modificaciones devino de la Ley Federal
de Educación que amplía la educación obligatoria a 10 años. Es decir que, actualmente, la
obligatoriedad se extiende al nivel de enseñanza básica completo cuando, anteriormente,
afectaba sólo al nivel primario.
Establecimientos educativos por sector de gestión en todo el país
Sector de gestión
1
División Político – territorial
Total
Estatal
Privado
41.095
32.043
9.052
Total país
Establecimientos por tipo de educación en todo el país
Tipo de educación
1
División Político - territorial
Total
Común
Adultos
Especial
42.251
36.075
4.678
1.319
Total país
Artística
179
Alumnos por tipo de educación en todo el país.
Tipo de educación
División Político - territorial
Total
Común Adultos Especial Artística
10.681.612 9.964.095 610.091
76.649
30.777
Total país
Fuente: DiNIECE - Relevamiento Anual 2.002.
1
La diferencia entre los totales radica en que un mismo establecimiento por sector de gestión puede ofrecer
más de un tipo de educación.
2
3.2. Ley Federal de Educación
La ley 24.195 determina el marco normativo en cuanto a la educación, regulando el
derecho a enseñar y aprender en todo el país, estableciendo principios, objetivos, e
instituyendo normas para la organización y unidad del Sistema Nacional de Educación.
Corresponde a la Jurisdicción Nacional, la responsabilidad principal e indelegable de
controlar la política educativa y fijar los principales lineamientos de la misma.
El sistema educativo está integrado por los servicios educativos en Jurisdicción
Nacional, Provincial y Ciudad Autónoma de Buenos Aires, que incluye los de las entidades
de gestión privada reconocidas, siendo el gobierno y administración del mencionado
sistema una responsabilidad concurrente y concertada del Poder Ejecutivo Nacional (PEN)
y de los Poderes Ejecutivos de todas las Jurisdicciones.
3.2.1. Estructura del Sistema Nacional de Educación
La ley establece la estructura y fija los objetivos del Sistema Nacional de Educación
que será implementado en forma gradual y progresiva y que estará integrado por: a)
Educación Inicial (de 3 a 5 años, siendo el último año obligatorio), b) Educación General
Básica (obligatoria de 9 años de duración) la cual se organiza en ciclos, c) Educación
Polimodal (3 años de duración, como mínimo), d) Educación Superior, profesional y
académica de grado (duración determinada por las Instituciones Universitarias y no
Universitarias) y e) Educación Cuaternaria.
La implementación de la mencionada estructura no se ha concluido. No se ha
implementado en Neuquén y sólo parcialmente en la Ciudad Autónoma de Buenos Aires y
en Córdoba. Dichas diferencias encuentran su justificación en distintas variables, como por
ejemplo: problemas estructurales (infraestructura escolar), decisión política explícita, etc.
Por lo tanto coexisten, a diez años de sancionada la ley, estructuras distintas del
sistema educativo a nivel nacional, no habiendo a la fecha de cierre de las tareas de campo
del presente informe un diagnóstico que permita determinar las ventajas o desventajas
educativas de una estructura sobre otra. Cabe consignar que la jurisdicción mejor
posicionada en cuanto a rendimiento académico (Ciudad Autónoma de Buenos Aires) no
ha aplicado en gran parte las reformas estructurales que la ley prescribe. Sin embargo esta
situación podría explicarse -entre otras causas- por la relación existente entre el
rendimiento académico y el nivel socioeconómico de los alumnos o entre el primero y el
capital físico, humano y social de las escuelas.2
2
Conf. “La inequidad estructural en la educación primaria en la Argentina” Lic. J.J. Llach y Lic. F.J.
Schumacher, del Seminario ¿“Escuelas pobres para los pobres?”
3
3.2.2. Consejo Federal de Cultura y Educación
De acuerdo a lo establecido en el artículo 54, el Consejo Federal de Cultura y
Educación es el ámbito de coordinación y concertación del Sistema Nacional de
Educación, teniendo como misión la unificación de criterios entre las Jurisdicciones,
cooperar en la consolidación de la identidad nacional y en que a todos los habitantes del
país se les garantice el derecho de enseñar y aprender en forma igualitaria y equitativa.
Se encuentra compuesto por un órgano superior denominado Asamblea Federal,
integrado por el Ministro del área del PEN como Presidente y por los Ministros o
responsables del Área educativa de las Jurisdicciones y un representante del Consejo
Interuniversitario Nacional; un Comité Ejecutivo y una Secretaría General.
3.2.3. Calidad y Evaluación de la Educación
En lo referente a la calidad de la educación y su evaluación, corresponde a las
máximas autoridades educativas de las distintas Jurisdicciones el deber de garantizar la
calidad de la formación impartida en los distintos ciclos, niveles y regímenes especiales,
mediante la evaluación permanente del sistema educativo controlando su adecuación a la
ley, a las necesidades de la comunidad, a la política educativa de cada Jurisdicción y a las
concertadas dentro del Consejo Federal. A estos efectos, se deberá convocar junto con el
Consejo Federal de Cultura y Educación a especialistas con reconocida idoneidad e
independencia de criterios para desarrollar las investigaciones pertinentes.
Dicha evaluación verificará la adecuación de los contenidos curriculares de los
distintos ciclos, niveles y regímenes especiales a las necesidades sociales y a los
requerimientos educativos de la comunidad, así como el nivel de aprendizaje de los
alumnos y la calidad de la formación docente.
Al MECyT se le asignan por ley entre otras funciones las de evaluar el sistema
educativo en todas las jurisdicciones, niveles, ciclos y regímenes especiales a partir del
diseño de un sistema de evaluación y control periódico de la calidad, concertado en el
ámbito del Consejo Federal.
3.3. Objetivos y funciones de la DiNIECE
La Dirección Nacional de Información y Evaluación de la Calidad Educativa
(DiNIECE) es la unidad responsable - dentro del MECyT - de llevar adelante las acciones
de evaluación del Sistema Nacional de Educación, desarrollo y sustentabilidad del Sistema
Federal de Información Educativa y del diseño y desarrollo de investigaciones vinculadas
con la formulación de políticas educativas.
4
El objetivo de dicha Dirección es el de impulsar y fortalecer un Sistema Federal de
Información que articule los componentes de información, evaluación e investigación
educativa orientado hacia la construcción de un sistema educativo de calidad donde se
conjuguen equidad y alto nivel académico.
Las acciones llevadas a cabo por la DiNIECE están orientadas a monitorear los
diferentes ámbitos del Sistema Educativo en general y, en particular, el rendimiento escolar
de los alumnos para finalmente mejorar la calidad del sistema educativo.
Dentro de sus líneas de acción, la DiNIECE busca jerarquizar la relación con el
Consejo Federal de Educación y, de esta manera, generar pautas para la elaboración de
políticas educativas que tiendan a dar unidad al Sistema Educativo, respetando sus
características federales y las condiciones particulares de cada jurisdicción.
En el ámbito nacional, la Dirección lleva a cabo distintos tipos de relevamiento que
se realizan en forma continua, algunos de estos relevamientos son de carácter censal y otros
muestrales y de periodicidad anual o bianual.
3.4. Estructura orgánica de la DiNIECE
Por Decisión Administrativa N° 20 del 08/04/02 del Jefe de Gabinete de Ministros se
aprueba la estructura organizativa de primer y segundo nivel operativo del Ministerio de
Educación, Ciencia y Tecnología. De acuerdo a dicha normativa, la DiNIECE depende de
la Secretaría de Educación a través de la Subsecretaría de Equidad y Calidad.
Por medio de la Resolución N° 234 del 21/02/03 del MECyT se aprueban las
aperturas inferiores de Unidades Organizativas dependientes del Ministerio. De acuerdo a
lo establecido por dicha Resolución, de la DiNIECE dependen los Departamentos de
Evaluación de la Calidad Educativa y Red Federal de Información.
3.4.1. Departamento de Evaluación de la Calidad Educativa
El Departamento de Evaluación de la Calidad Educativa lleva adelante la
organización e implementación de un sistema nacional de evaluación que brinde
información válida y confiable sobre el rendimiento escolar, los docentes y los
establecimientos educativos.
Los datos utilizados surgen del Operativo Nacional de Evaluación (ONE) realizado
por la DiNIECE -a través del Departamento en cuestión- mediante la utilización de pruebas
estandarizadas y cuestionarios complementarios cuya elaboración se basa en las Tablas de
Especificaciones. Dichas Tablas son instrumentos elaborados a partir de un consenso
logrado en el Consejo Federal de Educación y cuyas fuentes son los Contenidos Básicos
Comunes, los diseños curriculares jurisdiccionales y la opinión de expertos que, una vez
5
analizados, permiten conocer logros y dificultades de los alumnos en el aprendizaje, así
como las condiciones bajo las cuales se desarrolla.
El objetivo principal del área es aportar información relevante que permita
fundamentar la toma de decisiones curriculares, de capacitación y mejoramiento de las
prácticas educativas, para contribuir a la construcción de un sistema educativo de calidad.
Éste debe ser llevado a cabo por medio de las siguientes acciones, definidas para el área en
la estructura aprobada por el Ministerio:
§ Identificar y seleccionar indicadores homogéneos para la medición de la calidad
educativa.
§ Establecer un sistema de evaluación que permita medir la calidad de la enseñanza
impartida por el Sistema Nacional de Educación en todas las jurisdicciones, ciclos,
niveles y regímenes.
§ Evaluar el funcionamiento del Sistema Nacional de Educación en todas las
jurisdicciones, ciclos, niveles y regímenes.
§ Evaluar la formulación de los programas nacionales, particularmente en cuanto a
objetivos, metas previstas y la coherencia entre éstas y el presupuesto comprometido en
los programas nacionales.
En cuanto al concepto de calidad utilizado para evaluar, se basa en un criterio que
consiste en la medición del porcentaje de respuestas correctas surgidas de las pruebas que
los alumnos realizan en el Operativo Nacional de Evaluación cuya finalidad es reflejar su
rendimiento académico.
3.4.2. Departamento Red Federal de Información
La Red Federal de Información Educativa está integrada por las unidades de
estadística educativa de las 23 Provincias y de la Ciudad Autónoma de Buenos Aires y
coordinada por el Departamento Red Federal de Información, cuyo objetivo consiste en la
producción y difusión de información educativa integrada, confiable y oportuna.
La producción de información se realiza mediante los Relevamientos Anuales de
Estadística Educativa (RA), con la finalidad de registrar datos acerca de la matrícula, los
establecimientos educativos y su personal3. También se realizan relevamientos especiales
en aquellos casos donde se requiere obtener datos sobre algún tema específico (Censo
Nacional de Infraestructura Escolar 1.998, Módulo de Educación en la Encuesta
Permanente de Hogares, etc.).
3
Los datos relacionados con personal corresponden a cargos docentes, módulos y horas cátedras.
6
3.4.3. Área de Investigación Educativa
De acuerdo a lo informado en el Anexo I a la Nota DINIECE Nº 7676/04, el área de
Investigación se propone generar investigaciones que permitan mejorar la calidad y eficacia
de las políticas educativas, así como lograr el fortalecimiento del Sistema Educativo.
En este sentido, realizan un relevamiento anual4 para sistematizar y difundir las
investigaciones educativas -en curso o finalizadas- que se realizan en el ámbito del
Ministerio Nacional, los Ministerios provinciales, las Universidades, Centros e Institutos de
Investigación en todo el país.
A través de este Relevamiento Nacional de Investigaciones Educativas, se propone:
sistematizar y difundir la producción científica sobre educación de todo el país, efectuar un
estado de situación de la investigación educativa en la Argentina para estimular la
producción de conocimiento en este campo y, por último, generar un espacio de
comunicación e intercambio entre investigadores y profesionales en educación, decisores
políticos y equipos de gestión educativa en sus distintos niveles.
Asimismo, desarrolla investigaciones que se realizan en el marco de convenios, de
asistencia a otras áreas de este Ministerio, o a temas que resultan relevantes para la
DiNIECE, así como también las referidas a la organización de Seminarios de investigación.
3.4.3.1.
Convenio MECyT - UNICEF
En el mes de agosto de 2.003 el Ministerio firmó un Convenio Marco de
Cooperación con el Fondo de las Naciones Unidas para la Infancia (UNICEF),
acordándose diversos objetivos que debían ser plasmados en Planes Operativos elaborados
conjuntamente entre UNICEF y los funcionarios competentes.
Dentro del marco del Convenio citado (artículo QUINTO) y en lo concerniente a la
DiNIECE, el 02/10/03 se suscribió un plan operativo con la finalidad de diseñar e
implementar un Sistema de Monitoreo y Alerta Temprana en treinta escuelas que atienden
población escolar en situación de pobreza de Nivel Inicial y EGB en cinco Provincias, tarea
que le fue asignada desde el momento de la firma al área de Investigación Educativa.
3.5. Respecto del personal
En el siguiente cuadro se expone la planta de personal permanente financiada para el
ejercicio 2.003 en el Programa 32 “Información y Evaluación de la Calidad Educativa”.
Actividad
4
Personal
%
A partir de junio 2003, con la nueva conducción, se ha establecido que la periodicidad sea cada dos años.
7
01 – Dirección y Coordinación
02 – Información Educativa
03 – Evaluación Educativa
Total
5
24
14
11,63
55,81
32,56
43
100,00
Fuente: Ley de Presupuesto – Año 2.003
A continuación se detallan los cargos efectivamente ocupados, incluyendo planta de
personal permanente y contratados correspondientes al ejercicio 2.003 en el Programa 32
“Información y Evaluación de la Calidad Educativa”.
Area
Dirección
Información
Evaluación
Investigación
Personal
Biblioteca y Archivo
Diseño
Informática
Administrativa
Total
Personal
Permanente
1
21
12
6
2
2
2
7
4
(1) 57
%
PP
1,75
36,84
21,05
10,53
3,51
3,51
3,51
12,28
7,02
100,00
Personal
Contratado
7
20
23
5
2
4
61
%
Total
PC
11,47
8
32,79 41
37,70 35
8,20 11
2
2
3,28
4
7
6,56
8
100,00 118
%
Total
6,78
34,74
29,66
9,32
1,70
1,70
3,39
5,93
6,78
100,00
Fuente: Área de Personal – DiNIECE – Al 31/12/03
Ref.:
(1) Por Nota DINIECE Nº 7673/04, la Dirección informa que la inadecuación de la estructura de personal permanente
está siendo analizada en el área de Presupuesto y en Recursos Humanos.
3.6. Aspectos Presupuestarios
A continuación se expone la apertura por Incisos del Programa 32:
N°
Incisos
Denominación
1
2
3
4
5
Gastos en Personal
Bienes de Consumo
Servicios No Personales
Bienes de Uso
Transferencias
TOTAL
Crédito
Inicial $
Crédito
Vigente $
Devengado
$
Part. %
s/Devengado
%
Dev./Cred.Vig
1.819.295
31.968
1.590.975
397.163
2.147.850
1.819.295
19.968
2.405.837
197.163
2.147.850
1.813.227
19.948
1.074.292
703
2.000.587
36,94
0,41
21,89
0,01
40,75
99,67
99,90
44,65
0,36
93,14
5.987.251
6.590.113
4.908.757
100,00
74,49
Fuente: Área de Contabilidad – DiNIECE – Al 31/12/03
Puede observarse que el mayor gasto se encuentra en el inciso 5 que incluye las
transferencias dirigidas a las Provincias y Municipios, Universidades Nacionales y a
Organismos Internacionales en tanto que la subejecución más significativa corresponde al
Inciso 3, como consecuencia de contrataciones que no se concretaron (ver Punto 4.5.).
3.6.1. Metas Físicas
8
En la Ley de Presupuesto se han definido -como producción física para el año 2.003las metas que se exponen en el siguiente cuadro, habiendo informado el organismo la
ejecución que en él se incluye:
Denominación
Capacitación a Directores, Supervisores y
personal de Gestión
Capacitación en Unidades Estadísticas
Provinciales
Divulgación de Información Educativa
Elaboración y Distribución de Informes
Analíticos de los Distintos Relevamientos
Elaboración y Edición de Manuales con
Estrategias de Mejoras
Participación de Argentina en Estudios
Internacionales
Realización del Relevamiento Anual
Unidad de Medida
Cantidad
Programada
Cantidad
Ejecutada
Persona Capacitada
4.000
D.B.
Técnico Capacitado
108
48
50.000
0
4.000
0
30
D.B.
Alumno
60.000
60.000
Establecimiento
Relevado
45.000
45.000
Folleto
Publicación
Manual Elaborado
Fuente: Ley de Presupuesto 2.003 / DiNIECE
Ref.: D.B.: las metas definidas presupuestariamente fueron dadas de baja
4. COMENTARIOS Y OBSERVACIONES
4.1. Aspectos relativos a la Organización de la DiNIECE
4.1.1. Respecto de la evaluación de la calidad
Se solicitó a la DiNIECE que indicara cuáles informes o indicadores desarrollados por la
Dirección permitieron alertar sobre la crisis en la calidad de la educación, a lo que la
Dirección no adjuntó ningún informe y aclaró que “…el concepto de ‘calidad’ es en
realidad un concepto polisémico detrás del cual se alojan diferentes posturas y abordajes,
ninguno neutral, entre los cuales se involucran e interrelacionan diversas concepciones y
posiciones respecto de cuestiones de fondo tales como el rol social adjudicado a la
educación, los fines y objetivos del proceso educativo, de la gestión institucional, los
métodos y las estrategias didácticas y pedagógicas, la evaluación del proceso de enseñanza
aprendizaje y en particular el vínculo escuela/sociedad, escuela/ciudadanía,
escuela/conocimiento científico - tecnológico. En ese marco, los resultados obtenidos
desde las pruebas e incluso desde los cuestionarios complementarios no dan cuenta de la
‘calidad’ de un establecimiento, un año, o un alumno ya que para poder hablar de calidad
se deben considerar muchas otras cuestiones.”.
4.1.2. Planificación operacional
La DiNIECE no elaboró, para el año 2.003, “…un plan estratégico ni un plan operativo
anual”5. El desarrollo de una planificación es fundamental ya que en ella se deben describir
5
Nota DINIECE N° 7676/04.
9
los objetivos y la metodología mediante la cual se establezcan las metas anuales y se
determinen los medios para alcanzarlas (recursos físicos y financieros). Asimismo deben
analizarse por anticipado los problemas y planear soluciones factibles, coordinando
diversas actividades. En síntesis, la planificación es imprescindible porque la toma de
decisiones en el presente afectará el futuro de la evaluación de la educación.
Esta falta de planificación afectó el cumplimiento de las metas físicas, entre otras razones
por la falta de coordinación para la realización de las contrataciones necesarias para el
eficaz cumplimiento de los objetivos institucionales.
A partir del mes de Julio de 2003 asume una nueva conducción en la Dirección que, a fin
de subsanar la falta de planificación, desarrolla un Plan de Evaluación 2003-2007, así
como las principales líneas de acción a desarrollar por la Red Federal de Información
Educativa.
4.1.3. Control de Gestión
No se han realizado en la DiNIECE informes de control de gestión durante el ejercicio
2.003, en donde se determinen desvíos a lo planificado y debilidades y fortalezas de las
acciones desarrolladas por la Dirección.
La ausencia de dichos informes no permitió la ejecución de un monitoreo de la gestión, no
contándose con elementos de juicio precisos que alerten sobre diversos problemas que se
plantean en la ejecución, y que son de utilidad para la toma de decisiones correctivas y
también para ser tenidos en cuenta en futuras planificaciones.
4.1.4. Programación y ejecución presupuestaria
4.1.4.1. Definición de Metas Físicas
Pudo observarse que en la programación de las metas físicas para el ejercicio 2.003 no
quedaron reflejadas las principales tareas llevadas a cabo en la DiNIECE. Por ejemplo, no
fueron consideradas en la definición de las mismas las tareas correspondientes a los
distintos operativos de evaluación y las actividades relacionadas al área de investigaciones,
siendo estas actividades importantes y que insumen gran parte de los recursos humanos y
materiales de la Dirección.
La DiNIECE propuso, en el presupuesto preliminar 2.003 como nuevas metas: Operativos
Piloto de Evaluación 2.003, Evaluación Muestral de III Polimodal y Evaluación Muestral
de III, VI y IX año EGB, las que no fueron incluidas por la Oficina Nacional de
Presupuesto del Ministerio de Economía y Producción en el proyecto de ley de
presupuesto.
Asimismo informó un desvío en la ejecución de la meta “Capacitación en Unidades
Estadísticas Provinciales”, por cambios en la estrategia de capacitación con relación al
número de actores a capacitar y la falta de ejecución de las metas “Divulgación de
Información Educativa” y “Elaboración y Distribución de Informes Analíticos de los
Distintos Relevamientos” por problemas en el proceso de licitación.
10
Por último fueron dadas de baja las metas: “Capacitación a Directores, Supervisores y
personal de Gestión” y “Elaboración y Edición de Manuales con Estrategias de Mejoras”.
4.1.4.2. Registración del cumplimiento de Metas Físicas
La información sobre ejecución de metas no es confiable ya que el organismo no posee
registros de las metas ejecutadas durante el año 2.003. Corresponde aclarar que gran parte
de la producción definida por la DiNIECE está vinculada a la cantidad de
“Establecimientos Relevados” o cantidad de “Alumnos” evaluados y, a la fecha de cierre
de las tareas de campo del presente informe, la DiNIECE no cuenta con los datos finales de
los operativos llevados a cabo respecto del ejercicio 2.003, lo que imposibilita verificar las
metas físicas denunciadas como cumplidas a la Oficina Nacional de Presupuesto del
Ministerio de Economía y Producción.
4.2. Estructura Orgánica
De acuerdo al análisis efectuado, en relación a la estructura orgánica de la DiNIECE, pudo
observarse que a la fecha de cierre de las tareas de campo del presente informe no han sido
designados los respectivos Jefes de Departamento, según corresponde a la implementación
de la apertura de la Dirección establecida por la Resolución N° 234 del 21/02/03 MECyT. Tal circunstancia genera una concentración de autoridad y responsabilidades en
manos de la Dirección, lo que puede dar como resultado una pérdida de agilidad en los
procedimientos y en la toma de decisiones y una sobrecarga de tareas en dicho nivel, al
tener que intervenir en todos los temas la Dirección.
Al efectuarse la apertura departamental mediante la referida Resolución N° 234/03, no se
consideró como sector independiente de las otras dos áreas departamentales formalmente
definidas (Red Federal de Información y Evaluación de la Calidad Educativa) al sector de
Investigaciones que desarrolla su tarea con autonomía de objetivos, supervisión, criterios,
procedimientos y recursos tanto humanos como materiales, aunque a solicitud de los otros
sectores presta su debida colaboración.
El Organismo en su descargo señala que no existiendo “…la posibilidad de designaciones
o concurso de cargos, las jefaturas de departamentos recaen en personal de planta
permanente o contratados con idoneidad para la función.”
Al respecto, corresponde tener en cuenta lo establecido por la Ley 25.164 -Marco de
Regulación del Empleo Público Nacional- y su reglamentación.
4.3. Manuales de Procedimientos
La DiNIECE no posee manuales de procedimientos que permitan identificar, definir y
organizar las tareas que se llevan a cabo tanto en el aspecto operativo como de apoyo de la
11
Dirección.6
Sin ellos, la organización carece de un instrumento que le permita a sus integrantes y
usuarios un mayor conocimiento, agilidad y estandarización de las actividades que debe
realizar, además de conocer los procedimientos que corresponde aplicar con el objeto de
lograr mayor eficiencia en el cumplimiento de sus funciones y una continuidad en las
tareas, independientemente de quién esté a cargo de las mismas.
4.4. Respecto de la factibilidad de evaluación de la gestión
4.4.1. Sistema de Información
La DiNIECE no cuenta con un Sistema de Información Gerencial para la toma de
decisiones desarrollado para la Dirección, que contenga un tablero de comando con
indicadores de gestión para evaluar su desempeño y que relacione la información
presupuestaria, tanto física como financiera. Dicha carencia dificulta a la Dirección contar
con información confiable y oportuna.
4.4.2. Indicadores de Gestión
La medición de la eficacia, eficiencia y economía, ligada a la producción de bienes o
servicios, contó con la restricción emanada del hecho que la DiNIECE no desarrolló una
planificación específica, ni definió una serie de metas que comprendan la totalidad de la
producción de la Dirección. A su vez, otras metas no fueron cumplidas, (por haber sido
dadas de baja o por problemas en los procesos licitatorios, ver punto 4.1.4.1.), y algunos
de los valores informados no resultan confiables por carecer de los datos finales de los
operativos a que éstas se refieren, ver punto 4.1.4.2.
Corresponde aclarar que no se ha desarrollado un sistema de costos que permita relacionar
la parte física con la financiera del presupuesto, ni indicadores y conclusiones a partir del
análisis de la información detallada.
Se destaca que la Dirección cuenta con una clasificación de indicadores para la gestión
educativa, que son definidos a partir de determinadas áreas temáticas que se encuentran
ligadas por relaciones estrechas y multidireccionales. Estas áreas y dimensiones son:
Área
1) Contexto
a) Demográfico
Dimensión
b) Socioeconómico
2) Recursos
a) Físicos
b) Humanos
c) Financieros
d) Organizacionales
3) Proceso 4) Resultado
a) Acceso
a) Egreso
b) Flujo
b) Logros
académicos
5) Impacto
a) Socioeconómico
Fuente: DiNIECE
6
Según nota 61 DINIECE del 13/01/05: en la actualidad se encuentran en proceso de elaboración los
manuales de procedimientos.
12
4.5. Respecto del Plan de Contrataciones
La DiNIECE no desarrolló un Plan de Contrataciones para el año 2.003 que permita
conocer, con la debida antelación, las necesidades de adquisición de bienes y servicios para
el ejercicio, pudiéndose establecer, a partir de dicho plan, prioridades y tiempos para la
contratación y suministro de los mismos.
Se detectaron retrasos injustificados, teniendo en cuenta que las contrataciones analizadas
corresponden a bienes o servicios utilizados en forma repetitiva por la DiNIECE para
llevar a cabo sus funciones. La mayoría de esas demoras, que alargaron considerablemente
los tiempos normales establecidos para las contrataciones, se deben a cuestiones externas a
la misma e incidieron directamente en su concreción, siendo tales demoras de suficiente
entidad para determinar el cumplimiento parcial de las metas e incluso llegar a impedir la
concreción de algunas de ellas (Divulgación de Información Educativa y Elaboración y
Distribución de Informes Analíticos de los Distintos Relevamientos).
Por último puede observarse en la ejecución del Inciso 3 -Servicios no Personales- (Punto
3.5. del presente), que la misma llegó al 44,65 % del Crédito Vigente, es decir que no se
utilizaron $ 1.331.545 que se encontraban asignados al Programa 32 por las razones
expuestas precedentemente.
4.6. Producción de Información
Al momento de realizar las tareas de campo no se contó con información definitiva
respecto al Relevamiento Anual del 2.003, a cargo del área Red Federal de Información, ni
del Operativo Nacional de Evaluación (ONE) 2.003, realizado por el área de Evaluación,
debido a que se produjo un desvío respecto del cronograma establecido provocado por las
demoras en el procesamiento de los datos obtenidos7.
La información que se difunde a través de la página Web del Ministerio se encuentra
desactualizada, contando con datos definitivos correspondientes al Relevamiento Anual de
2.001, al ONE 2.000 y al Relevamiento de Investigaciones 2.000.
En cuanto a la publicación de cuadernillos y/o folletería con información sobre la calidad
del sistema educativo, la última distribución que realizó la Dirección corresponde al año
1.998 con datos obtenidos de los relevamientos realizados en el año 1.997.
La DiNIECE no llevó a cabo auditorías en terreno, a fin de verificar la exactitud de los
datos obtenidos en los distintos operativos mediante un muestreo de los establecimientos.
Estas situaciones referidas a la producción, generación, difusión y publicación anual de
información del sistema educativo, perjudican no sólo la oportunidad de la información,
7
El auditado informó (13/01/05) que, a diciembre de 2.004 comenzó con la difusión de los datos
correspondientes al Relevamiento Anual 2.003.
13
sino también la continuidad, la confiabilidad y la calidad de la misma, aspectos
fundamentales para la sustentabilidad de un sistema que debe generar información
confiable y actualizada para la formulación de políticas que impulsen la calidad y
contribuyan a disminuir las desigualdades educativas.
4.7. Evaluación de la calidad educativa
Las tablas de especificaciones8, de las cuales surgen los contenidos de las evaluaciones, no
han sido actualizadas desde que fueron editadas en el año 1.999, en base a un acuerdo
obtenido en el seno del Consejo Federal de Educación en el año 1.997.
No se tiene en cuenta, al momento de desarrollar las evaluaciones, los distintos grados de
implementación de la Ley Federal de Educación a fin de poder determinar y plasmar las
mejoras logradas a partir de la aplicación de lo establecido por la mencionada normativa.
4.8. Área de Investigación Educativa
No fue posible establecer los criterios utilizados o estudios previos para determinar los
temas de las distintas investigaciones a realizar, ni tampoco determinar con exactitud lo
actuado por este área, con anterioridad a la firma del convenio con UNICEF (05/08/03),
de la misma forma que no fue posible realizar ningún control sobre el cumplimiento de las
tareas realizadas por la misma, a diferencia de las demás áreas cuya actividad se basa en
labores repetitivas.
4.8.1. Convenio MECyT – UNICEF
No se cumplieron los plazos estipulados en el convenio para la elaboración del Informe
Final (cuarta semana de marzo de 2.004, luego extendido hasta fines de mayo), toda vez
que al momento de requerirlo, con posterioridad a ambas fechas, el mismo no estaba
disponible. En su descargo, el auditado informó que en el mes de junio de 2.004 el
informe se publicó en su sitio web.
No se pudo obtener de parte de la DiNIECE las rendiciones de los fondos transferidos por
UNICEF con un resumen de los gastos efectuados, ni los Informes Técnicos sobre el
progreso del proyecto, los cuales debían contener la evaluación de los logros, el impacto
del mismo hasta la fecha de cada rendición y un análisis sobre la ejecución de acuerdo con
el plan y el presupuesto asignado, todo lo cual debió haber sido remitido a UNICEF de
acuerdo a lo establecido por el convenio.
5. RESPUESTA DEL MINISTERIO
Mediante nota del Coordinador Administrativo de la Unidad Ministro del MINISTERIO
DE EDUCACIÓN, CIENCIA Y TECNOLOGÍA se acompaña el informe producido por la
8
Ver punto 3.4.1. Departamento de Evaluación de la Calidad Educativa.
14
Dirección Nacional de Información y Evaluación de la Calidad Educativa en el cual se
señalan comentarios en relación con algunos aspectos tratados en este informe, los que han
sido analizados y tomados en cuenta en la medida en que se ha entendido pertinente.
6. RECOMENDACIONES
6.1. Aspectos relativos a la Organización de la DiNIECE
6.1.1. Respecto de la evaluación de la calidad
Elaborar investigaciones a partir de las cuales se puedan desarrollar, por el área
competente, políticas educativas orientadas hacia la construcción de un sistema educativo
de calidad, donde se conjuguen equidad y alto nivel.
6.1.2. Planificación operacional
La DiNIECE deberá elaborar una planificación que, a partir de los objetivos de la
organización, establezca premisas con relación al medio en el cual se desarrolla la
actividad, evalúe las distintas alternativas, seleccione un curso de acción que permita llevar
a cabo las acciones para alcanzar los objetivos, controle y evalúe la gestión permitiendo
planear en función de los resultados obtenidos y los objetivos establecidos (proceso de
retroalimentación).
6.1.3. Control de Gestión
Realizar informes de gestión de la DiNIECE, a fin de generar información que permita
obtener un conocimiento que alimente la toma de decisiones oportunas y pertinentes a fin
de garantizar la eficiencia, la eficacia y la calidad de los procesos.
6.1.4. Programación y ejecución presupuestaria
6.1.4.1. Definición de Metas Físicas
Implementar los mecanismos y procedimientos necesarios a fin de definir metas físicas que
reflejen adecuadamente la producción desarrollada por la Dirección.
6.1.4.2. Registración del cumplimiento de Metas Físicas
Se deben llevar registros de información de la gestión física de ejecución de sus
presupuestos, tendientes a dar mayor certidumbre a la información que surge sobre las
metas físicas.
6.2. Estructura Orgánica
Dar cumplimiento a lo establecido por la Resolución N° 234/03 – MECyT. Asignar
funciones y responsabilidades al área de Investigación Educativa, a través de los medios
conducentes. Tener en cuenta con relación a la cobertura de vacantes de las Jefaturas de
Departamento lo establecido por la Ley 25.164 - Marco de Regulación del Empleo
Público Nacional y su reglamentación.
15
6.3. Manuales de Procedimientos
Elaborar los manuales de procedimientos para las áreas y funciones de la Dirección.
6.4. Respecto de la factibilidad de evaluación de la gestión
6.4.1. Sistema de Información (Eficiencia - Eficacia - Economía)
Desarrollar para la DiNIECE un sistema de información gerencial y de control de gestión
para la toma de decisiones.
A tal fin, deberían tenerse en consideración los siguientes aspectos: el objetivo básico que
persigue la medición física de las metas es reflejar la producción de bienes o servicios
tendientes a cumplir con los objetivos planteados para el ejercicio, a los cuales se asignan
los correspondientes créditos presupuestarios.
Dichas mediciones sirven para modificar planes y programas, en los cuales acontecimientos
imprevistos puedan ser considerados, como así también, comparar operaciones similares y
evaluar la eficacia relativa de los sistemas y procedimientos.
La forma en que están condicionados los productos de las diversas acciones
presupuestarias de una institución, origina una red de relaciones denominada “red de
acciones presupuestarias” o de categorías programáticas del organismo y que es el
correlato concreto de la red de relaciones productivas en cada ámbito presupuestario.
La confección de costos de la producción pública resulta necesaria a fin de poder extraer
conclusiones sobre el comportamiento de los mismos y relacionar la parte física del
presupuesto con la financiera.
Los indicadores de la gestión presupuestaria son expresiones cuantitativas que reflejan
distintos tipos de relaciones: entre productos y objetivos de las políticas públicas, entre
productos, entre productos y recursos, entre recursos, así como entre los elementos
mencionados y cualquier otro aspecto cuantitativo de los procesos productivos con
capacidad explicativa de una gestión o un resultado.
La inclusión en el presupuesto de la producción de bienes y servicios en términos físicos,
no sólo posibilita tomar decisiones en los niveles políticos y directivos sobre los recursos
reales y financieros necesarios para el logro de los objetivos de las políticas públicas, sino
que además, es la base esencial para analizar, controlar y evaluar la ejecución
presupuestaria. Esto se podría lograr mediante un Sistema de Información Gerencial para
la toma de decisiones y un Cuadro de Mandos que lo complemente y que permita un
control periódico, con información precisa y oportuna.
Debe entenderse como Cuadro de Mandos a una de las herramientas básicas de un sistema
de control de gestión, que sintetiza mediante el empleo de indicadores y ratios el
comportamiento de los centros más relevantes de la organización.
16
6.5. Respecto del Plan de Contrataciones
Elaborar un Plan Anual de Contrataciones para el ejercicio, que permita saber con la
suficiente antelación las necesidades de bienes y servicios a ser utilizados y los tiempos en
que los mismos deberán ser provistos para el cumplimiento en tiempo y forma de los
objetivos planificados para la DiNIECE.
6.6. Producción de Información
Implementar los mecanismos necesarios para verificar la exactitud de los datos obtenidos a
través de los distintos operativos y poder contar en el menor tiempo posible con los
mismos, poniendo dicha información definitiva al alcance del usuario a través de los
medios correspondientes.
6.7. Evaluación de la calidad educativa
Realizar las gestiones necesarias a fin de lograr la actualización de las tablas de
especificaciones, con el objeto de contar con medios actualizados para la evaluación de la
calidad de la educación.
Establecer un sistema de evaluación de la calidad educativa que permita determinar lo
ocurrido en aquellas jurisdicciones que han aplicado lo establecido por la ley, respecto de
las que no lo han hecho; verificando, a su vez, la adecuación de los contenidos curriculares
a las necesidades sociales y a los requerimientos educativos de la comunidad.
6.8. Área de Investigación Educativa
A partir de las necesidades detectadas en materia educativa, elaborar con la debida
fundamentación un temario de las investigaciones a realizar que sea incluido dentro de la
planificación anual, lo cual permitiría el seguimiento y control de las mismas.
6.8.1. Convenio MECyT – UNICEF
Dar cumplimiento a lo acordado en el convenio, realizando las rendiciones de los fondos
transferidos por UNICEF, con las características y contenidos establecidos para las mismas
y desarrollando -a su vez- los Informes Técnicos sobre el progreso del proyecto con una
evaluación de los logros y el impacto del mismo.
17
7.
CONSIDERACIONES FINALES
Conforme surge de sus objetivos y funciones, la Dirección Nacional de Información y
Evaluación de la Calidad Educativa del Ministerio de Educación, Ciencia y Tecnología es
la unidad responsable de llevar adelante las acciones de: evaluación del Sistema Nacional
de Educación, desarrollo y sustentabilidad del Sistema Federal de Información Educativa y
del diseño y desarrollo de investigaciones vinculadas con la formulación de políticas
educativas. Asume el compromiso de impulsar y fortalecer un Sistema Federal de
Información que articule los componentes de información, evaluación e investigación
educativa orientado hacia la construcción de un sistema educativo de calidad donde se
conjuguen equidad y alto nivel académico.
Como resultado de los distintos procedimientos desarrollados a partir de la auditoría
de gestión llevada a cabo en la DiNIECE, se concluye sobre la existencia de una serie de
debilidades en cuanto a su organización: no tiene un plan estratégico ni un plan operativo
anual, en la programación de las metas físicas no quedaron reflejadas las principales tareas
llevadas a cabo, no posee registros de las metas ejecutadas durante el ejercicio, no han sido
designados los Jefes de Departamento correspondientes a la apertura de la Dirección
establecida por la Resolución N°234/03-MECyT, carece de manuales de procedimientos,
no cuenta con un sistema de información gerencial para la toma de decisiones ni ha
desarrollado un sistema de costos que permita relacionar la parte física con la financiera
del presupuesto.
Asimismo, la ausencia de un Plan de Contrataciones y la persistencia de demoras en
los procedimientos de contratación de bienes o servicios utilizados por la DiNIECE (aún
cuando obedezcan a causas externas a ella), han llevado a que no se pueda cumplir con la
totalidad de los objetivos fijados.
Sobre el Operativo Nacional de Evaluación de la Calidad Educativa “…la última
información disponible corresponde al año 2.000, ya que en el año 2.001 no se realizó el
operativo y los correspondientes a los años 2.002 y 2.003 se están procesando.”9
Buenos Aires,
9
Nota DINIECE N° 8090/04.
18