Medición de la eficiencia de la educación pública en Antioquia (Colombia) mediante el análisis del
envolvimiento de datos.
Abstracto
En 2012, el gobierno local de Antioquia (Colombia) lanzó su plan Antioquia el más educado 20122105 (Antioquia la m? Educada 2012-2015). Algunas de las políticas y programas dentro de este plan
apuntaban a mejorar el acceso y la calidad de la educación. Conscientes de la importancia de medir
los logros de los programas, el gobierno regional, la Universidad de Antioquia y otras instituciones
asociadas crearon una unidad de investigación para compilar y analizar información relacionada con
la educación en el Departamento. Este artículo describe uno de los estudios realizados por esta
unidad de investigación. Más concretamente, este estudio describe el uso del Análisis de Envoltura
de Datos (DEA), para medir la eficiencia de las instituciones públicas secundarias del Departamento.
La eficiencia relativa de un conjunto de 435 instituciones se calculó utilizando siete entradas y dos
salidas que corresponden a los resultados promedio en diferentes áreas de una prueba
tandardizada.
Como una visión metodológica, nuestro estudio contrapone lo que se sugiere en la literatura con
respecto a la DMU, la selección de insumos y productos a lo que es factible aplicar basándose en la
información disponible y en las prácticas de campo. Además, los resultados nos permiten sacar
conclusiones sobre los factores que influyen en la eficiencia de las escuelas secundarias y también
en su comportamiento a lo largo de las diferentes regiones del Departamento.
1. Introducción
La educación ha sido reconocida como un factor clave para superar problemas sociales a largo plazo
como la inequidad, la violencia y la corrupción. En Antioquia (Colombia), el gobierno local lanzó su
plan Antioquia el más educado 2012-2105 (Antioquia la m? Educada 2012-2015). Este plan
constituyó una vía para mejorar el equilibrio social y proporcionar más oportunidades a toda la
población. Algunas de las políticas y programas dentro de este plan apuntaban a mejorar el acceso
y la calidad de la educación.
Consciente de la importancia de medir los logros de algunos de los programas e iniciativas, la
Universidad de Antioquia, junto con otras instituciones, se involucró en el proyecto de creación de
una unidad de investigación que recopila y analiza información relativa a la educación en Antioquia.
Este artículo describe uno de los estudios realizados por esta nueva unidad de investigación. Más
concretamente, presentamos en este trabajo la medición de la eficiencia de las escuelas secundarias
públicas del Departamento. La medición de la eficiencia se refiere a la comprensión de cómo las
escuelas utilizan sus escasos recursos para generar resultados en términos de desarrollo del capital
humano. Para ello, analizamos los resultados promedio de una prueba nacional estandarizada
realizada por los estudiantes de 435 escuelas secundarias públicas bajo la perspectiva de los
recursos que cada una de esas instituciones ha utilizado para llevar a cabo su proceso educativo.
El sistema colombiano de educación primaria y secundaria tiene dos esquemas principales de
financiamiento: escuelas privadas financiadas por los honorarios pagados por los padres de los
estudiantes; Y escuelas públicas (financiadas por el estado) que no cobra honorarios a los
estudiantes. Mientras que las escuelas privadas son manejadas principalmente por órdenes
religiosas, fundaciones y cooperativas; Las escuelas públicas son administradas por las Autoridades
Educativas Regionales, en este caso la Secretaría de Educación de Antioquia gestiona alrededor del
80% de las escuelas del Departamento. Sin embargo, algunos municipios (generalmente grandes)
con suficiente capacidad técnica, financiera y administrativa gestionan directamente sus escuelas
públicas (se denominan municipios certificados de educación). El Secretario de Educación de
Antioquia no tiene acceso a la mayor parte de la información sobre los recursos utilizados en el
proceso educativo de las escuelas privadas y las escuelas públicas ubicadas en los municipios
certificados. Por lo tanto, este estudio se limita a las escuelas secundarias públicas de los municipios
no certificados del Departamento de Antioquia para los cuales sus estudiantes tomaron la prueba
nacional estandarizada a finales de 2014.
El estudio nos permite dibujar ideas en tres dimensiones diferentes. En primer lugar, la brecha entre
las variables que comúnmente se mencionan en la literatura y aquellas para las que la Secretaría de
Educación de Antioquia recoge información como un camino para ocultar la teoría y la práctica; En
segundo lugar, la medición de la eficiencia de las instituciones educativas consideradas que
validaron la pertinencia de utilizar el análisis de envolvimiento de datos en la educación a partir de
un estudio de caso real; Y en tercer lugar, los factores que determinan la medición de la eficiencia y
los resultados obtenidos, que señalan las consideraciones metodológicas que se tendrán en cuenta
en futuros estudios. El resto de este trabajo se estructura de la siguiente manera. Inicialmente, en
la Sección 2 revisamos la literatura relacionada con la aplicación de DEA a la medición de la eficiencia
de la escuela secundaria. A continuación, en la Sección 3 presentamos la metodología seguida en el
estudio. La sección 4 resume los principales hallazgos del estudio. Finalmente, en la Sección 5 se
presentan nuestras conclusiones, se discuten las principales implicaciones prácticas para la
formulación de políticas públicas en el Departamento y se proponen orientaciones futuras de
investigación.
2. Análisis del envolvimiento de datos en la medición de la educación
Briey, Análisis Envolvente de Datos (DEA) es un método no paramétrico que calcula una frontera
eficiente mediante problemas de optimización. Esta metodología utiliza la información de las
entradas utilizadas por un conjunto de unidades gerenciales para producir un conjunto de salidas y
no requiere un conocimiento a priori de la forma funcional que relaciona las entradas con las salidas.
Una vez que se dispone de la frontera eficiente, cada unidad de gestión se compara utilizando la
información de las unidades eficientes (es decir, las de la frontera) para medir su eficiencia y sugerir
posibles caminos de mejora. Para un texto introductorio en DEA el lector se refiere a Cooper et al
(2006).
Desde sus comienzos, la DEA apareció como una metodología adecuada para la medición de la
eficiencia de las instituciones y programas educativos. En su aplicación seminal, Charnes et al. (1981)
evaluó la eficacia del Programa de Seguimiento (PFT), un programa federal destinado a mejorar la
educación de los niños en las comunidades de riesgo implementadas en los años 70 en los Estados
Unidos. En este caso, la DEA sirvió como una herramienta para eliminar la ineficiencia gerencial al
comparar escuelas PFT con escuelas no PFT. Sorprendentemente, no apoyaron la evidencia de la
supuesta superioridad de PFT para producir mejores resultados educativos en las escuelas donde se
había implementado.
Más recientemente, Johnes (2015) identificó la DEA como una herramienta popular para medir la
eficiencia y el desempeño de instituciones educativas que van desde jardines de infancia y escuelas
primarias (Burney et al., 2013) hasta universidades (Bayraktar et al., 2013). De manera similar, Liu
et al. (2013) encontraron que la educación es una de las principales industrias abordadas con la DEA.
Dado que nuestro trabajo se centra en las escuelas secundarias, presentamos una revisión de las
solicitudes de DEA para este tipo de escuelas en diferentes países. Para una revisión detallada y más
amplia de las aplicaciones de la DEA en educación, el lector interesado se refiere a Johnes (2015) y
Liu et al. (2013) y sus referencias.
Ray (1991) combinó un modelo de DEA orientado a la producción (con salidas acotadas) y análisis
de regresión lineal para evaluar la eficiencia relativa de los distritos escolares públicos de
Connecticut. Contrario a otros estudios previos (Charnes et al., 1981, Bessent et al., 1982) que
incluyen algunos factores socioeconómicos incontrolables, este modelo sólo incluye enseñanza,
apoyo (consejeros, consultores de lectura, etc.) y administración. Como insumos.
Como resultados, este modelo incluye los resultados promedio de matemáticas, artes del lenguaje,
escritura y lectura en una prueba a nivel estatal. En una segunda etapa, el análisis de regresión se
utiliza para evaluar la influencia de los factores socioeconómicos de los estudiantes sobre la
eficiencia de las escuelas. Esta segunda etapa muestra que el nivel de educación universitaria de la
población en el distrito, el porcentaje de grupos minoritarios y el porcentaje de familias
monoparentales tienen un impacto importante en la eficiencia de un distrito dado.
Thanassoulis y Dunstan (1994) ilustran el uso de modelos de DEA para la evaluación del desempeño
escolar usando datos de una autoridad educativa local británica. Ellos discuten que ni la asunción
de un rendimiento variable o constante a escala puede justificarse plenamente. Sin embargo,
después de algún ajuste de los datos utilizan un modelo de retorno constante a escala. Este modelo
utiliza el puntaje de razonamiento verbal medio por estudiante al ingreso, y el porcentaje de
estudiantes que no reciben comidas gratis como insumos. El primero tiene por objeto medir el
potencial educativo de los estudiantes, mientras que el último actúa como una medida del entorno
socioeconómico de la escuela. Como resultado, su modelo incluye el puntaje promedio de los
estudiantes en el certificado general de educación secundaria (GCSE) y el porcentaje de estudiantes
no desempleados después del GCSE. Estos productos miden, respectivamente, el logro académico
del estudiante y la capacidad de la escuela para colocar a sus estudiantes (ya sea en trabajos o en
educación superior) al graduarse.
Silva Portela y Thanassoulis (2001) evalúan la eficiencia de las escuelas secundarias británicas
utilizando un modelo DEA que descompone la eficiencia en tres elementos: (i) la eficiencia del
estudiante, (ii) la eficiencia escolar en las escuelas de la El mismo esquema de financiamiento, y (iii)
la eficiencia escolar sobre el conjunto de todas las escuelas. Una característica distintiva de esta
aplicación es el uso de la información individual del estudiante para evaluar la eficiencia en vez de
los resultados promedio de la escuela. Utilizando este enfoque es posible identificar tudentes
incontrolables sobre la eficiencia de la escuela. Además, la descomposición de la eficiencia permite
evaluar la in uencia del esquema de financiamiento de las escuelas sobre su eficiencia.
Bradley et al. (2001) evalúan la eficiencia de las escuelas secundarias de inglés durante un período
de veinte años utilizando DEA. Su modelo DEA, utiliza como resultados la tasa de asistencia de la
escuela además del porcentaje de estudiantes con buenas calificaciones GCSE. Como insumos, su
modelo incluye la proporción de maestros calificados y el porcentaje de estudiantes que no son
elegibles para comidas gratis. Estos aportes buscan medir la calidad de los alumnos y de los
profesores, respectivamente. Utilizando los resultados de DEA en un modelo Tobit (que incluye
varias variables para medir la independencia, la competencia, la composición de género, el medio
ambiente y los recursos disponibles), los autores muestran que la competencia entre escuelas ayuda
a mejorar la calidad de la provisión educativa.
Mancebon y Muñiz (2007) comparan la eficiencia de las escuelas subvencionadas públicas y privadas
en tres regiones españolas utilizando el enfoque de modelización propuesto por Thanassoulis y
Dunstan (1994). Sin embargo, en este caso los autores utilizan datos agregados de la escuela en
lugar de información del estudiante. Su modelo utiliza como insumos el porcentaje de estudiantes
cuyo padre es trabajador de cuello blanco y el porcentaje de estudiantes que usualmente estudian
más de diez horas a la semana. El primero mide el nivel socioeconómico de los estudiantes y el
segundo es un indicador de la calidad de los estudiantes. Como resultado, este modelo incluye el
porcentaje de estudiantes que superan el examen de ingreso a la universidad nacional y la
calificación promedio obtenida por aquellos que han superado el examen. Utilizaron un modelo
orientado a resultados con retornos variables a escala. Los resultados de su estudio sugieren que
(en el caso español) no hay superioridad de las escuelas privadas de gestión y que sus mejores
resultados provienen de un contexto más favorable de los estudiantes.
En un estudio posterior (Manceb? On et al., 2012), los resultados del examen PISA 2006 (programa
de evaluación de estudiantes internacionales) revelaron que las escuelas públicas españolas son
más eficientes que las escuelas privadas subvencionadas. Este estudio combina un modelo DEA de
casco libre con un modelo lineal jerárquico (HLM). En este caso, HLM se utiliza como una
herramienta para estimar la tecnología educativa subyacente y para seleccionar las variables
utilizadas en el modelo DEA. Los puntajes de los estudiantes en ciencias se utilizaron como la única
salida de su modelo DEA, mientras que los insumos incluyen todas las variables que resultan
estadísticamente significativas en su HLM, (incluyendo las características socioeconómicas y
culturales, los recursos educativos y su uso, la escuela Y las características del estudiante, y recursos
de la escuela).
Davutyan et al. (2010) utilizan la DEA para evaluar la eficiencia de las escuelas secundarias turcas.
En este caso, los autores tratan como DMU las 81 provincias turcas. Su modelo DEA tiene el número
de maestros y aulas como insumos, y también incluye como entrada la puntuación promedio
obtenida en un examen nacional de ingreso para controlar la calidad de los estudiantes en la
entrada. Como resultados, su modelo DEA incluye el número de estudiantes, las puntuaciones
cuantitativas y verbales promedio en un examen de ingreso universitario a nivel nacional. En un
enfoque diferente de los modelos anteriores, los autores incluyen la desviación estándar de las
puntuaciones como una salida indeseable. Su estudio reveló que los rendimientos decrecientes a
escala prevalecen en 69 de las 70 provincias ineficientes.
Portela et al. (2012) evaluó la eficiencia de las escuelas secundarias portuguesas. Su modelo DEA
impone restricciones de peso para favorecer las escuelas donde un mayor número de estudiantes
toman una prueba determinada. En este caso, los resultados promedio de diferentes exámenes se
utilizan como entradas y salidas. Para los aportes, los autores consideran los exámenes de portugués
y matemáticas al final de la educación básica. Como resultados, los autores incluyen los resultados
promedio en ocho áreas diferentes en un examen nacional.
Essid et al. (2014) estudió la eficiencia de las escuelas secundarias tunecinas teniendo en cuenta una
característica comúnmente desatendida en la literatura de la DEA: el hecho de que algunos insumos
son cuasi- xed (es decir, no se pueden ajustar en el corto plazo). Desarrollaron un índice de
Malmquist que usa modelos DEA para medir la distancia a la frontera. Debido a la ausencia de
puntajes en los exámenes, los autores usan el número de estudiantes registrados como salida
primaria de las escuelas. Además, dado que las escuelas secundarias tunecinas ofrecen alojamiento
a sus estudiantes, el número de camas ocupadas y el número de comidas servidas también se
consideran productos en su modelo DEA. Como insumos controlables, el modelo incluye el número
de maestros, el número de empleados administrativos, el número de empleados de cuello azul y un
índice que mide los suministros de papel, el consumo estacionario y el consumo de alimentos. Como
insumos cuasi- xed (es decir, no discrecionales) el modelo incluye el número de aulas generales y
especializadas.
En un estudio similar, Podinovski et al. (2014), utilizan modelos DEA para estimar los índices de
Malmquist para las escuelas secundarias de Malasia. Ellos enfocan su estudio en el uso simultáneo
de variables y rendimientos constantes a escala en el modelo DEA subyacente. El modelo de DEA de
híbrido a escala que se obtiene utiliza un retorno constante a escala para los factores de cantidad,
por ejemplo, maestros y tiempo de enseñanza) y un retorno variable a escala a los denominados
factores de calidad que miden el rendimiento académico de los estudiantes. Como insumos, los
autores incluyen el número de jóvenes en diversas áreas científicas, otros dos insumos para
controlar la calidad de los estudiantes en la entrada y uno para medir el estatus socioeconómico de
los estudiantes. Como resultados, su modelo incluye el número de estudiantes en las áreas
científicas (matemáticas, ciencias, física, biología y química) y el número de estudiantes que lograron
buenas calificaciones en estas áreas en el certificado nacional de educación (un examen nacional
estandarizado) . Sus resultados revelan una disminución de la productividad de las escuelas
secundarias debido a una política recientemente implementada de enseñar ciencias en inglés más
que en el idioma nacional.
Finalmente, Acero Pineda et al. (2013) revisan la aplicación de la DEA en las instituciones educativas
colombianas. En su revisión encontraron 23 artículos usando DEA para evaluar diferentes
instituciones que van desde escuelas primarias hasta universidades. De sus resultados y hasta donde
sabemos, la DEA no ha sido utilizada para evaluar el desempeño en las escuelas secundarias u otras
instituciones educativas del estado de Antioquia. La mayoría de los estudios se centran en escuelas
primarias y secundarias en Bogotá, la capital del país (por ejemplo, Pérez Alemán y otros (2003)).
Con este trabajo buscamos llenar esta brecha, utilizando por primera vez un modelo DEA para medir
la eficiencia de las escuelas secundarias públicas del estado. Nuestro modelo comparte algunos
elementos comunes con estudios previos en la literatura. Particularmente, la disponibilidad de las
calificaciones de los estudiantes para una prueba a nivel nacional hace posible el uso de esta
información como salidas en nuestro modelo. Sin embargo, la falta de información sobre el entorno
socioeconómico de las escuelas no permite el uso de este tipo de factores como insumos o
productos.
3. Metodología
Basado en autores como Golany y Roll (1989), seguimos una metodología que involucra cuatro fases
principales: 1. De nición y selección de DMUs 2. Determinación de factores de entrada y salida que
son relevantes y adecuados para evaluar la eficiencia relativa de Las DMU seleccionadas 3. De nición
del modelo DEA a ser aplicado 4. Análisis de los resultados
En esta sección, abordamos las tres primeras fases, describiendo cómo se llevaron a cabo. Los
resultados de estas tres primeras fases nos permitieron señalar algunos puntos de vista sobre la
brecha entre las variables que comúnmente se mencionan en la literatura y las registradas y
monitoreadas por la Secretaría de Educación de Antioquia.
3.1. Definición y selección de DMUs
Las unidades de análisis en los modelos DEA suelen designarse como unidades de toma de
decisiones DMU). Determinar una DMU determinada puede generar importantes variaciones en el
análisis del estudio. Con el fin de producir información significativa para un análisis apropiado, el
procedimiento de selección de la DMU debe hacerse con cuidado.
El departamento de Antioquia se divide en nueve regiones y cada una de esas regiones se divide en
municipios, 125 en total. El uso de regiones o municipios como DMU podría haber sido la primera
opción. Sin embargo, hubo dos razones principales para avanzar un paso en la desagregación de los
datos y seleccionar las instituciones educativas como las DMU. En primer lugar, la de fi nición de las
regiones no obedece a factores culturales o económicos, por lo que existe una alta variabilidad entre
las instituciones que se ubican dentro de la misma región, agregando por ejemplo las instituciones
rurales y urbanas de los municipios con muy diferentes características socioeconómicas características económicas. La segunda razón es el alcance de las conclusiones y las ideas que el
modelo proporcionaría. Como las municipalidades no certificadas no gestionan directamente las
instituciones educativas en su territorio y no existe una política establecida para la asignación de
recursos a cada institución, nos preocupa más la forma en que las instituciones están utilizando los
recursos disponibles para producir mejores resultados educativos Que en la forma en que estos
recursos se agregan al nivel de los municipios. Por lo tanto, en este documento, el conjunto de DMUs
consiste en 435 instituciones educativas públicas de los municipios no certificados que los
estudiantes tomaron la prueba nacional estandarizada en el segundo semestre de 2014. Nos
referiremos a este conjunto a partir de entonces como el conjunto de DMUs o conjunto De las
instituciones educativas (IE). Es importante señalar que el término institución educativa se refiere a
un concepto gerencial que podría agregar varias escuelas que están bajo la administración de un
único equipo directivo. Es decir, una IE podría ser una sola escuela con su propia administración o
un conjunto de escuelas cercanas que compartan la misma administración y personal de apoyo.
3.2. Determinación de variables de entrada y salida
Como señala Bradley et al. (2001), la aplicación de la DEA a las escuelas tiene varias características
en común. Las variables de entrada miden frecuentemente el nivel de recursos escolares en
dimensiones variables como el número de maestros, los gastos de educación, el número de aulas,
etc. Además, es una práctica común expresar estos valores como proporciones por un número dado
de estudiantes (por ejemplo, de estudiantes). En algunos casos también se incluye la calidad del
personal docente (por ejemplo,% de maestros con maestría). Como la revisión de la literatura revela
los insumos relacionados con el entorno socioeconómico de la escuela y los insumos para controlar
la calidad de los estudiantes a la entrada también se consideran. Por otra parte, la gran mayoría de
los estudios utilizan como resultados variables diferentes que miden el éxito de los estudiantes en
las pruebas estandarizadas.
Desafortunadamente, el conjunto de variables a considerar en este estudio fue restringido por la
disponibilidad de información. En los últimos años, los gobiernos locales y regionales han mejorado
sus sistemas de información, pero todavía queda mucho por hacer al respecto. Por lo tanto,
determinamos para cuál de las variables identificadas en la revisión de la literatura, o proxies de
ellas, hubo información disponible en las bases de datos públicas y públicas.
Se utilizaron dos fuentes principales de información, una base de datos que recopila toda la
información relacionada con los insumos y una segunda que recoge los resultados. El primero fue
construido como primer producto de la unidad de investigación financiada por el Gobierno de
Antioquia y ampliado para este estudio, con información del sistema Educado
(http://www.seduca.gov.co/ sistemaeducado /). Proporciona información descriptiva para todas las
instituciones educativas (IE), como su ubicación geográfica, e información de los recursos humanos,
económicos y físicos que tiene cada IE. La segunda base de datos contiene los resultados de las
pruebas nacionales estandarizadas realizadas en el segundo semestre de 2014 y agregadas al nivel
de la IE.
Esta segunda base de datos fue construida a partir de los datos publicados por la agencia nacional
para la medición de la calidad de la educación (ICFES) disponible en http://www.icfes.gov.co.
Con base en la revisión de la literatura y la información disponible, determinamos las variables de
entrada y salida para el modelo DEA. Elegimos siete insumos: número de maestros (nTeach),
número de puestos administrativos? (NAdm), salarios totales de los maestros (sTeach), salarios
administrativos totales (sAdm), porcentaje de maestros con estudios de posgrado (tGrad),
porcentaje de maestros con siete o más años de experiencia (tExp) y número de computadoras.
Todas las entradas se expresan como una proporción por cada 100 estudiantes, excepto para
aquellos que representan porcentajes (es decir, tGrad y tExp).
En Colombia, la educación primaria y secundaria se evalúa a través de pruebas estandarizadas que
se aplican a los estudiantes del tercer, sexto, noveno y undécimo año del ciclo educativo. Sin
embargo, sólo la prueba en el undécimo año es obligatoria (conocida como la prueba Sabre 11). Por
lo tanto, en este estudio consideramos el resultado en la prueba de Sabre 11 como el resultado del
proceso educativo. Entonces, como resultados en el modelo DEA consideramos los resultados
promedio de la prueba Sabre 11, en una escala estandarizada con un máximo de 100 , En las
siguientes áreas: matemáticas (matemáticas), ciencias naturales (NatSci), sociales y cívicas (SocCiv),
inglés (inglés) y lectura crítica (CritRead) para cada una de las instituciones educativas. La Tabla 1
presenta varias estadísticas descriptivas de las entradas y salidas. La primera columna enumera los
nombres de las variables mientras que las columnas 2 a 5 informan el valor mínimo, el valor máximo,
la media, la mediana, la desviación estándar y el coeficiente de variación.
Cuadro 1: Estadísticas descriptivas de los insumos y productos de la muestra de 435 instituciones
educativas
Los insumos con mayor coeficiente de variación están relacionados con el personal administrativo,
el número (nAdm) y el salario (sAdm), y el porcentaje de maestros con estudios graduados (tGrad),
mientras que los insumos relacionados con el número de maestros (nTeach ) Y sus salarios (sTeach)
tienen baja variabilidad. Del mismo modo, para los resultados, el promedio de los resultados en la
lectura crítica (CritRead) tienen la mayor variabilidad, mientras que los resultados en inglés (Eng)
tienen el valor medio más bajo y la variabilidad. Además, cabe destacar la diferencia entre el
coeficiente de variación de las entradas y salidas. Estos últimos tienen una variabilidad
considerablemente menor. La tabla 2 presenta la matriz de correlación de los insumos. Todos los
coeficientes de correlación son positivos y varían de 0,1 a 0,951. Todas las correlaciones son
significativas al nivel del 1%, excepto una que es signi fi cativa al nivel del 5% (Pc y tGrad). Como se
esperaba, hay una alta correlación entre el número de puestos administrativos? (NAdm) y los gastos
en salarios administrativos (sAdm). Del mismo modo, existe una alta correlación entre el número de
docentes (nTeach) y los gastos en salarios docentes (sTeach). Aunque se puede considerar que en
cada una de estas dos variables es redundante, en la base de datos de insumos (incluida como
material complementario) encontramos que proporcionan información complementaria. Por
ejemplo, algunos factores como la accesibilidad a algunos IEs hacen que los IEs remotos no puedan
atraer maestros con alta experiencia o estudios graduados, por lo tanto los salarios no son tan altos
como lo serían en otros IEs mejor ubicados. Así, un alto gasto en salario no necesariamente implica
un alto número de maestros. Los años de experiencia de los profesores (tExp) tienen una correlación
moderada con el número de profesores (nTeach) y sus salarios (sTeach), similarmente el número de
profesores tiene una correlación moderada con el número de PCs. El porcentaje de maestros con
estudios graduados (tGrad) tiene, en general, las correlaciones más bajas con los otros.
** Significativo de correlación al nivel del 1% (bilateral)
* Significativo de correlación al nivel del 5% (bilateral)
Tabla 2: Correlación de Pearson
Del mismo modo, la Tabla 3 presenta la matriz de correlación de los resultados. Los resultados en
las diferentes áreas de la prueba están altamente correlacionados, siendo lectura crítica (CritRead)
y social cívica (SocCiv) los resultados más correlacionados mientras que el inglés (Eng) y cívico social
(SocCiv) son los menos correlacionados.
** Significativo de correlación al nivel del 1% (bilateral)
* Significativo de correlación al nivel del 5% (bilateral)
Tabla 3: Salida de correlación de Pearson
Como muestra la Tabla 4, no hay altas correlaciones entre los insumos y los productos, siendo el
valor máximo 0.276 para el porcentaje de maestros con estudios graduados (tGrad) y los resultados
en lectura crítica (CritRead). La mayoría de los insumos están correlacionados positivamente con los
resultados excepto el número de maestros (nTeach) y el número de PC (pc). Estos resultados
refuerzan la idea de utilizar un método no paramétrico (como la DEA) para evaluar la eficiencia de
las IE en la transformación de sus recursos disponibles en resultados educativos (medidos con
pruebas estandarizadas), ya que cada EI podría tener una combinación diferente y el uso de Los
recursos para obtener resultados similares.
3.3. Modelo DEA
Siendo el primer estudio que mide la eficiencia de las escuelas secundarias del Departamento con
DEA, mantuvimos el modelo lo más simple posible. Sea I = {nTeach; NAdm; STeach; SAdm; TGrad;
TExp; ordenador personal}
** Significativo de correlación al nivel del 1% (bilateral)
* Significativo de correlación al nivel del 5% (bilateral)
Tabla 4: Entrada y salida de correlación de Pearson
Ser el conjunto de entradas y S = {Math; NatSci; SocCiv; Eng; CritRead} el conjunto de salidas. El
valor xie representa la cantidad de entrada i utilizada por EI e. Del mismo modo, el valor yse
representa la puntuación media de EI e en el área s. Utilizando esta notación, el modelo DEA
resultante es el siguiente:
Puesto que en el sector de la educación sería mejor pedir a una IE dada que mejore sus resultados
que reducir sus insumos (como lo destaca Cook y otros), utilizamos un modelo clásico de CCR
orientado a la producción (Cooper et al., 2006) . Para medir la eficiencia de EI0, los modelos (1) - (7)
construyen una IE virtual usando una combinación lineal de los IE en la muestra (con los valores de
e). La restricción (3) hace que la EI virtual no utilice más entradas que EI0, mientras que las
restricciones (4) impone que produce al menos las mismas salidas (resultados educativos) que EI0.
La función objetivo (1) maximiza la medida de eficiencia de EI0. (Es decir, no). Los valores de n
mayores que uno indican que se pueden obtener mejores resultados en el ensayo Sabre 11 con el
nivel de insumos de E0. El segundo término de la función objetivo minimiza la llamada eficiencia de
la mezcla tomando en cuenta mejoras adicionales que se pueden hacer una vez que se ha eliminado
la ineficiencia radial (medida con no). Esta segunda etapa se realiza mediante la minimización de las
holguras (hi o y hs o) de las restricciones (3) y (4) respectivamente. Implementamos el modelo (1) (8) usando la caja de herramientas Matlab para DEA desarrollada por Restrepo y Villegas (2007).
4. Resultados
En esta sección se describen y analizan los resultados de la aplicación de la DEA para medir la
eficiencia de las IE públicas en Antioquia. Hemos reportado como eficiencia el valor de 1 = no en
lugar del resultado óptimo original del modelo (1) - (7), ya que fue más fácil para los gerentes y
autoridades educativas del Departamento ver este valor como una medida de eficiencia tradicional
con valores En el intervalo [0,1]. En primer lugar ofrecemos una visión general de las medidas de
eficiencia obtenidas y la composición del conjunto de IE eficientes. A continuación, analizamos con
más detalle la relación entre insumos y productos con la medida de eficiencia, la distribución
geográfica de las medidas de eficiencia y las diferencias estructurales entre instituciones eficientes
y no eficientes.
En total, 25 de las 435 IE son eficientes. Entre ellos, 17 se encuentran en zonas rurales, 5 en zonas
urbanas y 3 en áreas rurales y urbanas. El hecho de que la mayoría de las instituciones declaradas
como eficientes se encuentren en áreas rurales puede deberse a que los resultados de los tests de
Sabre 11, incluidos en las variables de producción, no son significativamente diferentes entre las IE
rurales y urbanas, mientras que parece claro Que existe una diferencia importante entre los
recursos utilizados por las IE rurales y urbanas. Pasaremos a este punto en la Sección 4.1.
Adicionalmente, el Cuadro 5 presenta algunas estadísticas descriptivas de las e fi ciencias de las IE
dependiendo de si están localizadas en áreas rurales o urbanas. Aunque no existe una diferencia
significativa entre los valores promedio, máximo y mínimo, la variabilidad de la eficiencia para las IE
localizadas en áreas urbanas parece ser menor que en las áreas rurales.
Cuadro 5: Estadísticas resumidas de las e ficiencias de la muestra según la ubicación de las Els
La Figura 1 presenta un histograma suavizado de las medidas de eficiencia, es posible ver que la
mayoría de las IE tienen una eficiencia moderada que oscila entre 0,4 y 0,7. En este histograma, la
media no corresponde al modo y la distribución se inclina hacia la derecha, haciendo que la mediana
de la eficiencia sea menor que su media.
4.1. Relación entre la eficiencia, los insumos y los productos
El elevado número de IE eficientes localizadas en zonas rurales plantea algunas preguntas sobre la
relación de los insumos y los productos con la medida de eficiencia. Para responder a estas
preguntas analizamos la relación entre ellas.
Figura 1: Histograma suavizado de las medidas de eficiencia. La media -n de la distribución se
muestra con la línea punteada negra, mientras que la primera D1 y la última D9 decil están
resaltadas en amarillo.
La Tabla 6 muestra las correlaciones entre los insumos y la eficiencia. Como era de esperar, los
valores son negativos, lo que significa que un mayor uso de los recursos implicaría un impacto
negativo en la eficiencia. La Figura 2 presenta el diagrama de dispersión para algunos de los insumos
(nTeach, sTeach y tExp) en comparación con la eficiencia, este gráfico también muestra que cuanto
menor es el consumo de recursos, mayor es la eficiencia. Se observan resultados similares para los
otros insumos. En este sentido, las Els eficientes con un consumo de recursos inferior al primer decil
o superior al decimo noveno de los recursos se destacan con un círculo amarillo redondeado. Es
importante señalar que las Els eficientes en el noveno decil son aquellas que, a pesar de utilizar
mayores niveles de recursos, producen puntajes promedio altos y, a continuación, tienen un manejo
adecuado de sus recursos (estas Els fueron declaradas como puntos de referencia importantes para
el Secretario de Educación del Departamento haciendo aconsejable un análisis detallado de sus
procesos y prácticas). Por otro lado, las Els eficientes en el primer decil de los recursos son aquellas
que se declaran principalmente por los bajos valores del recurso que tienen que por los buenos
resultados que obtienen.
Tabla 6: Correlación de Pearson entre la eficiencia y los insumos
Figura 2: Gráficos de dispersión de la eficiencia y los insumos
En un análisis similar, la Tabla 7 presenta la correlación entre la eficiencia y los resultados. Todos
son positivos pero muy pequeños, lo que significa que no existe una correlación lineal clara. Del
mismo modo, la Figura 3 muestra las gráficas de dispersión de la eficiencia frente a dos de las salidas
(Eng y Math). Esto indica la ausencia de correlación. Además, teniendo en cuenta que los resultados
de las pruebas oscilan entre 0 y 100, estas gráficas muestran que los resultados de la prueba Sabre
11 tienen baja variabilidad y se concentran en su mayor parte en un intervalo entre 40 y 60. El mismo
patrón se encontró para los otros productos. En el mismo sentido, las instituciones eficientes cuyas
puntuaciones están por debajo del primer decil o por encima del noveno decile se destacan con un
círculo amarillo redondeado. Vale la pena señalar que las IE declaradas como eficientes y tener
puntajes inferiores al primer decil se convierten en eficientes debido a un pequeño consumo de
recursos en comparación con todas las demás instituciones con puntajes similares.
Tabla 7: Correlación de Pearson entre la eficiencia y los resultados
Figura 3: Gráficos de dispersión de la eficiencia y resultados de las pruebas
4.2. Diferencias estructurales entre IE eficientes y no eficientes
Para establecer las características que motivan las diferencias entre instituciones eficientes y no
eficientes, se analizaron y compararon estadísticamente los insumos y resultados de cada conjunto.
La Tabla 8 muestra una comparación de los insumos en el conjunto eficiente y no eficiente de EIs.
En general, las instituciones eficientes tienen menos recursos que las instituciones ineficientes. Es
particularmente notoria la diferencia con respecto a la experiencia de los profesores (tExp) y la
cualificación (tGrad). Estas diferencias fueron validadas utilizando una prueba t de dos muestras
para la igualdad de medias y una prueba de Levene para la igualdad de varianza con el nivel de
confianza del 95% y todas ellas resultan significativas. De manera similar, la Tabla 9 muestra una
comparación de los resultados de EI cientes y no eficientes. Aunque el puntaje promedio en todas
las áreas es ligeramente inferior para las instituciones e? Cientes, el test t de confianza del 95%
indica que no hay evidencia para concluir que estos medios son diferentes. La Tabla 9 también
muestra que en general la varianza es mayor para los puntajes de las instituciones educativas que
para las instituciones no eficientes. Específicamente, la prueba de Levene con un nivel de confianza
del 95% determinó que para las Ciencias Sociales (SocCiv), Matemáticas (Matemáticas) y Ciencias
Naturales (NatSci) la varianza de las puntuaciones es diferente entre las EI eficientes y las eficientes.
Cuadro 8: Comparación de los niveles de insumos entre las IE eficientes y las ineficientes
Cuadro 9: Comparación de las estadísticas descriptivas de los productos en el conjunto de
instituciones eficientes y no eficientes
Los resultados de estos análisis permiten concluir que la eficiencia de una institución se determina
principalmente por el uso de recursos y no por los resultados obtenidos en las pruebas
estandarizadas. Esto se debe principalmente al hecho de que los puntajes de los exámenes son muy
similares independientemente de la cantidad de recursos que tienen las IE, por lo tanto, las
instituciones más eficientes son aquellas que logran el promedio de los resultados de las pruebas
usando menos recursos. Las excepciones notables son las IE eficientes con un uso de recursos por
encima del noveno decile (destacado en la Figura 2).
4.3. Distribución geográfica de las eficiencias
Estudiamos ahora la distribución geográfica de la eficiencia. La Figura 4 presenta un mapa con la
eficiencia media por municipio. Las áreas blancas corresponden a municipios certificados que no
fueron considerados en este estudio. La capital y las principales ciudades del departamento se
encuentran en la zona blanca en el centro del mapa. Los municipios que rodean esta zona tienen
medidas de baja eficiencia, debido a que a pesar de que estos municipios son cercanos y accesibles
desde el centro principal del Departamento, su puntuación media en las pruebas es similar a otros
municipios situados más alejados de la capital que utilizan menos Recursos. Hay dos regiones que
se desempeñan mal en la medida de eficiencia y cuya accesibilidad a la capital es difícil. La primera
de estas regiones está formada por tres municipios situados en la parte más occidental del
departamento, ubicados en una zona remota que no es accesible por carretera. La segunda región
está formada por municipios situados en la parte más oriental del departamento, que
históricamente han sido afectados por el conflicto armado del país. La ineficiencia de estas regiones
no sólo puede explicarse por la escasez de recursos, ya que hay otras regiones en las que el acceso
a la capital también es difícil y cuyos resultados son escasos pero tienen un mejor desempeño en la
medida de eficiencia.
Figura 4: Mapa de Calor de la Eficiencia Media para cada Municipio de Antioquia y localización
geográfica de EIs eficientes
La Tabla 10 presenta las estadísticas descriptivas de la medida de eficiencia para las nueve regiones
del departamento. Este cuadro presenta para cada región el número de IE, el porcentaje de IE, el
promedio de eficiencia, el número de IE eficientes, el porcentaje de IEs eficientes localizadas en una
región dada y la proporción de representación (ERR) que compara el tamaño de la región con el
número de IE eficientes. Calculamos este valor utilizando la tercera y sexta columnas de la tabla
como sigue: ERR = (% EIs /% EI eficientes). Con base en este valor, es claro que el número de IE
eficientes en una región no está relacionado con el número de IE que tiene, ya que hay regiones,
como Nordeste (con ERR = 2: 2), que tiene un número considerable de IE A pesar de no ser una de
las regiones con mayor número de instituciones. Por otro lado, regiones como Magdalena Medio,
Occidente, Suroeste y Norte, con un número similar o mayor de IE tienen un ERR muy pequeño, lo
que indica que no tienen suficientes EI cientes con respecto a su tamaño (medido en términos de
número De las IE).
Estas regiones merecen especial atención por parte de las autoridades educativas del
Departamento, ya que en muchos casos han recibido recursos importantes pero no han producido
mejores resultados educativos como se esperaba.
En la Figura 5 se presenta un resumen gráfico de la distribución de las eficiencias de las IE localizadas
en cada región. En esta gráfica, los recuentos de las puntuaciones de frecuencias de los IE en cada
región se agruparon en seis intervalos de igual tamaño en el intervalo [0,1], y por consiguiente se
suavizaron y escalaron de modo que resultaran fácilmente comparables. Este gráfico muestra que
para la mayoría de las regiones la eficiencia se concentra dentro del intervalo [0: 5; 0: 8] teniendo
su modo, cuya altura varía de región a región, en el intervalo [0: 6; 0: 7]. Hay dos regiones, Valle de
Aburra y Nordeste, para las cuales la distribución de la eficiencia está ligeramente sesgada hacia la
izquierda, lo que significa que hay más instituciones en estas regiones que tienen valores de
eficiencia por debajo de la media. Sin embargo, la región Nordeste también tiene un gran porcentaje
de instituciones con eficiencia entre 0,85 y 1. Considerando que Magdalena Medio, la región sin
instituciones eficientes, tiene una distribución casi simétrica alrededor de 0,7.
Cuadro 10: Comparación de la eficiencia entre las nueve regiones del Departamento
Figura 5: Distribución de las instituciones porcentuales sobre el total en función de la eficiencia de
cada subregión del Departamento de Antioquia.
5. Conclusiones
En este trabajo se utilizó la DEA para evaluar la eficiencia relativa de 435 escuelas secundarias
públicas ubicadas en municipios no certificados de Antioquia (Colombia). Utilizamos un modelo de
DEA orientado a la producción con siete insumos (que miden el nivel de recursos de las escuelas);
(Que representan la puntuación media en varias áreas de una prueba nacional estandarizada). Los
resultados obtenidos con la DEA indican que la eficiencia de una institución se basa principalmente
en la disponibilidad de recursos y no en las puntuaciones de la prueba. Esto se debe al hecho de que
las puntuaciones en la prueba estandarizada para las escuelas secundarias consideradas en este
estudio tienen una variabilidad muy baja. Por lo tanto, las escuelas eficientes son aquellas que
logran los mismos resultados promedio usando menos recursos. Para el gobierno regional, este
resultado plantea un reto para subestimar cuáles son los factores clave a considerar para mejorar
la calidad de la educación y los resultados en la prueba estandarizada, porque actualmente pocas
instituciones se destacan por el mal desempeño promedio. Sin embargo, un análisis detallado de la
correlación de la eficiencia y los insumos y los productos, nos permitió identificar algunas escuelas
secundarias de referencia que producen mejores resultados con recursos por encima de la media.
Se analizaron las medidas de eficiencia generadas por el modelo DEA considerando la división
geográfica y política del Departamento. Los municipios que rodean la capital y las principales
ciudades, en el centro del Departamento, tienen medidas de baja eficiencia, lo que se explica por el
hecho de que a pesar de que estos municipios son cercanos y accesibles desde el centro principal
del Departamento, No se destacan de la media y son similares a otros municipios situados más lejos
de la capital que utilizan menos recursos. Estos resultados también señalaron que las variables
adicionales relacionadas con las características socioeconómicas y las cuestiones relacionadas con
el conflicto podrían tener un efecto significativo en la eficiencia, ya que algunas de las escuelas
secundarias que obtienen medidas de baja eficiencia se localizan en regiones inaccesibles por Sufren
problemas económicos y sociales y se han visto gravemente afectados por el conflicto.
Desde el punto de vista metodológico, es importante resaltar que, a pesar de haber utilizado un
modelo orientado a resultados, en el que la reducción de insumos no es el foco principal del modelo,
el análisis de la correlación de la eficiencia con las entradas y salidas y La comparación de las
características de las escuelas secundarias eficientes y no eficientes reveló la fuerte influencia que
tiene la disponibilidad de insumos en la eficiencia de una escuela secundaria en este estudio de
caso.
El estudio podría haberse enriquecido al incluir en el modelo variables que abordan los factores
antes mencionados (por ejemplo, la escolaridad media de los padres, el ingreso promedio de los
hogares y la intensidad del conflicto, entre otros). A pesar de que estas variables podrían no estar
bajo el control directo del tomador de decisiones, la Secretaría de Educación de Antioquia, podrían
proporcionar información sobre los principales impulsores de la eficiencia de las instituciones y su
desempeño en las pruebas nacionales estandarizadas. Sin embargo, esta información no ha sido
recogida por el Secretario ni por ninguna otra fuente oficial. Por lo tanto, señalamos que su inclusión
en el ámbito del Sistema de Información del Secretario (Educado) podría ser una mejora a
considerar. La medición de tales variables permitiría el uso de algunas de esas variables como
insumos en el próximo análisis. Además, dado que los resultados educativos tienen un lapso de
tiempo y evolucionan con el tiempo, la aplicación de modelos DEA que tienen en cuenta este
fenómeno es otra interesante extensión del estudio.
