lineamientos metodológicos para la construcción de una batería de

0 LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN Sistema de Información para la Planeación del SENA – SIPSENA Descripción breve Este documento presenta los lineamientos metodológicos para la construcción de la batería de indicadores iniciales del SIPSENA. El marco conceptual utilizado sigue las metodologías propuestas por el DANE para este tipo de ejercicio. De forma simultánea se va presentando la aplicación de estos lineamientos en los indicadores de Acreditación en el marco de la Política de Alta Calidad del SENA. VERSION: 30 mayo 2014 Carmelita Serna Ríos [email protected] – [email protected] 1 CONTENIDO Lineamientos Metodológicos Para La Construcción de una Batería de indicadores de Seguimiento y Evaluación. ........................................................................................................................................................ 2 1. Marco Conceptual de la Batería de Indicadores. ......................................................................................... 2 2. Sistemas de Seguimiento y Evaluación ........................................................................................................ 3 3. Fases para la Estructuración de la Batería de Indicadores 2014. ................................................................ 5 3.1. Planeación: ...................................................................................................................................... 5 3.2. Marco normativo y requerimientos de información. ...................................................................... 7 3.3. Diseño estructura -­‐dimensiones o componentes de medición. ...................................................... 7 3.4. Recolección y validación De La información. ................................................................................... 8 3.5. Método de La recolección de información. ..................................................................................... 8 3.6. Análisis de calidad de la información disponible. ............................................................................ 9 3.7. Selección de indicadores -­‐ documentación (hojas de vida). .......................................................... 11 3.8. Sociabilización y capacitaciones. ................................................................................................... 15 Carmelita Serna Ríos | CONTRATO 458 2014 2 LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN . Una de las metas de corto plazo planteadas en el Sistema de Información para la Planeación del SENA -­‐
SIPSENA, es la construcción de una batería de indicadores para el 2014 que permitan cumplir dos objetivos: por una parte, hacer seguimiento, evaluación y rendición de cuentas a las políticas públicas, planes, programas y proyectos del cierre de período de gobierno; por la otra, consolidar el ajuste a las líneas estratégicas que faciliten y encausen la formulación del nuevo Plan de desarrollo hacía una política de Acreditación y Alta Calidad. La línea base de indicadores tiene un doble mérito: por un lado, proporcionará a los directivos del Sena información complementaria necesaria, útil a la vez como punto de apoyo en la toma de sus decisiones, y como material clave para medir y evaluar el desempeño o impacto de esas decisiones en el 2014; de otro lado, adicionalmente introduce criterios objetivos de referencia y utilidad para que los Centros de Formación puedan ellos mismos medirse entre sí. Si bien estos primeros indicadores trabajan las dimensiones o temáticas de la acreditación, la forma como fue pensada y la metodología utilizada contribuyen positivamente en la cultura de la medición, el seguimiento, evaluación, organización y manejo de la información. Así las cosas, su utilidad no sólo se reduce al uso de los indicadores, y por tanto el ejercicio de medición tiene un alcance mayor. Así las cosas, aunque el objetivo principal de este trabajo es el de servir de guía y apoyo al seguimiento, evaluación, y rendición de cuentas de las políticas públicas, con información agregada, oportuna y confiable para la toma decisiones, también contribuye a la consolidación de una cultura de uso y aprovechamiento de la información, mediante el manejo permanente de indicadores claves. Así mismo, y como complemento de lo anterior, permitirá ir posicionando las nuevas apuestas estratégicas del SENA en la agenda de gobierno con base en el acopio de documentación e información básica necesaria para la formulación, estructuración y elaboración del Plan de Desarrollo del periodo 2014-­‐2018. 1. MARCO CONCEPTUAL DE LA BATERÍA DE INDICADORES. Como ya se había conceptuado en el documento de Indicadores en el mes de marzo, el mayor desafío que se enfrenta cuando se dispone de un número extenso de datos es seleccionar de ellos los más útiles, dejar los menos e irrelevantes, o contradictorios, para de esta manera asegurarse que la evaluación a hacerse se realice apoyados en la mejor información posible. La información estadística puede ser usada de muchas maneras. La construcción de indicadores es una de tantas posibles y es una de las más usadas debido a su sencillez y amplitud de información que se recoge en un solo indicador; dicha modalidad, es por eso una de las formas más simples y usuales de disponer de información: numerosos datos se simplifican en un indicador y éste se vuelve información simplemente por su enorme capacidad para comunicar y condensar mucho en poco. Recordemos la definición de indicador “como una expresión cualitativa o cuantitativa observable, que permite describir características, comportamientos o fenómenos de la realidad a través del establecimiento de una relación entre variables, que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar el desempeño y su evolución en el tiempo”. Es importante recordar las tres características básicas que deben cumplir los indicadores y que los convierten en herramientas indispensables para la planeación, seguimiento, evaluación y la gestión: LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA 3 Deben ser Simples: o sea, ser capaces de representar clara y distintamente aspectos concretos de la realidad compleja que sirven para el doble propósito de definirla y medirla; no pretender abarcar con ellos la amplia bastedad del mundo real. Deben ser Mesurables: o sea, ser capaces de establecer relaciones con otros fenómenos, o permitir comparaciones intertemporales de un mismo conjunto de fenómenos. Deben ser Generadores de mensajes: o sea, ser capaces de transmitir información simple y sencilla para la toma de decisiones y evaluación de las acciones. Por lo anterior, los indicadores diseñados cumplirán los siguientes objetivos: ü
ü
ü
Generar información útil como incentivo y ayuda al mejoramiento continuo de los procesos institucionales de la toma de decisiones públicas, y su respectiva evaluación de resultados. Establecer los cambios de una situación a otra para saber si se ha mejorado o no, cambios no determinables sin medición alguna. Efectuar seguimiento y evaluación a los planes, programas y políticas que introducen cambios institucionales y ver los correctivos por hacer hacia una mayor y mejor eficiencia y eficacia institucional. 2. SISTEMAS DE SEGUIMIENTO Y EVALUACIÓN Los procesos de seguimiento y evaluación son aspectos característicos a seguir de la administración moderna basada en resultados. Según OECD (2002) el seguimiento es una “función continua que utiliza la recolección sistemática de datos los convierte en indicadores específicos para medir el grado de avance y logros de objetivos y progresos en la utilización de fondos asignados”. A su vez, la evaluación en el informe citado se concibe como “la valoración o estimación sistemática y objetiva de un plan, programa proyecto o política en curso o terminada, comprendiendo su diseño, ejecución y resultados. Lo que se busca es determinar la relevancia y satisfacción de los objetivos, la eficiencia del desarrollo, su efectividad, impacto y sostenibilidad. La evaluación debe proporcionar información creíble y útil, permitiendo incorporar las lecciones aprendidas de todos los actores involucrados”. Ahora bien, hacer un uso adecuado de esas herramientas de la administración moderna, hacerle seguimiento a los programas y políticas del sector público para valorar sus resultados y sacar experiencias positivas y negativas, debe contar con un buen sistema de información estadístico no sólo como instrumento que haga efectiva dichas estrategias, sino también, como se indicó, como medio sin el cual no se puede formular, ni fundamentar adecuadamente con rigor y claridad suficientes las políticas que se desean adoptar; como tampoco tener una visión de conjunto del proyecto a realizar, de sus limitaciones y alcances. Resaltamos e insistimos en que los programas y proyectos públicos, su formulación, fundamentación, objetivos, implementación, control, seguimiento evaluación de los mismos, implican la valoración y medición de una realidad que es multidimensional, por lo que se hace aún más relevante la elaboración de conjuntos de indicadores que analicen el comportamiento de todas las variables de estudio. Un sistema de indicadores debe permitir extraer una foto del estado del fenómeno en un momento del tiempo y un video que registre los cambios presentados en las temporalidades del seguimiento y evaluación. Carmelita Serna Ríos | CONTRATO 458 2014 4 El diagrama No.1 muestra el papel de los indicadores línea base como herramienta de seguimiento y evaluación. La línea base es la primera evaluación de las dimensiones a transformar y se constituye en el punto de partida y eje de comparación de cada una de las siguientes fases o etapas sucesivas del diagrama, a saber: seguimiento, (lo que aparece en los rectángulos del diagrama con los nombres de Seguimiento, Evaluación de resultados, y Evaluación de impacto). En este sentido, los indicadores de la línea base se constituyen en últimas en el referente obligado de Control de la gestión administrativa, en función de las herramientas y sucesivas etapas señaladas en el diagrama. Diagrama No.1 Papel de los primeros indicadores en los sistemas de seguimiento y evaluación Fuente: DANE – Línea Base de Indicadores. Bogotá Diciembre de 2012. El ejercicio, propuesto por la Dirección de Planeación y Direccionamiento Corporativo en el Plan de Acción 2014, enmarcado dentro de la política de Alta Calidad del SENA, contempla la construcción de una batería 1
de indicadores que contribuye a: ü Identificar indicadores claves de uso obligado para la planeación, el seguimiento, la evaluación, el control y el mejoramiento continuo del SENA, en el marco de la nueva visión estratégica. ü Organizar las bases de datos conforme a las necesidades de información identificadas para la producción de indicadores. ü Definir las técnicas y los procedimientos estandarizados que garanticen la obtención de la información requerida y que puedan posicionarse en la organización. ü Establecer funciones y compromisos en relación con los requerimientos de la información. Es de advertir que la construcción de la Línea base así como de sus primeros indicadores, en el marco del SIPSENA, debe ir complementada con otros ejercicios estadístico para reforzar la información en materia de planificación estadística, estandarización de conceptos y mejoramiento de los registros administrativos. Los indicadores de la Línea base así como los complementarios señalados, constituyen la plataforma para la generación de un sistema de seguimiento y evaluación. 1
Esta construcción será gradual y progresiva. A la fecha de elaboración de este documento se disponía de 25 indicadores ya en producción y 3 en proceso de construcción. LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA 5 Como se dijo anteriormente, en coherencia con los objetivos propios de seguimiento y evaluación, dichos indicadores deben permitir tres finalidades sustantivas, a saber: a) Examinar la dinámica o el comportamiento del indicador a través del tiempo, evidenciando los cambios que en el mismo puedan darse; b) Comparar dichos cambios frente a unas variables objetivo deseadas; y, finalmente c) Identificar las situaciones que requieren mayores cambios y establecer pautas para el mejoramiento de la calidad de los servicios prestados por la Entidad. 3. FASES PARA LA ESTRUCTURACIÓN DE LA BATERÍA DE INDICADORES PARA LA ACREDITACIÓN INSTITUCIONAL. Considerando entonces que la batería de los indicadores 2014 tiene como objetivos principales el de facilitar el seguimiento y evaluación de la gestión global del SENA en el 2014, así como el de proporcionar instrumentos claros y precisos a los Centros de Formación y Regionales para promover la excelencia y alta calidad de los procesos y servicios suministrados por la Entidad, la definición, naturaleza, estructura conceptual e implementación de esos indicadores iniciales, siguieron un orden de elaboración que contempló, además de dar cumplimiento al protocolo habitual interno de participación institucional, determinar los lineamientos establecidos por la literatura especializada para este tipo de construcciones. Para el caso particular que nos ocupa, se aplicaron los criterios establecidos por el DANE, según los cuales en conjunto deben seguirse seis pasos básicos, tal como se muestra en el diagrama No.2: Diagrama No.2 Fases a seguir en la construcción de indicadores Planeación
• Objelvos y alcance de la línea base. • Grupo técnico de coordinación y equipos de trabajo. • Compromisos y acuerdos. • Plan de aclvidades y cronograma. Marco Normativo
y requerimientos
de información
• Idenlficación de necesidades de información relacionadas con las normas, leyes, decretos, etc. • Relación de información implícita en la norma y responsabilidades insltucionales. • Relación de requerimientos puntuales de información en instancias de decisión. Diseño estructura
-dimensiones o • Estructura temálca de la línea base (temas y componentes de subtemas) medición
Recolección,
validación de
información
• Revisión y ajuste del proceso de obtención de datos . • Recomendaciones de mejoramiento de la información. • Listado preliminar de indicadores. • Flujos de información. Socialización y
capacitación
• Capacitación • Socialización • Divulgación Fuente: DANE – Línea Base de Indicadores. Bogotá Diciembre de 2012. 3.1. P LANEACIÓN : Este primer momento del proceso de construcción de los indicadores Línea base, permitió orientar a los directivos y técnicos de la entidad sobre la importancia de los mismos para el proceso de seguimiento y evaluación de sus políticas, planes, programas y proyectos, así como el de definir su rol integral en el Carmelita Serna Ríos | CONTRATO 458 2014 6 proceso. Así mismo, se determinaron las obligaciones de los responsables de su elaboración como los resultados esperados de ellos; y fijando además puntualmente las respectivas funciones y compromisos que deberían asignársele a cada uno de los funcionarios participantes de su en su construcción en sus diferentes etapas de recolección, producción, análisis y difusión de los resultados. La planeación contempló la identificación de los distintos escenarios posibles y deseados, cotejando necesidades, magnitud de las acciones por realizar y disponibilidad de los recursos (financieros, presupuestales, humanos, tecnológicos, etc.). En la fase inicial del trabajo, relacionada con la conceptualización, el diseño y la primera construcción de indicadores, se conformó un equipo temporal liderado por un Asesor, un equipo básico y una amplia participación de los Directores Misionales, 2
Subdirectores Regionales y Directores de Centros de Formación ; y en una segunda fase, la relacionada con la producción de los indicadores en su versión definitiva, se espera que su realización este bajo la responsabilidad y ejecución de la coordinación de Gestión de Información y Evaluación de Resultados de la Dirección de Planeación y Direccionamiento Corporativo. Es de advertir que la estructura y objetivos previstos involucran de manera decisiva a los Subdirectores Regionales y Directores de los Centros de Formación en la producción y análisis de estos indicadores. Los resultados obtenidos en esta etapa fueron los siguientes: ü
ü
ü
ü
ü
Definición de los objetivos y alcance de la línea base. Definición del grupo técnico de coordinación y equipos de trabajo. Definición de Compromisos y Acuerdos. Definición del Plan y Cronograma de actividades. Estrategia Institucional para la construcción de los indicadores El diagrama siguiente muestra los pasos desarrollados y la ruta de trabajo que permitió el desarrollo de la estrategia institucional, el método utilizado y la participación de las diferentes dependencias en el diseño de la metodología y los indicadores. Diagrama No.3 Etapas de la Estrategia institucional en la construcción de indicadores Fuente: SENA – Agenda Regional para la Alta Calidad, Bogotá, Mayo 2014. 2
Ver documento “AGENDA REGIONAL PARA LA ALTA CALIDAD” que relaciona la metodología de trabajo con las Regionales y los Centros de Formación y el listado de reuniones efectuadas en marco del diseño y producción estadística de los indicadores para la Acreditación y la Política de Alta Calidad. LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA 7 3.2. M ARCO N ORMATIVO Y REQUERIMIENTOS DE INFORMACIÓN. En la segunda fase para la construcción de los indicadores, se consultó el marco normativo y las necesidades de información, analizando la pertinencia de la construcción y estudio de los indicadores, los cuales progresivamente se fueron definiendo, según las siguientes consideraciones: ü Teniendo en cuenta las leyes, decretos, resoluciones, directivas y circulares. ü Teniendo en cuenta los requerimientos para el cumplimiento de acuerdos internacionales. ü Teniendo en cuenta las demandas externas e internas como requerimiento del orden nacional, regional o local, y expectativas del ámbito internacional. ü Teniendo en cuenta los planes misionales, de acción y de desarrollo. ü Teniendo en cuenta las políticas de alta calidad del SENA. Junto al diseño conceptual de los indicadores, se efectuó el análisis de los requerimientos de información subordinado al marco normativo, para lo cual se revisaron las normas y leyes que ordenan la misión, políticas, planes, programas, proyectos y acción institucionales vigentes; la responsabilidad en la producción de información y los objetivos de la alta calidad Institucional. Los resultados obtenidos en esta etapa fueron: ü Identificación de las necesidades de información relacionadas con las normas, leyes, decretos, etc. ü Identificación de la información implícita requerida en la normatividad existente y responsabilidades institucionales en la consecución de la misma. ü Identificación de la información puntual requerida por instancias superiores para la toma de sus decisiones. En esta primera fase, todas relacionadas con la Política de alta calidad de la Entidad. 3.3. D ISEÑO ESTRUCTURA -­‐DIMENSIONES O COMPONENTES D E M EDICIÓN -­‐. La tercera fase estructuró las áreas temáticas de los indicadores, concebidos en coherencia con el deber misional institucional, con los documentos estratégicos de la Entidad y con la normatividad vigente. Esta fase fue fundamental ya que permitió, además de concretar la primera batería de indicadores, plantear objetivos y metas temáticamente bien definidas que los mismos permitan analizar en aquellos temas y subtemas relevantes para la Institución, en particular para la implementación de su Política de Alta Calidad. La conceptualización así concebida proporcionó los criterios para evaluar y definir los indicadores requeridos, a fin de hacer seguimiento y evaluación a cada uno los temas y subtemas seleccionados. Como resultado de esta fase, se determinaron los componentes a medir en concordancia con la Política de alta calidad, e identificar al interior de la misma los temas y subtemas relevantes. Las dimensiones seleccionadas se presentan en la tabla No.1, así: Tabla No.1: Dimensiones o factores relevantes para la construcción de la batería de indicadores. Carmelita Serna Ríos | CONTRATO 458 2014 8 Dimensión
Formación Profesional
Instructores
Infraestructura física y TICs
Egresados y su impacto en el medio
Bienestar
Recursos financieros
Aprendices
Investigación aplicada
Organización y gestión de la información
Misión Direccionamiento Estratégico y Programa de Formación
Relaciones Internacionales y Nacionales
Innovación y desarrollo tecnológico
Total general
No. Indicadores Fuente: SENA. Indicadores Política de Alta Calidad, primer grupo de indicadores. 3
Plan de Acción 2014 13
9
8
8
4
3
3
1
1
1
1
1
53 3.4. R ECOLECCIÓN Y VALIDACIÓN D E L A INFORMACIÓN. En esta fase se identificó la oferta disponible y las necesidades de indicadores en relación a los objetivos de seguimiento, evaluación y búsqueda de la excelencia para alcanzar la alta calidad en los Programas de formación técnica de la Entidad. La fase en mención se llevó a cabo en dos momentos, a saber: en el primero, se hizo un ejercicio general y focalizado al tema de la “Acreditación de alta calidad”, el cual permitió la conceptualización y conformación del primer grupo de indicadores; y en el segundo momento, aún en proceso de implementación, se busca alcances mayores a la “Acreditación de alta calidad”, cubriendo los requerimientos de la oferta y las necesidades del Sistema de Información para la Planeación del SENA –SIPSENA-­‐ y de las perspectivas del nuevo Plan de Desarrollo. El primer momento de la fase que se está comentando, fue desarrollado directamente por el equipo de trabajo asignado para la conceptualización, diseño y construcción del primer grupo de indicadores. El segundo momento, como se indicó aún en proceso de implementación, viene siendo desarrollado con una participación mayor de funcionarios, ya que se amplió involucrando al resto del equipo de la Dirección de Planeación y Direccionamiento Corporativo –DPDC-­‐ del SENA. La metodología utilizada está documentada en el SIPSENA, y como componente de ésta se diseñó un formato para la recolección de la información 4
acerca de la oferta, demanda y demás completos indicadores requeridos por el SENA . 3.5. M ÉTODO D E L A RECOLECCIÓN D E INFORMACIÓN. La recolección del primer momento se hizo a través de visitas, reuniones de trabajo, sondeo de 5
necesidades; y la del segundo momento , se está haciendo en forma virtual. Una vez acabado el proceso de recolección del primer momento, se organizó la información acopiada y se continuó a las siguientes fases previstas para la construcción de los indicadores de la Línea base. 3
Durante todo el documento se han mencionado 25 indicadores en producción y 3 en proceso de diseño y construcción. La diferencia respecto a los 38 que aparecen en esta tabla se debe principalmente a que en la tabla están contados de forma independiente y los 25 se refieren a grupos de indicadores. Así por ejemplo, para el indicador % de oferta abierta hay dos indicadores, uno con corte trimestral y otro con corte anual. 4
Adaptación realizada a partir del Formulario de Línea Base de Indicadores (FLBI) del DANE. 5
La actividad de recolección de este inventario, en los que hemos denominado segundo momento es de vital importancia ya que proporciona los criterios objetivos para estructurar el segundo grupo de indicadores dentro de la batería de los indicadores iniciales y definir el conjunto de información que debe contener el SIPSENA. Por esta razón es un proceso que debe contar con el compromiso por parte de los encargados o líderes del proyecto –coordinadores de la DPCD, con el fin de asegurar la completitud y calidad de la información diligenciada que requiere el rigor de este proceso. LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA 9 3.6. A NÁLISIS DE CALIDAD D E LA INFORMACIÓN D ISPONIBLE. Conceptualmente, esta fase inicia con la verificación de la información disponible respecto a las dimensiones o factores temáticos desarrollados. Su propósito es la de verificar la existencia de los insumos de información para construir los indicadores requeridos para todos los temas y subtemas seleccionados como relevantes en el proceso de acreditación institucional. Durante el proceso de verificación, se identificó no sólo el estado en que se encuentra la información requerida para la estimación de los indicadores respecto a los estándares de calidad estadística6, sino además debe quedar lista la documentación de evaluación e información estadística, acordes con las dimensiones y patrones de calidad exigidos. Como actividad complementaria a desarrollar, fue preciso conocer los actores productores y usuarios de los indicadores a fin de establecer un mapa del flujo de información; y con estas personas proceder a concertar acciones para la implementación de la ba tería de indicadores. El ejercicio en mención se debe realizar primero a nivel de cada actor involucrado (unidades, dependencias, entidades, etc.), para luego construir el 7
esquema global de todo el proceso . Como resultado de esta etapa han culminado las siguientes actividades, para los primeros indicadores: ü La revisión y ajuste del proceso de obtención de datos (censos, encuestas por muestreo y estadísticas con fuente en registros administrativos). ü Las recomendaciones para mejorar la información. ü El listado preliminar de indicadores. ü Los flujos de información. La tabla No. 2 muestra el primer grupo de indicadores, relacionados con el proceso de “Acreditación de alta calidad”. De acuerdo con ella, el primer grupo de indicadores que fue pensado para un primer ejercicio de 25 indicadores, alcanzó el número de 54 indicadores incluyendo sus desagregaciones. Estos estándares han sido difundidos por organizaciones como EUROSTAT (organismo encargado de administrar las estadísticas europeas), OECD por sus siglas en inglés (Organización para Cooperación y el Desarrollo Económico) y el FMI (Fondo Monetario Internacional). 7
Estas actividades ya fueron surtidas por el primer momento que involucra el primer grupo de indicadores, para el segundo momento, se implementarán una vez culmine el proceso de recolección anunciado en los párrafos anteriores. 6
Carmelita Serna Ríos | CONTRATO 458 2014 10 Tabla No. 2: Listado de Indicadores asociados a las dimensiones o factores Dimensión
Aprendices
Suma Aprendices
Bienestar
Suma Bienestar
Egresados y su impacto en el medio
Suma Egresados y su impacto en el medio
Formación Profesional
Suma Formación Profesional
Infraestructura física y TICs
Suma Infraestructura física y TICs
Innovación y desarrollo tecnológico
Suma Innovación y desarrollo tecnológico
Instructores
Suma Instructores
Investigación aplicada
Suma Investigación aplicada
Misión Direccionamiento Estratégico y Programa de Formación
Suma Misión Direccionamiento Estratégico y Programa de Formación
Organización y gestión de la información
Suma Organización y gestión de la información
Recursos financieros
Suma Recursos financieros
Relaciones Internacionales y Nacionales
Suma Relaciones Internacionales y Nacionales
ID
Nombre Indicador
1 SABER PRO (-­‐10)
2 SABER PRO (PROMEDIO)
3 DEMANDA SOCIAL
19
20
21
22
DESERCIÓN TITULADA 2014
DESERCIÓN COMPLEMENTARIA 2014
DESERCIÓN TITULADA AÑO 2013
DESERCIÓN COMPLEMENTARIA AÑO 2013
9
10
11
13
14
15
29
30
EGRESADOS OCUPADOS FORMALMENTE (TOTAL)
EGRESADOS OCUPADOS FORMALMENTE (TECNICOS)
EGRESADOS OCUPADOS FORMALMENTE (TECNOLOGOS)
INGRESO LABORAL DE EGRESADOS (TECNOLOGO)
INGRESO LABORAL DE EGRESADOS (TECNICO)
INGRESO LABORAL DE EGRESADOS (TOTAL)
INSCRITOS EN LA APE
EMPLEOS FONDO EMPRENDER
12
16
17
18
26
32
34
35
36
37
38
40
52
PRODUCCIÓN DE INVESTIGACIÓN Y DESARROLLO (I+D)
ALTERNATIVAS -­‐ OTRAS (SERVICIO MILITAR, PASANTÍAS, MONITORÍAS)
ALTERNATIVAS -­‐ CONTRATO DE APRENDIZAJE
ALTERNATIVAS -­‐ NINGUNA
APRENDICES CON CONTRATO DE APRENDIZAJE
PRODUCCIÓN DE CENTROS
TOTAL EDUCACIÓN SUPERIOR
TOTAL TÉCNICA LABORAL Y OTROS
FORMACIÓN COMPLEMENTARIA
FORMACIÓN VIRTUAL
PROGRAMA DE BILINGÜISMO
ALTERNATIVAS -­‐ NINGUNA
APRENDICES I + D
27
43
44
45
46
47
48
49
INDICE ESTADO DE INFRAESTRUCTURA
USO DE AMBIENTES
DENSIDAD SEDE PRINCIPAL
DENSIDAD TOTAL
DENSIDAD AMBIENTES DE FORMACIÓN
APRENDICES POR EQUIPO DE COMPUTO (MAS DE DOS AÑOS)
APRENDICES POR EQUIPO DE COMPUTO (MENOS DE DOS AÑOS)
APRENDICES POR EQUIPO DE COMPUTO (TOTAL GENERAL)
50 PROGRAMAS I+D POR CENTRO
4
5
6
7
8
25
39
41
42
NIVEL EDUCATIVO INSTRUCTORES POSGRADO
NIVEL EDUCATIVO INSTRUCTORES (UNIVERSITARIO)
NIVEL EDUCATIVO INSTRUCTORES (TECNOLOGO)
NIVEL EDUCATIVO INSTRUCTORES (TECNICO)
NIVEL EDUCATIVO INSTRUCTORES (BACHILLER)
DEDICACIÓN A LA FORMACIÓN
DEDICACIÓN A LA FORMACIÓN (2)
EXPERIENCIA DOCENTE
EXPERIENCIA PROFESIONAL
51 INSTRUCTORES I+D
24 CLIMA ORGANIZACIONAL
23 PORCENTAJE DE CERTIFICADOS
33 COMPROMISOS
53 APROPIACIONES
54 PAGOS
31 PROGRAMAS CON ESTANDARES INTERNACIONALES
LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA 11 Por su parte, el Diagrama No. 3 muestra el flujo de información y el protocolo establecido en la producción y uso final de los indicadores asociados a la Política de calidad y Acreditación Institucional: Diagrama No. 3: Flujo de Información y protocolo para el uso final de los indicadores en la búsqueda de Alta Calidad. Producción -­‐Flujo de información Envio a Regionales y Centros Solicitud desde Nivel Nacional Análisis Mesas de trabajo Diligenciamie
nto en Nivel Nacional. Direcció
n General Flujos Reginal
es Diligenciamie
nto en Centros Producción Nivel Central Recepción yanálisis Nivel Central Centros Envio Nivel Nacional y desde Centros Diseño Producción • Insumos de inf. • Formulación • Hojas de Vida • Recolección Resultados Planes de Mejoramiento por Centros y Regionales • Inventario • Dimensiones • Indicadores Planes de Mejoramiento Alta Calidad – Excelencia – Acreditación Visores Análisis Información toma decisiones • Procesamiento • Análisis calidad • PReportes Mapas Proceso de producción Visores y Reportes Planes de Mejoramiento Fuente: SENA. SIPSENA. Adaptado, Interpretando el documento de Política de Alta Calidad. 3.7. S ELECCIÓN D E INDICADORES -­‐ D OCUMENTACIÓN (HOJAS D E V IDA). En esta sección se establece el conjunto de indicadores que conformaran la línea base y su respectiva documentación, conforme a la estructura de fichas técnicas u hojas de vida diseñadas; simultáneamente, se formulan los lineamientos acerca de la construcción y organización de las bases de datos que alimentaran los indicadores. Carmelita Serna Ríos | CONTRATO 458 2014 12 Por su parte, el proceso de selección de indicadores definitivo debe realizarse aplicando los siguientes parámetros de calidad estadística8: ü Relevancia: o grado de utilidad para satisfacer el propósito por el cual fue sugerida su creación. ü Credibilidad: Se evalúa si los indicadores están soportados en procedimientos estadísticos apropiados; también si los procedimientos de recolección, procesamiento, almacenaje y difusión de datos estadísticos, reúnen los criterios de objetividad requerido. ü Accesibilidad: Donde se evalúa la manera en que los datos están disponibles. ü Oportunidad: Aquí se evalúa la actualidad del indicador, o sea si el tiempo en el cual se cuenta con el indicador corresponde al de la información ínsita en él, siendo así ésta valiosa como para trabajar acorde con ella. ü Coherencia: Así mismo, se evalúa la consistencia y coherencia del proceso estadístico que lo genera, o sea si está sujeto o no a una política de revisión previsible y permanente. Después de verificar el cumplimiento de los parámetros de calidad exigidos, se debe elaborar la documentación, a través de hojas de vida o fichas técnicas. La hoja de vida contiene una estructura en su formato, la cual permite conocer el metadato de los indicadores o respuesta a las preguntas qué, quién, cuándo, dónde, para qué y cómo, relativas a los contenidos de los datos que se documentan. 9
Los elementos que conforman la hoja de vida o ficha técnica del Indicador se describen a continuación: CONCEPTO DEFINICION Código y/o Sigla del Indicador Código o sigla del Indicador Fecha de diligenciamiento y de actualización Nombre del Indicador Fecha diligenciamiento y actualización de la información disponible. Definición del Indicador Propósito que se persigue con su medición, es decir, describe la naturaleza y finalidad del indicador. Método de medición Unidad de Medida / Tipo de Indicador Es la expresión verbal, precisa y concreta que identifica el indicador Corresponde a la explicación técnica sobre el proceso para la obtención de los datos utilizados y la medición del resultado del indicador. Área Temática / Tema Unidad con la que se mide el indicador: porcentaje, hectáreas, pesos, etc. Frecuencia con que se hace la medición del indicador en su expresión total. Dimensión tema objeto de medición Dirección/Entidad Dependencia o unidad institucional a la que se refiere el cálculo. Responsable del Cálculo Entidad(es) y dependencia(s) que tendrá(n) a su cargo la elaboración del indicador. Entidad(es) y dependencia(s) que tendrá(n) a su cargo la entrega de los insumos para el cálculo del indicador. Se refiere al nivel geográfico hasta el cual se puede obtener información estadísticamente significativa. Por ejemplo, nacional, departamental, municipal, entre otras. Periodicidad Responsable del Reporte Nivel de Desagregación Geográfico Nivel de Desagregación Temática Se refiere al nivel de detalle temático hasta el cual se puede obtener información estadísticamente significativa a partir de los datos disponibles. Estos criterios de calidad estadística están basados en lo propuesto por la OECD en el documento, Quality framework and guideline for OECD statistical activities. 2003. 9
Ver Documento Hojas de Vida de los indicadores diseñados. 8
LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA 13 Fórmula de Cálculo Nombre Variable Explicación de la Variable Expresión matemática mediante la cual se calcula el indicador. La fórmula se debe presentar con siglas claras y que en lo posible den cuenta del nombre de cada variable. Explicación conceptual de cada uno de los términos utilizados en el indicador. Descripción de cada variable de la fórmula: Especificación precisa de cada una de las variables con su respectiva sigla Fuente de Información Fuente de información de las variables que componen al indicador Área Responsable de la Información Nombre de las entidades encargadas de la producción y/o suministro de la información que se utiliza para la construcción del indicador y operación estadística que produce la fuente. Limitaciones del indicador ¿Qué no mide el indicador? Las limitaciones que el indicador tiene como modelo para medir una realidad a la que es imposible acceder directamente Incluye las reflexiones y recomendaciones que se consideren pertinentes para la conceptualización y comprensión del indicador además de señalar la bibliografía de referencia o documentales utilizados para la elaboración de los conceptos Observaciones Fuente: SENA – Indicadores de Acreditación Institucional 2014 Los resultados de esta fase deben conducir a: ü Establecer el conjunto definitivo de indicadores que deben ir en la estructura y contenido de la línea base. ü Construcción de un indicador sintético que permita compilar los resultados para unidades de análisis seleccionadas. ü Establecer las hojas de vida o fichas técnicas de los indicadores Para el caso de los Indicadores para la Acreditación Institucional, la construcción de los indicadores ha sido gradual y progresiva, por lo que se inició con una batería de 25 indicadores y al cierre de este informe se había diseñado 53 con procesos de recolección activos. Considerando que los indicadores tienen dentro de sus fines servir para el seguimiento y evaluación se hace necesario definir un indicador sintético que permita consolidar en un solo resultado el comportamiento de cada Centro de Formación. De esta forma fue necesario desarrollar un sistema de ponderaciones de acuerdo a la relevancia de cada indicador en el marco de la política de alta calidad. La tabla No. 3 muestra en su última columna la selección de los indicadores que harán parte del indicador sintético para compilar los resultados por Centro de Formación. Los indicadores que figuran con ponderador completo significan que entran en la agregación con un peso de 1 y los de “en complemento” y “en mejoramiento” con 0,5; los que aparecen con el rotulo excluido no se incluyen. Más adelante se explica los criterios utilizados para la definición del juego de ponderadores. Carmelita Serna Ríos | CONTRATO 458 2014 14 Tabla No. 2: Listado de Indicadores asociados a las dimensiones o factores Dimensión
Aprendices
Suma Aprendices
Bienestar
Suma Bienestar
Egresados y su impacto en el medio
Suma Egresados y su impacto en el medio
Formación Profesional
Suma Formación Profesional
Infraestructura física y TICs
Suma Infraestructura física y TICs
Innovación y desarrollo tecnológico
Suma Innovación y desarrollo tecnológico
Instructores
ID
Nombre Indicador
1 SABER PRO (-­‐10)
2 SABER PRO (PROMEDIO)
3 DEMANDA SOCIAL
Ponderador
Excluido
Completo
Completo
19
20
21
22
DESERCIÓN TITULADA 2014
DESERCIÓN COMPLEMENTARIA 2014
DESERCIÓN TITULADA AÑO 2013
DESERCIÓN COMPLEMENTARIA AÑO 2013
En complemento
Excluido
En complemento
Excluido
9
10
11
13
14
15
29
30
EGRESADOS OCUPADOS FORMALMENTE (TOTAL)
EGRESADOS OCUPADOS FORMALMENTE (TECNICOS)
EGRESADOS OCUPADOS FORMALMENTE (TECNOLOGOS)
INGRESO LABORAL DE EGRESADOS (TECNOLOGO)
INGRESO LABORAL DE EGRESADOS (TECNICO)
INGRESO LABORAL DE EGRESADOS (TOTAL)
INSCRITOS EN LA APE
EMPLEOS FONDO EMPRENDER
Excluido
Completo
Completo
Completo
Completo
Excluido
Completo
En mejoramiento
12
16
17
18
26
32
34
35
36
37
38
40
52
PRODUCCIÓN DE INVESTIGACIÓN Y DESARROLLO (I+D)
ALTERNATIVAS -­‐ OTRAS (SERVICIO MILITAR, PASANTÍAS, MONITORÍAS)
ALTERNATIVAS -­‐ CONTRATO DE APRENDIZAJE
ALTERNATIVAS -­‐ NINGUNA
APRENDICES CON CONTRATO DE APRENDIZAJE
PRODUCCIÓN DE CENTROS
TOTAL EDUCACIÓN SUPERIOR
TOTAL TÉCNICA LABORAL Y OTROS
FORMACIÓN COMPLEMENTARIA
FORMACIÓN VIRTUAL
PROGRAMA DE BILINGÜISMO
ALTERNATIVAS -­‐ NINGUNA
APRENDICES I + D
Completo
Excluido
Completo
En complemento
Completo
Completo
Completo
Excluido
Completo
Excluido
Excluido
Excluido
En mejoramiento
27
43
44
45
46
47
48
49
INDICE ESTADO DE INFRAESTRUCTURA
USO DE AMBIENTES
DENSIDAD SEDE PRINCIPAL
DENSIDAD TOTAL
DENSIDAD AMBIENTES DE FORMACIÓN
APRENDICES POR EQUIPO DE COMPUTO (MAS DE DOS AÑOS)
APRENDICES POR EQUIPO DE COMPUTO (MENOS DE DOS AÑOS)
APRENDICES POR EQUIPO DE COMPUTO (TOTAL GENERAL)
En complemento
Completo
Excluido
En complemento
En complemento
Excluido
Excluido
Completo
50 PROGRAMAS I+D POR CENTRO
Completo
4
5
6
7
8
25
39
41
42
Completo
Excluido
Excluido
Excluido
Excluido
En mejoramiento
Completo
Completo
Completo
NIVEL EDUCATIVO INSTRUCTORES POSGRADO
NIVEL EDUCATIVO INSTRUCTORES (UNIVERSITARIO)
NIVEL EDUCATIVO INSTRUCTORES (TECNOLOGO)
NIVEL EDUCATIVO INSTRUCTORES (TECNICO)
NIVEL EDUCATIVO INSTRUCTORES (BACHILLER)
DEDICACIÓN A LA FORMACIÓN
DEDICACIÓN A LA FORMACIÓN (2)
EXPERIENCIA DOCENTE
EXPERIENCIA PROFESIONAL
Suma Instructores
Investigación aplicada
51 INSTRUCTORES I+D
Suma Investigación aplicada
Misión Direccionamiento Estratégico y Programa de 24Formación
CLIMA ORGANIZACIONAL
Suma Misión Direccionamiento Estratégico y Programa de Formación
Organización y gestión de la información
23 PORCENTAJE DE CERTIFICADOS
Suma Organización y gestión de la información
Recursos financieros
33 COMPROMISOS
53 APROPIACIONES
54 PAGOS
Suma Recursos financieros
Relaciones Internacionales y Nacionales
31 PROGRAMAS CON ESTANDARES INTERNACIONALES
Suma Relaciones Internacionales y Nacionales
En complemento
En complemento
Completo
Completo
En complemento
En complemento
En complemento
Los criterios para la asignación del juego de ponderadores se resumen en los aspectos que se describen a continuación: LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA 15 D EFINICIÓN DE CATEGORÍAS PARA AGRUPACIÓN SEGÚN IMPORTANCIA EN EL ESQUEMA DE SEGUIMIENTO EVALUACIÓN QUE FUERON CONSTRUIDOS . Se definieron 3 categorías a saber: Estratégica que responde a los objetivos pilares y estratégicos del SENA; Gestión relacionado con aquellos cuyo nivel de influencia es fundamentalmente en los Centros de Formación y una tercera categoría que agruparía aquellos indicadores que pudiéndose clasificar en la segunda categoría aún están en proceso de construcción y perfilamiento metodológico, ya sea por desarrollo conceptual, por sus fuentes de información o por los esquemas de recolección. E XCLUSIÓN DE INDICADORES REDUNDANTES EN EL PROCESO DE AGREGACIÓN Selección de los indicadores pertinentes y exclusión, para efectos de la síntesis, de aquellos indicadores que ya están representados en algunos de la batería dispuesta. D EFINICIÓN DE PONDERADORES PARA CADA CATEGORÍA E INDICADOR . Los criterios para establecer el juego de ponderadores fueron: i.
ii.
Cada categoría tendría un peso similar y sus diferenciales los constituiría la calidad del indicador. En este sentido cada categoría iniciaría con un ponderador de 1/3. Los pesos dentro de cada categoría se distribuirían proporcionalmente, a excepción de los indicadores que sean complementarios los cuales entrarían sumando como unidad y aquellos cuya construcción metodológica se encuentra en proceso de mejoramiento, por ejemplo los indicadores relacionados con la dimensión de instructores de la categoría estratégica. Tabla No. 3. Distribución de los indicadores por dimensión y categoría Dimensiones
Formación Profesional
Egresados y su impacto en el medio
Aprendices
Instructores
Organización y gestión de la información
Bienestar
Recursos financieros
Misión Direccionamiento Estratégico y Programa de Formación
Relaciones Internacionales y Nacionales
Infraestructura física y TICs
Innovación y desarrollo tecnológico
Investigación aplicada
Total general
Estrátegico
Gestión Resto
15,1
11,6
1,3
15,1
4,3
15,1
7,5
4,3
2,5
2,9
2,9
2,9
2,5
1,4
1,4
1,4
5,0
1,3
1,3
52,8
33,3
13,8
Total general
27,9
19,4
15,1
14,4
2,9
2,9
5,4
1,4
1,4
6,5
1,3
1,3
100,0 A manera de conclusión los indicadores agrupados bajo la categoría de “estratégico” tienen un peso de 52,8%, los agrupados en la categoría “gestión” pesan 33,3% y los de resto 13,8%. Si se realiza el análisis por dimensiones se puede concluir que las dimensiones más importantes, ”formación profesional”, egresados y su impacto en el medio”, “aprendices” e instructores agregan el 76,9 del indicador. 3.8. S OCIABILIZACIÓN Y CAPACITACIONES. Para el primer grupo de indicadores, esta etapa se ha venido realizando a través de visitas a los Centros de Formación donde confluyen a la vez el Director del Centro, el Subdirector de la Regional y el Directordel área misional competente de la Dirección General. En dichas mesas de trabajo no sólo se discutió, analizó y acordó cada indicador, sino también los resultados obtenidos y el uso de los mismos en relación al proceso de alta calidad institucional. En síntesis, se capacitó y familiarizó al personal directivo citado con el mejor uso que se le debe dar a la información contenida en la línea base de Indicadores, así como el alcance de la Carmelita Serna Ríos | CONTRATO 458 2014 16 10
herramienta para el seguimiento, evaluación y mecanismos que conduzcan a la excelencia institucional . El diagrama No.4 muestra el procedimiento definido a la fecha para el desarrollo de la agenda regional de alta calidad, agenda a través de la cual se ha venido construyendo e implementado esta batería de indicadores. Diagrama No. 4: Procedimiento para el desarrollo de la Agenda Regional de Alta Calidad. Fuente: SENA – Agenda Regional para la Alta Calidad, Bogotá, Mayo 2014. De acuerdo con lo anterior, el uso que se puede dar a la información contenida en la línea base no se reduce sólo a un único período de tiempo coyuntural o específico, también sirve para estudiar y examinar el estado en que se encuentra la entidad en varios momentos a lo largo del tiempo; por lo tanto debe entenderse que dicha información recoge aspectos centrales, de estructura, de la vida de la Institución que le dan su existencia y razón de ser, y el uso más adecuado de esos indicadores conviene a todos y exige ser activados constantemente en un proceso de participación y compromiso serios, responsables, asumidos por los actores funcionarios a cargo de la excelencia institucional. El buen funcionamiento de la Entidad depende por lo tanto de la puesta en marcha del aplicativo, esquema organizativo, flujos de información y alimentación de los indicadores y de sus bases de datos. Para tal el efecto, el proceso debe incluir el desarrollo de un programa amplio de capacitación a funcionarios y directivos en torno a la administración y coordinación de la línea base, la construcción y análisis de indicadores. Para dichos propósitos se deben organizar ciclos de capacitación acerca de diversos aspectos técnicos, donde se trate al menos los siguientes temas: 10
Este proceso no se ha desarrollado para los indicadores del segundo momento. La metodología utilizada para el resto de indicadores será la misma, incorporándole las lecciones aprendidas del proceso del primer momento. LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN | Sistema de Información para la Planeación del SENA – SIPSENA 17 ü
ü
ü
ü
Análisis, formulación y diseño de indicadores. La inclusión de indicadores en el sistema. El cargue de datos a las variables que componen los indicadores. La consulta de los indicadores para su análisis y aplicaciones respectivas de los mismos. Carmelita Serna Ríos | CONTRATO 458 2014