DISEÑO PLAN DE EVALUACIÓN 1 EVALUACIÓN PROGRAMA “ARCE” ÍNDICE INTRODUCCIÓN -................................................................................................1 PLANTEAMIENTO DE LA EVALUACIÓN Y DETERMINACIÓN DE OBJETIVOS -........................................................................................................1 FAMILIARIZACIÓN CON EL PROGRAMA Y DESCRIPCIÓN-................1 Nombre del programa-....................................................................1 Orígenes y objetivos del programa -...............................................1 Personas implicadas-......................................................................3 Principales actividades que constituyen el programa-....................4 Lugares y tiempos de implantación-...............................................5 Recursos materiales y presupuesto-...............................................5 Otras informaciones de especial interés-........................................6 ÁMBITO/FOCO DE LA EVALUACION Y OBJETIVOS ..........................11 Propósito general de la evaluación-..............................................11 Formulación de objetivos específicos-..........................................13 Identificación de audiencias potenciales-......................................14 Identificación de clientes y usuarios directos de la evaluación-. . .14 Identificación del tipo de evaluación a diseñar-............................14 EVALUABILIDAD DEL PROGRAMA-.......................................................15 DELIMITACIÓN DEL OBJETO DE LA EVALUACIÓN-......................................15 Formulación de cuestiones evaluativas-..................................................15 Definición de dimensiones de análisis y variables-.................................16 RECURSOS METODOLÓGICOS Y DISEÑO-...................................................18 Fuentes y procedimientos de recogida de datos-....................................18 Definición del diseño de la evaluación-....................................................21 PLAN DE ANÁLISIS DE DATOS-.......................................................................24 PRESENTACIÓN DE RESULTADOS: INFORMES-.........................................26 ORGANIZACIÓN DE LA EVALUACIÓN-...........................................................28 PRESUPUESTO-................................................................................................32 METAEVALUACIÓN-..........................................................................................34 CONCLUSIONES-..............................................................................................37 ANEXOS-............................................................................................................38 2 INTRODUCCIÓN En el presente documento se muestra información sobre el Programa Arce, con el cuál se va a llevar a cabo una evaluación detallada de lo que ha supuesto su realización y su puesta en marcha. El desarrollo del trabajo comienza con la familiarización de dicho programa, donde se explica en qué consiste exactamente el programa y que objetivos propone, además de la especificación de las personas que lo realizan y su implicación. También, en este punto se habla de las principales actividades que constituyen el programa, así de los lugares donde se van a llevar a cabo y su respectiva temporalización. Como punto de interés se desarrolla un apartado en donde se incluye información relevante de este programa. A continuación, se va a mostrar el propósito general de la evaluación que se propone en dicho programa y los objetivos específicos que se redactan para ésta. Además se incluye la identificación de las audiencias potenciales, así como los clientes y usuarios directos de la evaluación y el tipo de evaluación que se va a llevar a cabo. Otro de los puntos importantes del programa que aparecen en el trabajo es la delimitación del objeto de la evaluación donde se van a formular cuestiones evaluativas que darán respuesta a los objetivos planteados. Asimismo también se definirán las dimensiones de análisis y las variables del programa en cuestión. Pasaremos a especificar las fuentes y procedimientos de recogida de datos utilizados, donde se añadirán propuestas de mejora y se definirá el tipo de diseño a utilizar además de la muestra recogida. En este apartado, por último se adjunta una tabla de los momentos en los que se ha recogido la información. Posteriormente, se incluye el plan de análisis de datos donde se representan los tipos de instrumentos utilizados para obtener la información necesaria, la cuál será analizada para dar conclusiones lo más válidas y fiables posibles. Se hará una presentación de los informes con toda la recogida de información y además se incluirá una organigrama de los tiempos en los que se ha llevado la evaluación y el presupuesto de los conceptos utilizados en dicha evaluación. Para finalizar, se incluye un apartado dedicado a la metaevaluación donde aparece representada una tabla con los estándares de calidad de la evaluación, que serán explicados posteriormente y los anexos necesarios que hemos utilizado para llevar a cabo dicho trabajo. 3 A.- PLANTEAMIENTO DE LA EVALUACIÓN Y DETERMINACIÓN DE OBJETIVOS FAMILIARIZACIÓN CON EL PROGRAMA Y DESCRIPCIÓN 1.- NOMBRE DEL PROGRAMA: Programa ARCE (Agrupaciones y Redes de Centros Educativos). 2.- ORIGENES Y OBJETIVOS DEL PROGRAMA: 2.1. Fecha de inicio del programa/momento de la implantación o desarrollo en que se encuentra. El programa ARCE se está llevando a cabo desde el año 2006 en todo el territorio español. 2.2. Necesidades a las que trata dar respuesta: ­ ­ ­ ­ Necesidad de mejorar algún aspecto del currículo, de la organización, de la participación del alumnado, de la atención a la diversidad, etc. Por parte de algún departamento o equipo de profesores: establecer nuevas formas de trabajo en cooperación, a través del establecimiento de redes educativas, o que tienen interés en realizar, mantener y generalizar buenas prácticas e iniciativas innovadoras sobre algunos aspectos concretos. Por parte del profesorado: formación e investigación en temas relacionados con el currículo, metodologías, medidas organizativas, prevención del abandono escolar, etc. Al igual que la necesidad de establecer lazos de cooperación con otros centros para ampliar sus horizontes, pasando de un trabajo individual a una forma de trabajo integrada. Por parte del alumnado: la necesidad de poder realizar intercambios con alumnos de otras comunidades autónomas. En general, la razón fundamental de ello es, el enriquecimiento mutuo, la posibilidad de reflexionar y compartir experiencias innovadoras, lo que ayude a contribuir en la mejora de la calidad de la educación. 2.3. Objetivos del programa: o Crear vínculos entre centros y profesionales de la educación, desarrollando proyectos basados en temas de interés común, que promuevan la cooperación e innovación en distintas áreas de trabajo, más allá del ámbito de la comunidad autónoma en la que están ubicados los centros. o Establecer un marco para el debate y la reflexión conjunta dirigidos a la identificación y la promoción de buenas prácticas en el ámbito de trabajo de su elección, con especial atención a las áreas curriculares. o Intercambiar propuestas con otros centros que presenten situaciones similares para dar respuesta de forma conjunta por medio del intercambio entre los centros que forman la agrupación y las movilidades entre el alumnado y al profesorado. o Contribuir al desarrollo de las competencias básicas en un contexto de aprendizaje innovador. 4 o Conocer y valorar el patrimonio cultural y lingüístico de las diferentes comunidades autónomas. o Establecer medidas de atención a la diversidad que faciliten la puesta en marcha de actuaciones, adaptaciones al currículo, medidas organizativas, apoyos y refuerzos que permitan dar la respuesta más adecuada a todo el alumnado del centro, intentando prevenir el abandono escolar y mejorar el éxito educativo. o Difundir las conclusiones, materiales y herramientas elaborados en proyectos anteriores que puedan ser de aplicación en otros ámbitos educativos. o Favorecer la creación de equipos de trabajo y redes educativas que permitan generalizar propuestas innovadoras, materiales novedosos y metodologías específicas que impulsen la cooperación y contribuyan a la mejora de la calidad educativa. 3.- PERSONAS IMPLICADAS: 3.1. Responsables del programa Los responsables del programa son: • La Secretaria de Estado de Educación y Formación Profesional • La Dirección general de Evaluación y Cooperación Territorial • La Subdirección General de Cooperación Territorial. 3.2. Plantilla (personal técnico, personal auxiliar, etc.) La plantilla que se encarga de llevar a cabo el programa serán: ­ Un conjunto de profesores y de compañeros de la comunidad educativa, destinados al trabajo del mismo, lo que mejorará y garantizará una mayor repercusión, visibilidad y permanencia de todo aquello que hagan, además que ayudará a impulsar de manera efectiva el trabajo interdisciplinar y cooperativo. ­ Debe contar desde el principio con el apoyo del claustro de profesores y de la institución, lo que permitirá el enriquecimiento con múltiples aportaciones permitiendo que el equipo de trabajo sea más amplio. ­ El trabajo realizado por ellos, deberá ser presentado al equipo directivo para que así puedan contar con su cooperación y compromiso. 3.3. Población objetivo/destinatarios. La población a la que va dirigida dicho programa es a los alumnos, profesores y profesionales de la educación. 3.4. Otras personas implicadas en el programa. ­ ­ Se podrá establecer alianzas y sinergias para contar con la colaboración de las instituciones locales, de los centros de formación del profesorado o del servicio de inspección, en el caso de ser necesario su apoyo y orientación. Los padres de los alumnos, ya que se tiene que contar con su complicidad al ser éstos uno de los papeles protagonistas de este programa. 5 ­ También se recibirá apoyo de empresas u otro tipo de instituciones y organismos. 4.- PRINCIPALES PROGRAMA OPERACIONES/ACTIVIDADES QUE CONSTITUYEN EL Una vez seleccionado el proyecto y concedida la ayuda financiera, estas serían las principales operaciones: • Comunicación de las aprobación y presentación del proyecto: Desde el primer momento es necesario que todo el claustro esté informado de las líneas generales del proyecto, de las posibles actividades que se realizarán y que afectarán a todo el centro educativo, al igual que es importante comunicar la aprobación del mismo a la administración educativo y a otras entidades de carácter educativo que puedan colaborar y facilitar su desarrollo. Una buena manera de iniciar su difusión es a través de la publicación de notas de prensa en diferentes medios de comunicación locales o revistas educativas. • Comunicación entre socios: Este punto debe ser realizado de manera continua, con la ayuda de las nuevas tecnologías que permiten la comunicación en tiempo real o diferido entre todos los miembros participantes en la agrupación. Para ello debemos fijar cuáles serán los canales de comunicación que se utilizarán (correo electrónico, fax, videoconferencia, teléfono, etc.), las ventajas o inconvenientes que puede tener cada uno, con qué periocidad, teniendo en cuenta la disponibilidad horaria de cada centro, entre otras cosas. También deberá de acordarse cuáles serán los medios de comunicación entre los alumnos (blogs, videoconferencias, etc.). • Léxico común ya que es un programa de cooperación en diferentes comunidades autónomas y es necesario que desde un principio todos los miembros participantes acoten el significado del léxico común. • Definición de los objetivos que se va a perseguir con el proyecto, con lo cual todos los centros de la agrupación trabajarán en la misma línea. • La institución o centro coordinador de la agrupación se encargará de: o Solicitud de participación en la convocatoria. o Informe de progreso al finalizar el primer año. o Coordinación de la memoria final. • Reuniones de coordinación. • Encuentros e intercambios: Las actividades de intercambios con alumnos tienen un peso importante en la agrupación. • Informe de progreso: Al finalizar el primer año, cada uno de los centros o instituciones de la agrupación deberá enviar un informe de progreso a la subdirección general de cooperación territorial. 6 • Memoria final: Al finalizar el proyecto, cada centro deberá presentar una cuenta justificada (memoria final). En la memoria cada centro debe tratar los siguientes apartados: o Modificaciones. o Evaluación del Proyecto. o Conclusiones. o Difusión del Proyecto. o Justificación de la ayuda recibida. • Continuidad de la agrupación: Observar si el programa continua o no al segundo año de su implantación. Al final del documento aparecerán como anexo las actividades llevadas a cabo por cada centro, ya que este programa es un conjunto de proyectos de distintos centros. 5.- LUGARES Y TIEMPOS DE IMPLANTACIÓN El Programa Arce va dirigido a 756 centros e instituciones del ámbito de la educación. En un principio iba destinado a los centros públicos españoles de Educación Primaria, Educación Secundaria y Formación Profesional, pero se ha ido extendiendo en sucesivas convocatorias a otro tipo de enseñanzas, de centros e instituciones públicas del ámbito de la educación. Actualmente se dirige a todos los centros públicos españoles que se encuentren en alguna comunidad autónoma o en las ciudades de Ceuta y Melilla, que imparten las enseñanzas reguladas en la LOE, así como a las instituciones públicas que presten apoyo a los centros educativos, a los profesionales de la educación, al alumnado o a sus familias. Con esto se ha abierto la convocatoria a centros de formación del profesorado, equipos de orientación educativa, centros penitenciarios, escuelas municipales, etc. El número de centros ha ido aumentando considerablemente desde la convocatoria del año 2006, en el que se concedieron ayudas a 79 centros, permitiendo que surgieran 18 agrupaciones, hasta la convocatoria de 2010 en la que se han concedido ayudas a 361 centros, formándose un total de 102 agrupaciones. 6.- RECURSOS MATERIALES Y PRESUPUESTO No aparece especificado en el programa. 7 7.- OTRAS INFORMACIONES DE INTERÉS ESPECIAL Según este programa, el seguimiento y la evaluación continua del proyecto es fundamental para poder ir adaptando las actividades, metodologías o los diferentes materiales a las necesidades emergentes y así poder llegar a la consecución de los objetivos previstos. Casi siempre, el inicio del proyecto parte a su vez de una evaluación inicial, en la cual se analiza el contexto, se evalúan las necesidades formativas, los aspectos didácticos que se quiere mejorar y se reflexiona sobre la organización y gestión del centro. Al elaborar el proyecto, se ha de establecer: ­ Cómo se realizará la evaluación del proyecto: En el cómo se detalla las técnicas que va ha utilizar el programa para su evaluación, que serían: Observación indirecta: análisis de documentos, sobre la base de los indicadores; Valoración y opiniones de los implicados y “afectados”; y Observación directa en el desarrollo de las actividades. ­ En qué momentos: Los momentos de la evaluación en este programa serían: En Enero: Evaluación inicial. Producto: Documento para compartir el punto de partida; En Junio/Julio: Evaluación del proceso (resultados hasta la fecha) Producto: Informe de progreso. Diciembre: Evaluación formativa, etc.; En Junio/Julio del segundo año: Evaluación final. Producto: Memoria final. ­ Qué aspectos o ámbitos se van a evaluar: En este programa los ámbitos evaluados son: Desarrollo y gestión del proyecto; Eficacia y eficiencia; Satisfacción de los participantes y de la comunidad educativa; Incidencia del proyecto en determinados aspectos; Innovación; y Productos, resultados y logros. ­ Con qué instrumentos: Los instrumentos que se utilizan aquí son: Cuestionarios, guiones de observación y registro, escalas de estimación, guión de análisis de documentos, anecdotarios, fichas de seguimiento, actas, etc. ­ Cuáles van a ser los indicadores para cada una de las actividades que se realicen: los indicadores de este programa, son: o En cuanto al ámbito del Desarrollo y gestión del programa: Actuación de la coordinación; Nivel de participación de los centros agrupados; Frecuencia y efectividad de las comunicaciones entre los centros; Grado de acuerdo y de cumplimiento de tareas; y, Cumplimiento de la temporalización y del calendario previsto. o En cuanto a la Eficacia y eficiencia: Grado de consecución de los objetivos concretos y su realización; Adecuación de recursos y procesos para la consecución de los objetivos; y, Nivel de implementación de las actividades. o Satisfacción de los participantes y de la comunidad educativa: Cumplimiento de aspiraciones y deseos de los grupos destinatarios de las actuaciones; y, Cumplimiento de aspiraciones y deseos de los participantes. o Incidencia del proyecto en: El funcionamiento de los equipos de los centros implicados; La apertura y consolidación de las relaciones de los centros con otros centros, figuras o entidades colaboradoras; La integración de las TIC en el proceso de enseñanza-aprendizaje; El intercambio de información y conocimientos; La mejora del desarrollo curricular de los centros implicados; y, la generación, identificación y transferencias de buenas prácticas. o Innovación: Adopción de una variada gama de enfoques; Utilización de metodologías innovadoras; Utilización de las TICS; Transferencia de experiencias entre los centros agrupados; y, Formación e investigación. o Productos, resultados, logros: Incidencia en el aula, ciclo, centro, otros; Nivel 8 de participación en su elaboración; Carácter creativo e innovador; y, adaptabilidad a los diferentes contextos. La evaluación se realiza sobre el propio proyecto pero a la vez sobre el proceso de enseñanza-aprendizaje del alumnado participante y sobre el grado de implicación de la comunidad educativa. A continuación aparece representada una tabla donde se encuentran las diferentes dimensiones a evaluar que han sido definidas previamente en el programa. En el programa mencionan una serie de técnicas e instrumentos a utilizar que no fueron definidas para una dimensión concreta y que nosotras hemos clasificado. Más adelante, en el apartado C, presentamos esta misma tabla con ampliaciones y mejoras. Dimensión/subdimensión medida/indicador/variable* 1. Grado de consecución de los objetivos concretos y su realización. 2. Adecuación de recursos y procesos para la consecución de los objetivos. 3. Nivel de implementación de las actividades. 4. Cumplimiento de aspiraciones y deseos de los grupos destinatarios de las actuaciones. 5. Cumplimiento de aspiraciones y deseos de los participantes. 6. Actuación de la coordinación 7. Nivel de participación de los centros agrupados 8. Frecuencia y efectividad de las comunicaciones entre los centros Fuentes de información* * Actividad en el aula Actividad en el aula Actividad en el aula Alumnos, profesores y profesionales de la educación Centros implicados en el programa, alumnos, profesores y profesionales de la educación Equipo directivo de los diferentes centros Evaluador externos que recoge la actividad en los centros Equipo directivo Técnica/Procedimient o Instrumento Observación Directa en el desarrollo de actividades Observación Directa en el desarrollo de actividades Guiones de Observación y de registro Guiones de Observación y de registro Observación Directa en el desarrollo de actividades Valoraciones y opiniones de los implicados y "afectados". Guiones de Observación y de registro Cuestionarios de evaluación para los destinatarios Valoraciones y opiniones de los implicados y "afectados". Cuestionarios de evaluación para los participantes Observación Directa en el desarrollo de actividades Guiones de Observación y de registro Observación Indirecta Observación Indirecta 9 Análisis de Documentos y fichas de seguimiento Análisis de Documentos y fichas de seguimiento 9. Grado de acuerdo y de cumplimiento de tareas 10. Cumplimiento de la temporalización y del calendario previsto. 11. El funcionamiento de los equipos de los centros implicados 12. La apertura y consolidación de las relaciones de los centros con otros centros, figuras o entidades colaboradoras. 13. La integración de las TIC en el proceso de enseñanza-aprendizaje. Actividades en el aula Equipo directivo Evaluador externos que recoge la actividad en los centros Evaluador externos que recoge la actividad en los centros Alumnos y profesores Valoraciones y opiniones de los implicados y "afectados". Observación Directa en el desarrollo de actividades Observación Directa en el desarrollo de actividades Guiones de Observaciones y de registros Guiones de Observaciones y de registros Observación Directa en el desarrollo de actividades Guiones de Observaciones y de registros Valoraciones y opiniones de los implicados y "afectados" Valoraciones y opiniones de los implicados y "afectados" Guiones de Observaciones y de registros 14. El intercambio de información y conocimientos Alumnos y profesores 15. La mejora del desarrollo curricular de los centros implicados Claustro de profesores Observación Indirecta 16. La generación, identificación y transferencia de buenas prácticas. 17. Adopción de una variada gama de enfoques Actividad e en aula Observación Indirecta 18. Utilización de metodologías innovadoras 19. Utilización de las Tecnologías de la Información y la Comunicación 20. Transferencia de experiencias entre los centros agrupados Actividad e en aula Actividad en el aula Alumnos y profesores Alumnos, profesores y equipo directivo 10 Observación Directa en el desarrollo de actividades Observación Directa en el desarrollo de actividades Valoraciones y opiniones de los implicados y "afectados" Valoraciones y opiniones de los implicados y "afectados". Escalas de estimación Cuestionarios de evaluación para los participantes Análisis de Documentos y fichas de seguimiento Análisis de Documentos y fichas de seguimiento Guiones de Observación y de registro Guiones de Observación y de registro Guiones de Observación y de registro Anecdotarios y cuestionarios de evaluación para los 21. Formación e investigación Equipo directivo y Claustro de profesores 22. Incidencia en el aula, ciclo, centro, otros Actividad en el aula Observación Indirecta Observación Directa en el desarrollo de actividades 23. Nivel de participación en Equipo Observación Directa en su elaboración directivo el desarrollo de actividades 24. Carácter creativo e Actividad en Observación Directa en innovador el aula el desarrollo de actividades 25. Adaptabilidad a los Equipo Observación Directa en diferentes contextos directivo el desarrollo de actividades *La columna de las dimensiones está obtenida tal cual del programa ** Las fuentes de información no aparecen especificadas en el programa. participantes Análisis de Documentos y fichas de seguimiento Guiones de Observaciones y de registros Guiones de Observaciones y de registros Guiones de Observaciones y de registros Guiones de Observación y de registro En la siguiente tabla representamos los instrumentos y momentos de la recogida de las medidas que se proponen en el programa. El escenario y las poblaciones/muestras no aparecen especificados en el programa por lo que nosotras lo ampliaremos en el apartado C en la definición del diseño de evaluación, además de mejorar algún instrumento y momentos. Instrumento (Variables/medidas/indicado res) 1. Guiones de Observación y de registro Junio/ Julio 1º año 2. Guiones de Observación y de registro Junio/ Julio 1º año 3. Guiones de Observación y de registro Junio/ Julio 1º año 4. Cuestionarios de evaluación para los destinatarios 5. Cuestionarios de evaluación para los participantes 6. Guiones de Observación y de registro Momento Escenario Informe de progreso Informe de progreso Informe de progreso Junio/ Julio 2º año memoria final Junio/ Julio 2º año memoria final Junio/ Julio 1º año Aula Alumnado de los centros entre 13 y 16 años Aula Alumnado de los centros entre 13 y 16 años Aula Alumnado de los centros entre 13 y 16 años Centro Centro Centro Informe de progreso 11 Poblaciones/muestr as Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 años 7. Análisis de Documentos y fichas de seguimiento Junio/ Julio 1º año 8. Análisis de Documentos y fichas de seguimiento Junio/ Julio 1º año y 2º año 9. Escalas de estimación Informe de progreso Informe de progreso y memoria final Junio/ Julio 1º año y 2º año Informe de progreso y memoria final 10. Guiones de Observaciones y de registros 11. Guiones de Observaciones y de registros Junio/ Julio 1º año y 2º año Informe de progreso y memoria final Junio/ Julio 1º año y 2º año 12. Guiones de Observaciones y de registros Informe de progreso y memoria final Evaluación inicial y evaluación de proceso (junio/ julio 1º año) 13. Guiones de Observaciones y de registros Junio/ Julio 1º año 14. Cuestionarios de evaluación para los participantes Junio/ Julio 1º año y 2º año 15. Análisis de Documentos y fichas de seguimiento 16. Análisis de Documentos y fichas de seguimiento 17. Guiones de Observación y de registro 18. Guiones de Observación y de registro Informe de progreso Informe de progreso y memoria final Centro Alumnado de los centros entre 13 y 16 años Centro Alumnado de los centros entre 13 y 16 años Aula Alumnado de los centros entre 13 y 16 años Aula Alumnado de los centros entre 13 y 16 años Centro Alumnado de los centros entre 13 y 16 años Centro Alumnado de los centros entre 13 y 16 años Aula Alumnado de los centros entre 13 y 16 años Centro Alumnado de los centros entre 13 y 16 años Junio/ Julio 1º año y 2º año memoria final Evaluación de proceso (junio/ julio 1º año) Evaluación de proceso (junio/ julio 1º año) Evaluación de proceso 12 Centro Aula Aula Aula Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 19. Guiones de Observación y de registro 20. Anecdotarios y cuestionarios de evaluación para los participantes 21. Análisis de Documentos y fichas de seguimiento 22. Guiones de Observaciones y de registros 23. Guiones de Observaciones y de registros 24. Guiones de Observaciones y de registros 25. Guiones de Observaciones y de registros (junio/ julio 1º año) Evaluación de proceso (junio/ julio 1º año) Junio/ Julio 1º año y 2º año Informe de progreso y memoria final años Aula Alumnado de los centros entre 13 y 16 años Centro Alumnado de los centros entre 13 y 16 años Junio/ Julio 1º año y 2º año memoria final Evaluación de proceso (junio/ julio 1º año) Evaluación inicial Centro Aula Centro Evaluación inicial y evaluación de proceso (junio/ julio 1º año) Aula Junio/ Julio 1º año y 2º año memoria final Centro Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 años Alumnado de los centros entre 13 y 16 años ÁMBITO/FOCO DE LA EVALUACIÓN Y OBJETIVOS 1. PROPÓSITO GENERAL DE LA EVALUACIÓN. Lo que nos proponemos con la evaluación es conocer si el programa ha tenido una incidencia directa sobre los centros y componentes que lo conforman, en los que se ha implantado. Además de observar más concretamente si se ha conseguido una mejora de la práctica educativa dentro del centro. SEGUIMIENTO Y EVALUACIÓN (PROPUESTA) Ámbitos de análisis Desarrollo y gestión del proyecto Que 13 Indicadores a. Actuación de la coordinación. b. Nivel de participación de los centros agrupados. c. Frecuencia y efectividad de las comunicaciones entre los centros. d. Grado de acuerdo y de cumplimiento de tareas. e. Cumplimiento de la temporalización y del calendario previsto. Eficacia y eficiencia Satisfacción de los participantes y de la comunidad educativa Incidencia proyecto en: del Innovación 14 a. Grado de consecución de los objetivos concretos y su realización b. Adecuación de los recursos y procesos para la consecución de objetivos. c. Nivel de implementación de las actividades a. Cumplimiento de las aspiraciones y deseos de los grupos destinatarios de las actuaciones. b. Cumplimiento de aspiraciones y deseos de los participantes a. El funcionamiento de los equipos de los centros implicados. b. La apertura y consolidación de las relaciones de los centros con otros centros, figuras o identidades. c. La integración de las TIC en el proceso de enseñanza-aprendizaje d. El intercambio de información y conocimientos. e. La mejora del desarrollo curricular de los centros implicados. f. La generación, identificación y transferencia de las buenas prácticas. a. Adopción de una variada gama de enfoques. b. Utilización de metodologías innovadoras. c. Utilización de las Tecnologías de la Información y la Comunicación. d. Transferencia de experiencias entre los centros agrupados. e. Formación e investigación Productos, resultados y logros a. Incidencia en el aula, ciclo, centro, otros. b. Nivel de participación en su elaboración c. Carácter creativo e innovador. d. Adaptabilidad a los diferentes contextos. Técnicas: e a. Observación indirecta (análisis de documentos) b. Valoraciones y opiniones de los implicados y afectados. c. Observación directa en el desarrollo de las actividades Instrumentos: a. Cuestionarios, guiones de observación y de registro, escalas de estimación, guión de análisis de documentos, anecdotarios, fichas de seguimiento… Técnicas instrumentos Cómo Enero: evaluación inicial. Producto: documento para compartir el punto de partida Junio/julio: evaluación de proceso. Producto: Informe de progreso Junio/julio del segundo año: evaluación final. Producto: Memoria final Momentos Cuándo Quién a. Equipos de cada uno de los centros participantes b. Potenciales evaluadores externos Responsables Evaluación de Productos, resultados, logros donde se observen indicadores como: o Incidencia en el aula, ciclo, centro, otros. o Nivel de participación en su elaboración. o Carácter creativo e innovador. o Adaptabilidad a los diferentes contextos. 15 2. FORMULACIÓN DE OBJETIVOS ESPECÍFICOS La evaluación se plantea los siguientes objetivos específicos: • Si el programa ha conseguido mejorar el trabajo en equipo entre centros escolares. • Si el programa de actuación ha conseguido servir de modelo para otros centros. • Si el programa ha tenido un efecto positivo y generalizado en todo el centro o institución. • Si el programa, mediante la introducción de las TICS, ha conseguido una mejora en la comunicación entre los centros participantes. • Si durante la implantación del programa y tras su finalización se han conseguido objetivos tales como: participación activa, innovación, mejora de la práctica educativa... 3. IDENTIFICACIÓN DE AUDICIENCIAS POTENCIALES. Las audiencias potenciales que aparecen en este programa son de dos tipos: audiencias potenciales internas y audiencias potenciales externas. Las audiencias potenciales internas serían los: • Equipo directivo de los diferentes centros asociados • Profesores • Alumnos • Familiares de los usuarios Y las audiencias externas serían los: • Comunidad educativa • Sociedad • Empresarios • Servicio de inspección • Instituciones locales 4. IDENTIFICACIÓN DE CLIENTES Y USUARIOS DIRECTOS DE LA EVALUACIÓN. No aparece especificado quién encarga este informe aunque en la configuración del programa se realiza entre el MEC y las Comunidades Autónomas, dado a esta información creemos que son estos organismos los que encargan la evaluación ya que se especifica en el propio programa que se debe realizar una evaluación. 5. IDENTIFICACIÓN DEL TIPO DE EVALUACIÓN A DISEÑAR. En este programa la evaluación que se lleva a cabo sería una evaluación inicial, la cual se realiza en el diseño del programa, en la cual se analiza el contexto, se evalúan las necesidades formativas, los aspectos didácticos que se quiere mejorar y se reflexiona sobre la organización y gestión del centro. También se debería realizar una evaluación de proceso, ya que es fundamental para poder ir adaptando las actividades, metodologías o los diferentes materiales a las necesidades emergentes y así poder llegar a la consecución de los objetivos previstos. Y, por último, también se trata de realizar una evaluación final, o de resultados, que se 16 realiza al fin del programa, puesto que es de interés conocer, cuáles han sido los efectos producidos tras la implantación del programa, si se han obtenido los resultados esperados, si se han conseguido los objetivos planteados al principio y en qué grado nos los hemos encontrado y si tras finalizar el primer período de implantación se han mantenido los resultados (durante cuánto tiempo). La evaluación que se lleva a cabo no es ni puramente formativa ni sumativa. Se realiza una evaluación formativa, puesto que al llevarse a cabo una evaluación de proceso, quiere decir que se realiza durante el mismo proceso de funcionamiento del programa y que permite tomar medidas de carácter inmediato; Y una evaluación sumativa, ya que se realiza al final del programa y trata de determinar en qué grado se han alcanzado los objetivos previstos, y así poder tomar medidas a medio o largo plazo. 6. EVALUABILIDAD DEL PROGRAMA En cuanto a este aspecto de la evaluación decir, que hemos encontrado dificultades a la hora de poder realizar algunos sondeos de opinión para consultar a la población a la que va destinada la evaluación cuáles son sus necesidades concretas respecto a la misma, por lo que hemos tenido que recurrir a datos de archivo, para determinar de manera indirecta las necesidades de dicha población. También se obtuvo algunas dificultades a la hora de observar las acciones implicadas, la temporalización en la implantación…ya que este programa, como ya se ha mencionado varias veces, es un conjunto de varios proyectos que se realizan en diferentes centros, por lo que fue más complicado a la hora de tener claro la definición del programa, para su posterior evaluación. El último aspecto de la evaluación con el que se ha tenido más problemas, ha sido con el coste de la misma, ya que en un primer se pretendía realizar en un solo año, pero vista la cantidad de dimensiones ha observar y evaluar, se llegó a la conclusión de realizarlo a lo largo de dos cursos académicos, debido a que si se realizase sólo en uno el presupuesto de la evaluación sería muy elevado. B. DELIMITACIÓN DEL OBJETO DE LA EVALUACIÓN ____________________________________________________ A continuación proponemos una serie de preguntas que nos ayudarán a centrarnos en los aspectos que queremos evaluar, además añadimos para qué audiencias, de las antes descritas, es importante esa información. FORMULACIÓN DE CUESTIONES EVALUATIVAS PREGUNTAS EVALUATIVAS: 1. ¿El programa ha conseguido mejorar el trabajo en equipo entre los centros escolares que participan? 2. ¿Cuál ha sido el grado de aprovechamiento de los participantes en el programa? Es decir, ¿Alcanzan al término del mismo los objetivos formativos planteados o por el contrario es frecuente que los asistentes no cubran con las exigencias previstas al final del curso? 3. ¿Este programa de actuación ha conseguido servir de modelo para otros centros? 4. ¿El programa ha tenido un efecto positivo y generalizado en todo el centro o institución? 5. ¿El programa ha utilizado de manera correcta las TICs para la comunicación entre los determinados centros participantes en el programa? 17 6. ¿Durante la implantación del programa y tras su finalización se han conseguido los objetivos previstos, tales como: participación activa, innovación, mejora de la práctica educativa…? AUDIENCIAS: (las cuales hacen referencia a las audiencias a las que se refiere cada una de las preguntas evaluativas) 1. Todas las identificadas, pero especialmente importante para los responsables del programa, el equipo directivo y para el profesorado participante. 2. Todas las identificadas, pero especialmente importante para los responsables del programa y el profesorado participante. 3. Todas las identificadas, pero especialmente para los responsables del programa y las audiencias externas del programa. 4. Todas las identificadas, pero especialmente para los responsables del programa y equipo directivo. 5. Todas las identificadas, pero especialmente para los responsables del programa y el profesorado participante. 6. Todas las identificadas, pero especialmente para los responsables del programa y servicio de inspección. IMPORTANCIA 1. Derivada del primer objetivo específico de la evaluación 2. Derivada del quinto objetivo específico de la evaluación 3. Derivada del segundo objetivo específico de la evaluación 4. Derivada del tercer objetivo específico de la evaluación 5. Derivada del cuarto objetivo específico de la evaluación 6. Derivada del quinto objetivo específico de la evaluación DEFINICIÓN DE DIMENSIONES DE ANÁLISIS Y VARIABLES A partir de las preguntas planteadas anteriormente, identificamos las grandes dimensiones a evaluar y los indicadores de cada una de ellas, que van a servir de ayuda para determinar exactamente los aspectos observables y medibles en nuestro proyecto evaluativo. PREGUNTA EVALUATIVA: 1 • • • DIMENSIÓN: Eficacia del proyecto SUBDIMENSIÓN: No aparece especificado en el programa. VARIABLES/MEDIDAS/INDICADORES: o Grado de consecución de los objetivos concretos y su realización. o Adecuación de recursos y procesos para la consecución de los objetivos. o Nivel de implementación de las actividades. PREGUNTA EVALUATIVA: 2 • • • DIMENSIÓN: Satisfacción de los participantes y de la comunidad educativa SUBDIMENSIÓN: No aparece especificado en el programa. VARIABLES/MEDIDAS/INDICADORES: o Cumplimiento de aspiraciones y deseos de los grupos destinatarios de las actuaciones. o Cumplimiento de aspiraciones y deseos de los participantes. PREGUNTA EVALUATIVA: 3 • • DIMENSIÓN: Desarrollo y gestión del proyecto SUBDIMENSIÓN: No aparece especificado en el programa. 18 • VARIABLES/MEDIDAS/INDICADORES: o Actuación de la coordinación o Nivel de participación de los centros agrupados o Frecuencia y efectividad de las comunicaciones entre los centros o Grado de acuerdo y de cumplimiento de tareas o Cumplimiento de la temporalización y del calendario previsto. PREGUNTA EVALUATIVA: 4 • • • DIMENSIÓN: Incidencia del proyecto SUBDIMENSIÓN: No aparece especificado en el programa. VARIABLES/MEDIDAS/INDICADORES: o El funcionamiento de los equipos de los centros implicados o La apertura y consolidación de las relaciones de los centros con otros centros, figuras o entidades colaboradoras. o La integración de las TIC en el proceso de enseñanza-aprendizaje. o El intercambio de información y conocimientos o La mejora del desarrollo curricular de los centros implicados o La generación, identificación y transferencia de buenas prácticas. PREGUNTA EVALUATIVA: 5 • DIMENSIÓN: Innovación del programa • SUBDIMENSIÓN: No aparece especificado en el programa. • VARIABLES/MEDIDAS/INDICADORES: o Adopción de una variada gama de enfoques o Utilización de metodologías innovadoras o Utilización de las Tecnologías de la Información y la Comunicación o Transferencia de experiencias entre los centros agrupados o Formación e investigación PREGUNTA EVALUATIVA: 6 • • • DIMENSIÓN: Productos, resultados, logros SUBDIMENSIÓN: No aparece especificado en el programa. VARIABLES/MEDIDAS/INDICADORES: o Incidencia en el aula, ciclo, centro, otros o Nivel de participación en su elaboración o Carácter creativo e innovador o Adaptabilidad a los diferentes contextos C. RECURSOS METODOLÓGICOS Y DISEÑO _____________________________________________________________________________ 19 FUENTES Y PROCEDIMIENTOS DE RECOGIDA DE DATOS En la siguiente tabla aparecen reflejadas las dimensiones, fuentes de información, técnicas e instrumentos propuestos en el programa. Las técnicas e instrumentos surgen de una explicación general de las mismas, a lo que nosotras hemos tenido que ir enlazándolas con la dimensión que creemos correspondiente. Aquellas que están en negrita son mejoras propuestas por nosotras a dicha evaluación, ya que estas no aparecen detalladas en el programa. Al ver que esta evaluación si se llevase a cabo en un solo año supondría un presupuesto muy alto, decidimos realizarla a lo largo de dos cursos escolares. Dimensión/subdimensión Fuentes de medida/indicador/variabl información e 1. Grado de Actividad en consecución de los el aula objetivos concretos y su realización. (1er año) 2. Adecuación de Actividad en recursos y procesos el aula para la consecución de los objetivos. (1er año) 3. Nivel de Actividad en implementación de el aula las actividades. (1er año) 4. Cumplimiento de Alumnos, aspiraciones y profesores y deseos de los grupos profesionales destinatarios de las de la actuaciones. educación (2º año) 5. Cumplimiento de Centros aspiraciones y implicados en deseos de los el programa, participantes. alumnos, (2º año) profesores y profesionales de la educación 6. Actuación de la Equipo coordinación directivo de (1er y 2º año) los diferentes centros 7. Nivel de Evaluador participación de los externos que centros agrupados recoge la (2º año) actividad en los centros. Técnica/Procedimient o Instrumento* Observación Directa en el desarrollo de actividades Guiones de Observación y de registro Observación Directa en el desarrollo de actividades Guiones de Observación y de registro Observación Directa en el desarrollo de actividades Guiones de Observación y de registro Valoraciones y opiniones de los implicados y "afectados". Valoraciones y opiniones de los implicados y "afectados". Encuesta Cuestionarios ó Entrevista estructurada Observación Directa en el desarrollo de actividades Guiones de Observación y de registro Observación participante Análisis de Documentos y fichas de seguimiento 20 8. Frecuencia y efectividad de las comunicaciones entre los centros (1er y 2º año) 9. Grado de acuerdo y de cumplimiento de tareas (2º año) 10. Cumplimiento de la temporalización y del calendario previsto. (1er y 2º año) 11. El funcionamiento de los equipos de los centros implicados (2º año) 12. La apertura y consolidación de las relaciones de los centros con otros centros, figuras o entidades colaboradoras. (2º año) 13. La integración de las TIC en el proceso de enseñanzaaprendizaje. (1er año) 14. El intercambio de información y conocimientos (1er año) 15. La mejora del desarrollo curricular de los centros implicados (2º año) 16. La generación, identificación y transferencia de buenas prácticas. (1er y 2º año) 17. Adopción de una variada gama de Equipo directivo Actividades en el aula Observación Participante Análisis de Documentos y fichas de seguimiento Valoraciones y opiniones de los implicados y "afectados". Observación Directa en el desarrollo de actividades Guiones de Observaciones y de registros Evaluador externos que recoge la actividad en los centros. Evaluador externos que recoge la actividad en los centros. Observación Directa en el desarrollo de actividades Guiones de Observaciones y de registros Observación Directa en el desarrollo de actividades Guiones de Observaciones y de registros Alumnos y profesores Valoraciones y opiniones de los implicados y “afectados” Entrevista y encuesta s Alumnos y profesores Valoraciones y opiniones de los implicados y "afectados". Encuestas Claustro de profesores Observación Indirecta Seminario Actividad el en aula Observación Directa Escalas de estimación Actividad en el aula Observación Directa en el desarrollo de Guiones de Observación y Equipo directivo 21 Escalas de estimación enfoques (1er y 2º año) 18. Utilización de metodologías innovadoras (1er y 2º año) 19. Utilización de las Tecnologías de la Información y la Comunicación (2º año) 20. Transferencia de experiencias entre los centros agrupados (1er año) 21. Formación e investigación (1er y 2º año) 22. Incidencia en el aula, ciclo, centro, otros (1er y 2º año) 23. Nivel de participación en su elaboración (1er año) 24. Carácter creativo e innovador (1er y 2º año) 25. Adaptabilidad a los diferentes contextos (1er y 2º año) actividades de registro Observación Directa en el desarrollo de actividades Portafolios Alumnos y profesores Valoraciones y opiniones de los implicados y “afectados” Cuestionario Alumnos, profesores y equipo directivo Valoraciones y opiniones de los implicados y "afectados". Asambleas entre los socios Observación Indirecta Seminarios de discusión y asambleas Observación Directa en el desarrollo de actividades Guiones de Observaciones y de registros Equipo directivo Observación Directa en el desarrollo de actividades Escalas de estimación Actividad en el aula mediante el tutor Equipo directivo Observación Directa en el desarrollo de actividades Guiones de Observaciones y de registros Observación Directa en el desarrollo de actividades Guiones de Observación y de registro Actividad en el aula Equipo directivo y claustro de profesores Actividad en el aula *Todos los instrumentos elaborados ad hoc. * Los apartados en negrita son propuestas de mejora. 22 DEFINICIÓN DEL DISEÑO DE EVALUACIÓN 1. TIPO DE DISEÑO: Se parte de una evaluación inicial donde se analiza el contexto, se evalúan las necesidades formativas, los aspectos didácticos que se quiere mejorar y posteriormente se reflexiona sobre la organización y gestión del centro. 2. DISEÑO MUESTRAL (TIPO DE MUESTRAS Y TAMAÑO): La muestra tomada son todos los alumnos de la etapa de Secundaria (en edades comprendidas entre los 13 y 16 años) que participan en la agrupación del proyecto ERA, de los siguientes centros: • IES Alto Almanzora (Tíjola, Almería) • IES Miguel Catalán (Zaragoza, Aragón) • IES Punta Larga (Candelaria, Tenerife) • IES Carlos Casares (Vigo, Galicia) PLAN DE RECOGIDA DE MEDIDAS: (TABLA PÁGINA SIGUIENTE) Instrumentos/ meses 1. Guiones de observación y de registro dimensión 1. (1er año) 2. Guiones de observación y de registro dimensión 2. (1er año) Octubre * * Noviembre * * Diciembre * * * Enero Febrero * * * * * Marzo Abril M * * 3. Guiones de observación y de registro de la dimensión 3 (1er año) * * * * * 4. Encuesta * * (2º año) 5. Cuestionarios, entrevistas estructuradas. (2º año) * 6. Guiones de observación y de registro de la dimensión 6. (1er y 2º año) * * 7. Análisis de * documentos y fichas de seguimiento de dimensión 7. (2º año) * 8. Análisis de documentos y fichas de * * 23 * * seguimiento de la dimensión 8. (1er y 2º año) * 9. Escalas de * estimación de la dimensión 9. (2º año) 10. Guiones de * observación y de registro de la dimensión 10. (1er y 2º año) * * 11. Guiones de * * * observaciones y de registros de la dimensión 11. (2º año) 12. Guiones de * observaciones y de registros de la dimensión 12. (2º año) * * 13. Entrevista y * * encuestas. (1er año) * * * * 14. Encuestas (1er año) 15. Seminario (2º año) 16. Escalas de estimación. (1er y 2º año) * * * * 17. Portafolios * (1er y 2º año) * * 18. Cuestionarios * (2º año) 19. Asamblea entre * socios (1er año) 20. Seminario de * * discusión. (1er y 2º año) 21. Guiones de observación y de * * * 24 * * * * registros. (1er y 2º año) 22. Escalas de * * estimación. (1er año) 23. Guiones de * * observación y de registros (1er y 2º año) * 24. Guiones de observación y de registros (1er y 2º año) Los instrumentos 1, 2, 3, 9, 10, 13, 16, 17, 18, 21 y 23 son utilizados dentro de las aulas de los centros anteriormente mencionados. Los instrumentos 4, 5, 6, 7,8, 11, 12, 14, 15, 19, 20 y 22 son usados dentro de los centros, pero no estrictamente en el aula 25 D. PLAN DE ANÁLISIS DE DATOS En la siguiente tabla se representan los tipos de instrumentos utilizados para obtener la información necesaria, y de qué manera trataremos de analizarla para adquirir conclusiones eficaces, completas y válidas. En la columna de la derecha establecemos la puntuación que consideramos mínima para aceptar que ese instrumento ha sido lo suficientemente bueno para medir la información que queremos obtener. Instrumento Variables/medida/indicador es Enfoque/ Procedimiento de análisis Enfoque cuantitativo, se observarán las situaciones que se pretenden estudiar (ej. Guiones de Observación y de número de veces que se dan ciertas registro acciones) y se recogerán en una lista ya prefijada. Si es necesario para obtener más información podrían acompañarse de escalas de estimación. Encuestas Criterios Eficacia, en al menos un 50% Enfoque cuantitativo, tras haber recogido la información en los cuestionarios. Trataremos de analizar la información obtenida: Pertinencia, en al 1. Separando los ítems, en áreas de menos un 60% de los estudio. casos 2. Aplicando un análisis estadístico, con la ayuda del SPSS. Cuestionarios Enfoque cuantitativo. Se traduce la información necesaria a un conjunto de preguntas específicas y se recopilan datos que posteriormente serán analizados. Análisis de Documentos y fichas de seguimiento Enfoque cualitativo. Se presentan diferentes Pertinencia, en al observaciones sobre unos mismos aspectos menos un 60% de los a lo largo de un proceso temporal. Son casos. fichas individuales. Escalas de estimación Enfoque cuantitativo ó cualitativo. Se Eficacia, en al menos describe al sujeto en base a las conductas un 50% de los casos. que queremos observar ó medir estableciendo gradación o nivel en base a si 26 Satisfacción, en al menos un 50% de los casos. una determinada conducta aparece o no. Portafolios Enfoque cuantitativo. Se recoge la información necesaria en plantillas estructuradas por parte del evaluador externo. Asambleas entre los socios Enfoque cualitativo. Se describen las Satisfacción, en al valoraciones y opiniones de los diferentes menos el 45% de los socios respecto algunos aspectos concretos. socios. Seminarios de discusión Enfoque cualitativo. Se realizará un seminario con los diferentes socios, en donde se recogerán las aportaciones significativas que realicen sobre el programa. 27 Eficacia, en al menos 45% de los casos. Satisfacción, en al menos un 40% de los socios. E. PRESENTACIÓN DE RESULTADOS: INFORMES A continuación, presentamos la información acerca del programa que les proporcionaremos a las audiencias potenciales internas. Dejando al margen de esto a las audiencias externas, ya que no necesitan una información tan detallada acerca de esto. Características audiencia Nombre de individuos o grupos Relación con el programa Equipo directivo de los diferentes centros asociados Control, comunicación y coordinación de la puesta en marcha de los centros implicados. Claustro de profesores Encargados de la aplicación de una metodología innovadora con la utilizando las TICs. Y de asegurar un conocimiento en los alumnos, del propio Características informe Áreas prioritarias de interés • • • • • • • • • • Tipo de información y alcance Referidos Formato Fecha/frecuenc ia de emisión al Informe técnico En Septiembre del siguiente curso. Temporalización En cuanto al grado de de los Integración TICs consecución Formación e objetivos previstos. investigación Mejoras curriculares Metodologías innovadoras Informe técnico Al finalizar cada trimestre escolar. Coordinación funcionamiento general del Comunicación programa durante todo el Temporalización curso académico. Formación e investigación Adaptabilidad diferentes contextos. 28 centro y de los centros asociados. Alumnado Familiares Realización práctica de las actividades del programa. La participación indirecta a través de sus hijos en el programa. • • • TICs. Intercambio información Trasferencia de experiencias Realización de las actividades del proyecto llevado a cabo en el centro al que van sus hijos. Los conocimientos adquiridos durante la aplicación del programa. Experiencias vividas por los alumnos de los diferentes centros asociados. • • Power Point explicativo Página web Referida al curso en el que Breve Power Point en la están matriculados los reunión con el tutor. alumnos pertenecientes a la familia. 29 Al finalizar cada trimestre escolar. Al finalizar cada trimestre. F. ORGANIZACIÓN DE LA EVALUACIÓN La evaluación de este programa se lleva a cabo entre 3 pedagogas, Evaluadora 1(Yanira), Evaluadora 2 (Sonia) y evaluadora 3 (Lucía), algunas se hacen en conjunto para obtener información complementada, otras se toman de manera individual para hacer una repartición de la tarea evaluativa. Entregar cuestionarios a los alumnos participantes. Realizar una entrevista estructura a los profesores participantes. Mayo * (1er año) * (1er año) * (1er año) * (1er año) * (1er año) Evaluadora 2 * (2º año) * (2º año) Evaluadora 1 * (2º año) * (2º año) 30 Agosto Abril * (1er año) Julio Marzo * * (1er (1er año) año) Junio Febrero Las tres evaluadoras, ya que se tomarán en diferentes momentos y cada vez lo recogerá una. Enero A partir de una observación directa en el aula, recogeremos información acerca del grado de consecución de los objetivos propuestos, la adecuación de los recursos utilizados y el nivel de implementación de las actividades. Diciembre PERSONAL RESPONSABLE Octubre TAREA Noviembre TEMPORALIZACIÓN Observar el funcionamiento de los equipos y las relaciones entre los diferentes centros. Realizar encuestas a los alumnos acerca de la integración de las TICs para el intercambio de Evaluadora 3 conocimientos. Evaluadora 1, 1er año Participar en el seminario acerca de Evaluadora 2, 2º año la mejora curricular de los centros y de la formación e investigación. * (2º año) * (2º año) * (1er año) * (2º año) * (1er año) 31 * (2º año) * (2º año) * (2º año) * (2º año) * (1er año) * (2º año) Agosto Julio * (1er y 2º año) Junio * (1er y 2º año) Mayo Evaluadora 3 * (2º año) * (1er y 2º año) * (1er y 2º año) Abril * (1er y 2º año) * (1er y 2º año) Marzo Evaluadora 2 * (1er y 2º año) Diciembre * (1er y 2º año) Febrero Observar si la temporalización prevista de cada actividad es la llevada a cabo. Evaluadora 1 y 3 * (1er y 2º año) PERSONAL RESPONSABLE Enero Observar y recoger información acerca de la comunicación y de la coordinación entre los diferentes centros. Noviembre TAREA Octubre TEMPORALIZACIÓN Recoger información mediante una escala de estimación acerca de la Evaluadora 2 participación y las buenas prácticas realizadas en los centros. Recoger información y elaborar un portafolio con la metodología utilizada por los profesores en el aula Obtener las ideas y las opiniones acerca de las experiencias proporcionadas con estas actividades del programa entre los distintos centros. Evaluadora 1, el segundo año. Evaluadora 3, el primer año. * (1er y 2º) * (1er y 2º) * * (1er y (1er y 2º) 2º) Las 3 evaluadoras, dependiendo de las circunstancias. * (1er y 2º) Agosto Julio Junio Mayo * (1er y 2º) * * (1er y (1er y 2º) 2º) * (1er y 2º) 32 Abril Marzo Febrero Enero Diciembre PERSONAL RESPONSABLE Noviembre TAREA Octubre TEMPORALIZACIÓN G. PRESUPUESTO A continuación se detallan los presupuestos de los conceptos necesarios para el desarrollo del proceso de evaluación, así como su estimación de gasto y su coste total. Se muestran dos tablas, una por cada año. PRESUPUESTO PRIMER AÑO CONCEPTO IMPORTE Seminario de discusión 500 € Desplazamiento 1000 € Fotocopias Cuestionarios 0,05 x 2989 = 149,45 € Material fungible 800 € Personal contratado 6000 € Coste servicios profesionales Guiones de observación y de registro Fotocopias Encuesta Fichas de seguimiento Escalas de estimación Entrevista Asambleas entre los socios 3000 € 300 € 0,05 x 2989 = 149,45 € 300 € 300 € 400 € 600 € TOTAL 13498,9 PRESUPUESTO SEGUNDO AÑO CONCEPTO IMPORTE Seminario de discusión 500 € Desplazamiento 1000 € Fotocopias Cuestionarios 0,05 x 2989 = 149,45 € Material fungible 800 € Personal contratado 6000 € Coste servicios profesionales Guiones de observación y de registro Fotocopias Encuesta Fichas de seguimiento Escalas de estimación 3000 € 300 € 0,05 x 2989 = 149,45 € 300 € 300 € 33 Asambleas entre los socios 600 € TOTAL 13098,9 € Los presupuestos son diferentes por año ya que en el segundo año no se usa el instrumento de la entrevista por lo que el coste es inferior. 34 H. METAEVALUACIÓN PRECISIÓN ÉTICA LEGITIMIDAD LIDAD VIABI- UTILIDAD A continuación, aparece representada en la tabla unos estándares de calidad de la evaluación, de esta manera podemos observar si han sido aplicables en la misma o no, y si han sido aplicables de qué manera. No aplicable ESTÁNDAR U1.Identificación de implicados U2. Credibilidad del evaluador U3. Ámbito de la evaluación y selección U4. Identificación de valores U5. Claridad del informe U6. Oportunidad y difusión del informe U7. Impacto de la evaluación F1. Procedimientos prácticos F2. Viabilidad política ¿Ha sido cumplido? Total Parcial * * * * * * * * * F3. Coste efectividad * P1. Orientación de servicio P2. Convenios formales P3. Derechos de los sujetos Respeto a la dignidad humana P4. Evaluación completa P5. Declaración de resultados P6. Conflicto de intereses P7. Responsabilidad fiscal A1. Documentación sobre el programa A2. Análisis del contexto A3. Descripción de propósitos y procedimientos A4. Fuentes de información A5. Información válida A6. Información fiable A7. Información sistemática A8. Análisis de información cuantitativa A9. Análisis de información cualitativa A10. Justificación de conclusiones A11. Informe imparcial A12. Metaevaluación * * * * * * * * * * * * * * * * * * * * En relación a la metaevaluación propuesta, debemos aclarar que a pesar de que el programa elegido propone un tipo de evaluación no la pone en marcha, y por tanto, no tenemos resultados o información acerca de las conclusiones reales de la misma. Por otro lado, nuestro trabajo ha sido proponer una mejora a esa evaluación planteada en el programa. Hemos intentado añadir una información más precisa a cerca de lo que nosotras haríamos en el caso de que implantásemos realmente la evaluación. Pero como no ha sido una puesta en marcha real no tenemos información suficiente para realizar la metaevaluación de manera correcta. De esta manera, realizamos una metaevaluación pensando cómo sería si de verdad se hubiese aplicado. Para aclarar la tabla anterior, vamos a pasar a justificar algunos de los aspectos que hemos considerado no aplicables o aplicables en nuestra evaluación, en mayor o menor grado. • No Estándares considerados no aplicables: 35 Conocemos e imaginamos que habrá aspectos que influyan en el programa y en su evaluación sin embargo no han sido considerados y tampoco se ha adquirido información acerca de ellos. Con respecto a la Viabilidad política, hay muchos factores respecto a este estándar y es muy difícil obtener información válida acerca de él. Conflicto de intereses, estándar muy complicado de abarcar. Ya que no tenemos los medios suficientes para medirlo. Como ya hemos comentado, los estándares considerados no aplicables, no se han medido por la gran dificultad para abarcarlos, y por el coste elevado que podrían suponernos. • Estándares considerados como adecuadamente cubiertos: - Derechos de los sujetos: A nuestro parecer, durante todo el proceso ha sido respetada la integridad de las personas participantes, haciéndolas saber desde el primer momento a lo que se sometían al participar en este programa, y la evaluación que se iba a llevar a cabo desde el comienzo del mismo. De este modo, si alguno de los sujetos no quería participar en él, no se le pondría ningún impedimento en ello. También es un estándar muy teniendo en cuenta, ya que gran cantidad de información se obtiene de alumnos (menores de edad). Además es un programa poco “comprometedor” respecto a la posición ideológica de las fuentes de información. - Oportunidad y difusión del informe: somos evaluadoras externas al programa, y fuimos contratadas para evaluarlo, es por ello, que sabemos que toda la información que obtuviésemos con la evaluación tendríamos oportunidad y obligación de presentarla. Además a través de diferentes medios de presentación (ya delimitados anteriormente) todas las audiencias potenciales recibirán conclusiones directas acerca del programa (cada uno en su nivel y su área concreta). • Estándares considerados como insuficientemente cubiertos: - Credibilidad del evaluador: Este estándar no podemos decir que se haya cumplido de manera total en nuestra evaluación, ya que nosotras no tenemos mucha experiencia en evaluación de programas, por lo que tendremos que ir consiguiendo que poco a poco nuestras evaluaciones y nosotras como evaluadoras seamos más creíbles para la gente que nos vaya a contratar. - Fuentes de información: En cuanto a este estándar decir que para la realización de nuestra evaluación en este programa, obtuvimos la información necesaria para la misma, desde fuentes diversas y variadas, de tal modo que pudiésemos contrastar la información recogida. No se ha cumplido de manera total, ya que aunque buscamos en muchas fuentes, quedaría alguna en la cual no hubiésemos mirado, pero porque con la información encontrada en aquellas utilizadas nos pareció adecuado. 36 37 CONCLUSIONES Para concluir con el presente trabajo, tenemos que decir que no ha sido un trabajo fácil ya que nos resultó complicado, en primer lugar encontrar el programa adecuado para su realización y en segundo lugar realizar la familiarización del programa elegido, ya que cada vez que elegíamos un programa y realizábamos su familiarización siempre había cosas que no concordaban. Llegamos a realizar la familiarización del programa cuatro veces, hasta que dimos con el Programa Arce y por fin pudimos realizarla correctamente. A pesar de todos estos problemas, el haber encontrado este programa nos ha ayudado a ver las cosas de otra manera e incluso a aprender realmente como se hace la evaluación de un programa. Ha sido un trabajo duro y aunque nuestro trabajo no es igual que el del resto de nuestros compañeros, pensamos que hemos conseguido cumplir con los objetivos de la asignatura y sobre todo con el objetivo principal de la misma, que ha sido aprender. 38