Diseño de un plan de evaluación

DISEÑO PLAN DE EVALUACIÓN
1
EVALUACIÓN PROGRAMA “ARCE” ÍNDICE
INTRODUCCIÓN -................................................................................................1
PLANTEAMIENTO DE LA EVALUACIÓN Y DETERMINACIÓN DE
OBJETIVOS -........................................................................................................1
FAMILIARIZACIÓN CON EL PROGRAMA Y DESCRIPCIÓN-................1
Nombre del programa-....................................................................1
Orígenes y objetivos del programa -...............................................1
Personas implicadas-......................................................................3
Principales actividades que constituyen el programa-....................4
Lugares y tiempos de implantación-...............................................5
Recursos materiales y presupuesto-...............................................5
Otras informaciones de especial interés-........................................6
ÁMBITO/FOCO DE LA EVALUACION Y OBJETIVOS ..........................11
Propósito general de la evaluación-..............................................11
Formulación de objetivos específicos-..........................................13
Identificación de audiencias potenciales-......................................14
Identificación de clientes y usuarios directos de la evaluación-. . .14
Identificación del tipo de evaluación a diseñar-............................14
EVALUABILIDAD DEL PROGRAMA-.......................................................15
DELIMITACIÓN DEL OBJETO DE LA EVALUACIÓN-......................................15
Formulación de cuestiones evaluativas-..................................................15
Definición de dimensiones de análisis y variables-.................................16
RECURSOS METODOLÓGICOS Y DISEÑO-...................................................18
Fuentes y procedimientos de recogida de datos-....................................18
Definición del diseño de la evaluación-....................................................21
PLAN DE ANÁLISIS DE DATOS-.......................................................................24
PRESENTACIÓN DE RESULTADOS: INFORMES-.........................................26
ORGANIZACIÓN DE LA EVALUACIÓN-...........................................................28
PRESUPUESTO-................................................................................................32
METAEVALUACIÓN-..........................................................................................34
CONCLUSIONES-..............................................................................................37
ANEXOS-............................................................................................................38
2
INTRODUCCIÓN
En el presente documento se muestra información sobre el Programa Arce, con el
cuál se va a llevar a cabo una evaluación detallada de lo que ha supuesto su realización y
su puesta en marcha.
El desarrollo del trabajo comienza con la familiarización de dicho programa, donde se
explica en qué consiste exactamente el programa y que objetivos propone, además de la
especificación de las personas que lo realizan y su implicación.
También, en este punto se habla de las principales actividades que constituyen el
programa, así de los lugares donde se van a llevar a cabo y su respectiva
temporalización.
Como punto de interés se desarrolla un apartado en donde se incluye información
relevante de este programa.
A continuación, se va a mostrar el propósito general de la evaluación que se
propone en dicho programa y los objetivos específicos que se redactan para ésta.
Además se incluye la identificación de las audiencias potenciales, así como los clientes y
usuarios directos de la evaluación y el tipo de evaluación que se va a llevar a cabo.
Otro de los puntos importantes del programa que aparecen en el trabajo es la
delimitación del objeto de la evaluación donde se van a formular cuestiones evaluativas
que darán respuesta a los objetivos planteados.
Asimismo también se definirán las dimensiones de análisis y las variables del programa
en cuestión.
Pasaremos a especificar las fuentes y procedimientos de recogida de datos
utilizados, donde se añadirán propuestas de mejora y se definirá el tipo de diseño a
utilizar además de la muestra recogida.
En este apartado, por último se adjunta una tabla de los momentos en los que se ha
recogido la información.
Posteriormente, se incluye el plan de análisis de datos donde se representan los
tipos de instrumentos utilizados para obtener la información necesaria, la cuál será
analizada para dar conclusiones lo más válidas y fiables posibles.
Se hará una presentación de los informes con toda la recogida de información y además
se incluirá una organigrama de los tiempos en los que se ha llevado la evaluación y el
presupuesto de los conceptos utilizados en dicha evaluación.
Para finalizar, se incluye un apartado dedicado a la metaevaluación donde aparece
representada una tabla con los estándares de calidad de la evaluación, que serán
explicados posteriormente y los anexos necesarios que hemos utilizado para llevar a cabo
dicho trabajo.
3
A.- PLANTEAMIENTO DE LA EVALUACIÓN Y DETERMINACIÓN DE
OBJETIVOS
FAMILIARIZACIÓN CON EL PROGRAMA Y DESCRIPCIÓN
1.- NOMBRE DEL PROGRAMA:
Programa ARCE (Agrupaciones y Redes de Centros Educativos).
2.- ORIGENES Y OBJETIVOS DEL PROGRAMA:
2.1. Fecha de inicio del programa/momento de la implantación o desarrollo en que
se encuentra.
El programa ARCE se está llevando a cabo desde el año 2006 en todo el territorio español.
2.2.
Necesidades a las que trata dar respuesta:
­
­
­
­
Necesidad de mejorar algún aspecto del currículo, de la organización, de la
participación del alumnado, de la atención a la diversidad, etc.
Por parte de algún departamento o equipo de profesores: establecer nuevas formas de
trabajo en cooperación, a través del establecimiento de redes educativas, o que tienen
interés en realizar, mantener y generalizar buenas prácticas e iniciativas innovadoras
sobre algunos aspectos concretos.
Por parte del profesorado: formación e investigación en temas relacionados con el
currículo, metodologías, medidas organizativas, prevención del abandono escolar,
etc. Al igual que la necesidad de establecer lazos de cooperación con otros centros
para ampliar sus horizontes, pasando de un trabajo individual a una forma de trabajo
integrada.
Por parte del alumnado: la necesidad de poder realizar intercambios con alumnos de
otras comunidades autónomas.
En general, la razón fundamental de ello es, el enriquecimiento mutuo, la posibilidad de
reflexionar y compartir experiencias innovadoras, lo que ayude a contribuir en la mejora de la
calidad de la educación.
2.3.
Objetivos del programa:
o Crear vínculos entre centros y profesionales de la educación, desarrollando
proyectos basados en temas de interés común, que promuevan la cooperación e
innovación en distintas áreas de trabajo, más allá del ámbito de la comunidad
autónoma en la que están ubicados los centros.
o Establecer un marco para el debate y la reflexión conjunta dirigidos a la
identificación y la promoción de buenas prácticas en el ámbito de trabajo de su
elección, con especial atención a las áreas curriculares.
o Intercambiar propuestas con otros centros que presenten situaciones similares para
dar respuesta de forma conjunta por medio del intercambio entre los centros que
forman la agrupación y las movilidades entre el alumnado y al profesorado.
o Contribuir al desarrollo de las competencias básicas en un contexto de aprendizaje
innovador.
4
o Conocer y valorar el patrimonio cultural y lingüístico de las diferentes comunidades
autónomas.
o Establecer medidas de atención a la diversidad que faciliten la puesta en marcha de
actuaciones, adaptaciones al currículo, medidas organizativas, apoyos y refuerzos
que permitan dar la respuesta más adecuada a todo el alumnado del centro,
intentando prevenir el abandono escolar y mejorar el éxito educativo.
o Difundir las conclusiones, materiales y herramientas elaborados en proyectos
anteriores que puedan ser de aplicación en otros ámbitos educativos.
o
Favorecer la creación de equipos de trabajo y redes educativas que permitan
generalizar propuestas innovadoras, materiales novedosos y metodologías específicas
que impulsen la cooperación y contribuyan a la mejora de la calidad educativa.
3.- PERSONAS IMPLICADAS:
3.1.
Responsables del programa
Los responsables del programa son:
• La Secretaria de Estado de Educación y Formación Profesional
• La Dirección general de Evaluación y Cooperación Territorial
• La Subdirección General de Cooperación Territorial.
3.2.
Plantilla (personal técnico, personal auxiliar, etc.)
La plantilla que se encarga de llevar a cabo el programa serán:
­ Un conjunto de profesores y de compañeros de la comunidad educativa,
destinados al trabajo del mismo, lo que mejorará y garantizará una mayor
repercusión, visibilidad y permanencia de todo aquello que hagan, además
que ayudará a impulsar de manera efectiva el trabajo interdisciplinar y
cooperativo.
­ Debe contar desde el principio con el apoyo del claustro de profesores y de la
institución, lo que permitirá el enriquecimiento con múltiples aportaciones
permitiendo que el equipo de trabajo sea más amplio.
­ El trabajo realizado por ellos, deberá ser presentado al equipo directivo para
que así puedan contar con su cooperación y compromiso.
3.3.
Población objetivo/destinatarios.
La población a la que va dirigida dicho programa es a los alumnos, profesores y
profesionales de la educación.
3.4.
Otras personas implicadas en el programa.
­
­
Se podrá establecer alianzas y sinergias para contar con la colaboración de las
instituciones locales, de los centros de formación del profesorado o del
servicio de inspección, en el caso de ser necesario su apoyo y orientación.
Los padres de los alumnos, ya que se tiene que contar con su complicidad al
ser éstos uno de los papeles protagonistas de este programa.
5
­
También se recibirá apoyo de empresas u otro tipo de instituciones y
organismos.
4.- PRINCIPALES
PROGRAMA
OPERACIONES/ACTIVIDADES
QUE
CONSTITUYEN
EL
Una vez seleccionado el proyecto y concedida la ayuda financiera, estas serían las
principales operaciones:
•
Comunicación de las aprobación y presentación del proyecto: Desde el primer
momento es necesario que todo el claustro esté informado de las líneas generales del
proyecto, de las posibles actividades que se realizarán y que afectarán a todo el
centro educativo, al igual que es importante comunicar la aprobación del mismo a la
administración educativo y a otras entidades de carácter educativo que puedan
colaborar y facilitar su desarrollo.
Una buena manera de iniciar su difusión es a través de la publicación de notas de
prensa en diferentes medios de comunicación locales o revistas educativas.
•
Comunicación entre socios: Este punto debe ser realizado de manera continua, con la
ayuda de las nuevas tecnologías que permiten la comunicación en tiempo real o
diferido entre todos los miembros participantes en la agrupación. Para ello debemos
fijar cuáles serán los canales de comunicación que se utilizarán (correo electrónico,
fax, videoconferencia, teléfono, etc.), las ventajas o inconvenientes que puede tener
cada uno, con qué periocidad, teniendo en cuenta la disponibilidad horaria de cada
centro, entre otras cosas.
También deberá de acordarse cuáles serán los medios de comunicación entre los
alumnos (blogs, videoconferencias, etc.).
•
Léxico común ya que es un programa de cooperación en diferentes comunidades
autónomas y es necesario que desde un principio todos los miembros participantes
acoten el significado del léxico común.
•
Definición de los objetivos que se va a perseguir con el proyecto, con lo cual todos
los centros de la agrupación trabajarán en la misma línea.
•
La institución o centro coordinador de la agrupación se encargará de:
o Solicitud de participación en la convocatoria.
o Informe de progreso al finalizar el primer año.
o Coordinación de la memoria final.
•
Reuniones de coordinación.
•
Encuentros e intercambios:
Las actividades de intercambios con alumnos tienen un peso importante en la
agrupación.
•
Informe de progreso:
Al finalizar el primer año, cada uno de los centros o instituciones de la agrupación
deberá enviar un informe de progreso a la subdirección general de cooperación
territorial.
6
•
Memoria final:
Al finalizar el proyecto, cada centro deberá presentar una cuenta justificada
(memoria final).
En la memoria cada centro debe tratar los siguientes apartados:
o Modificaciones.
o Evaluación del Proyecto.
o Conclusiones.
o Difusión del Proyecto.
o Justificación de la ayuda recibida.
•
Continuidad de la agrupación:
Observar si el programa continua o no al segundo año de su implantación.
Al final del documento aparecerán como anexo las actividades llevadas a cabo por cada
centro, ya que este programa es un conjunto de proyectos de distintos centros.
5.- LUGARES Y TIEMPOS DE IMPLANTACIÓN
El Programa Arce va dirigido a 756 centros e instituciones del ámbito de la educación.
En un principio iba destinado a los centros públicos españoles de Educación Primaria, Educación
Secundaria y Formación Profesional, pero se ha ido extendiendo en sucesivas convocatorias a otro
tipo de enseñanzas, de centros e instituciones públicas del ámbito de la educación.
Actualmente se dirige a todos los centros públicos españoles que se encuentren en alguna
comunidad autónoma o en las ciudades de Ceuta y Melilla, que imparten las enseñanzas reguladas
en la LOE, así como a las instituciones públicas que presten apoyo a los centros educativos, a los
profesionales de la educación, al alumnado o a sus familias. Con esto se ha abierto la convocatoria a
centros de formación del profesorado, equipos de orientación educativa, centros penitenciarios,
escuelas municipales, etc.
El número de centros ha ido aumentando considerablemente desde la convocatoria del año
2006, en el que se concedieron ayudas a 79 centros, permitiendo que surgieran 18 agrupaciones,
hasta la convocatoria de 2010 en la que se han concedido ayudas a 361 centros, formándose un total
de 102 agrupaciones.
6.- RECURSOS MATERIALES Y PRESUPUESTO
No aparece especificado en el programa.
7
7.- OTRAS INFORMACIONES DE INTERÉS ESPECIAL
Según este programa, el seguimiento y la evaluación continua del proyecto es fundamental
para poder ir adaptando las actividades, metodologías o los diferentes materiales a las necesidades
emergentes y así poder llegar a la consecución de los objetivos previstos.
Casi siempre, el inicio del proyecto parte a su vez de una evaluación inicial, en la cual se
analiza el contexto, se evalúan las necesidades formativas, los aspectos didácticos que se quiere
mejorar y se reflexiona sobre la organización y gestión del centro.
Al elaborar el proyecto, se ha de establecer:
­ Cómo se realizará la evaluación del proyecto: En el cómo se detalla las técnicas que
va ha utilizar el programa para su evaluación, que serían: Observación indirecta:
análisis de documentos, sobre la base de los indicadores; Valoración y opiniones de
los implicados y “afectados”; y Observación directa en el desarrollo de las
actividades.
­ En qué momentos: Los momentos de la evaluación en este programa serían: En
Enero: Evaluación inicial. Producto: Documento para compartir el punto de partida;
En Junio/Julio: Evaluación del proceso (resultados hasta la fecha) Producto: Informe
de progreso. Diciembre: Evaluación formativa, etc.; En Junio/Julio del segundo año:
Evaluación final. Producto: Memoria final.
­ Qué aspectos o ámbitos se van a evaluar: En este programa los ámbitos evaluados
son: Desarrollo y gestión del proyecto; Eficacia y eficiencia; Satisfacción de los
participantes y de la comunidad educativa; Incidencia del proyecto en determinados
aspectos; Innovación; y Productos, resultados y logros.
­ Con qué instrumentos: Los instrumentos que se utilizan aquí son: Cuestionarios,
guiones de observación y registro, escalas de estimación, guión de análisis de
documentos, anecdotarios, fichas de seguimiento, actas, etc.
­ Cuáles van a ser los indicadores para cada una de las actividades que se realicen: los
indicadores de este programa, son:
o En cuanto al ámbito del Desarrollo y gestión del programa: Actuación de la
coordinación; Nivel de participación de los centros agrupados; Frecuencia y
efectividad de las comunicaciones entre los centros; Grado de acuerdo y de
cumplimiento de tareas; y, Cumplimiento de la temporalización y del
calendario previsto.
o En cuanto a la Eficacia y eficiencia: Grado de consecución de los objetivos
concretos y su realización; Adecuación de recursos y procesos para la
consecución de los objetivos; y, Nivel de implementación de las actividades.
o Satisfacción de los participantes y de la comunidad educativa: Cumplimiento
de aspiraciones y deseos de los grupos destinatarios de las actuaciones; y,
Cumplimiento de aspiraciones y deseos de los participantes.
o Incidencia del proyecto en: El funcionamiento de los equipos de los centros
implicados; La apertura y consolidación de las relaciones de los centros con
otros centros, figuras o entidades colaboradoras; La integración de las TIC en
el proceso de enseñanza-aprendizaje; El intercambio de información y
conocimientos; La mejora del desarrollo curricular de los centros implicados;
y, la generación, identificación y transferencias de buenas prácticas.
o Innovación: Adopción de una variada gama de enfoques; Utilización de
metodologías innovadoras; Utilización de las TICS; Transferencia de
experiencias entre los centros agrupados; y, Formación e investigación.
o Productos, resultados, logros: Incidencia en el aula, ciclo, centro, otros; Nivel
8
de participación en su elaboración; Carácter creativo e innovador; y,
adaptabilidad a los diferentes contextos.
La evaluación se realiza sobre el propio proyecto pero a la vez sobre el proceso de
enseñanza-aprendizaje del alumnado participante y sobre el grado de implicación de la comunidad
educativa.
A continuación aparece representada una tabla donde se encuentran las diferentes
dimensiones a evaluar que han sido definidas previamente en el programa.
En el programa mencionan una serie de técnicas e instrumentos a utilizar que no fueron definidas
para una dimensión concreta y que nosotras hemos clasificado.
Más adelante, en el apartado C, presentamos esta misma tabla con ampliaciones y mejoras.
Dimensión/subdimensión
medida/indicador/variable*
1. Grado de consecución de
los objetivos concretos y
su realización.
2. Adecuación de recursos
y procesos para la
consecución de los
objetivos.
3. Nivel de implementación
de las actividades.
4. Cumplimiento de
aspiraciones y deseos de
los grupos destinatarios
de las actuaciones.
5. Cumplimiento de
aspiraciones y deseos de
los participantes.
6. Actuación de la
coordinación
7. Nivel de participación de
los centros agrupados
8. Frecuencia y efectividad
de las comunicaciones
entre los centros
Fuentes de
información*
*
Actividad en
el aula
Actividad en
el aula
Actividad en
el aula
Alumnos,
profesores y
profesionales
de la
educación
Centros
implicados en
el programa,
alumnos,
profesores y
profesionales
de la
educación
Equipo
directivo de
los diferentes
centros
Evaluador
externos que
recoge la
actividad en
los centros
Equipo
directivo
Técnica/Procedimient
o
Instrumento
Observación Directa en
el desarrollo de
actividades
Observación Directa en
el desarrollo de
actividades
Guiones de
Observación y
de registro
Guiones de
Observación y
de registro
Observación Directa en
el desarrollo de
actividades
Valoraciones y
opiniones de los
implicados y
"afectados".
Guiones de
Observación y
de registro
Cuestionarios
de evaluación
para los
destinatarios
Valoraciones y
opiniones de los
implicados y
"afectados".
Cuestionarios
de evaluación
para los
participantes
Observación Directa en
el desarrollo de
actividades
Guiones de
Observación y
de registro
Observación Indirecta
Observación Indirecta
9
Análisis de
Documentos y
fichas de
seguimiento
Análisis de
Documentos y
fichas de
seguimiento
9. Grado de acuerdo y de
cumplimiento de tareas
10. Cumplimiento de la
temporalización y del
calendario previsto.
11. El funcionamiento de los
equipos de los centros
implicados
12. La apertura y
consolidación de las
relaciones de los centros
con otros centros, figuras
o entidades
colaboradoras.
13. La integración de las
TIC en el proceso de
enseñanza-aprendizaje.
Actividades en
el aula
Equipo
directivo
Evaluador
externos que
recoge la
actividad en
los centros
Evaluador
externos que
recoge la
actividad en
los centros
Alumnos y
profesores
Valoraciones y
opiniones de los
implicados y
"afectados".
Observación Directa en
el desarrollo de
actividades
Observación Directa en
el desarrollo de
actividades
Guiones de
Observaciones
y de registros
Guiones de
Observaciones
y de registros
Observación Directa en
el desarrollo de
actividades
Guiones de
Observaciones
y de registros
Valoraciones y
opiniones de los
implicados y
"afectados"
Valoraciones y
opiniones de los
implicados y
"afectados"
Guiones de
Observaciones
y de registros
14. El intercambio de
información y
conocimientos
Alumnos y
profesores
15. La mejora del desarrollo
curricular de los centros
implicados
Claustro de
profesores
Observación Indirecta
16. La generación,
identificación y
transferencia de buenas
prácticas.
17. Adopción de una variada
gama de enfoques
Actividad e en
aula
Observación Indirecta
18. Utilización de
metodologías
innovadoras
19. Utilización de las
Tecnologías de la
Información y la
Comunicación
20. Transferencia de
experiencias entre los
centros agrupados
Actividad e en
aula
Actividad en
el aula
Alumnos y
profesores
Alumnos,
profesores y
equipo
directivo
10
Observación Directa en
el desarrollo de
actividades
Observación Directa en
el desarrollo de
actividades
Valoraciones y
opiniones de los
implicados y
"afectados"
Valoraciones y
opiniones de los
implicados y
"afectados".
Escalas de
estimación
Cuestionarios
de evaluación
para los
participantes
Análisis de
Documentos y
fichas de
seguimiento
Análisis de
Documentos y
fichas de
seguimiento
Guiones de
Observación y
de registro
Guiones de
Observación y
de registro
Guiones de
Observación y
de registro
Anecdotarios
y
cuestionarios
de evaluación
para los
21. Formación e
investigación
Equipo
directivo y
Claustro de
profesores
22. Incidencia en el aula,
ciclo, centro, otros
Actividad en
el aula
Observación Indirecta
Observación Directa en
el desarrollo de
actividades
23. Nivel de participación en
Equipo
Observación Directa en
su elaboración
directivo
el desarrollo de
actividades
24. Carácter creativo e
Actividad en Observación Directa en
innovador
el aula
el desarrollo de
actividades
25. Adaptabilidad a los
Equipo
Observación Directa en
diferentes contextos
directivo
el desarrollo de
actividades
*La columna de las dimensiones está obtenida tal cual del programa
** Las fuentes de información no aparecen especificadas en el programa.
participantes
Análisis de
Documentos y
fichas de
seguimiento
Guiones de
Observaciones
y de registros
Guiones de
Observaciones
y de registros
Guiones de
Observaciones
y de registros
Guiones de
Observación y
de registro
En la siguiente tabla representamos los instrumentos y momentos de la recogida de las
medidas que se proponen en el programa.
El escenario y las poblaciones/muestras no aparecen especificados en el programa por lo que
nosotras lo ampliaremos en el apartado C en la definición del diseño de evaluación, además de
mejorar algún instrumento y momentos.
Instrumento
(Variables/medidas/indicado
res)
1. Guiones de Observación y
de registro
Junio/ Julio
1º año
2. Guiones de Observación y
de registro
Junio/ Julio
1º año
3. Guiones de Observación y
de registro
Junio/ Julio
1º año
4. Cuestionarios de evaluación
para los destinatarios
5. Cuestionarios de evaluación
para los participantes
6. Guiones de Observación y
de registro
Momento
Escenario
Informe de
progreso
Informe de
progreso
Informe de
progreso
Junio/ Julio
2º año
memoria final
Junio/ Julio
2º año
memoria final
Junio/ Julio
1º año
Aula
Alumnado de los
centros entre 13 y 16
años
Aula
Alumnado de los
centros entre 13 y 16
años
Aula
Alumnado de los
centros entre 13 y 16
años
Centro
Centro
Centro
Informe de
progreso
11
Poblaciones/muestr
as
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
años
7. Análisis de Documentos y
fichas de seguimiento
Junio/ Julio
1º año
8. Análisis de Documentos y
fichas de seguimiento
Junio/ Julio
1º año y 2º año
9. Escalas de estimación
Informe de
progreso
Informe de
progreso y
memoria final
Junio/ Julio
1º año y 2º año
Informe de
progreso y
memoria final
10. Guiones de Observaciones
y de registros
11. Guiones de Observaciones
y de registros
Junio/ Julio
1º año y 2º año
Informe de
progreso y
memoria final
Junio/ Julio
1º año y 2º año
12. Guiones de Observaciones
y de registros
Informe de
progreso y
memoria final
Evaluación inicial
y evaluación de
proceso
(junio/ julio
1º año)
13. Guiones de Observaciones
y de registros
Junio/ Julio
1º año
14. Cuestionarios de
evaluación para los
participantes
Junio/ Julio
1º año y 2º año
15. Análisis de Documentos y
fichas de seguimiento
16. Análisis de Documentos y
fichas de seguimiento
17. Guiones de Observación y
de registro
18. Guiones de Observación y
de registro
Informe de
progreso
Informe de
progreso y
memoria final
Centro
Alumnado de los
centros entre 13 y 16
años
Centro
Alumnado de los
centros entre 13 y 16
años
Aula
Alumnado de los
centros entre 13 y 16
años
Aula
Alumnado de los
centros entre 13 y 16
años
Centro
Alumnado de los
centros entre 13 y 16
años
Centro
Alumnado de los
centros entre 13 y 16
años
Aula
Alumnado de los
centros entre 13 y 16
años
Centro
Alumnado de los
centros entre 13 y 16
años
Junio/ Julio
1º año y 2º año
memoria final
Evaluación de
proceso
(junio/ julio
1º año)
Evaluación de
proceso
(junio/ julio
1º año)
Evaluación de
proceso
12
Centro
Aula
Aula
Aula
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
19. Guiones de Observación y
de registro
20. Anecdotarios y
cuestionarios de evaluación
para los participantes
21. Análisis de Documentos y
fichas de seguimiento
22. Guiones de Observaciones
y de registros
23. Guiones de Observaciones
y de registros
24. Guiones de Observaciones
y de registros
25. Guiones de Observaciones
y de registros
(junio/ julio
1º año)
Evaluación de
proceso
(junio/ julio
1º año)
Junio/ Julio
1º año y 2º año
Informe de
progreso y
memoria final
años
Aula
Alumnado de los
centros entre 13 y 16
años
Centro
Alumnado de los
centros entre 13 y 16
años
Junio/ Julio
1º año y 2º año
memoria final
Evaluación de
proceso
(junio/ julio
1º año)
Evaluación inicial
Centro
Aula
Centro
Evaluación inicial
y evaluación de
proceso
(junio/ julio
1º año)
Aula
Junio/ Julio
1º año y 2º año
memoria final
Centro
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
años
Alumnado de los
centros entre 13 y 16
años
ÁMBITO/FOCO DE LA EVALUACIÓN Y OBJETIVOS
1. PROPÓSITO GENERAL DE LA EVALUACIÓN.
Lo que nos proponemos con la evaluación es conocer si el programa ha tenido una
incidencia directa sobre los centros y componentes que lo conforman, en los que se ha
implantado. Además de observar más concretamente si se ha conseguido una mejora de la
práctica educativa dentro del centro.
SEGUIMIENTO Y EVALUACIÓN (PROPUESTA)
Ámbitos de análisis
Desarrollo y gestión
del proyecto
Que
13
Indicadores
a. Actuación de la
coordinación.
b. Nivel de participación de
los centros agrupados.
c. Frecuencia y efectividad
de las comunicaciones
entre los centros.
d. Grado de acuerdo y de
cumplimiento de tareas.
e. Cumplimiento de la
temporalización y del
calendario previsto.
Eficacia y eficiencia
Satisfacción de los
participantes y de la
comunidad educativa
Incidencia
proyecto en:
del
Innovación
14
a. Grado de consecución de
los objetivos concretos y
su realización
b. Adecuación
de
los
recursos y procesos para la
consecución de objetivos.
c. Nivel de implementación
de las actividades
a. Cumplimiento de las
aspiraciones y deseos de
los grupos destinatarios de
las actuaciones.
b. Cumplimiento de
aspiraciones y deseos de
los participantes
a. El funcionamiento de los
equipos de los centros
implicados.
b.
La
apertura
y
consolidación
de
las
relaciones de los centros
con otros centros, figuras o
identidades.
c. La integración de las TIC
en
el
proceso
de
enseñanza-aprendizaje
d. El
intercambio
de
información
y
conocimientos.
e. La mejora del desarrollo
curricular de los centros
implicados.
f. La
generación,
identificación
y
transferencia de las buenas
prácticas.
a. Adopción de una variada
gama de enfoques.
b. Utilización
de
metodologías innovadoras.
c. Utilización
de
las
Tecnologías
de
la
Información
y
la
Comunicación.
d. Transferencia
de
experiencias entre los
centros agrupados.
e. Formación e investigación
Productos, resultados
y logros
a. Incidencia en el aula,
ciclo, centro, otros.
b. Nivel de participación en
su elaboración
c. Carácter
creativo
e
innovador.
d. Adaptabilidad
a
los
diferentes contextos.
Técnicas:
e
a. Observación
indirecta
(análisis de documentos)
b. Valoraciones y opiniones
de los implicados y
afectados.
c. Observación directa en el
desarrollo
de
las
actividades
Instrumentos:
a. Cuestionarios, guiones de
observación y de registro,
escalas de estimación,
guión de análisis de
documentos, anecdotarios,
fichas de seguimiento…
Técnicas
instrumentos
Cómo
Enero: evaluación inicial.
Producto:
documento
para
compartir el punto de partida
Junio/julio:
evaluación
de
proceso.
Producto: Informe de progreso
Junio/julio del segundo año:
evaluación final.
Producto: Memoria final
Momentos
Cuándo
Quién
a. Equipos de cada uno de
los centros participantes
b. Potenciales
evaluadores
externos
Responsables
Evaluación de Productos, resultados, logros donde se observen indicadores como:
o Incidencia en el aula, ciclo, centro, otros.
o Nivel de participación en su elaboración.
o Carácter creativo e innovador.
o Adaptabilidad a los diferentes contextos.
15
2. FORMULACIÓN DE OBJETIVOS ESPECÍFICOS
La evaluación se plantea los siguientes objetivos específicos:
• Si el programa ha conseguido mejorar el trabajo en equipo entre centros escolares.
• Si el programa de actuación ha conseguido servir de modelo para otros centros.
• Si el programa ha tenido un efecto positivo y generalizado en todo el centro o
institución.
• Si el programa, mediante la introducción de las TICS, ha conseguido una mejora en
la comunicación entre los centros participantes.
• Si durante la implantación del programa y tras su finalización se han conseguido
objetivos tales como: participación activa, innovación, mejora de la práctica
educativa...
3. IDENTIFICACIÓN DE AUDICIENCIAS POTENCIALES.
Las audiencias potenciales que aparecen en este programa son de dos tipos: audiencias
potenciales internas y audiencias potenciales externas.
Las audiencias potenciales internas serían los:
• Equipo directivo de los diferentes centros asociados
• Profesores
• Alumnos
• Familiares de los usuarios
Y las audiencias externas serían los:
• Comunidad educativa
• Sociedad
• Empresarios
• Servicio de inspección
• Instituciones locales
4. IDENTIFICACIÓN DE CLIENTES Y USUARIOS DIRECTOS DE LA
EVALUACIÓN.
No aparece especificado quién encarga este informe aunque en la configuración del
programa se realiza entre el MEC y las Comunidades Autónomas, dado a esta información creemos
que son estos organismos los que encargan la evaluación ya que se especifica en el propio programa
que se debe realizar una evaluación.
5. IDENTIFICACIÓN DEL TIPO DE EVALUACIÓN A DISEÑAR.
En este programa la evaluación que se lleva a cabo sería una evaluación inicial, la cual se
realiza en el diseño del programa, en la cual se analiza el contexto, se evalúan las necesidades
formativas, los aspectos didácticos que se quiere mejorar y se reflexiona sobre la organización y
gestión del centro.
También se debería realizar una evaluación de proceso, ya que es fundamental para poder ir
adaptando las actividades, metodologías o los diferentes materiales a las necesidades emergentes y
así poder llegar a la consecución de los objetivos previstos.
Y, por último, también se trata de realizar una evaluación final, o de resultados, que se
16
realiza al fin del programa, puesto que es de interés conocer, cuáles han sido los efectos producidos
tras la implantación del programa, si se han obtenido los resultados esperados, si se han conseguido
los objetivos planteados al principio y en qué grado nos los hemos encontrado y si tras finalizar el
primer período de implantación se han mantenido los resultados (durante cuánto tiempo).
La evaluación que se lleva a cabo no es ni puramente formativa ni sumativa. Se realiza una
evaluación formativa, puesto que al llevarse a cabo una evaluación de proceso, quiere decir que se
realiza durante el mismo proceso de funcionamiento del programa y que permite tomar medidas de
carácter inmediato; Y una evaluación sumativa, ya que se realiza al final del programa y trata de
determinar en qué grado se han alcanzado los objetivos previstos, y así poder tomar medidas a
medio o largo plazo.
6. EVALUABILIDAD DEL PROGRAMA
En cuanto a este aspecto de la evaluación decir, que hemos encontrado dificultades a la hora
de poder realizar algunos sondeos de opinión para consultar a la población a la que va destinada la
evaluación cuáles son sus necesidades concretas respecto a la misma, por lo que hemos tenido que
recurrir a datos de archivo, para determinar de manera indirecta las necesidades de dicha población.
También se obtuvo algunas dificultades a la hora de observar las acciones implicadas, la
temporalización en la implantación…ya que este programa, como ya se ha mencionado varias
veces, es un conjunto de varios proyectos que se realizan en diferentes centros, por lo que fue más
complicado a la hora de tener claro la definición del programa, para su posterior evaluación.
El último aspecto de la evaluación con el que se ha tenido más problemas, ha sido con el
coste de la misma, ya que en un primer se pretendía realizar en un solo año, pero vista la cantidad
de dimensiones ha observar y evaluar, se llegó a la conclusión de realizarlo a lo largo de dos cursos
académicos, debido a que si se realizase sólo en uno el presupuesto de la evaluación sería muy
elevado.
B. DELIMITACIÓN DEL OBJETO DE LA EVALUACIÓN
____________________________________________________
A continuación proponemos una serie de preguntas que nos ayudarán a centrarnos en los
aspectos que queremos evaluar, además añadimos para qué audiencias, de las antes descritas, es
importante esa información.
FORMULACIÓN DE CUESTIONES EVALUATIVAS
PREGUNTAS EVALUATIVAS:
1. ¿El programa ha conseguido mejorar el trabajo en equipo entre los centros escolares que
participan?
2. ¿Cuál ha sido el grado de aprovechamiento de los participantes en el programa?
Es decir, ¿Alcanzan al término del mismo los objetivos formativos planteados o por el
contrario es frecuente que los asistentes no cubran con las exigencias previstas al final del
curso?
3. ¿Este programa de actuación ha conseguido servir de modelo para otros centros?
4. ¿El programa ha tenido un efecto positivo y generalizado en todo el centro o institución?
5. ¿El programa ha utilizado de manera correcta las TICs para la comunicación entre los
determinados centros participantes en el programa?
17
6. ¿Durante la implantación del programa y tras su finalización se han conseguido los objetivos
previstos, tales como: participación activa, innovación, mejora de la práctica educativa…?
AUDIENCIAS: (las cuales hacen referencia a las audiencias a las que se refiere cada una de las
preguntas evaluativas)
1. Todas las identificadas, pero especialmente importante para los responsables del programa,
el equipo directivo y para el profesorado participante.
2. Todas las identificadas, pero especialmente importante para los responsables del programa y
el profesorado participante.
3. Todas las identificadas, pero especialmente para los responsables del programa y las
audiencias externas del programa.
4. Todas las identificadas, pero especialmente para los responsables del programa y equipo
directivo.
5. Todas las identificadas, pero especialmente para los responsables del programa y el
profesorado participante.
6. Todas las identificadas, pero especialmente para los responsables del programa y servicio de
inspección.
IMPORTANCIA
1. Derivada del primer objetivo específico de la evaluación
2. Derivada del quinto objetivo específico de la evaluación
3. Derivada del segundo objetivo específico de la evaluación
4. Derivada del tercer objetivo específico de la evaluación
5. Derivada del cuarto objetivo específico de la evaluación
6. Derivada del quinto objetivo específico de la evaluación
DEFINICIÓN DE DIMENSIONES DE ANÁLISIS Y VARIABLES
A partir de las preguntas planteadas anteriormente, identificamos las grandes dimensiones a
evaluar y los indicadores de cada una de ellas, que van a servir de ayuda para determinar
exactamente los aspectos observables y medibles en nuestro proyecto evaluativo.
PREGUNTA EVALUATIVA: 1
•
•
•
DIMENSIÓN: Eficacia del proyecto
SUBDIMENSIÓN: No aparece especificado en el programa.
VARIABLES/MEDIDAS/INDICADORES:
o Grado de consecución de los objetivos concretos y su realización.
o Adecuación de recursos y procesos para la consecución de los objetivos.
o Nivel de implementación de las actividades.
PREGUNTA EVALUATIVA: 2
•
•
•
DIMENSIÓN: Satisfacción de los participantes y de la comunidad educativa
SUBDIMENSIÓN: No aparece especificado en el programa.
VARIABLES/MEDIDAS/INDICADORES:
o Cumplimiento de aspiraciones y deseos de los grupos destinatarios de las
actuaciones.
o Cumplimiento de aspiraciones y deseos de los participantes.
PREGUNTA EVALUATIVA: 3
•
•
DIMENSIÓN: Desarrollo y gestión del proyecto
SUBDIMENSIÓN: No aparece especificado en el programa.
18
•
VARIABLES/MEDIDAS/INDICADORES:
o Actuación de la coordinación
o Nivel de participación de los centros agrupados
o Frecuencia y efectividad de las comunicaciones entre los centros
o Grado de acuerdo y de cumplimiento de tareas
o Cumplimiento de la temporalización y del calendario previsto.
PREGUNTA EVALUATIVA: 4
•
•
•
DIMENSIÓN: Incidencia del proyecto
SUBDIMENSIÓN: No aparece especificado en el programa.
VARIABLES/MEDIDAS/INDICADORES:
o El funcionamiento de los equipos de los centros implicados
o La apertura y consolidación de las relaciones de los centros con otros centros, figuras
o entidades colaboradoras.
o La integración de las TIC en el proceso de enseñanza-aprendizaje.
o El intercambio de información y conocimientos
o La mejora del desarrollo curricular de los centros implicados
o La generación, identificación y transferencia de buenas prácticas.
PREGUNTA EVALUATIVA: 5
• DIMENSIÓN: Innovación del programa
• SUBDIMENSIÓN: No aparece especificado en el programa.
• VARIABLES/MEDIDAS/INDICADORES:
o Adopción de una variada gama de enfoques
o Utilización de metodologías innovadoras
o Utilización de las Tecnologías de la Información y la Comunicación
o Transferencia de experiencias entre los centros agrupados
o Formación e investigación
PREGUNTA EVALUATIVA: 6
•
•
•
DIMENSIÓN: Productos, resultados, logros
SUBDIMENSIÓN: No aparece especificado en el programa.
VARIABLES/MEDIDAS/INDICADORES:
o Incidencia en el aula, ciclo, centro, otros
o Nivel de participación en su elaboración
o Carácter creativo e innovador
o Adaptabilidad a los diferentes contextos
C. RECURSOS METODOLÓGICOS Y DISEÑO
_____________________________________________________________________________
19
FUENTES Y PROCEDIMIENTOS DE RECOGIDA DE DATOS
En la siguiente tabla aparecen reflejadas las dimensiones, fuentes de información, técnicas e
instrumentos propuestos en el programa. Las técnicas e instrumentos surgen de una explicación
general de las mismas, a lo que nosotras hemos tenido que ir enlazándolas con la dimensión que
creemos correspondiente.
Aquellas que están en negrita son mejoras propuestas por nosotras a dicha evaluación, ya
que estas no aparecen detalladas en el programa.
Al ver que esta evaluación si se llevase a cabo en un solo año supondría un presupuesto muy
alto, decidimos realizarla a lo largo de dos cursos escolares.
Dimensión/subdimensión
Fuentes de
medida/indicador/variabl información
e
1. Grado de
Actividad en
consecución de los
el aula
objetivos concretos
y su realización.
(1er año)
2. Adecuación de
Actividad en
recursos y procesos
el aula
para la consecución
de los objetivos.
(1er año)
3. Nivel de
Actividad en
implementación de
el aula
las actividades.
(1er año)
4. Cumplimiento de
Alumnos,
aspiraciones y
profesores y
deseos de los grupos profesionales
destinatarios de las
de la
actuaciones.
educación
(2º año)
5. Cumplimiento de
Centros
aspiraciones y
implicados en
deseos de los
el programa,
participantes.
alumnos,
(2º año)
profesores y
profesionales
de la
educación
6. Actuación de la
Equipo
coordinación
directivo de
(1er y 2º año)
los diferentes
centros
7. Nivel de
Evaluador
participación de los
externos que
centros agrupados
recoge la
(2º año)
actividad en
los centros.
Técnica/Procedimient
o
Instrumento*
Observación Directa en
el desarrollo de
actividades
Guiones de
Observación y
de registro
Observación Directa en
el desarrollo de
actividades
Guiones de
Observación y
de registro
Observación Directa en
el desarrollo de
actividades
Guiones de
Observación y
de registro
Valoraciones y
opiniones de los
implicados y
"afectados".
Valoraciones y
opiniones de los
implicados y
"afectados".
Encuesta
Cuestionarios
ó
Entrevista
estructurada
Observación Directa en
el desarrollo de
actividades
Guiones de
Observación y
de registro
Observación
participante
Análisis de
Documentos y
fichas de
seguimiento
20
8. Frecuencia y
efectividad de las
comunicaciones
entre los centros
(1er y 2º año)
9. Grado de acuerdo y
de cumplimiento de
tareas
(2º año)
10. Cumplimiento de la
temporalización y
del calendario
previsto.
(1er y 2º año)
11. El funcionamiento
de los equipos de
los centros
implicados
(2º año)
12. La apertura y
consolidación de las
relaciones de los
centros con otros
centros, figuras o
entidades
colaboradoras.
(2º año)
13. La integración de
las TIC en el
proceso de
enseñanzaaprendizaje.
(1er año)
14. El intercambio de
información y
conocimientos
(1er año)
15. La mejora del
desarrollo curricular
de los centros
implicados
(2º año)
16. La generación,
identificación y
transferencia de
buenas prácticas.
(1er y 2º año)
17. Adopción de una
variada gama de
Equipo
directivo
Actividades
en el aula
Observación
Participante
Análisis de
Documentos y
fichas de
seguimiento
Valoraciones y
opiniones de los
implicados y
"afectados".
Observación Directa en
el desarrollo de
actividades
Guiones de
Observaciones
y de registros
Evaluador
externos que
recoge la
actividad en
los centros.
Evaluador
externos que
recoge la
actividad en
los centros.
Observación Directa en
el desarrollo de
actividades
Guiones de
Observaciones
y de registros
Observación Directa en
el desarrollo de
actividades
Guiones de
Observaciones
y de registros
Alumnos y
profesores
Valoraciones y
opiniones de los
implicados y
“afectados”
Entrevista y
encuesta
s
Alumnos y
profesores
Valoraciones y
opiniones de los
implicados y
"afectados".
Encuestas
Claustro de
profesores
Observación Indirecta
Seminario
Actividad el
en aula
Observación Directa
Escalas de
estimación
Actividad en
el aula
Observación Directa en
el desarrollo de
Guiones de
Observación y
Equipo
directivo
21
Escalas de
estimación
enfoques
(1er y 2º año)
18. Utilización de
metodologías
innovadoras
(1er y 2º año)
19. Utilización de las
Tecnologías de la
Información y la
Comunicación
(2º año)
20. Transferencia de
experiencias entre
los centros
agrupados
(1er año)
21. Formación e
investigación
(1er y 2º año)
22. Incidencia en el
aula, ciclo, centro,
otros
(1er y 2º año)
23. Nivel de
participación en su
elaboración
(1er año)
24. Carácter creativo e
innovador
(1er y 2º año)
25. Adaptabilidad a los
diferentes contextos
(1er y 2º año)
actividades
de registro
Observación Directa en
el desarrollo de
actividades
Portafolios
Alumnos y
profesores
Valoraciones y
opiniones de los
implicados y
“afectados”
Cuestionario
Alumnos,
profesores y
equipo
directivo
Valoraciones y
opiniones de los
implicados y
"afectados".
Asambleas
entre los
socios
Observación Indirecta
Seminarios
de discusión y
asambleas
Observación Directa en
el desarrollo de
actividades
Guiones de
Observaciones
y de registros
Equipo
directivo
Observación Directa en
el desarrollo de
actividades
Escalas de
estimación
Actividad en
el aula
mediante el
tutor
Equipo
directivo
Observación Directa en
el desarrollo de
actividades
Guiones de
Observaciones
y de registros
Observación Directa en
el desarrollo de
actividades
Guiones de
Observación y
de registro
Actividad en
el aula
Equipo
directivo y
claustro de
profesores
Actividad en
el aula
*Todos los instrumentos elaborados ad hoc.
* Los apartados en negrita son propuestas de mejora.
22
DEFINICIÓN DEL DISEÑO DE EVALUACIÓN
1. TIPO DE DISEÑO: Se parte de una evaluación inicial donde se analiza el contexto, se
evalúan las necesidades formativas, los aspectos didácticos que se quiere mejorar y
posteriormente se reflexiona sobre la organización y gestión del centro.
2. DISEÑO MUESTRAL (TIPO DE MUESTRAS Y TAMAÑO): La muestra tomada son
todos los alumnos de la etapa de Secundaria (en edades comprendidas entre los 13 y 16 años)
que participan en la agrupación del proyecto ERA, de los siguientes centros:
• IES Alto Almanzora (Tíjola, Almería)
• IES Miguel Catalán (Zaragoza, Aragón)
• IES Punta Larga (Candelaria, Tenerife)
• IES Carlos Casares (Vigo, Galicia)
PLAN DE RECOGIDA DE MEDIDAS: (TABLA PÁGINA SIGUIENTE)
Instrumentos/ meses
1. Guiones de
observación y de
registro
dimensión 1.
(1er año)
2. Guiones de
observación y de
registro
dimensión 2.
(1er año)
Octubre
*
*
Noviembre
*
*
Diciembre
*
*
*
Enero
Febrero
*
*
*
*
*
Marzo
Abril
M
*
*
3. Guiones de
observación y de
registro de la
dimensión 3
(1er año)
*
*
*
*
*
4. Encuesta
*
*
(2º año)
5. Cuestionarios,
entrevistas
estructuradas.
(2º año)
*
6. Guiones de
observación y de
registro de la
dimensión 6.
(1er y 2º año)
*
*
7. Análisis de
*
documentos y
fichas de
seguimiento de
dimensión 7.
(2º año)
*
8. Análisis de
documentos y
fichas de
*
*
23
*
*
seguimiento de la
dimensión 8.
(1er y 2º año)
*
9. Escalas de
*
estimación de la
dimensión 9.
(2º año)
10. Guiones de
*
observación y de
registro de la
dimensión 10.
(1er y 2º año)
*
*
11. Guiones de
*
*
*
observaciones y
de registros de la
dimensión 11.
(2º año)
12. Guiones de
*
observaciones y
de registros de la
dimensión 12.
(2º año)
*
*
13. Entrevista y
*
*
encuestas.
(1er año)
*
*
*
*
14. Encuestas
(1er año)
15. Seminario
(2º año)
16. Escalas de
estimación.
(1er y 2º año)
*
*
*
*
17. Portafolios
*
(1er y 2º año)
*
*
18. Cuestionarios
*
(2º año)
19. Asamblea entre
*
socios
(1er año)
20. Seminario de
*
*
discusión.
(1er y 2º año)
21. Guiones de
observación y de
*
*
*
24
*
*
*
*
registros.
(1er y 2º año)
22. Escalas de
*
*
estimación.
(1er año)
23. Guiones de
*
*
observación y de
registros
(1er y 2º año)
*
24. Guiones de
observación y de
registros
(1er y 2º año)
Los instrumentos 1, 2, 3, 9, 10, 13, 16, 17, 18, 21 y 23 son utilizados dentro de las aulas de los
centros anteriormente mencionados. Los instrumentos 4, 5, 6, 7,8, 11, 12, 14, 15, 19, 20 y 22 son
usados dentro de los centros, pero no estrictamente en el aula
25
D. PLAN DE ANÁLISIS DE DATOS
En la siguiente tabla se representan los tipos de instrumentos utilizados para obtener la
información necesaria, y de qué manera trataremos de analizarla para adquirir conclusiones
eficaces, completas y válidas.
En la columna de la derecha establecemos la puntuación que consideramos mínima para
aceptar que ese instrumento ha sido lo suficientemente bueno para medir la información que
queremos obtener.
Instrumento
Variables/medida/indicador
es
Enfoque/ Procedimiento de análisis
Enfoque cuantitativo, se observarán las
situaciones que se pretenden estudiar (ej.
Guiones de Observación y de número de veces que se dan ciertas
registro
acciones) y se recogerán en una lista ya
prefijada.
Si es necesario para obtener más
información podrían acompañarse de
escalas de estimación.
Encuestas
Criterios
Eficacia, en al menos
un 50%
Enfoque cuantitativo, tras haber recogido la
información en los cuestionarios.
Trataremos de analizar la información
obtenida:
Pertinencia, en al
1. Separando los ítems, en áreas de
menos un 60% de los
estudio.
casos
2. Aplicando un análisis estadístico,
con la ayuda del SPSS.
Cuestionarios
Enfoque cuantitativo. Se traduce la
información necesaria a un conjunto de
preguntas específicas y se recopilan datos
que posteriormente serán analizados.
Análisis de Documentos y
fichas de seguimiento
Enfoque cualitativo. Se presentan diferentes Pertinencia, en al
observaciones sobre unos mismos aspectos menos un 60% de los
a lo largo de un proceso temporal. Son
casos.
fichas individuales.
Escalas de estimación
Enfoque cuantitativo ó cualitativo. Se
Eficacia, en al menos
describe al sujeto en base a las conductas
un 50% de los casos.
que queremos observar ó medir
estableciendo gradación o nivel en base a si
26
Satisfacción, en al
menos un 50% de los
casos.
una determinada conducta aparece o no.
Portafolios
Enfoque cuantitativo. Se recoge la
información necesaria en plantillas
estructuradas por parte del evaluador
externo.
Asambleas entre los socios
Enfoque cualitativo. Se describen las
Satisfacción, en al
valoraciones y opiniones de los diferentes
menos el 45% de los
socios respecto algunos aspectos concretos. socios.
Seminarios de discusión
Enfoque cualitativo. Se realizará un
seminario con los diferentes socios, en
donde se recogerán las aportaciones
significativas que realicen sobre el
programa.
27
Eficacia, en al menos
45% de los casos.
Satisfacción, en al
menos un 40% de los
socios.
E. PRESENTACIÓN DE RESULTADOS: INFORMES
A continuación, presentamos la información acerca del programa que les proporcionaremos a las audiencias potenciales internas. Dejando
al margen de esto a las audiencias externas, ya que no necesitan una información tan detallada acerca de esto.
Características audiencia
Nombre de
individuos
o grupos
Relación con el
programa
Equipo directivo de
los diferentes centros
asociados
Control,
comunicación y
coordinación de la
puesta en marcha de
los centros
implicados.
Claustro de profesores Encargados de la
aplicación de una
metodología
innovadora con la
utilizando las TICs.
Y de asegurar un
conocimiento en los
alumnos, del propio
Características informe
Áreas prioritarias de
interés
•
•
•
•
•
•
•
•
•
•
Tipo de información y
alcance
Referidos
Formato
Fecha/frecuenc
ia de emisión
al
Informe técnico
En Septiembre
del
siguiente
curso.
Temporalización En cuanto al grado de
de
los
Integración TICs consecución
Formación e
objetivos previstos.
investigación
Mejoras
curriculares
Metodologías
innovadoras
Informe técnico
Al
finalizar
cada trimestre
escolar.
Coordinación
funcionamiento general del
Comunicación
programa durante todo el
Temporalización curso académico.
Formación e
investigación
Adaptabilidad
diferentes
contextos.
28
centro y de los
centros asociados.
Alumnado
Familiares
Realización práctica
de las actividades
del programa.
La
participación
indirecta a través de
sus hijos en el
programa.
•
•
•
TICs.
Intercambio
información
Trasferencia de
experiencias
Realización
de
las
actividades del proyecto
llevado a cabo en el
centro al que van sus
hijos.
Los
conocimientos
adquiridos
durante
la
aplicación del programa.
Experiencias vividas por
los alumnos de los
diferentes
centros
asociados.
•
•
Power Point
explicativo
Página web
Referida al curso en el que Breve Power Point en la
están matriculados los reunión con el tutor.
alumnos pertenecientes a la
familia.
29
Al
finalizar
cada trimestre
escolar.
Al
finalizar
cada trimestre.
F. ORGANIZACIÓN DE LA EVALUACIÓN
La evaluación de este programa se lleva a cabo entre 3 pedagogas, Evaluadora 1(Yanira), Evaluadora 2 (Sonia) y evaluadora 3 (Lucía),
algunas se hacen en conjunto para obtener información complementada, otras se toman de manera individual para hacer una repartición de la
tarea evaluativa.
Entregar cuestionarios a los
alumnos participantes.
Realizar una entrevista estructura a
los profesores participantes.
Mayo
*
(1er
año)
*
(1er
año)
*
(1er
año)
*
(1er
año)
*
(1er
año)
Evaluadora 2
*
(2º
año)
*
(2º
año)
Evaluadora 1
*
(2º
año)
*
(2º
año)
30
Agosto
Abril
*
(1er
año)
Julio
Marzo
*
*
(1er (1er
año) año)
Junio
Febrero
Las tres evaluadoras, ya
que se tomarán en
diferentes momentos y
cada vez lo recogerá una.
Enero
A partir de una observación directa
en el aula, recogeremos
información acerca del grado de
consecución de los objetivos
propuestos, la adecuación de los
recursos utilizados y el nivel de
implementación de las actividades.
Diciembre
PERSONAL
RESPONSABLE
Octubre
TAREA
Noviembre
TEMPORALIZACIÓN
Observar el funcionamiento de los
equipos y las relaciones entre los
diferentes centros.
Realizar encuestas a los alumnos
acerca de la integración de las TICs
para el intercambio de
Evaluadora 3
conocimientos.
Evaluadora 1, 1er año
Participar en el seminario acerca de Evaluadora 2, 2º año
la mejora curricular de los centros y
de la formación e investigación.
*
(2º
año)
*
(2º
año)
*
(1er
año)
*
(2º
año)
*
(1er
año)
31
*
(2º
año)
*
(2º
año)
*
(2º
año)
*
(2º
año)
*
(1er
año)
*
(2º
año)
Agosto
Julio
*
(1er y
2º
año)
Junio
*
(1er y
2º
año)
Mayo
Evaluadora 3
*
(2º
año)
*
(1er y
2º
año)
*
(1er y
2º
año)
Abril
*
(1er y
2º
año)
*
(1er y
2º
año)
Marzo
Evaluadora 2
*
(1er
y 2º
año)
Diciembre
*
(1er y
2º
año)
Febrero
Observar si la temporalización
prevista de cada actividad es la
llevada a cabo.
Evaluadora 1 y 3
*
(1er
y 2º
año)
PERSONAL
RESPONSABLE
Enero
Observar y recoger información
acerca de la comunicación y de la
coordinación entre los diferentes
centros.
Noviembre
TAREA
Octubre
TEMPORALIZACIÓN
Recoger información mediante una
escala de estimación acerca de la
Evaluadora 2
participación y las buenas prácticas
realizadas en los centros.
Recoger información y elaborar un
portafolio con la metodología
utilizada por los profesores en el
aula
Obtener las ideas y las opiniones
acerca de las experiencias
proporcionadas con estas
actividades del programa entre los
distintos centros.
Evaluadora 1, el segundo
año.
Evaluadora 3, el primer
año.
*
(1er
y 2º)
*
(1er y
2º)
*
*
(1er y (1er y
2º)
2º)
Las 3 evaluadoras,
dependiendo de las
circunstancias.
*
(1er y
2º)
Agosto
Julio
Junio
Mayo
*
(1er y
2º)
*
*
(1er y (1er y
2º)
2º)
*
(1er y
2º)
32
Abril
Marzo
Febrero
Enero
Diciembre
PERSONAL
RESPONSABLE
Noviembre
TAREA
Octubre
TEMPORALIZACIÓN
G. PRESUPUESTO
A continuación se detallan los presupuestos de los conceptos necesarios para el
desarrollo del proceso de evaluación, así como su estimación de gasto y su coste total.
Se muestran dos tablas, una por cada año.
PRESUPUESTO PRIMER AÑO
CONCEPTO
IMPORTE
Seminario de discusión
500 €
Desplazamiento
1000 €
Fotocopias Cuestionarios
0,05 x 2989 = 149,45 €
Material fungible
800 €
Personal contratado
6000 €
Coste servicios profesionales
Guiones de observación y de registro
Fotocopias Encuesta
Fichas de seguimiento
Escalas de estimación
Entrevista
Asambleas entre los socios
3000 €
300 €
0,05 x 2989 = 149,45 €
300 €
300 €
400 €
600 €
TOTAL 13498,9
PRESUPUESTO SEGUNDO AÑO
CONCEPTO
IMPORTE
Seminario de discusión
500 €
Desplazamiento
1000 €
Fotocopias Cuestionarios
0,05 x 2989 = 149,45 €
Material fungible
800 €
Personal contratado
6000 €
Coste servicios profesionales
Guiones de observación y de registro
Fotocopias Encuesta
Fichas de seguimiento
Escalas de estimación
3000 €
300 €
0,05 x 2989 = 149,45 €
300 €
300 €
33
Asambleas entre los socios
600 €
TOTAL 13098,9 €
Los presupuestos son diferentes por año ya que en el segundo año no se usa el
instrumento de la entrevista por lo que el coste es inferior.
34
H. METAEVALUACIÓN
PRECISIÓN
ÉTICA
LEGITIMIDAD LIDAD
VIABI-
UTILIDAD
A continuación, aparece representada en la tabla unos estándares de calidad de la
evaluación, de esta manera podemos observar si han sido aplicables en la misma o no, y
si han sido aplicables de qué manera.
No
aplicable
ESTÁNDAR
U1.Identificación de implicados
U2. Credibilidad del evaluador
U3. Ámbito de la evaluación y selección
U4. Identificación de valores
U5. Claridad del informe
U6. Oportunidad y difusión del informe
U7. Impacto de la evaluación
F1. Procedimientos prácticos
F2. Viabilidad política
¿Ha sido cumplido?
Total
Parcial
*
*
*
*
*
*
*
*
*
F3. Coste efectividad
*
P1. Orientación de servicio
P2. Convenios formales
P3. Derechos de los sujetos
Respeto a la dignidad humana
P4. Evaluación completa
P5. Declaración de resultados
P6. Conflicto de intereses
P7. Responsabilidad fiscal
A1. Documentación sobre el programa
A2. Análisis del contexto
A3. Descripción de propósitos y procedimientos
A4. Fuentes de información
A5. Información válida
A6. Información fiable
A7. Información sistemática
A8. Análisis de información cuantitativa
A9. Análisis de información cualitativa
A10. Justificación de conclusiones
A11. Informe imparcial
A12. Metaevaluación
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
En relación a la metaevaluación propuesta, debemos aclarar que a pesar de que
el programa elegido propone un tipo de evaluación no la pone en marcha, y por tanto,
no tenemos resultados o información acerca de las conclusiones reales de la misma.
Por otro lado, nuestro trabajo ha sido proponer una mejora a esa evaluación
planteada en el programa. Hemos intentado añadir una información más precisa a cerca
de lo que nosotras haríamos en el caso de que implantásemos realmente la evaluación.
Pero como no ha sido una puesta en marcha real no tenemos información suficiente para
realizar la metaevaluación de manera correcta.
De esta manera, realizamos una metaevaluación pensando cómo sería si de
verdad se hubiese aplicado.
Para aclarar la tabla anterior, vamos a pasar a justificar algunos de los aspectos
que hemos considerado no aplicables o aplicables en nuestra evaluación, en mayor o
menor grado.
•
No
Estándares considerados no aplicables:
35
Conocemos e imaginamos que habrá aspectos que influyan en el programa y en
su evaluación sin embargo no han sido considerados y tampoco se ha adquirido
información acerca de ellos.
Con respecto a la Viabilidad política, hay muchos factores respecto a este
estándar y es muy difícil obtener información válida acerca de él.
Conflicto de intereses, estándar muy complicado de abarcar. Ya que no tenemos
los medios suficientes para medirlo.
Como ya hemos comentado, los estándares considerados no aplicables, no se han
medido por la gran dificultad para abarcarlos, y por el coste elevado que podrían
suponernos.
•
Estándares considerados como adecuadamente cubiertos:
- Derechos de los sujetos: A nuestro parecer, durante todo el proceso ha sido
respetada la
integridad de las personas participantes, haciéndolas saber desde el
primer momento a lo que se sometían al participar en este programa, y la evaluación que
se iba a llevar a cabo desde el comienzo del mismo. De este modo, si alguno de los
sujetos no quería participar en él, no se le pondría ningún impedimento en ello.
También es un estándar muy teniendo en cuenta, ya que gran cantidad de información
se obtiene de alumnos (menores de edad). Además es un programa poco
“comprometedor” respecto a la posición ideológica de las fuentes de información.
- Oportunidad y difusión del informe: somos evaluadoras externas al programa,
y fuimos contratadas para evaluarlo, es por ello, que sabemos que toda la información
que obtuviésemos con la evaluación tendríamos oportunidad y obligación de
presentarla.
Además a través de diferentes medios de presentación (ya delimitados anteriormente)
todas las audiencias potenciales recibirán conclusiones directas acerca del programa
(cada uno en su nivel y su área concreta).
•
Estándares considerados como insuficientemente cubiertos:
- Credibilidad del evaluador: Este estándar no podemos decir que se haya
cumplido de manera total en nuestra evaluación, ya que nosotras no tenemos mucha
experiencia en evaluación de programas, por lo que tendremos que ir consiguiendo que
poco a poco nuestras evaluaciones y nosotras como evaluadoras seamos más creíbles
para la gente que nos vaya a contratar.
- Fuentes de información: En cuanto a este estándar decir que para la realización
de nuestra evaluación en este programa, obtuvimos la información necesaria para la
misma, desde fuentes diversas y variadas, de tal modo que pudiésemos contrastar la
información recogida. No se ha cumplido de manera total, ya que aunque buscamos en
muchas fuentes, quedaría alguna en la cual no hubiésemos mirado, pero porque con la
información encontrada en aquellas utilizadas nos pareció adecuado.
36
37
CONCLUSIONES
Para concluir con el presente trabajo, tenemos que decir que no ha sido
un trabajo fácil ya que nos resultó complicado, en primer lugar encontrar el
programa adecuado para su realización y en segundo lugar realizar la
familiarización del programa elegido, ya que cada vez que elegíamos un
programa y realizábamos su familiarización siempre había cosas que no
concordaban. Llegamos a realizar la familiarización del programa cuatro veces,
hasta que dimos con el Programa Arce y por fin pudimos realizarla
correctamente.
A pesar de todos estos problemas, el haber encontrado este programa
nos ha ayudado a ver las cosas de otra manera e incluso a aprender realmente
como se hace la evaluación de un programa.
Ha sido un trabajo duro y aunque nuestro trabajo no es igual que el del
resto de nuestros compañeros, pensamos que hemos conseguido cumplir con
los objetivos de la asignatura y sobre todo con el objetivo principal de la misma,
que ha sido aprender.
38