Evaluación de Programas: Conceptos, Métodos y Estándares

Marco conceptual
Conceptos Básicos en la Evaluación de Programas.
Métodos de Evaluación
Características de las personas que evalúan.
Marco Conceptual
La importancia de la evaluación de programas.
Qué es la evaluación de programas.
La evaluación es un proceso.
Estándares de calidad en la evaluación de
programas o cómo hacerlo bien.
Qué aporta el programa en la consecución de los
objetivos de la persona usuaria.
La evaluación es un proceso dinámico que tiene lugar a lo largo de un
período de tiempo, de acuerdo con unas fases previamente definidas
(Gómez, 2004).
Algunas características principales del proceso de evaluación de
programas:
• Es un proceso sistemático, planificado.
• Pretende obtener información significativa.
• Es un instrumento que facilita la toma de decisiones.
• Tiene una utilidad fundamentalmente práctica e implica una mejora
del programa.
La evaluación de programas se centra en identificar si los objetivos
propuestos con la aplicación del programa se han cumplido. Ello
requiere comprobar empíricamente que el programa ha causado cambios en
la dirección deseada y conocer en qué grado se ha conseguido,
manteniendo en un segundo plano la percepción subjetiva de las
personas implicadas en la intervención.
La evaluación de programas es un proceso continuo que tiene lugar
en las diferentes etapas del desarrollo de un programa, por lo que
el interés de la evaluación de programas va más allá de los
resultados.
Las evaluaciones bien construidas son válidas y fiables. Deben
proporcionar acceso a mejores opciones para el progreso de la
persona en su proceso de rehabilitación, generar expectativas
adecuadas en los diferentes agentes implicados en la atención y un
respaldo para la calidad del servicio que se ofrece.
El uso inadecuado de la evaluación puede dar lugar a un daño para
profesionales, personas usuarias y otras partes afectadas por las
decisiones basadas en una mala evaluación.
Estándares de calidad en la
evaluación de programas
UTILIDAD: La evaluación realizada debería ser útil para el
profesional y para la persona usuaria que es beneficiaria del
programa.
VIABILIDAD: evaluación debe ser efectiva en términos de costes y ser
posible de llevar a cabo en el mundo real.
ADECUACIÓN: Las evaluaciones que se hagan deben ser éticas y
adecuadas y velar por los derechos y el bienestar de las personas que
se ven afectadas por la misma.
VALIDEZ: La evaluación debe tener criterios de validez, fiabilidad y
objetividad. Estos criterios permiten comprobar si la evaluación ha
ofrecido información adecuada y útil.
CONCEPTOS BÁSICOS EN LA EVALUACIÓN DE
PROGRAMAS
Objetivos, indicadores y estándares.
Evaluación de proceso y evaluación de
resultados.
Evaluación cuantitativa vs cualitativa.
Objetivos, Indicadores y Estándares
El objetivo es un aspecto o meta concreto que queremos
clarificar o conseguir. El objetivo es lo que guiará todo el
diseño del programa o grupo, ya que indicará qué se quiere
conseguir.
Dentro de los objetivos se puede diferenciar entre: objetivos
generales, como aquellos que determinan el fin del programa o
grupo; y objetivos específicos, como aquellos que indican los
logros parciales del programa en cada fase del programa o
grupo.
los objetivos específicos deben tener las
siguientes
características:
•
Específicos,
Mensurables,
Alcanzables,
Relevantes
y
Temporales.
Indicador como una medición objetiva que puede ser usada para
mostrar los cambios y progresos que está haciendo un programa
hacia el logro de un resultado. Debe haber, por lo menos, un
indicador por cada resultado u objetivo esperado.
El indicador debe estar enfocado, y ser claro y específico.
Estos indicadores pueden ser de resultado final, es decir,
valorar si se han alcanzado los objetivos propuestos al inicio
del programa, o de proceso, es decir, si el programa se está
ajustando o desarrollando de la manera que estaba planificada.
Estándar como aquellas metas a las que queremos llegar en cada
objetivo o resultado.
Objetivos, Indicadores y Estándares
Ejemplos
Caso: Evaluación Psicológica de Adolescentes con Dificultades
Académicas en un Instituto Secundario.
Historia, contexto o Situación:
En un instituto secundario se ha identificado que varios
adolescentes tienen dificultades académicas persistentes, a
pesar de contar con un entorno adecuado de enseñanza y
recursos. La dirección escolar ha solicitado la implementación
de un programa de evaluación psicológica para determinar las
causas de estas dificultades, como problemas de aprendizaje,
trastornos
emocionales,
o
deficiencias
en
habilidades
cognitivas.
Objetivos
Objetivo General:
Identificar y comprender las posibles causas psicológicas de las
dificultades académicas de los adolescentes, con el fin de
proporcionar
recomendaciones
personalizadas
para
mejorar
su
rendimiento académico y bienestar emocional.
Objetivos Específicos:
1.Evaluar las capacidades cognitivas de los estudiantes para
identificar posibles déficits o fortalezas en áreas como la
memoria, la atención, el razonamiento lógico y la resolución de
problemas.
2.Identificar
trastornos
emocionales
o
psicológicos
(como
ansiedad, depresión, o estrés académico) que puedan estar
interfiriendo con el rendimiento académico de los estudiantes.
Objetivos
3.
Evaluar
el
estilo
de
aprendizaje
y
las
habilidades
socioemocionales de los estudiantes, con el fin de identificar
posibles obstáculos en su interacción con los procesos de
enseñanza-aprendizaje.
4. Observar posibles dificultades de integración familiar o social
que puedan estar afectando la motivación y el rendimiento académico
de los estudiantes.
5. Proponer estrategias de intervención y acompañamiento para
mejorar el rendimiento académico, bienestar emocional y habilidades
sociales de los estudiantes, basadas en los resultados de la
evaluación.
Indicadores y Estandares
1. Capacidades cognitivas /déficits o fortalezas
Indicador 1: Puntajes en pruebas de memoria de trabajo (como el Test de Memoria de
Dígitos).
Estándar: Un puntaje dentro del rango medio o bajo indicaría dificultades de memoria de
trabajo.
Indicador 2: Puntajes en pruebas de razonamiento lógico (como el Test de Razonamiento
Abstracto).
Estándar: Un desempeño por debajo de la media podría sugerir dificultades para resolver
problemas abstractos, lo cual impactaría el rendimiento académico.
2. Trastornos emocionales o psicológicos/ansiedad, depresión, o estrés académico
Indicador 1: Resultados de cuestionarios de ansiedad (como la Escala de Ansiedad
Estado-Rasgo de Spielberg).
Estándar: Un puntaje elevado en la escala de ansiedad indicaría la presencia de
niveles altos de ansiedad, que podrían afectar la concentración y la motivación.
Indicador 2: Resultados en pruebas de depresión (como el Inventario de Depresión de
Beck).
Estándar: Puntajes por encima del umbral clínico indicarían síntomas depresivos
significativos, que podrían estar relacionados con dificultades académicas.
Evaluación del Proceso y Evaluación
del Resultado
Tiene fundamentalmente tres objetivos:
• Evaluar el grado en el que el programa se implementó tal como
estaba previsto, más concretamente, si se ha puesto en marcha en
el tiempo y forma prevista. Si finalmente no se han realizado
las actividades según el plan inicial, no sería de esperar que
los objetivos se cumplieran.
• Analizar si existen diferencias entre el funcionamiento real
y el previsto.
• Ver hasta qué punto están llegando los programas a la
población a la que van dirigidos.
Habría que analizar los siguientes aspectos:
• Seguimientos de los resultados de los componentes:
fecha de realización, ajuste entre lo planeado y realizado, logros
previstos y reales.
• Planificación de las actividades: fechas programadas y reales de
realización.
• Grupos a quienes se orienta el programa: grupos diana,
participantes previstos y reales, así como la estrategia de
reclutamiento.
• Socios que colaboraron, sus funciones previstas y realizadas.
• Integración del programa: plan previsto para la integración en
el conjunto de actividades.
Algunos de los indicadores en este tipo de evaluación serían:
• Porcentaje de asistencia a las sesiones programadas.
• Abandonos de las personas usuarias incluidas.
• Duración del programa.
• Nº de sesiones que ha recibido cada persona usuaria.
• Nº de sesiones que ha tenido para módulo del programa.
Evaluación del Proceso y Evaluación
del Resultado
La evaluación de resultados es un aspecto fundamental que
permite medir el impacto en la población destinataria. Pretende
comprobar hasta qué punto las necesidades y demandas existentes
en un colectivo concreto se han modificado mediante la
aplicación de los programas diseñados y aplicados para tal
efecto.
Desde los recursos de rehabilitación se pueden medir muchas
variables resultado: conocimiento, actitudes, habilidades,
conductas, procesos cognitivos, etc. Se miden resultados tanto
inmediatos, como intermedios y a largo plazo.
Para realizar una buena evaluación de resultados conviene dar
respuesta a estas preguntas:
• ¿Han sido logradas las metas y objetivos?
• ¿Han sido logrados los indicadores y los estándares marcados?
• ¿Han tenido efectos beneficiosos sobre las personas usuarias?
• ¿Ha habido efectos adversos?
SATISFACCION
CALIDAD DE VIDA
FUNCIONAMIENTO PSICOSOCIAL
Evaluación del Proceso
Ejemplos
IMPLEMENTACIÓN DEL PROGRAMA DE EVALUACIÓN PSICOLÓGICA
1. Planificación y diseño del programa
Duración del programa: 6 a 8 semanas (ajustable según el
número de estudiantes).
Responsables:
Psicólogo/a escolar (coordinador del programa).
Docentes colaboradores (informantes clave).
Orientador/a educativo/a.
Población objetivo: Estudiantes de secundaria con bajo
rendimiento académico o señales de problemas
emocionales/comportamentales.
2. Etapas del programa
Etapa 1: Detección y selección de casos
Herramientas:
Revisión de notas y reportes académicos.
Entrevistas con docentes y padres.
Observación directa en el aula.
Criterios de inclusión:
Estudiantes con bajo promedio académico sostenido.
Reportes de desmotivación, ansiedad, problemas de conducta
o aislamiento social.
Etapa 2: Evaluación psicológica individual
Esta es la etapa más técnica del programa. Se recomienda
aplicarla en sesiones de 2 a 4 por estudiante, dependiendo del
caso.
Etapa 3: Integración de resultados
Elaboración de informe psicológico individual:
Datos personales
Motivo de evaluación
Pruebas aplicadas
Resultados por área
Conclusiones diagnósticas
Recomendaciones personalizadas
Entrega de resultados:
Reunión privada con padres y tutores.
Informe verbal y escrito adaptado a lenguaje claro.
Reunión con docentes para acordar intervenciones escolares
(solo si hay consentimiento).
Etapa 4: Intervención y seguimiento
Diseño de planes individuales de intervención (PII):
Ejercicios de atención, memoria, planificación.
Recomendaciones didácticas para el aula.
Derivación a servicios externos si hay trastornos
emocionales severos.
Talleres grupales:
Habilidades sociales.
Manejo del estrés y la ansiedad.
Técnicas de estudio y hábitos saludables.
Seguimiento a 3 meses:
Reevaluación breve de indicadores clave.
Reunión con el equipo docente y familia.
Evaluación de Resultados
Ejemplos
1. Impacto en el Estudiante:
a) Mejora en el rendimiento académico
Indicadores:
Incremento en las calificaciones (promedio general).
Mejora en la participación en clase y en la entrega de
tareas.
b) Mejoría emocional y reducción del estrés
Indicadores:
Disminución de los niveles de ansiedad y depresión (según
los cuestionarios aplicados, como el Inventario de Ansiedad
de Beck o la Escala de Depresión CDI).
2. Impacto en la Familia:
a) Mejora en la relación familiar
Indicadores:
Mayor involucramiento de los padres en las actividades
educativas del estudiante.
Reducción de conflictos familiares relacionados con el
rendimiento académico.
b) Mejora en el entorno emocional y familiar
Indicadores:
Reducción de factores estresantes o conflictivos en el hogar
que puedan estar afectando al estudiante.
3. Impacto en el Personal Docente y el Entorno Escolar:
a) Mejora en la capacidad de los docentes para manejar
estudiantes con dificultades
Indicadores:
Los docentes aplican estrategias diferenciadas basadas en
el estilo de aprendizaje de los estudiantes (como el uso de
recursos visuales, auditivos, etc.).
4. Impacto en la Comunidad Educativa en General:
a) Fortalecimiento de la cultura de apoyo psicológico en la
escuela
Indicadores:
Creación de un ambiente en el que la salud mental sea vista
como una prioridad.
Revisión de registros: Verifica si se están cumpliendo los plazos,
las actividades y las intervenciones están en marcha según lo
establecido.
Supervisión directa: Asegúrate de que los psicólogos, docentes y
otros involucrados estén realizando sus tareas como fue acordado.
Informes periódicos: Los psicólogos deben generar informes sobre
el avance de cada estudiante y las actividades realizadas.
Retroalimentación y Ajustes Continuos
El análisis de los resultados debe permitirte hacer ajustes al
programa. Si encuentras que ciertos aspectos no están teniendo el
impacto esperado, es crucial hacer modificaciones rápidas. Esto
puede incluir:
Ajustes en la intervención psicológica (por ejemplo, agregar
terapia cognitivo-conductual si hay muchos estudiantes con síntomas
de ansiedad).
Evaluación cuantitativa vs cualitativa
Una
de
las
principales
diferencias
entre
la
evaluación
cualitativa y cuantitativa, es que la evaluación cualitativa se
apoya em la libertad de la elección de las situaciones que se
evalúa, en la forma de recoger los datos y en su procesamiento,
así como en la comunicación de resultados. Por el contrario, en
la evaluación cuantitativa se plantea una serie de normas, como
el uso de test estandarizados e instrumentos tipificados,
recogida
de
información
igual
para
todas
las
personas
participantes, y elaboración mecánica de datos y procedimientos
uniformes de comunicación de resultados.
Evaluación Cuantitativa o Cualidades
Ejemplos
A. Evaluación Cuantitativa:
Encuestas y cuestionarios estandarizados con respuestas
numéricas (por ejemplo, escalas Likert de 1 a 5).
Tasas de mejora en indicadores clave (como rendimiento
académico o participación).
B. Evaluación Cualitativa:
Entrevistas abiertas con estudiantes, padres y docentes para
obtener una perspectiva más rica sobre el impacto del
programa.
Narrativas: Recoger testimonios sobre cómo el programa ha
afectado la vida de los estudiantes en términos emocionales,
sociales y académicos.
Hazme una
pregunta