TEMA 3 Metodología y diseños en Evaluación de Programas
Anuncio
TEMA 3 Metodología y diseños en Evaluación de Programas Contenidos 1. Clasificación de diversas metodologías 2. Cualitativo frente a cuantitativo 3. Metodologías según el grado de control 4. Nuevos procedimientos metodológicos 1. CLASIFICACIÓN DE DIVERSAS METODOLOGÍAS Aspectos relevantes para elegir la metodología a seguir (De Miguel, 2000) n Objeto de la evaluación: Todo el programa o una parte n Finalidad: Sumativa o formativa n Momento de la evaluación: antes o después n Accesibilidad y disponibiliad de información relevante n Relación del evaluador con el programa: evaluación interna o externa Diseños n Anguera (1992) – Estrategia o plan a seguir, dónde se explica la ecuencia de decisiones acerca de cómo recoger, ordenar y analizar los datos en función de los fines del programa n De Miguel (2000) – Procedimiento metodológico que permita constatar los efectos obtenidos mediante un programa CLASIFICACIÓN DE MÉTODOS PLAN Preordenado EXPERIMENTAL CUASI Emergente SELECTIVA OBSERVACIONAL METODOLOGÍA SISTEMAS DE CONTROL COMPARATIVOS: ALEATORIOS CONSTRUÍDOS ESTADÍSTICOS De Miguel, 2000 Ø GRADO DE CONTROL Ø Cualitativos Ø Estudios observacionales Ø Estudios selectivos Ø Estudios cuasi-experimentales Ø Estudios experimentales Ø PARADIGMA ADOPTADO Ø Diseño preordenado Ø Diseño respondente Ø PROCEDIMIENTO DE CONTROL Ø Comparativos Ø No comparativos Diseño preordenado n Parte de un modelo teórico formalizado – Especificado mediante un diseños NO COMPARATIVOS •GENÉRICOS •REFLEXIVOS •EN LA – Con detalle de todos los elementos del proceso n A partir de la hipótesis se elabora un plan cerrado – Objetivo: ejecución del proceso – Fin: obtener validez de los resultados n El proceso sigue los cánones de la lógica científica aplicada a la investigación social Diseño respondente n Parte de un marco teórico flexible – Criterio evaluativo: Valoración de los implicados n Objetivo fundamental: Evaluar el significado del programa para las distintas audiencias n Estructura flexible para adecuarse a los cambios que se dan en la evaluación n Permite reconducir cada etapa en función de las observaciones que se producen en la etapa anterior Clasificación de diseños en función del procedimiento de control n Cuando la evaluación no contempla únicamente el impacto, sino que valora aspectos como el proceso de detección de las necesidades, el diseño del programa efectuado y la implementación realizada, cabe recurrir a otros procedimientos no experimentalistas DISEÑOS COMPARATIVOS n Son aquellos en los cuales la información obtenida sobre el programa es comparada con la obtenida en otros grupos no sometidos a intervención. n La forma de elección de estos grupos redunda en la potencia del diseño. DISEÑOS NO COMPARATIVOS n Se usan diversos procedimientos de comparación: Normas sobre la población de referencia o la valoración de participantes y no participantes (controles en la sombra) realizan sobre el programa. 2. LA POLÉMICA CUALITATIVO / CUANTITATIVO CUALITATIVO FRENTE A CUANTITATIVO n No se diferencian en contenido n Se diferencian en procedimiento y tratamiento de la información n Cualquier información puede cuantificarse n Perspectiva cuantitativa – Sólo la cuantificación produce material adecuado n Perspectiva cualitativa – Imposibilidad de eliminar la subjetividad n Métodos complementarios – Investigación exploratoria o confimatoria – Contexto de descubrimiento o de justificación Qué procedimiento elegir. Criterios: o El contacto personal que requiera la técnica o La necesidad de personal entrenado o Costes económicos y de tiempo o Calidad de los datos que se quieran recoger Diferencias de los métodos en Evaluación de Programas CUANTITATIVOS Objetividad Generalidades CUALITATIVOS Subjetividad de implicados representativos Particularidades Obtención de datos Obtención de discursos Diseño planificado Diseño emergente Programas de gran alcance Evaluación de resultado Programas locales Evaluación de proceso Criterios de rigor en las metodologías cuali/cuantitativas Rodríguez, 2000 Aspecto Término científico Término naturalista Valor de verdad Validez interna Credibilidad Aplicabilidad Validez externa Transferabilidad Consistencia Fiabilidad Seguridad Neutralidad Confirmabilidad Objetividad 3. METODOLOGÍA SEGUIDA EN FUNCIÓN DEL PROCEDIMIENTO DE CONTROL Metodología cualitativa n Técnicas interpretativas que tratan de describir y decodificar un fenómeno de ocurrencia natural n Más orientados a determinar el significado del fenómeno que su cuantificación n Defienden la existencia de relaciones abiertas. n Permite conocer la percepción que los sujetos tienen de su realidad MÉTODOS DE INVESTIGACIÓN CUALITATIVA (De Miguel Badesa, 2000) n Método descriptivo – observacional – Describe, analiza, interpreta y registra situaciones naturales, no modificadas – Observacional: observación de la realidad n Método comparado – Análisis y establecimiento de semejanzas y diferencias entre aspectos que merecen compararse – Describe, identifica, yuxtapone y mide problemas, comparándolos n Método de análisis de contenido – Identificar las características de un mensaje – Obtener categorías de datos para clasificación, resumen y tabulación. Identifica rasgos y valores Criterios para la utilización de métodos cualitativos (Pérez LLantada y López de la Llave, 1999) o Falta probada de instrumentación cuantitativa o Investigación evaluativa exploratoria o Evaluación de proceso o Evaluación de resultados individualizados o Evaluación de la calidad, para validar aspectos no susceptibles de contabilización Axiomas comunes (Anguera, 1995) o Concepción múltiple de la realidad o Principal objetivo científico: comprensión de la teoría o Interacción entre el investigador y el objeto de la investigación o Pretensión ideográfica o Simultaneidad o Los valores están implícitos en la investigación Exigencias metodológicas (Anguera, 1995) o Validez semántica de la investigación Ø Relevancia, representatividad y plausibilidad de los datos o Validez hermeneútica de la investigación Ø Fundamentación teórica de la investigación y de los análisis e interpretación que incluya o Validez pragmática Ø Dinámica relacional de la investigación Diseño en investigación cualitativa (Valles, 1997) n Diseño emergente – No se establece al comienzo del estudio, sino que surge a medida que se recogen los datos y se hacen los análisis n Flexibilidad – Permite modificar los planes conforme va avanzando la investigación Fases y tareas en un diseño emergente n Fase de reflexión – Identificación del tema de estudio – Identificación de perspectivas paradigmáticas n Fase de planteamiento – Selección del contexto y estrategia – Preparación del investigador – Escritura del proyecto n Fase de entrada – Selección de informantes y casos – Realización de entrevistas y observaciones n Fase de recogida productiva y análisis preliminar n Fase de salida del campo y análisis intenso n Fase de escritura Fiabilidad n Fiabilidad diacrónica – Estabilidad de la medida en el tiempo n Fiabilidad sincrónica – Constancia o consistencia, en el mismo tiempo pero usando diversos instrumentos n Fiabilidad de procedimiento: Calidad del registro – Uso de notas formalizadas para incrementar la posibilidad de comparación – Uso de guías en las entrevistas – Entrenamiento de los observadores Fiabilidad: Necesidades Ø Necesidad de explicar la génesis de los datos de forma que permita diferenciar lo que pertenece al sujeto de estudio y la interpretación dada por el investigador. Ø Necesidad de entrenamiento y chequeos a lo largo del tiempo para mejorar la posibilidad de comparación entre observadores y entrevistadores Validez n Que el investigador vea lo que pretende ver n Problemas – Cómo asegurar la relación que se estudia y la versión que de ella da el investigador – La producción misma de los datos es el punto de partida para juzgar su validez n Análisis de la situación de entrevista para determinar si la información recibida está sesgada n Validación comunicativa: segundo encuentro tras la transcripción de la entrevista Validez del procedimiento n El investigador debe escuchar y no hablar n Debe tomar notas n Las notas deben ser claras para que otros las interpreten igual n El informe debe ser completo y sin interpretaciones n Debe buscar retroalimentación con otros colegas Triangulación n Tratar un fenómeno, combinando diferentes: – Métodos – Grupos de estudio – Ambientes y tiempos – Perspectivas teóricas Tipos de triangulación n Triangulación de los datos: Uso de diferentes fuentes de datos – Estudiar un fenómeno con diferentes sujetos, tiempos, lugares y ambientes n Triangulación del investigador: Diferentes entrevistadores y observadores n Triangulación teórica: Acercarse a los datos desde diversas perspectivas n Triangulación metodológica, intra e inter método: – Intra: uso de diferentes subsescalas de un cuestionario – IInter: Recoger datos mediante encuesta y entrevista en profundidad OBSERVACIONALES n Programas implementados en contextos naturales n Clasificación según el sistema de recogida de datos y el grado de participación del observador n Dimensiones (Anguera, 1999) – Usuarios del problema – Naturaleza de los datos – Momento temporal (registro puntual o de seguimiento Qué es observar O = P + I + Cp – S n O: Observación n P: Percepción n I: Interpretación n CP: Conocimiento previo n S: Sesgos Características n Comportamiento espontáneo n Contexto natural / habitual n Enfoque preferentemente ideográfico n Ausencia de instrumentos estándar n Continuidad temporal n Perceptibilidad total (o parcial) Tipos de observación: Criterios n Cientificidad n Participación n Nivel de respuesta n Sistematización del registro n Perceptibilidad de la observación Delimitación de objetivos Criterios de bondad: comparación Validez observacional n De contenido: En qué medida se recoge el dominio conductual n De constructo: Grado en que las categorías de conducta reflejan un constructo n En función de las categorías: – Inferencial: Validez de constructo y de contenido – No inferencial: Sólo validez de contenido Fiabilidad n En psicometría, es la concordancia entre una medida y el valor verdadero n En observacional, se desconoce el valor verdadero, por lo que se plantea un abordaje aproximado n Concordancia: Asociación entre registros. Valores porcentuales, entre 0 y 100. n Acuerdo: Covariación entre registros. Índices correlaciones con valores entre -1 y +1 SELECTIVOS n Intervenciones dirigidas a colectivos, seleccionados o no aleatoriamente n Se especifican los criterios para diferenciar entre grupos n Se concretan informaciones precisas sobre el programa y los elementos a utilizar n Objetivo: Obtener información para describir las características sociológicas o psicológicas de una población Elementos de la investigación por encuesta VALIDEZ DE LA INVESTIGACIÓN POR ENCUESTAS n Validez interna – Calidad de la encuesta: Ausencia de errores n Validez externa – capacidad del investigador para generalizar los hallazgos más allá de la muestra de individuos, tiempo y lugar – Se debe § Establecer el diseño del muestreo § Determinar el número de casos necesarios para el estudio Terminología básica n Población: – Conjunto de todos los casos de interés para los objetivos de la investigación planteada n Población objetivo: – Conjunto de individuos al que queremos generalizar los hallazgos obtenidos n Población marco – Aquella operacionalizable o de la que hay algún listado o alguna forma de acceder a ella n Población de estudio: – Aquella que realmente estudiamos Muestras n Muestra – Subconjunto de la población que se utiliza para obtener información acerca de ésta n Muestra representativa – Subconjunto de una población que tiene las mismas características generales que la población n Muestra sesgada – Aquella en la que la distribución de las características es sistemáticamente diferente de la de la población Ex post facto n El investigador no puede manipular la VI ni asignar aleatoriamente los sujetos a los grupos n Se selecciona a los sujetos en función de que posean o no determinadas características n Las VI pueden ser – Organísmicas. Ej: sexo, edad, inteligencia… – Ajenas al organismo. Ej: Pertenecer a un sistema educativo Establecimiento de relaciones causales Ø Existencia de covariación entre la VI y la VD Ø La VI debe anteceder a la VD Ø Se debe poder descartar explicaciones alternativas En los diseños ex post facto sólo se cumple el primer requisito (y a veces el segundo) Tipos de hipótesis n Comparación de grupos – Hipótesis en las que se formula relación diferencial entre grupos – Ejemplo: Los sujetos con inteligencia media tienen mayor satisfacción laboral – NO: La inteligencia alta causa insatisfacción laboral n Otros diseños – Hipótesis de carácter relacional – Ejemplo: Existe una relación lineal entre aspiración académica y rendimiento Procedimientos de control n Emparejamiento de los sujetos en función de una variable relevante – Seleccionar para cada grupo sujetos con niveles iguales en variables extrañas n Análisis de covarianza n Introducción de variables relacionadas con la VD – Utilización de varias variables dependientes Tipos de diseño ex post facto n Diseños retrospectivos – Cuando tanto la VD como la VI ya han ocurrido n Diseños prospectivos – Cuando la VI ya viene dada, pero no se evaluado sus posibles consecuencias METODOLOGÍA EXPERIMENTAL n Objetivo primordial → Búsqueda de explicaciones causales n Única fuente de variación la debida a la VI n Características – Manipulación de la variable independiente – Control de variables extrañas – Asignación aleatoria de los sujetos a los grupos Control experimental n Capacidad del experimentador para producir fenómenos en condiciones totalmente reguladas n Se precisa: – Definir la VD – Elegir la VI – Eliminar o controlar las VE PRINCIPIO MAX-MIN-CON Varianza VD = Sistemática + error Sistemática = Primaria + Secundaria n Maximizar la varianza primaria – Obtener el mayor efecto de la VI sobre la VD n Minimizar la varianza de error – Varianza error: variabilidad en la VD debida a fluctuaciones aleatorias n Controlar la varianza secundaria – Varianza secundaria: influencia de VE incontroladas Fuentes de variación de la varianza total Maximización de la varianza primaria n Elección de valores extremos de la variable – Método cuando la relación entre VI y VD es lineal n Elección de valores óptimos – Ante relación no lineal entre las variables n Elección aleatoria de posibles valores – Cuando se trabaja con variables poco estudiadas Minimización de la varianza error n Errores de medida: utilización de instrumentos de medida de probada bondad n Diferencias individuales: – asignación aleatoria de los sujetos a las unidades experimentales – Aumento de los tamaños muestrales n Errores de procedimiento: mejora de las instrucciones Control de la varianza secundaria VALIDEZ n Teórica – El problema planteado y sus soluciones se derivan de teorías bien establecidas n Interna – Garantía de que los cambios producidos en la VD se deben exclusivamente a la VI n Externa – Posibilidad de generalizar los resultados n De conclusión estadística – Confianza con la que podemos inferir covariación entre variables mediante pruebas estadísticas n De constructo – Inferir constructos a partir de relaciones causa-efecto Experimentales n Diseños que cubren todos los requisitos de experimentalidad. n Tipos: – Diseño entre grupos – Diseños factoriales: Entran en juego al menos dos variables con al menos dos niveles por variable. – Diseños de medidas repetidas. Cuasi-experimentales n Programas donde existe un elevado grado de control sobre la intervención, pero aplicado a sujetos sin asignación aleatoria. n Tipos: – Diseños pretest – postest § Diseño de grupo de control no equivalente, § Diseños de cohortes § Diseños sin grupo de control § Diseños de discontinuidad en la regresión:. – Diseños de series temporales interrumpidas: Existe más de una medida de la variable dependiente en las diversas fases de la implantación del programa 4. OTRAS METODOLOGÍAS EVALUACIÓN MULTIMÉTODOS n Uso conjunto de estudios de casos con otros métodos más complejos. n Estudio de caso: método para aprender mediante un ejemplo, basado en el entendimiento exhaustivo del mismo, obtenido mediante la descripción y el análisis en extenso del ejemplo, tomado como un todo y en su contexto. Puede llevar a una mejor evaluación, siempre que n La selección de métodos sea parsimoniosamente apropiada a los problemas planteados en la evaluación. n Se tenga un cuidado exquisito en anticipar amenazas a la integridad del diseño multimétodo, la recogida de datos, su análisis e informe, así como los problemas éticos y la seguridad de la calidad. n Se tenga un cuidado riguroso de asegurar el valor que el estudio de caso y los otros métodos examinado contribuyen a la evaluación. SÍNTESIS ENTRE DISEÑOS n La comparación entre diseños es útil cuando: n Para algunos problemas de evaluación no hay único diseño ideal. n Puede resultar útil sintetizar resultados de diseños totalmente diferentes pero complementarios. n Se necesita una estrategia específica para captar los mejores aspectos de los diversos diseños. EVALUACIÓN DE RESPONSABILIDAD COMPARTIDA n Es el uso de conceptos, técnicas y hallazgos de evaluación para favorecer el perfeccionamiento y la auto determinación. n Sigue metodología cualitativa y cuantitativa. n Está diseñada para ayudar a los distintos implicados de un programa, para mejorarlos, usando la auto evaluación y la reflexión Pasos: n Determinar aspectos positivos y negativos del programa n Establecimiento de objetivos. n Desarrollo de estrategias para enseñar a los participantes a establecer sus propias estrategias para alcanzar los objetivos del programa. n Ayudar a los participantes del programa a determinar el tipo de evidencia requerida para documentar el progreso hacía los objetivos. n Se requiere una atmósfera sincera, honesta, autocrítica y de apoyo. n Un evaluador externo puede hacer que la evaluación interna sea creíble y útil, aportando rigor y controles de calidad a través de la evaluación. n Evaluación interna y externa se potencian la una a la otra. n Se enmarca en una perspectiva de enfoque múltiple de E.P. n Es un proceso democrático, dónde se invita a la participación y se examinan los problemas de la comunidad entera en un forum abierto. n La evaluación del valor del programa no supone el punto final, sino que es parte de un proceso de mejora del programa. n Se basa en los principios de verdad y honestidad EVALUACIÓN DE CONGLOMERADOS n Es la evaluación de un programa que se dirige a diversos ambientes, con el fin de obtener un cambio general común. n Cada proyecto es relativamente autónomo y desarrolla su propia estrategia para alcanzar la meta del programa. Audiencias para las que sirve n Directores del programa, responsables de tomar decisiones sobre el programa actual y sobre implementaciones futuras. n Personal encargado de implementar cada uno de los proyectos en los ambientes concretos. Características n Es holístico n Está dirigido a objetivos n Busca la generalización de los hallazgos n Incluye comunicación y colaboración entre los realizadores de los proyectos Ventajas y limitaciones n Proporciona un marco de referencia donde es posible establecer evaluación formativa y sumativa n Incluye perspectivas múltiples n Permite información que trasciende a los proyectos individuales n Los diversos evaluadores de los proyectos deben trabajar en colaboración directa para que la evaluación global del conglomerado no pierda valor. Referencias Anguera, M.T. (1992) De Miguel, M. (2000) Evaluación externa de un programa de educación social. En G. Pérez (coord) Modelos de Investigación cualitativa. Madrid: Narcea
