http://www.ilustrados.com/documentos/realizar-investigacion-evaluativa-280308.ppt

Trabajo publicado en www.ilustrados.com
La mayor Comunidad de difusión del conocimiento
¿CÓMO REALIZAR UNA
INVESTIGACIÓN EVALUATIVA?
TALLER IMPARTIDO EN EL IX
ENCUENTRO DE INVESTIGACIÓN EN EL
POSGRADO
ARTURO BARRAZA MACÍAS
NOVIEMBRE DE 2007
CONTENIDO
APROXIMACIÓN
CONCEPTUAL
1.- Problemática
2.- Conceptos
de evaluación
3.- Nudos
Tensionales
4.- Addendum:
Criterios
5.- REFERENTES
TÉORICOS: PRINCIPALES
AUTORES
6.- EL PROCESO DE
INVESTIGACIÓN
EVALUATIVA
1.- PROBLEMÁTICA
EVALUACIÓN
EXÁMENES
INSTRUMENTO
DE PODER
SUBJETIVIDAD
USO INADECUADO DE LOS
INSTRUMENTOS DE
EVALUACIÓN
Se usan con fines diferentes para
los que fueron diseñados
CULTURA DE LA EVALUACIÓN
Significados
Control externo
Función penalizadora


Problema: desfase entre la
teoría y la práctica vinculada
con la evaluación
Causas: la burocracia escolar, la
presión del tiempo, cierta
inercia y rutina consolidada
DISCIPLINA
TEORÍA
TRANSDICIPLINA
INVESTIGACIÓN
2.- CONCEPTOS DE EVALUACIÓN
Un proceso y a la vez un
producto, cuya aplicación nos
permite estimar el grado en el
que un proceso educativo
favorece el logro de las metas
para la que fue creado
(Valenzuela, 2004)


Es el enjuiciamiento
sistemático de la valía o el
mérito de algo (Stufflebam, en
Gutiérrez, 2005)
Evaluar algo es determinar su
valor (Popham, en Gutiérrez,
2005)
La mejor forma de entender la
evaluación es suponiendo que
conlleva la realización de una
investigación evaluativa, más que
como una serie diferenciada de
axiomas o de métodos de
evaluación, separada del trabajo
de investigación más amplio
(Shaw, 2003)
La evaluación es una actividad o
proceso sistemático de
identificación, recogida o
tratamiento de datos sobre
elementos o hechos
educativos, con el objetivo de
valorarlos primero y, sobre
dicha valoración, tomar
decisiones (García, 1989).
Evaluación es el proceso de
obtener información y usarla
para formar juicios que a su
vez se utilizarán en la toma de
decisiones (Tenbrink en Elola y
Toranzo, 2000)
COMPONENTES





Búsqueda de indicios
Forma de registro y análisis
Criterios
Juicios de valor
Toma de decisiones
EL GRAN AUSENTE
LA CONSTRUCCIÓN DEL OBJETO
DE EVALUACIÓN
3.- NUDOS TENSIONALES
Evaluación Basada en Teoría
Evaluación Empírica
Evaluación Holística
Evaluación Atomista
Evaluación Objetivista
Evaluación Subjetivista
Evaluación Cuantitativa
Evaluación Cualitativa
4.- ADDENDUM: CRITERIOS
Son cualidades o valores que
fundamentan el juicio o
estimación realizado sobre el
objeto de evaluación.



Relevancia: la importancia de la
contribución al cumplimiento de los
objetivos.
Cobertura: relación de la población
atendida con respecto a la población
que tiene interés o que demanda y las
posibilidades de respuesta.
Eficacia: Correspondencia entre los
propósitos establecidos y los resultados
logrados.

Eficiencia: adecuación o idoneidad de

Equidad: el grado en que las acciones o
los medios empleados o los procesos
desarrollados para el logro de los
resultados esperados, con base en los
objetivos planteados.
servicios son accesibles a todos los
sectores, en lo general, y de manera
preferente a los que no tienen
capacidad para obtenerlos.

Oportunidad: el grado de
correspondencia temporal
entre la presentación de una
necesidad o requerimiento y el
otorgamiento de la respuesta.
Actualidad, Pertinencia,
Suficiencia, etc.
5.- REFERENTES TEÓRICOS:
PRINCIPALES AUTORES
(Shaw, 2003)
Donald Campbell (60’s y 70’s)




Racionalista crítico
Diseños experimentales
Búsqueda de las causas
Aceptación de la investigación
cualitativa
Michael Scriven (80’s y 90’s)


Búsqueda de soluciones
eficaces a los problemas
sociales
Un nuevo lenguaje (evaluación
sin metas, evaluación
formativa y sumativa,
metaevaluación, etc.)



La evaluación asigna mérito y
valor
Su objetivo es una Teoría de la
Evaluación.
La evaluación como
transdiciplina
Lee Cronbach (80’s)



Validez externa-acción socialcontexto
Generalización
Rechaza la evaluación
entendida como rendición de
cuentas


Visión pluralista de la
metodología
Una teoría de la evaluación
debe de ser tanto una teoría de
la interacción política como
una teoría de cómo se
construye el conocimiento.
Robert Stake (90’s)





Indagación cualitativa
Centración en las actividades
de los programas.
Se integran los valores de las
personas
Es participativo.
Generalización naturalista
Carol Weiss (80’s y 90’s)



Consideraciones políticas.
La reducción del conocimiento
y el acrecentamiento de la
decisión.
El evaluador que solo cuenta
con la metodología no está
bien equipado
Ernest House (80’s y 90’s)





La evaluación como acto de
argumentación y credibilidad
Propósito reformista y de justicia
social
Un acuerdo de evaluación justo
Modelos de evaluación
participativos
Metodología cualitativa.
6.- EL PROCESO DE
INVESTIGACIÓN EVALUATIVA
Propuestas con orientación
pragmática y bajo un enfoque
cuantitativo



Weiss (1997) (Procesual)
Valenzuela (2004) (formalizante)
Gutiérrez (2005)
6.1.- Weiss (1997)
DISEÑO EXPERIMENTAL DE LA
EVALUACIÓN


Buscar las metas del Programa.
Traducir las metas a
indicadores mensurables de la
realización del objetivo.


Reunir datos de los
indicadores. Correspondientes
a quienes participaron en el
programa (y a un grupo de
control equivalente que no
participó).
Comparar los datos de los
participantes (y de los
controles) con los criterios de
realización de las metas.
EVALUACIÓN DE PROGRAMAS
INSUMOS
PROCESOS
RESULTADOS



Formular las metas del
programa que la evaluación
utilizará como criterios.
Elegir entre metas múltiples.
Investigar consecuencias
imprevistas.




Medir resultados.
Especificar que es el programa.
Medir los insumos del
Programa y los procesos
intercurrentes.
Reunir los datos necesarios.
DISEÑOS

EXPERIMENTALES
CUASIEXPERIMENTALES (SERIES
TEMPORALES, SERIES TEMPORALES
MÚLTIPLES Y GRUPO CONTROL NO
EQUIVALENTE)


NO EXPERIMENTALES (ANTES Y DESPUÉS,
ÚNICAMENTE DESPÚES Y ÚNICAMENTE
DESPÚES CON GRUPO DE COMPARACIÓN)
6.2.- Valenzuela (2004)

Necesidad de evaluar

Planeación

Realización

Presentación de resultados
Planeación de la evaluación
educativa
Visión preliminar ¿qué se evalúa,
cuál es el propósito, para quien se
realiza y que limitaciones existen
para realizarla?
 Enunciación de las preguntas de
evaluación.



Plan de colección de datos
(tipo de datos, fuentes de
datos, técnicas e instrumentos)
Plan de análisis e
interpretación (¿cómo se van a
analizar los datos y cuáles van
a ser los criterios para la
interpretación?)



Plan del informe (¿qué información
se entrega, a que audiencia, y
mediante cuál medio?)
Plan de administración (Uso de los
recursos)
Plan para la metaevaluación
(¿cómo evaluar la evaluación?)
Realización del proceso
de evaluación





Muestreo
Normas éticas
Técnicas e instrumentos
Confiabilidad y validez
Análisis de datos
Presentación de los resultados de la
evaluación (informe de
evaluación)


Estilo de redacción, uso de
recursos para la presentación y
normas para la presentación de
informes,
Memoria, reporte ejecutivo o
artículo científico.
Estructura de una memoria






Capítulo 1.- Introducción
Capítulo 2.- Marco teórico y
contextual
Capítulo 3.- Planteamiento de
preguntas del trabajo de evaluación.
Capítulo 4.- Método.
Capítulo 5.- Resultados.
Capítulo 6.- Discusión
6.3.- Gutiérrez (2005)
MATRIZ PARA LA CONSTRUCCIÓN
DEL PLAN DE LA EVALUACIÓN



Objeto de evaluación
Categorías y subcategorías
Criterios




Parámetros (estándares,
normas mínimas, promedios,
etc.)
Indicadores
Recursos de información
(técnicas e instrumentos)
Sujetos de la evaluación
7.- REFERENCIAS

Elola Nydia y Toranzos Lilia (2000),
Evaluación educativa. Una aproximación
conceptual, Buenos Aires, Argentina,

Disponible en la Internet.
García Ramos J. M. (1989), Bases
pedagógicas de la evaluación, Madrid,
España, Síntesis.




Gutiérrez Ofelia Ángeles (2005),
Evaluación Institucional, material de
apoyo al Curso-Taller desarrollado en la
Universidad Pedagógica de Durango.
Shaw Ian E. (2003), La evaluación
cualitativa, Barcelona, España, Paidós.
Valenzuela González Jaime Ricardo
(2004), Evaluación de instituciones
educativas, México, Trillas.
Weiss Carol H. (1997), Investigación
Evaluativa, México, Trillas.