La Evaluación de Programas Sociales. (Borrador de documento en construcción). Bernardo Restrepo Gómez, Ph. D. 2. El CONCEPTO DE EVALUACIÓN Muchas son las definiciones que trae la literatura sobre evaluación. Entre ellas pueden destacarse las de los siguientes teóricos de la evaluación: Tyler (1934): Medio para entender un programa y mejorarlo; Comparar resultados y objetivos. Tyler fue quien acuñó el término evaluación, pues antes de él se usaba el de examen, para referirse al grado en que el estudiante asimilaba lo enseñado. Su definición se refería a programas de enseñanza, pero luego se amplió a programas sociales en general. Stufflebeam (1967): Diseñar, recoger y proveer información descriptiva y evaluativa sobre los objetivos, diseño, implementación y resultados de un programa para guiar decisiones de mejoramiento, proveer informes de rendición de cuentas y mejorar la comprensión de los fenómenos relacionados con el mismo. Scriven (1967) ha aportado varias definiciones, como: Comparar un valor observado con un estándar; Establecer un juicio profesional sobre la calidad de un programa; determinación del el valor o mérito de algo, valiéndose de un patrón explícito o implícito. Patton (1990) describe su enfoque como “pragmático” y define la evaluación como “cualquier esfuerzo para aumentar la efectividad humana por medio de una investigación sistemática y basada en datos” (p. 11); caracteriza su propio enfoque como una “evaluación centrada en la utilidad... buscada por los usuarios” (pp. 121-122) NUEVOS Fetterman, … Cuando modernamente se discute el término “evaluación”, se argumenta que el 1 concepto puede hacer referencia, en sentido amplio y con una mirada integral, a: Evaluación de programas. Evaluación institucional. Evaluación de objetos, productos, mercancías. Evaluación del desempeño docente. Evaluación de los aprendizajes. Desde esta perspectiva la evaluación se refiere a la determinación de calidad de un proceso o actividad humana, en el caso de una institución educativa, a sus objetos, programas, funciones sustantivas y la institución misma, globalmente considerada. Es parte de un proceso y es un proceso en sí mismo dirigido conscientemente a determinar el logro de ciertos propósitos fijados con anterioridad (y las razones que explican la fortaleza o debilidad de dicho logro). Se presentan a continuación los dos alcances de la evaluación planteados arriba: le evaluación de programas sociales e instituciones y la evaluación de aprendizajes. 3. Evaluación de programas sociales y de instituciones. 3.1. Propósitos de la evaluación de programas sociales. La revisión de la literatura sobre la evaluación de programas sociales e instituciones muestra una orientación a cuatro propósitos (Restrepo, 2002): Realimentación sobre el desempeño o información sobre la marcha de lo evaluado, Rendición de cuentas a la sociedad sobre la calidad de lo evaluado, Mejoramiento, solución de problemas, sostenibilidad e evaluado, Toma de decisiones sobre continuidad, 2 impacto de lo Posicionamiento (advocacy), comunicación, defensa de un programa o institución, Aprendizaje organizacional para mejorar la evaluación misma, o construcción de capacidad de evaluación y planeación estratégica. 3.2. Orientaciones, modelos clásicos y enfoques modernos. El estudio del itinerario de la evaluación de programas sociales permite periodizar su desarrollo en cinco etapas modernas (Restrepo, ibídem): - Tyler y el comienzo, décadas del 30 al 50. - Suchman y la experimentación clásica, década del 60. - Stake, Stufflebeam y Scriven, modelos específicos de evaluación, décadas del 60, 70, 80. - Wolf y Levine, Owens, modelo de evaluación por oposición o judicial, décadas del 70 y 80. - Parlett y Hamilton, Evaluación iluminativa o hermenéutica, décadas del 70 y 80. - Guba y Lincon, evaluación constructivista, décadas del 80 y 90. - Fetterman, Evaluación democrática, décadas del 80 y 90 - Patton, Evaluación focalizado en utilización de resultados, década del 2000. Así mismo se han identificado 9 orientaciones concretas de modelos (Sanders, 1998) Resultados vs. Objetivos Investigación Evaluativa Evaluación orientada a toma de decisiones Evaluación Judicial o por Oposición Evaluación Orientada al Cliente Evaluación de expertos Evaluación Iluminativa 3 Evaluación Democrática. Evaluación Focalizada en el Uso de Resultados Todos estos modelos se basan en un criterio central que le da identidad al modelo, pero todos utilizan, además, otros criterios empinados en varias fuentes. Los Criterios son valores o normas requeridos para llegar a un juicio (pertinencia, universalidad, integridad, transparencia, responsabilidad, coherencia, eficacia…). Las fuentes de los criterios pueden ser los stakeholders (interesados en y afectados por la evaluación), la literatura, la experiencia, principios de alto orden ( Leyes, políticas, imperativos éticos, casos exitosos…) Entre la década del 30 y mediados de la década del 80 se puede hablar de los modelos clásicos, arriba mencionados, y a partir del 80 se habla más de enfoques modernos de evaluación de programas sociales. Entre estos últimos se destacan: - El enfoque impulsado por Feterman o evaluación empoderadora y democrática. - El de Patton o evaluación focalizada en la utilización de los resultados. - La evaluación basada en la teoría y el modelo lógico del programa. - El modelo constructivista de Guba y Lincoln, en cierta forma empoderador como el de Fetterman. - La evaluación orientada al desarrollo del país. - La evaluación focalizada en utilización de resultados - La evaluación de impacto basada en adicionalidad o valor agregado. Los propósitos de la evaluación social pueden sintetizarse en los siguientes: Realimentación Rendición de cuentas a la sociedad Mejoramiento, sostenibilidad e impacto Aprendizaje organizacional 4 3.2. Naturaleza de algunos modelos clásicos y de algunos enfoques modernos en evaluación de programas sociales. Se considera que la historia de la evaluación moderna de programas sociales se ha desarrollado a través de cuatro etapas, a saber: la fundación en la década del 30; la utilización del diseño de investigación experimental hacia finales de la década del 50 y década del 60; la aparición de los modelos clásicos a finales de la década del 60, y extensión a las décadas del 70 y 80; La evaluación democrática a finales de la década del 80 y extensión a las décadas del 90 y 2000. Siendo reduccionistas, los hitos de esta historia pueden plantarse así: 3.2.1. Resultados vs. Objetivos, década del 30 y siguientes, modelo liderado por Tyler. Se reconoce como primer modelo la comparación de los resultados obtenidos con los objetivos propuestos. Es el modelo de Tyler que aparece a partir de la década del 30 (Tyler, 1973). Este modelo se caracteriza por: - Estándares claros y medibles del programa - Pruebas estandarizadas para medir los objetivos - Análisis de diferencias. - Análisis de variables concomitantes para explicar resultados. Esta es la característica que llevó a Tyler a acuñar el término “evaluación” en vez del vocablo “examen” que se había utilizado hasta entonces. Este modelo es criticado por no cuestionar los objetivos, que se dan por válidos. 3.2.2. Evaluación de expertos, que siempre ha existido y que puede ubicarse 5 como modelo inicial, junto con el de Tyler, ya que los expertos utilizan referentes para emitir sus juicios sobre lo evaluado. 3.2.3. Investigación Evaluativa, Décadas del 60 y 70, con los aportes experimentalistas de Edward Suchman a la evaluación de programas sociales, preferentemente en el sector de la salud (1967). El segundo modelo cronológicamente es del de evaluación experimentalista. Este modelo, clásico en investigación social, utiliza el diseño experimental como medio para evaluar la efectividad de un programa social. No existiendo modelos alternativos de evaluación, se acudió a los diseños convencionales de investigación. Fue el sociólogo E. Suchman quien utilizó esta estrategia en la evaluación de programas del área de la salud en las décadas del 60 y 70. 3.2.4. Evaluación orientada a toma de decisiones, de fines de la década del 60, y décadas del 70 , 80 y 90, liderada por Stufflebeam, Stake, Eisner, y otros. Hacia finales de la década del 60 aparecieron varias opciones evaluativas, entre ellas la evaluación naturalista, responsiva, comprensiva, de R. Stake (1967), modelo cualitativo, también denominado de las matrices lógica y empírica, que ha sido utilizado profusamente. Stake hizo nuevos aportes en la década del 70, con los estudios de caso en evaluación (Stake, 1979) que perfeccionó en la del 90 (Stake, 1995). D. L. Stufflebeam (1971) Dio a conocer su modelo de evaluación orientada a toma de decisiones, uno de los modelos más utilizados, conocido como modelo CIPP, o evaluación de Contexto, Insumos, Proceso y Producto. Cronbach, desde 1963 había expuesto la necesidad de la evaluación como acopio de información para que sirviese de base a una adopción nacional de decisiones (Cronbach, 1963). 3.2.5. Evaluación Judicial o por Oposición, décadas del 70 y 80, con aportes de Provus, Levine, Wolf y toros. 6 3.2.6. Evaluación Orientada al Cliente, no supeditada a metas, o libre de objetivos, propuesta de M. Scriven y utilizada en las décadas del 70, 80, 90. Desde la misma década del 60, M. Scriven planteó el modelo de evaluación libre de objetivos o de objetivos no buscados y la diferencia entre evaluación formativa y evaluación sumativa (1967). Expuso también la necesidad de una metaevaluación con la tarea de identificar criterios para evaluar la evaluación. Su propuesta central se conoce también como evaluación orientada al cliente 3.2.7. Evaluación Democrática, a partir de la década del 90, con mucha fuerza en las décadas del 90 y 2000, liderada por David Fetterman y con el claro propósito de empoderar a los participantes del programa para que sean autogestores de la autoevaluación. 3.2.8. Evaluación focalizada en el uso de resultados, en las décadas del 90 y 2000, liderada por M. Q. Patton. Esta historia de la evaluación como disciplina, no tan extensa, puede agruparse a su vez, con respecto a sistemas de evaluación, en dos énfasis, el periodo de los modelos clásicos y el periodo de enfoques menos rigurosos en cuanto al diseño metodológico. 3.2.2. Los enfoques modernos de evaluación Hoy en día la evaluación de programas sociales ha florecido en todo el mundo, al punto de que existen asociaciones de evaluación en muchos países y se han conformado “List Serv” o grupos de listas de correos electrónicos que intercambian ideas en torno a la evaluación. Ello ha dado lugar al debate sobre múltiples temas permanentemente. Entre los 7 enfoques rigurosos de evaluación, no tan esquemáticos como los modelos clásicos se encuentran: - La evaluación empoderadora y democrática de David Fetterman, que fue el enfoque más influyente en la década del 90, en ese entonces Decano de la Facultad de Educación de la Universidad de Stanford. Es un enfoque participativo y socio-crítico que busca ayudad a la gente a que se ayude. Supera la búsqueda del mérito de un programa y procede al compromiso con la autodeterminación y la construcción de capacidad. Es un proceso democrático en el que todos son responsables de la evaluación. • Promueve un cambio social responsable y Su población blanco son los excluidos. Es por ello emancipatoria (Fetterman, et al. 1995; 2010). - Evaluación focalizada en la utilización, de M. Patton. Este propone Usar el proceso de evaluación para incidir en las prácticas del programa, en hacer de las entidades organizaciones que aprenden, en mejorar la toma de decisiones sobre los programas mismos. Este enfoque se centra también en el uso de los resultados. El evaluador debe promover y cultivar el uso de éstos, ayudando a los decisores a identificar sus necesidades de evaluación, a determinar qué información es más útil para confrontar esas necesidades y generar resultados que rindan el tipo de información requerida por los usuarios potenciales. La evaluación se ajusta a los objetivos que los interesados darán a los resultados (Patton, 1997). - Evaluación basada en la teoría y el modelo lógico del programa. Este enfoque ha sido promovido por la Fundación Kellog’s (2004). La idea fundamental es lograr una imagen del programa en cuanto a la teoría guía, los insumos, actividades, productos y resultados a mediano y largo plazo, para evaluar cada uno de estos componentes. La lógica tras este enfoque es: Si… Entonces… Si se ponen ciertos recursos e insumos y se establecen ciertas actividades, entonces se obtendrán ciertos productos inmediatos y ciertos resultados e impactos a más largo plazo. Lo primero es determinar y evaluar la teoría que ilumina el programa en su funcionamiento y resultados, para pasar luego a evaluar recursos, actividades, productos inmediatos y 8 resultados a mediano y largo plazo. - Modelo constructivista de Guba y Lincoln (1989). Este enfoque evaluativo, conocido como de cuarta generación, se desarrolla fundamentalmente en la década del 90 es una evaluación constructiva, participativa, democrática en la que se valora la negociación entre grupos interesados en el programa, en pro de acuerdos alrededor de quejas, críticas y construcciones alternativas del programa. - Evaluación de impacto basada en adicionalidad o valor agregado. Hind (2010) plantea la ADICIONALIDAD como forma de determinar la relación de causalidad de un programa social y los resultados. Es la exploración del valor agregado que el programa aporta a la realidad de los beneficiarios, o dicho de otra manera: preguntarse ¿qué hubiera ocurrido sin el programa? Este método se plantea en vez de la prueba experimental de causalidad. • El método consiste en establecer la trazabilidad del programa: los Objetivos, los entregables en tiempos previstos, y los resultados reales, comparados con los esperados. - Evaluación orientada al desarrollo o construcción de capacidad evaluativa. En cierta forma esta preocupación constante de los evaluadores actuales, más que un enfoque en sí, está asociada con la evaluación de empoderamiento de Fetterman, pero su intención es crear y sostener en la organización aquellos procesos relacionados con la evaluación de la calidad ( Compton et al., 2002). Una mirada a las diferentes aproximaciones al concepto de evaluación arriba citadas, permite caracterizar el proceso evaluativo como recolección y uso de la información para tomar decisiones sobre un hecho educativo” (Cronbach, 1963: 101). Desde esta perspectiva, la evaluación es respondiente y se orienta más ampliamente a lo programático, es decir, permite considerar especialmente: 9 • Las intenciones del programa o actividad. • Las exigencias de información por parte de los receptores. • Las diferentes perspectivas de valores existentes al informar acerca del éxito del programa o actividad. • Los receptores. • Las intenciones y actividades. • Criterios diversos desde los que valorar el objeto de la evaluación (Stake, 1975). Se puede catalogar este tipo de evaluación como predominantemente institucional, independientemente del ángulo de aproximación y de la escuela de pensamiento que se utilicen. A manera de resumen, podemos formular sus características: Supone conocer los fenómenos a evaluar y determinar su valor. Se realiza en un contexto de acción. Hay que tomar decisiones y se toman para determinados fines, con base en el proceso de evaluación y sus resultados. Es un proceso de aprendizaje, porque aprendemos, descubrimos la naturaleza y el valor de algo, y además, por ella, aprendemos sobre nosotros mismos; en la evaluación la sociedad aprende sobre sí misma. (Proppe, 1990). Complementarias con la conceptualización anterior se han postulado otras definiciones del concepto de evaluación que van desde considerarla como una forma de investigación social aplicada, hasta su concepción como valoración de logros y, aún, como valoración de las capacidades y competencias de los sujetos. La evaluación como una forma de investigación social aplicada, sistemática, 10 planificada y dirigida está encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante, en qué apoyar un juicio acerca del mérito y el valor de los diferentes componentes de un programa o actividad (tanto en la fase diagnóstico, programación o ejecución), o de un conjunto de actividades específicas que se realizan, han realizado o realizarán, con el propósito de producir efectos y resultados concretos”. (Aguilar y Ander-Egg, 1992). El evaluar como comprobación de la extensión y el grado en que unos logros se han dado sirve de base o guía para una toma de decisiones racional o inteligente entre cursos de acción, o para solucionar problemas y promover el conocimiento y la comprensión de los factores asociados al éxito o al fracaso de los resultados. Finalmente, la evaluación como juicio es valorar, con criterio público y bien formado, la capacidad del sujeto para extraer información que nos permita regular más eficazmente los procesos de enseñanza y de aprendizaje en el interior de un diseño curricular determinado y teóricamente bien justificado” (Goñi, 1999). Rosales (1990), de otra parte, conceptualiza la evaluación como una función característica del profesor que consiste básicamente en una actividad de reflexión sobre la enseñanza. Esta actividad es procesual: Primeramente la reflexión constituye una recogida de datos (investigación) sobre los distintos componentes de la enseñanza. Un segundo paso implica la búsqueda y aplicación de criterios (adquiridos a través de sus estudios teóricos y de su actividad práctica) para la realización de juicios de valor sobre los distintos componentes de la enseñanza y sobre ésta globalmente considerada. En este último marco de aproximación, la evaluación consiste en una tarea de 11 vinculación de la teoría y la realidad, en una actividad de reflexión sobre la enseñanza que puede seguir vías diferentes: de la teoría a la práctica y de la práctica a la teoría. Se trata, entonces, de desarrollar en el profesor la capacidad de evaluación. RESUMEN DE CAMBIOS CONCEPTUALES El uso histórico tradicional que se ha hecho del concepto de evaluación en la escuela ha minimizado un poco sus múltiples posibilidades y funciones pedagógicas y ha destacado su consideración como simple elemento de control y selección en el campo académico o de rendimiento escolar (V. Benedito, 1982; M.A. Zabalza, 1990; M. Fernández, 1994). Acerca de este marco de aproximación tradicional, una serie de investigaciones y reflexiones han sacado a la luz muchas de las dificultades, contradicciones y distorsiones que ofrece esta práctica de evaluación escolar especialmente centrada en el alumno: • La evaluación escolar determina poderosamente el currículum real impartido en las escuelas (A. Zabalza, 1990). • Los estudiantes y profesores se centran en aquellos contenidos que saben que van a ser objeto de evaluación, lo que conlleva a la hipertrofia de los aspectos evaluables y a la devaluación de los que previsiblemente no van a ser objeto de evaluación. • La evaluación, en general, se centra en los rendimientos del estudiante y, así, el profesor, el grupo, la materia, los procesos de aprendizaje, etc., quedan fuera de la consideración evaluativa. • La capacidad administrativa de evaluar a los alumnos confiere un poder a los profesores que pueden utilizar para el mantenimiento del orden, el sometimiento a sus pautas relacionales, creación de dependencias, como factor de motivación, etc. (Fernández, 1994). 12 Perrenoud (1998) critica las citadas prácticas habituales de evaluación porque tienen una función puramente selectiva, incluso en la enseñanza primaria. Los procedimientos de evaluación pensados así son, en general, un obstáculo a la innovación puesto que: • El sistema tradicional de la evaluación favorece una relación utilitaria con el saber. • Los alumnos trabajan para la “nota”, para la “calificación” y los intentos de implantación de nuevas pedagogías chocan contra este muro. • La evaluación absorbe gran parte de la energía de los profesores y alumnos. • El sistema de evaluación tradicional participa en una especie de chantaje, de una relación de fuerza más o menos explícita que sitúa a profesores y alumnos en campos opuestos, impidiendo su cooperación. • La necesidad de asignar calificaciones o apreciaciones cualitativas con base en una evaluación tradicional favorece una didáctica poco innovadora. • El trabajo escolar tiende a privilegiar actividades cerradas, estructuradas, bien conocidas. En conclusión, entonces, una revisión del concepto tradicional de evaluación, permite constatar que ésta, dependiendo de los momentos diferentes, las modas educativas y los diferentes intereses que la sociedad le impone a la educación, ha obligado a los profesores a preferir conocimientos aislables y mensurables y desdeñar logros de alto nivel (razonamiento, comunicación, etc.); más allá de lo exacto y objetivo. La evaluación tradicional esconde una gran arbitrariedad, difícil de concertar en un equipo pedagógico. ¿Cómo dialogar y entenderse cuando no se sabe ni explicitar, ni justificar lo que se evalúa verdaderamente? Pero este estado de cosas ha cambiado. Una revisión de la investigación sobre evaluación, permite revisar sus énfasis y concentración sobre dimensiones 13 diferentes y a partir de enfoques también diferentes. Como se puede observar, el término evaluación históricamente ha sufrido cambios conceptuales, que se pueden apreciar en la investigación de las últimas décadas (De la Torre, 1993), y hoy puede caracterizarse desde una perspectiva integral así: • La evaluación no es una práctica exterior al sistema, ha pasado a ser un elemento relevante del mismo proceso educativo. • En el proceso de evaluación se acentúa el carácter axiológico del mismo. Evaluar es valorar el valor de un objeto, de una situación, de un proceso, de un sujeto, de acuerdo a determinados criterios de valor en referencia a los cuales se emite un juicio. La evaluación se distingue de una mera medición, de un seguimiento, del control como verificación de resultados, etc. (Scriven, 1976; Ander-Egg, 1992). • Se amplía el campo de acción de la evaluación. De una evaluación centrada exclusivamente en los resultados de los alumnos, de los clientes, se pasa a una evaluación formativa que puede abarcar todos los aspectos y dimensiones de la realidad con el objeto de incidir en la mejora de la misma acción educativa. • La evaluación se enriquece con nuevos matices, con nuevas funciones. Se habla de una evaluación para el cambio, de una evaluación al servicio de innovaciones, evaluación orientada a la toma de decisiones, evaluación como reflexión, evaluación como responsabilidad, evaluación como rasgo de profesionalización (Rosales, 1990). • La evaluación extiende su mirada a todo el campo curricular, institucional y personal. Si antes la evaluación se focalizaba en el rendimiento de los alumnos en situación de aprendizaje, ahora se habla de evaluación de programas, de centros, de profesionales, del ambiente pedagógico, etc. • Las metodologías evaluativas han experimentado un proceso de apertura. Desde modelos científico-positivistas se han abierto las posibilidades hacia 14 paradigmas de corte más naturalista. El método se decide en función de los objetivos, las opciones teóricas, las instrumentaciones posibles, etc. • La elección del método debe provenir del cruce de dos elementos. Por un lado, a partir de consideraciones teóricas pertinentes a los atributos paradigmáticos, y por otra, de las características de la realidad específica en la que se produce la acción investigadora” (Mateo, 1990). La evaluación es, pues, un tema complejo en que se entrecruzan múltiples discursos: • Un discurso técnico referido a procesos, técnicas, instrumentos, procedimientos de análisis. • Un discurso político que enfatiza argumentos de tipo social, priorización de necesidades, rentabilización de las inversiones, etc. • Un discurso profesional que tiene en cuenta la formación y selección de profesionales, sistemas de incentivos, distribución de cargos, etc. • Un discurso filosófico y ético referido a quién está legitimado para evaluar, qué se puede evaluar y a los derechos de los evaluados. En resumen, el Discurso de la evaluación es transversal y heteróclito y, como el término lo implica, discurre por todos los elementos fundamentales de Proyecto Institucional: • Misión institucional • Visión • Proyecto educativo • Concepción educativa • Concepción curricular • Modelos pedagógicos y didácticos • Concepción de aprendizaje • Definición de contenidos 15 un • Diseño curricular • Contenidos esenciales • Estrategias y métodos de enseñanza • Estrategias y métodos de aprendizaje RECONCEPTUALIZACIÓN: Con base en la reflexión anterior, se trata de adoptar, así sea sólo por la necesidad metodológica, una definición integral del concepto de evaluación que sirva de guía general para la construcción de un paradigma de evaluación en la Universidad Cooperativa de Colombia. Se propone pues, a manera de orientación inicial, la siguiente re-conceptualización: La evaluación es el proceso reflexivo por medio del cual se acopia información, se interpreta, valora y se emiten juicios acerca de la adquisición, uso, explicación y promoción constante de conocimientos, habilidades, actitudes y valores, así como sobre otras dimensiones del desarrollo humano, los procesos pedagógicos y curriculares, administrativos, de gestión y comunitarios, con el propósito de mejorar la calidad, actualidad y pertinencia de los mismos. Lo discutido en este acápite nos lleva a la temática fundamental de esta reflexión: La evaluación del aprendizaje. 1. LECTURAS RECOMENDADAS LINKS Y WEBSITES http://www.edgorg.com/ https://tlt.stonybrook.edu/FacultyServices/CDD/Pages/RoutineAssessmentTechniq ues.aspx http://www.celt.iastate.edu/teaching/cat.html LIBROS Y ARTÍCULOS EN LA RED 16 ALLAL, L. 1979. Estrategias de Evaluación Formativa. Concepciones Psicopedagógicas y Modalidades de Aplicación. En Infancia y Aprendizaje, 11, pp. 4-22. CASANOVA, M. 1998. Evaluación: Concepto, Tipología y Objetivos. En La Evaluación Educativa, pp. 67-101. MCDONALD, R. et alia. 1995. Nuevas Perspectivas Sobre Evaluación. UNESCO. París. MCDONALD, R. 1995. Colección de Presentaciones en Diapositivas sobre Evaluación de Contenidos, Construcción de Evaluaciones Auténticas, Discurso Científico de la Evaluación, etc. En E-learning Made Easy. ROSALES, C. 2000. Evaluar es Reflexionar Sobre la Enseñanza. Narcea. Madrid. STAKE, R. 2004. Evaluación Comprensiva y Evaluación Basada en Estándares. Ed. Graó. Barcelona. BIBLIOGRAFÍA ANGELO, THOMAS y CROSS, PATRICIA. 1997 Classroom Assessment Techniques, A Handbook for Teachers. 2nd Ed. San Francisco: Ed. Jossey-Bass. BENEDITO, V. 1997. La Evaluación Aplicada a la Enseñanza. Madrid: CEAC. ____________. 1982. La Sistematización del Proceso Didáctico. Barcelona: Ed. Barcanova. BLANCO FELIP, L. A. 1996. La Evaluación Educativa: Producto. En: Educació i Món Actual. Madrid. Más Proceso que Bloom, B. and Krathwohl, D. (1956). Taxonomy of educational objectives: the classification of educational goals, by a committee of college and university examiners, Handbook 1: cognitive domain. New York: Longmans. Compton, D. W., Baizerman, M. and Hueftle-Stockdill, S. (2002). The Art, Craft, and Science of Evaluation Capacity Building: New Directions for Evaluation, No. 93. CRONBACH, L. Reflexiones en Evaluación Educativa. En Revista Electrónica de Investigación y Evaluación Educativa. Vol III, No. 1. 17 DE JUAN, J. 1996. Introducción a la Enseñanza Universitaria. Madrid. DÍAZ, Ángel. 1993. Docente y Programa. Lo Institucional y lo Didáctico. Buenos Aires: Aiqué. DÍAZ, Ángel. 1993. Currículum y Evaluación Escolar. Buenos Aires: Aiqué. DÍAZ, Ángel. 1994. Didáctica. Aportes para una Polémica. Buenos Aires: Aiqué. EISNER, E. 1981. The Methodology of Qualitative Evaluation. Standford: Standford University Publications. ESPÍN, J. y RODRÍGUEZ, M. 1993. L’avaluació dels Aprenentatges a la Universitat. Barcelona: Publicaciones Universidad de Barcelona. FERNÁNDEZ, M. 1986. Evaluación y Cambio Educativo: El Fracaso Escolar. Madrid: Morata. FERNÁNDEZ, M. 1988. La Profesionalización del Docente. Madrid: Escuela española. Fetterman, D. (2004). Empowerment Evaluation, Principles in Practice. New York: Guilford Publications. Fetterman, D. M. (2010). Ethnography: Step by Step (Third Edition). Thousand Oaks, CA: Sage. Fetterman, D. M., Kaftarian S., and Wandersman, A. (1995). Empowerment Evaluation, Knowledge Tools for Self-assessment and Accountability. Disponible online http://www.amazon.com/Empowerment-Evaluation-Knowledge-SelfAssessmentAccountability/dp/076190025X/ref=sr_1_1?s=books&ie=UTF8&qid=1318283119&s r=1-1 Consultado el20 de septiembre de 2011. FRANCO, N. y OCHOA, L. 1997. La Racionalidad de la Acción en la Evaluación. Santafé de Bogotá: Cooperativa Editorial Magisterio. GIMENO SACRISTÁN, J. 1988. El Currículum. Madrid: Morata. GIMENO SACRISTÁN, J. y PÉREZ GÓMEZ, A. 1983. La Enseñanza: su Teoría y su Práctica. Madrid: Akal. GIMENO SACRISTÁN, J. y PÉREZ GÓMEZ, A. 1996. Comprender y Transformar la Enseñanza. Madrid: Morata. Guba, E.G. y Lincoln, Y.S.(1989): Fourth Generation Evaluation, Newbury Park: Sage. 18 Hind, J. (2010). Additionality: A Useful Way to Construct the Counterfactual Qualitatively? Evaluation Journal of Australasia, Vol. 1, 28-35. HOUSE, E. R. 1994. Evaluación, Ética y Poder. Madrid: Morata. KAPLAN, C. Buenos y Malos Alumnos. Buenos Aires: Aiqué. Kellog’s Foundation (2004). Using logic models to bring together planning, evaluation and action. Logic model development guide. Baatle Gerek, Michigan: W. K. Kellog Foundation. Levine, M. (1974). Scientific method and the adversary model. Some preliminary thoughts. American Psychologists, 29, 661-667. McClelland, D. (1973). Testing for competence rather than for intelligence. American Psychologist, 28, 1-14. Patton, M. (2002), Qualitative Research and Evaluation Methods, 3rd ed., Thousand Oaks, CA Sage Publications. Patton, M. (2008). Utilization Focussed Evaluation. Sage Publications, Inc, Saint Paul, Mn. PARLET, M. y HAMILTON, D. 1972. Evaluation as Illumination: A New Approach to the Study of Innovatory Programs. Scotland: Edinburgh University. Parlett,M and Hamiltosn, D. (1977). Evaluation as Illumination: a nue approach to the study of innovatory programs. In Hamilton, D. et al (Eds). Beyond the numbers game. London: Macmillan. Patton, M. Q. (1990). Qualitative Evaluation and Research Methods. Newbury Park: Sage. Patton, M. (1997). Utilization Focussed Evaluation. The new century text (pgs. 331338). Thousand Oakes, CA: Sage. Patton, Michael Q. (2002), Qualitative Research and Evaluation Methods, 3rd ed., Thousand Oaks, CA Sage Publications PERRENOUD, Ph. 2008. La evaluación de los Alumnos. Buenos Aires: Colihue. Provus, M. (1971). Discrepancy evaluation. For educational program improvement and assessment. Berkeley, Ca.: McCutchan Publishing Co. 19 PUIGGRÓS, A. y KROTSCH, C. (Comp.). 1994. Universidad y Evaluación: Estado del Debate. Buenos Aires: Aiqué. PUIGGRÓS, A. y KROTSCH, C. (Comp.). 1994. Universidad y Evaluación: Estado del Debate. Buenos Aires: Aiqué. RESNICK, L. y KLLOPPFER, L. 1996. Currículum y Cognición. Buenos Aires: Aiqué. Restrepo, B. (2002). Itinerario de la Evaluación como disciplina. Inédito. RESTREPO, B., ROMÁN, C. Y Acevedo, E. (2009). Situación actual de la investigación y la práctica discursiva sobre la evaluación de aprendizajes en elearning en la Educación Superior. Universidad Católica del Norte. Medellín: Litografía Berna. SANTOS, M. A. 1993. Hacer Visible lo Cotidiano. Madrid: Akal. SCRIVEN, MICHAEL. 1967. The methodology of evaluation. En Perspectives on Curriculum, Evaluation (AERA Monograph Series on Curriculum Evaluation, n. 1). Chicago, Rand McNally. Stake, R. E. (1967). The countenance of educational evaluation. Teacher College Record, 68, 523-540 Stake, R. and Easley, J. A. (1979). Stake, R. E.; Case Studies in Science Education', University of Illinois, CIRCE Stake, R. (1995). The art of case study research. Thousand Oaks, CA: Sage Publications STENHOUSE, L. 1984. Investigación y Desarrollo del Currículum. Madrid: Morata. SCHUNK, D. 1977. Teorías del Aprendizaje. Méjico: Ed. Interamericana. Stufflebeam, D.L. y otros (1971). Educational Evaluation and Decision Making. Itasca: Peacock. Stufflebeam, D. L., and Shinkfield, A. J. (1987). Evaluación Sistemática. PaidosMEC, Barcelona. Suchman, E. A. (1967). Evaluative Research: Principles and Practice in Public Service and Social Action Programs. New York : Russell Sage Foundation. TABA, Hilda. 1974. Elaboración del Currículo. Buenos Aires: Troquel. 20 VALLS, E. 1995. Los Procedimientos: Aprendizaje, Enseñanza y Evaluación. En: Cuadernos de Educación. Nº 11. Barcelona: Horsori. Wolf, R. (1979). The Use of Judicial Evaluation Methods in the Formulation de Educational Policy. Educational Evaluation and Policy Analysis. Vol. 1, No. 3, MayJun, 1979. Yarbrough, D. B., Shulha, L. M. Hopson, R. K., and Caruthers, F. A. (2011). The Program Evaluation Standards: A guide for evaluators and evaluation users (3rd edition) Thousand Oaks, CA: Sage. ZABALSA, M. 1993. Diseño y desarrollo Curricular. Madrid: Narcea. 21