Calidad de las acciones formativas

Biblioteca Daniel Cosío Villegas
Curso de Formación de Formadores de
Usuarios de la Información
MODULO 6: EVALUACION
Febrero-Marzo 2003
Tabla de contenido
Introducción
Calidad de las acciones formativas.
La evaluación: condición de un proceso de aprendizaje
Objeto de evaluación.
Criterios de evaluación.
La formulación de los criterios de evaluación
La cantidad de criterios de evaluación
El instrumento de evaluación.
El evaluador.
Los resultados de la evaluación.
Uso para la mejora.
De la comprobación de aprendizajes al sistema de evaluación
El plan de evaluación.
La evaluación de programas.
La evaluación interna
Cómo se hace la evaluación
Metodología de evaluación
La evaluación externa
Instrumentos de evaluación
La evaluación de la docencia.
La evaluación de los estudiantes.
Evaluación del programa: criterios e indicadores de calidad
¿Cómo podemos valorar un programa docente?
Criterios administrativos
Criterios pedagógicos
Criterios de contenido
2
Criterios de evaluación de un programa docente.
Propuesta de criterios e indicadores generales
Criterios de evaluación del Educational Software Consortium
Criterios de evaluación estratégica (Castellán)
Principales indicadores de calidad de un programa docente.
Indicadores pedagógicos
Instrumentos de evaluación del programa docente
Evaluación de la docencia: criterios e indicadores de calidad
La evaluación de los aprendizajes: criterios e indicadores de calidad
La evaluación ¿hasta dónde llegar?
3
Introducción
Calidad de las acciones formativas.
Hoy en día, todo el mundo tiene presente la importancia de la evaluación y, en muchas
ocasiones, cuando nos presentan una acción formativa o un material preguntamos por el
sistema de evaluación conscientes de que es una de las claves para garantizar la calidad del
proyecto.
La evaluación se va ubicando en el sitio que le corresponde dentro de la teoría de la educación,
pero aún falta tiempo y esfuerzo para que la evaluación sea aceptada realmente como
elemento clave en cualquier proceso de aprendizaje. Que esto suceda no depende únicamente
del desarrollo que los expertos hagan del tema sino también de su capacidad y de la de todos
los implicados en procesos educativos de generar una cultura de evaluación que permita
entenderla y verla como un factor de garantía de calidad de las acciones formativas.
La tradición de evaluación educativa ha dado mayor relevancia a la fase de control e
identificación de lo que se ha conseguido y de las ausencias que a cualquier otra fase y
elementos propios de la evaluación. La evaluación, entonces se había reducido a un
mecanismo de premio o castigo en función de la identificación de éxitos y objetivos
conseguidos o la detección de ausencias.
En las últimas décadas se ha hecho un esfuerzo para situar de nuevo la evaluación en el lugar
que le corresponde, pero independientemente de creernos o entender mejor o peor los
aspectos claves de la teoría de la evaluación acostumbramos a reproducir los patrones según
los cuales hemos sido evaluados, que convierten la evaluación en algo similar a un obstáculo a
superar dentro del proceso de aprendizaje.
Cualquier proceso de evaluación tiene sentido en tanto que contribuye a la mejora de un
proceso de aprendizaje y garantiza la calidad educativa.
Desde esta perspectiva tan importante es la evaluación de los aprendizajes, como la
evaluación del programa y de los recursos utilizados, de la docencia, de las instituciones
educativas, etc.
Todo intento de promover una acción formativa ha de considerar el sistema de evaluación que
permitirá garantizar la calidad.
Es necesario generar una cultura de evaluación que
permita entenderla y vivirla como un factor de garantía de
calidad de las acciones formativas.
La evaluación: condición de un proceso de aprendizaje
Objeto de evaluación.
El primer paso para garantizar la calidad de las acciones formativas consiste en definir aquello
que queremos evaluar y el tipo de decisiones que esta evaluación nos permitirá tomar.
4
El tipo de evaluación más habitual es la de los aprendizajes conseguidos al finalizar una acción
formativa (evaluación sumativa) y la decisión que se desprende es la calificación que se otorga
a las personas que han seguido esta formación.
Cada día es más frecuente la evaluación de los conocimientos en relación a la formación de
que disponen los que tendrán que participar (evaluación inicial o diagnóstica) o de los
aprendizajes que se van consiguiendo a lo largo de la formación (evaluación formativa o de
proceso), de las cuales se desprenden decisiones respecto a la orientación y el refuerzo del
aprendizaje.
No obstante, la garantía de la calidad de los aprendizajes pasaría por identificar las virtudes y
las debilidades de cualquiera de los elementos que intervienen en un proceso de aprendizaje y
por tomar decisiones que contribuyen a la mejora de sus efectos.
Todo es susceptible de ser evaluado, pero no lo podemos evaluar todo.
Los procesos de evaluación se enmarcan en un proceso de aprendizaje y esto se ha de dar en
un momento y a partir de unos recursos determinados. Los procesos de evaluación también
requieren de su propio tiempo y de sus recursos, por lo que no es posible evaluarlo todo. Hace
falta que definamos qué queremos evaluar y para qué.
La respuesta al qué queremos evaluar constituye el objeto de evaluación. Cuando formulamos
esta pregunta frente a una acción formativa pueden aparecer diferentes respuestas u objetos
de evaluación, cada una de ellas constituirá un proceso de evaluación y su conjunto llegará a
ser sistema de evaluación.
El hecho que la tradición de la evaluación educativa haya propiciado que habitualmente sólo se
tenga en cuenta la evaluación final de los aprendizajes es una consecuencia bastante lógica de
la formulación de esta pregunta, ya que es innegable el interés que despierta el hecho de saber
qué han aprendido las personas que han participado en una acción formativa, el problema es
que si éste es el único proceso de evaluación que nos proponemos dentro de una acción
formativa las posibilidades de mejora quedan muy limitadas, más cuando generalmente esta
evaluación está dirigida a certificar los aprendizajes conseguidos más que a tomar decisiones
de mejora respecto a futuras ediciones del curso o acción formativa.
El objeto de evaluación más habitual son los aprendizajes de los alumnos, pero no ha de
ser el único.
Dada la dificultad de evaluarlo todo en todo momento, cuanto más concreto es el objeto de
evaluación más fácil resultará garantizar la viabilidad del proceso de evaluación y también la
posibilidad de tomar decisiones de mejora de la calidad de las acciones formativas.
Cuando una acción formativa forma parte de un conjunto y se repite de forma cíclica (por
ejemplo una asignatura de unos estudios o un curso de postgrado), conviene que los procesos
de evaluación que se vinculen vayan variando, que los objetivos de la evaluación sean
diferentes y su suma permita conseguir una mejora global de la calidad de la acción formativa.
5
Definir el objeto de evaluación implica identificar qué y
para qué queremos evaluar.
La mejora de la calidad de una acción formativa pasa por ir
centrando la atención en diferentes objetos de evaluación
e ir tomando decisiones de mejora en relación a los
mismos.
Criterios de evaluación.
Una vez definido qué queremos evaluar y qué efecto esperamos de la evaluación o qué tipo de
decisiones de mejora esperamos tomar, es necesario concretar y definir los criterios de
evaluación, es decir, las características que nos permitirán establecer el grado de calidad del
objeto de evaluación.
El hecho de que los criterios de evaluación sean unos u otros, provocará evidentes diferencias
en el resultado de la evaluación y en el tipo de decisiones a tomar.
Tomando como ejemplo la evaluación de las actividades de aprendizaje, podríamos establecer
como criterios de evaluación: la claridad de los enunciados, el uso de información
complementaria, la presentación gráfica... o bien: la vinculación con los objetivos del material,
la actualidad de las actividades, la diversidad...
La formulación de los criterios de evaluación
En el ejemplo anterior hemos señalado como criterios de evaluación lo que podría ser el título o
identificador de cada uno de los criterios, pero el criterio consiste en la descripción extensiva de
aquellas características que pretendemos observar como una señal de garantía. Ésta podría
ser la descripción de un criterio:
Claridad de los enunciados: El enunciado de una actividad de aprendizaje ha de dar
a entender al estudiante aquello que esperamos que realicen. Le ha de permitir tener
una idea clara de aquello que debe conseguir independientemente de si dispone a
priori o domina más o menos los conocimientos y las habilidades que tendrá que poner
en juego en el momento de realizar la actividad.
Pero podemos comprobar que aquello que evaluaremos será sensiblemente diferente si
planteamos el criterio de esta manera:
Claridad de los enunciados: El lenguaje utilizado en los enunciados de las
actividades de aprendizaje ha de ser sencillo y evitar el uso de tecnicismos a excepción
de aquellos que se han ido trabajando en el desarrollo de la acción formativa.
Probablemente la forma en que algunos identificaréis el segundo ejemplo o el nombre que le
daréis al criterio sería diferente, pero por mucho que intentásemos afinar enunciando los
criterios siempre hay un margen de variabilidad que depende de la interpretación de quien
formula y quien atiende al criterio. De aquí la importancia que los criterios de evaluación estén
bien formulados.
6
La cantidad de criterios de evaluación
Por otro lado podríamos pensar que para un objeto de evaluación determinado hay unos
criterios o unas características a analizar y no otras, o al menos que hay una serie de principios
básicos que no se pueden olvidar. Esto no será así en la mayoría de las ocasiones.
Los aspectos a evaluar son siempre tan extensos que quien planifica la evaluación hace una
priorización de aquello que se considera más relevante o que puede contribuir a mejorar y a
determinar el grado de calidad de las posibilidades de mejora del objeto evaluado.
La determinación de los criterios de evaluación tiene una vertiente necesariamente
subjetiva y variará en función de los responsables de su definición.
La evaluación educativa en general, lejos de responder a fórmulas exactas, es un ejercicio de
coherencia, de análisis y de búsqueda de vías de mejora por parte de los responsables de una
acción formativa o de aquellas a quien se ha encargado explícitamente su evaluación.
Los criterios de evaluación orientarán los ámbitos y las posibles líneas de mejora de la acción
formativa. Parecería coherente pensar que los criterios de evaluación han de coincidir con
aquello que nos hemos propuesto como finalidades o como propósitos en el diseño de la
acción formativa.
La observación de estos criterios, a través de indicadores de calidad, nos permitirá ver hasta
qué punto se corresponde la realidad con aquello que pretendíamos que fuera y con el efecto
que esperábamos que produjeran los diferentes elementos implicados.
Los criterios de evaluación establecen los ámbitos y las
líneas de mejora del objeto de evaluación sobre los cuales
trabajaremos.
El instrumento de evaluación.
Una vez identificado el objeto de evaluación y concretados los aspectos a observar, el proceso
de evaluación implicará las siguientes fases:
•
•
•
•
Recogida de información o datos
Análisis e interpretación de la información o de los datos
Valoración de los resultados
Toma de decisiones de mejora
Para hacer efectivas estas fases tendremos que utilizar uno o diversos instrumentos de
evaluación. En algunos casos podemos utilizar instrumentos estandarizados adecuados al
objeto de evaluación, pero en la mayoría de las ocasiones habrá que diseñar y desarrollar
estos instrumentos.
7
El hecho de hablar de información o de datos es para evitar la tendencia a asociar el término
datos con instrumentos y sistemas de evaluación cuantitativos. También la evaluación
cualitativa precisa de la recogida y el análisis de la información y de datos sobre el objeto de
evaluación.
Habitualmente los instrumentos de evaluación se centran en la fase de recogida de información
o datos, ya que se entiende que quien hará uso de esta información ya se ocupará de su
interpretación, valoración y toma de decisiones. Pero esto no siempre es así y la única cosa
que conseguimos es desvirtuar el proceso de evaluación y limitar sus posibilidades como un
elemento de mejora de la calidad.
A menudo los procesos de evaluación se reducen, de forma inadecuada, a un proceso
de recogida de información.
Para evitar este hecho, es interesante que los instrumentos de evaluación contemplen las
diferentes fases del proceso y ofrezcan claves para la interpretación de la información e incluso
para la toma de decisiones. Obviamente las decisiones no pueden ser estándares y no pueden
ser tomadas a priori, pero como mínimo es posible recordar al evaluador el uso que puede o
tendría que hacer de la información recogida.
Los instrumentos de evaluación nos ayudan a observar y a
analizar el objeto de evaluación en los términos
establecidos.
Es importante que al utilizar estos instrumentos seamos
conscientes de que la evaluación es algo más que un
proceso de recogida de información.
El evaluador.
La persona responsable de la evaluación no es siempre la misma que establece las líneas y la
dinámica de evaluación. En algunos casos incluso puede ser interesante que diferentes
personas evalúen un mismo objeto, a partir de los mismos criterios e instrumentos de
evaluación.
La posición del evaluador respecto al objeto de evaluación puede ser determinante respecto a
los resultados de la evaluación y a las decisiones de mejora que se puedan desprender.
Si hablamos de la evaluación de los estudiantes de una asignatura, normalmente entendemos
que el evaluador ha de ser el responsable de la docencia de la misma, pero esto no es
necesariamente así. Es posible pensar un sistema en el que cada alumno sea responsable de
su evaluación, o bien un sistema en el que unos alumnos se conviertan en evaluadores del
8
resto, como también un sistema en el que un experto ajeno a la asignatura actúe como a
evaluador.
Cada una de las opciones anteriores tiene sus ventajas y sus inconvenientes, pero en definitiva
nos permite reflexionar sobre el hecho de que no es evidente quién tendrá que ser el
evaluador.
El hecho que el evaluador sea más cercano y esté más implicado con el objeto de evaluación
puede ser la garantía de que dispondrá de mayor información y más precisa de la que puedan
ofrecer determinados instrumentos de evaluación, pero en ocasiones su posición respecto al
objeto de evaluación puede suponer prejuicios que determinen la interpretación y valoración en
un sentido u otro.
Contrariamente, un evaluador más distanciado del objeto de evaluación puede operar con
información teóricamente más objetiva, no tan predeterminada, pero probablemente será más
limitada.
La decisión de quien será el responsable de la evaluación es tan determinante respecto a los
resultados como las previas respecto al qué y cómo evaluar. Tampoco no existe una fórmula
matemática para a establecer quién ha de ser el responsable en cada caso. No obstante es
necesario reflexionar sobre el hecho y explicar quién y por qué hemos creído oportuno que se
ocupe de la evaluación.
La decisión sobre quien ha de ser el responsable del
proceso de evaluación determinará en parte sus
resultados.
Los resultados de la evaluación.
Los resultados de la evaluación no son, en general, los datos que se han obtenido a partir de
los instrumentos de evaluación, ni necesariamente, las interpretaciones o las decisiones
tomadas a partir de estos datos.
Los resultados de la evaluación es aquello que se difundirá como consecuencia de un proceso
de evaluación, generalmente en forma de informe.
Los resultados de un proceso de evaluación no tienen porque ser los mismos para todos los
destinatarios.
Los resultados de un proceso de evaluación del rendimiento de un grupo de alumnos dirigido a
cada uno de ellos será el análisis y la valoración de su rendimiento individual.
El resultado que interesará al docente o a la institución responsable será el análisis global o la
comparación con otras promociones o con datos públicos del sector, por ejemplo.
Cuando diseñamos el sistema de evaluación tenemos que pensar en los resultados que
esperamos conseguir, en la forma de presentarlos y en los destinatarios de estos resultados. Al
hacerlo habría que considerar los siguientes principios:
9
• Todas las personas implicadas en un proceso de evaluación han de recibir resultados de
esta evaluación de la manera más ágil y rápida posible.
• Ofrecer información diversa a los diferentes agentes no implica, y no ha de ser en ningún
caso, falsear los resultados de la evaluación.
• La diversificación de los resultados tiene como objetivo hacer útil la evaluación y por tanto
ofrecer a cada agente la información que le ha de ser útil para la toma de decisiones o bien las
decisiones ya tomadas que le afectan de forma directa.
El diseño de una evaluación implica definir los tipos de
resultados, los destinatarios y la forma de presentación.
Uso para la mejora.
La cultura de evaluación y el rol de evaluadores y evaluados no cambiará hasta que no
hagamos patente la verdadera finalidad de la evaluación que implica la mejora de la calidad de
los procesos de enseñanza y aprendizaje.
Este cambio cultural implica aspectos como evitar los "tics" por parte de los evaluadores de
convertir el proceso de evaluación en una prueba de obstáculos para ver dónde puedo hacer
fallar o encontrar carencias en el objeto de evaluación. La detección de carencias sólo tiene
sentido en tanto que elemento determinante de la calidad de los aprendizajes.
Todos los agentes implicados en una acción formativa han de sentir como necesario un
proceso de evaluación y aplicar los resultados a la mejora de su papel dentro de la acción
formativa. El hecho que los docentes entiendan como importante la evaluación de los alumnos
y de los materiales, pero no la de la docencia, o que los alumnos reclamen antes la evaluación
del programa que una evaluación de calidad de su rendimiento son indicadores que sitúan al
evaluador en una situación de dominio que a nadie molesta ocupar y al evaluado en una
situación débil o como mínimo tensa.
Entender la evaluación como a elemento de mejora implica ser consciente que siempre es
posible detectar carencias en una acción formativa y que hace falta realizar tantos esfuerzos
como sea posible para solventarlas.
En ocasiones, podemos no estar a tiempo para mejorar determinados hechos en una acción
formativa concreta, pera incluso en estos casos los resultados de la evaluación han de permitir
que se produzca una mejora en acciones formativas futuras.
El rechazo ante procesos de evaluación a veces es fruto del temor que genera la posibilidad de
no conseguir un nivel adecuado en aquellas evaluaciones de carácter sumativo que conducen
a una acreditación determinada (certificado de garantía de un material, adquisición de
aprendizajes, título, etc.). Pero incluso en estos casos hace falta entender el resultado de la
evaluación como una toma de decisiones que garantiza la calidad de la acción formativa, ya
que ésta no tendría ninguna credibilidad si no se realizase un esfuerzo para determinar quién o
qué es merecedor del certificado y quién o qué no lo es.
10
Un proceso de evaluación ha de conducir siempre a la
toma de decisiones de mejora respecto al objeto de la
evaluación.
De la comprobación de aprendizajes al sistema de evaluación
El plan de evaluación.
Los grados y niveles de responsabilidad respecto a una acción formativa pueden ser muy
diversos. Cuando realicemos el diseño de un curso lo podemos hacer como trabajadores de
una empresa que se dedica exclusivamente a esta función, como docentes que queremos
incorporar un curso a nuestras tareas cotidianas, o como responsables de una institución en la
que queremos desarrollar nuevas acciones formativas.
Sea cual sea nuestro grado de responsabilidad respecto a la acción formativa siempre seremos
como mínimo responsables de la garantía de la calidad de la parte que nos corresponda, para
lo cual tendremos que diseñar un plan de evaluación en relación a este elemento.
El plan de evaluación recoge todas las acciones de evaluación que se prevén realizar en
relación a una acción formativa concreta y durante un tiempo determinado. Si nuestro papel en
la acción formativa comprende varias responsabilidades es adecuado planificarlas de forma
conjunta en el marco del diseño del curso.
En cualquier caso, la definición del plan de evaluación consistirá en el listado de las diferentes
acciones de evaluación que consideremos adecuadas o necesarias, detalladas en fichas como
la siguiente:
Objeto de evaluación
Responsable
Criterios
Instrumentos
Evaluador
Calendario
Resultados
Estrategia de difusión
Comentarios
11
El plan de evaluación ha de ser algo posibilista y conducir a la mejora de la calidad de la acción
formativa. Cuando nos enfrentemos al diseño de un curso nos puede parecer que la definición
de un extenso plan de evaluación ofrecerá una imagen de calidad del mismo. Esto sólo será
cierto cuando el plan resulte creíble y cuando los responsables de la acción formativa puedan
entender la relación entre el costo que supone llevar a cabo cada acción de evaluación y los
efectos en la mejora de la calidad de la acción formativa que se puede desprender.
Un buen plan de evaluación es aquel que determina mejor
qué conviene evaluar y qué mejoras se pueden derivar.
La evaluación de programas.
Dentro de este nombre genérico englobamos la evaluación de todo lo que supone la
planificación de una acción docente. Podríamos hablar del programa de un curso en el sentido
más clásico, concebido como la base fundamental de un curso, de una guía de aprendizaje, de
un plan de trabajo, etc.
Hay modelos que consideran el desarrollo de acciones docentes como un proceso lineal o
sistemático constituido por fases independientes, en las cuales la evaluación es una fase que
se aplica cuando ya se ha desarrollado un curso, con el objetivo de valorarlo y ver si se ajusta
al diseño inicial.
En otros modelos no tan lineales se añade el factor de revisión continua y actualización del
curso con la creación de productos. Se utiliza una metodología de trabajo que permite revisar
de forma permanente las especificaciones del programa y contrastar los objetivos con el
desarrollo real.
En general, podemos diferenciar dos tipos de evaluación:
• Evaluación durante el proceso de creación.
• Evaluación después de la implementación.
La evaluación permite valorar que el producto final se ajusta al producto que se había previsto,
lo que hemos diseñado. En los primeros momentos citados esta fase era independiente y se
tenía que hacer cuando ya se había implementado el curso. Hoy en día se considera que es un
aspecto más del proceso de desarrollo.
Recordemos las etapas del desarrollo de un diseño formativo y cómo la evaluación se aplica en
las diferentes fases:
12
La evaluación del curso y de los materiales asociados que se elaboran es necesaria para
comprobar que el producto se ajusta a los objetivos planteados y también pera mejorar su
calidad.
El hecho de que sean tantos los aspectos a evaluar convierte la evaluación de programas en la
más olvidada.
Es en esta línea que conviene concretar el objeto de evaluación e ir abordando aspectos
susceptibles de mejora en diferentes ediciones del curso o la acción formativa. No obstante,
para que esto sea posible se han de dar dos condiciones fundamentales:
• Concebir un curso abierto y susceptible de modificaciones.
• Disponer de los recursos que permitan la actualización constante del mismo.
Otro hecho que en ocasiones bloquea la evaluación de programas, es el temor a detectar
carencias combinado con la imposibilidad de promover mejoras debido a una ausencia de
recursos para a este fin.
Los responsables del diseño del curso seremos
responsables de su evaluación desde la perspectiva de la
evaluación de programas.
La solución está en identificar claramente algunos
aspectos concretos que se puedan alcanzar y que puedan
conducir a decisiones de mejora del curso.
13
Se pueden diferenciar dos tipos de evaluación:
•
Una evaluación interna, que hacen los miembros que integran el equipo que elabora el
proyecto, cuando concluye una primera edición del programa.
•
Una evaluación externa, que hacen agentes externos al proyecto y en algunos casos
futuros usuarios cuando ya está remodelado el curso.
La evaluación interna
•
Tiene la finalidad de mejorar el proceso de desarrollo y garantizar la calidad respecto a
todas las acciones que se han llevado a cabo. Se evalúa cada uno de los elementos
definidos (revisión de los objetivos, de los contenidos, de las actividades y de los
recursos previstos...) De esta forma, los miembros del equipo tienen que poder valorar
el programa y sugerir modificaciones.
•
El objetivo es asegurar que el programa se ajuste a los lineamientos definidos para su
diseño y que cumpla las características pedagógicas necesarias.
•
Está orientada a verificar el diseño del programa, a localizar y corregir los posibles
defectos o errores de los materiales, y a mejorar su adecuación pedagógica.
Cómo se hace la evaluación
Se pueden utilizar plantillas o parrillas de observación y prueba que relacionen los aspectos del
programa que determinan su calidad y que tienen que prever los aspectos administrativos y
pedagógicos.
•
Los aspectos administrativos hacen posible valorar los diferentes elementos
organizativos y de infraestructura que permiten que el programa se lleve a cabo:
coordinación docente, procedimientos de entrega de calificaciones, previsión de aulas,
equipo de cómputo, reproducción de materiales, etc.
•
Los aspectos pedagógicos hacen posible valorar el grado de adecuación del programa
y de los materiales; tienen que ver con su eficacia como medio para que los
estudiantes adquieran los aprendizajes: objetivos educativos, contenidos, actividades,
secuencias, tiempos...
Metodología de evaluación
Respecto a la metodología para la evaluación del equipo que ha participado en el diseño y la
elaboración del programa, se pueden diferenciar tres etapas:
•
Cada miembro del equipo que imparte el curso recoge en una hoja observaciones
sobre el mismo y las sugerencias para mejorarlo. En este punto los diseñadores
también verifican si el programa responde totalmente a los lineamientos que se han
dado.
•
Después, también de forma individual, se tienen que revisar todos los aspectos de la
plantilla de evaluación.
•
Los evaluadores envían las hojas de observación al coordinador del proyecto y se
realizan reuniones de todo el equipo para discutir los resultados de la evaluación.
•
A partir de esta información se elabora un documento con información sobre los
cambios de diseño, de material, etc. que se tienen que hacer.
14
Evaluación externa
•
Se puede hacer una evaluación del programa que puede ser más o menos profunda.
•
El objetivo es recoger las opiniones de posibles destinatarios del producto, o de
expertos, sobre la calidad y la funcionalidad didáctica y también sugerencias sobre
posibles mejoras.
•
Los usuarios que evalúen el programa tienen que tener los conocimientos previos
necesarios y las mismas características de los destinatarios potenciales, aunque
también conviene que sean variados, con historias diferentes, para que la muestra sea
representativa de los futuros usuarios.
•
Lo ideal es que los usuarios evalúen el programa en función de situaciones educativas
concretas y, siempre que sea posible, integrado en un desarrollo curricular.
Instrumentos de evaluación
Los instrumentos para la evaluación tienen que ser básicamente cuestionarios que los
evaluadores cumplimentarán con sus valoraciones del programa o material.
Estos cuestionarios se tienen que elaborar a partir de los aspectos de la plantilla de evaluación
interna, pero los evaluadores tienen que concretar y estructurar mucho más los apartados y se
tienen que centrar más en aspectos subjetivos de tipo pedagógico y funcional.
Los datos que se obtienen no se deben utilizar para hacer estimaciones cuantitativas con un
grado estadístico de confianza, sino que tienen que servir para determinar aspectos cualitativos
y de tendencias.
• La evaluación del programa puede ser interna o externa.
• Evaluación sobre aspectos...
•
•
administrativos
pedagógicos
• Con plantillas y cuestionarios.
La evaluación de la docencia.
La evaluación de la docencia es una parte importante de la evaluación del programa docente,
ya que las virtudes y las debilidades de éste serán potenciadas o minimizadas en función de la
acción docente que acompaña al curso.
La evaluación de la docencia desde esta perspectiva nos puede ser útil para prever o constatar
los usos que realizan los docentes para poder:
• reforzar algunos elementos del curso que consideramos relevantes y que algunos docentes
pueden hacer pasar desapercibidos,
15
• identificar aspectos del curso que han de pasar a un plan secundario, ya que la acción
docente es más efectiva,
• prever diferentes modalidades del programa y comprobar que su estructura resulta adecuada
para todos ellos, o modificarla si es necesario,
• comprobar qué herramientas o ayudas puede necesitar el docente para impartir el curso de
forma adecuada.
• ...
En definitiva, como diseñadores del programa, es necesario que fijemos nuestra
atención en cómo el docente lo imparte y potencia los aprendizajes previstos.
Las virtudes y las carencias de un programa serán
potenciadas o minimizadas en función de la acción
docente que acompaña al curso.
La evaluación de los estudiantes.
La evaluación de los aprendizajes que consiguen los estudiantes de un curso corresponde en
primera instancia al responsable de la docencia.
No obstante en el diseño del curso podemos haber considerado interesante, por ejemplo,
realizar una avaluación de conocimientos previos, incluir un sistema de autoevaluación de los
aprendizajes(*) o proponer que determinadas actividades lleguen a ser el instrumento para la
evaluación de los aprendizajes por parte del docente.
Cualquiera de las opciones comentadas es correcta siempre y cuando se explicite en el plan de
evaluación cómo han estado concebidas las acciones de evaluación que se hayan
considerado.
El error más frecuente consiste en confundir el todo por las partes e incluir actividades de
evaluación sin que se haya concebido una acción de evaluación y sin una finalidad
determinada.
Los ejemplos más claros de este error los constituyen las actividades de evaluación inicial y las
propuestas de autoevaluación respecto a las cuales no se establece ningún criterio e indicación
de lo que hace falta hacer en función de los resultados que se desprenda.
¿Cuál es entonces su función? Probablemente se espera que sea el docente o el propio
usuario quien haga la interpretación y tome las decisiones que crea conveniente. No obstante
(*)
Es importante no confundir las propuestas de autoevaluación con actividades de aprendizaje
autocorrectivas.
16
estas interpretaciones pueden inducir fácilmente a error si previamente no ha habido un
verdadero trabajo de reflexión y definición de aquello que queríamos observar y las decisiones
de mejora a las que pretendíamos llegar.
Con todo esto no se trata de construir un curso sobrecargado en el que la guía del profesor sea
más extensa y compleja que el propio material. La cuestión es que en el momento de diseñar el
curso haya una verdadera reflexión sobre aquello que se incluirá, su finalidad y su utilidad. Si
no lo hacemos así simplemente contribuiremos a que la evaluación sea entendida como una
prueba de obstáculos en la que se trata de probar suerte.
El objeto de evaluación, los criterios y las claves para la interpretación de resultados y toma de
decisiones tendrían que estar a la disposición tanto de los docentes como de los alumnos.
Todo elemento de evaluación de los estudiantes ha de
responder a una acción de evaluación y se ha de dar a
conocer al docente y al alumno.
Evaluación del programa: criterios e indicadores de calidad
¿Cómo podemos valorar un programa docente?
Todos los sistemas de evaluación que se proponen actualmente se basan en la determinación
de unos criterios de calidad del programa y en la valoración del grado de adecuación de éste
respecto a una serie de indicadores que nos dan información concreta sobre la calidad del
mismo respecto a cada criterio.
La lista de características que se pueden evaluar puede ser demasiado extensa, por lo cual
cuando definimos los aspectos en que nos fijaremos al evaluar un programa hemos de procurar
seleccionar los que son más relevantes para podernos hacer una idea clara de la calidad del
mismo.
Una vez establecidas las características clave o los indicadores de calidad, se han de definir
las ventajas o los inconvenientes del curso o programa respecto a cada indicador y el tipo
de situaciones en que es importante considerar cada uno de estos indicadores. Es preciso
tener en cuenta que no será fácil encontrar un curso óptimo respecto a todos los indicadores y
que no todos los indicadores tienen el mismo valor.
A partir de diferentes listados de criterios y indicadores, se pueden agrupar en tres grandes
bloques:
•
•
•
Criterios administrativos
Criterios pedagógicos
Criterios de contenido
Criterios administrativos
Es importante considerar los diversos aspectos organizativos, institucionales y de
infraestructura que hacen posible o pueden dificultar el desarrollo adecuado del curso.
17
En este sentido, conviene diferenciar entre los clientes y los usuarios del curso. Entendemos
por cliente la institución o entidad que ha encargado el curso y que, normalmente, tiene
definidos una serie de objetivos que se propone alcanzar con él, enmarcados en un contexto
particular de filosofía educativa. Los usuarios son los alumnos que deberán cursar el programa.
Deberemos medir la satisfacción de ambos con los objetivos alcanzados en el curso.
Criterios pedagógicos
Lo principal de un programa docente es su finalidad educativa, el aprendizaje que puede hacer
el usuario de unos contenidos y unas habilidades determinadas. El análisis desde la
perspectiva pedagógica debe valorar la capacidad del programa para que el usuario aprenda.
La experiencia respecto a la evaluación de programas y materiales ha sido un referente para
establecer los indicadores que hay que tener en cuenta.
Criterios de contenido
Los criterios e indicadores de contenido hacen referencia al tratamiento de los temas que
incluye un programa específico. Este bloque de criterios implica que los contenidos se
presenten desde la perspectiva de la disciplina a que pertenecen.
Un programa puede ser perfecto desde el punto de vista pedagógico pero puede ser pobre
respecto a los contenidos, lo cual querría decir que los aprendizajes serían insuficientes o que
se podría haber hecho una concepción errónea. Por esta razón, es muy importante considerar
el tratamiento de los contenidos como un bloque específico.
Podemos valorar un curso a partir de la valoración de
diferentes características. Una labor clave para hacer una
buena evaluación es definir los criterios de evaluación y
los indicadores que se tendrán en cuenta.
Criterios de evaluación de un programa docente.
Uno de los problemas básicos de cualquier proceso de evaluación es el establecimiento de los
criterios que se tienen que emplear.
Aunque cada programa debe formular unos criterios propios, pueden establecerse algunos
como referencia general: la utilidad, la viabilidad, la formalidad, la exactitud (precisión y
validez), la contextualización y la diversidad en cuanto a la valoración de los efectos (se
pueden valorar desde la perspectiva de los expertos, a la de los responsables de los materiales
y la de los usuarios).
A continuación presentamos tres propuestas diversas de selección y organización de los
criterios de evaluación. En algunos casos la finalidad del programa determinará que un listado
de criterios sea más o menos adecuado para su evaluación; en otros casos dependerá de las
posibilidades y los recursos para la realización de la evaluación; en otros, los objetivos de la
evaluación serán el eje organizador de los criterios a utilizar (no es lo mismo la evaluación que
realiza el diseñador del programa, por ejemplo, que la que realizaríamos como posibles
profesores o usuarios).
18
En todos los casos es preciso disponer de una visión amplia de los criterios e indicadores de
evaluación para poder realizar en cada momento la selección de los más adecuados a nuestras
necesidades de evaluación.
Establecer los criterios para el proceso de evaluación es uno de los aspectos más
importantes cuando se fijan los parámetros que se tendrán que tener en cuenta en el
momento de evaluar un programa docente.
Destacamos la diversidad de criterios que proponen los diferentes autores observando que en
la mayor parte de los casos su descripción no llega a la concreción de indicadores para
definirlos de una manera operativa.
Propuesta de criterios e indicadores generales
CRITERIOS
INDICADORES
Pertinencia: adecuación de un programa a la
política de formación y al contexto de
aplicación.
Nivel de coherencia: relación entre los
objetivos asignados y los objetivos propuestos.
Actualización: adecuación de los objetivos
del programa y las necesidades reales
(sociales e individuales).
Relación entre los objetivos propuestos y las
necesidades detectadas.
Objetividad: adecuación de las leyes y los
objetivos científicos.
Relación entre los objetivos asignados y los
contenidos (selección y secuenciación de
contenidos).
Aplicabilidad: posibilidad de poner en
práctica los objetivos propuestos.
Relación entre el programa y los recursos
personales y materiales disponibles.
Suficiencia: grado en que un programa
satisface las necesidades detectadas.
Nivel de exhaustividad: relación entre los
objetivos asignados y las necesidades
detectadas.
Eficacia: nivel de consecución de los objetivos Relación entre los objetivos asignados y los
asignados.
objetivos alcanzados.
Eficiencia: cantidad de recursos humanos,
materiales y funcionales que se invierten.
Relación entre los objetivos alcanzados y los
recursos invertidos.
Comprensividad: grado de optimización
alcanzado.
Relación entre el nivel de entrada y el nivel de
salida de un programa.
Relevancia: grado de importancia del
Relación entre los objetivos propuestos y las
programa para cubrir necesidades individuales necesidades sociales e individuales.
y sociales.
19
Criterios de evaluación del Educational Software Consortium
CRITERIOS
INDICADORES
Presentación correcta
¿Hay errores, de forma o de fondo, en los
contenidos del programa?
Presentación del contenido
¿Está el contenido estructurado de manera
que favorezca el aprendizaje?
Utilización de la tecnología
¿Explota el programa al máximo las
posibilidades tecnológicas?
Congruencia con el currículum
¿Está el contenido vinculado al currículum?
Interacción
¿El programa estimula la interacción entre
profesores y alumnos?
Secuenciación de los contenidos
¿Presenta el programa diferentes niveles de
dificultad con niveles intermedios entre ellos?
Retroalimentación
¿Están previstos mecanismos de
retroalimentación efectivos?
Objetivos
¿Están los objetivos especificados con
suficiente claridad?
Motivación
¿Motiva el programa al estudiante?
Adaptación
¿Se adapta el programa a las necesidades de
instrucción individuales?
Materiales
¿Los materiales se utilizan de manera que
estimulen y apoyen el aprendizaje?
20
Criterios de evaluación estratégica (Castellán, 1993)
CRITERIOS
INDICADORES
Aspectos pedagógicos
¿Están los objetivos suficientemente bien
articulados para el estudiante?
¿Se adecua el uso de la tecnología a los
conceptos que hay que aprender?
¿Se utiliza la tecnología en el momento
adecuado durante el curso?
¿Puede el estudiante utilizar la tecnología para
obtener una impresión general de los
contenidos, hacer un estudio detallado de
éstos o hacer un repaso del material?
¿Facilita la teoría el aprendizaje cooperativo?
¿Fomenta el programa la exploración, la
comprobación y la aplicación de las ideas y los
conceptos?
¿Permite el programa hacer una
autoevaluación adecuada de la comprensión?
¿Se pueden transferir las habilidades y los
conceptos aprendidos más allá del contexto en
que ha tenido lugar el aprendizaje?
Sustancialidad
¿Es el material de estudio el adecuado?
¿Es el aprendizaje del material realmente
valioso para el estudiante?
Integración
¿Es fácil integrar el programa en el
currículum?
Mejora cíclica
¿Se hace una evaluación continuada del
programa?
Establecer los criterios para el proceso de evaluación es
uno de los aspectos más importantes a la hora de fijar los
parámetros que se deberán tener en cuenta al evaluar un
programa docente.
Destacamos la diversidad de criterios que proponen los
diferentes autores y, especialmente, la dificultad para
definirlos de una manera operativa.
21
Principales indicadores de calidad de un programa docente.
Indicadores administrativos
Organización del curso
Contexto institucional
Infraestructura y logística
Satisfacción del cliente
Indicadores pedagógicos
Conocimientos previos del estudiante
Actualmente, todo el mundo reconoce el papel que tienen los aprendizajes previos en la
adquisición de nuevos aprendizajes, como base sobre la cual el estudiante fundamenta y
construye el propio conocimiento.
Esta evaluación inicial del sujeto puede ser útil para averiguar si al estudiante le faltan
conocimientos que en el curso se prevé que ya se saben o bien si el curso le servirá para hacer
un avance real en el aprendizaje. En el primer caso, se debería avisar al estudiante de que
tiene que hacer un repaso de unos contenidos determinados; en el segundo caso, se tendría
que dar mayor profundidad o ampliar los contenidos previstos. Si no se produce ninguna de
estas dos situaciones, se supone que los conocimientos previos del estudiante son los
adecuados para cursar el programa.
No tener en cuenta este criterio puede comportar que el usuario tenga la sensación de que no
aprende (porque no está suficientemente preparado para responder o porque el nivel es inferior
a sus conocimientos previos) y generar una desconfianza generalizada respecto al programa.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Descripción del perfil del estudiante: se ha de tener información sobre la edad de los
usuarios, el nivel de conocimientos previos que se necesitan y otros aspectos que ayuden a
definir al público al que se dirige el curso.
• Evaluación inicial: idealmente se tendría que prever una evaluación inicial de los
conocimientos y las habilidades del usuario respecto al tema de que trata.
• Capacidad de respuesta de la evaluación inicial: el curso se tiene que poder adaptar al
nivel correspondiente al resultado de la evaluación inicial.
Objetivos de aprendizaje
La información sobre los objetivos de aprendizaje del curso es básica tanto para el profesor
como para los propios estudiantes. Al profesor le da información sobre los objetivos que han de
alcanzar los estudiantes mediante el curso. A los estudiantes les debe informar de lo que
pueden llegar a alcanzar, lo cual les ayuda a estructurar mejor los aprendizajes y a prestar
atención a los aspectos esenciales de lo que trabajan. No hay nada menos productivo que
creer que se hace un trabajo inútil; por el contrario, el hecho de saber a dónde conduce un
trabajo estimula al estudiante a lo largo del proceso de aprendizaje.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
22
• Información sobre los objetivos de aprendizaje: el curso debe informar sobre los objetivos
didácticos del curso y sobre el de cada uno de los capítulos o apartados, de manera que el
estudiante sepa en cada momento qué se espera que aprenda al trabajarlos.
• Adecuación del programa a los objetivos planteados: a veces los objetivos no se
corresponden con el contenido del programa. Si lo que se pretende es alcanzar unas
habilidades y unas actitudes determinadas, será necesario encontrar actividades que permitan
desarrollarlas.
Claridad de la información
El lenguaje y la adecuación de la información seleccionada y la del medio a través del cual se
transmite son aspectos clave para que haya una interacción fluida entre el estudiante y el
programa. No se trata solamente de recoger un conjunto de informaciones y actividades sobre
un tema, sino que éstas se han de adecuar al nivel previo del usuario y han de ser realmente
efectivas para alcanzar los objetivos previstos.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Claridad de las instrucciones: el estudiante siempre tiene que poder entender con facilidad
lo que se le pide.
• Adecuación del medio: el soporte en que se presenta la información es clave para que
pueda recibirse adecuadamente. La combinación de texto, audio e imágenes permite captar
con facilidad la atención del usuario; pero si éste recibe demasiada información a la vez o se
podría ahorrar una parte, el nivel de atención puede disminuir.
• Relación entre la información y los objetivos de aprendizaje: los objetivos también han
de estar presentes a lo largo de todo el curso y el estudiante ha de ser consciente de que la
información contribuye a alcanzar los objetivos.
Flexibilidad
Mientras se está desarrollando el curso, interesa quizás repasar algún aspecto que ya se ha
tratado o bien que se pueda cambiar el orden de los temas porque los que se presentan en
primer lugar no nos interesan tanto como los siguientes. La posibilidad de modificar el itinerario
de aprendizaje permite adecuarlo a las necesidades específicas de cada grupo de estudiantes.
El hecho de tener que seguir forzosamente una secuencia de aprendizajes que no se ajusta a
las propias necesidades desmotiva y disminuye la capacidad de atención, incluso cuando se
trabajan los aspectos que nos interesan más. La selección de un itinerario de aprendizaje
adecuado implica que haya un esquema o una guía del contenido total del programa y que se
especifiquen las maneras de trabajar que existen.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Itinerarios de aprendizaje abiertos: se puede ofrecer la posibilidad de diseñar un itinerario
propio según los objetivos y los contenidos que se trabajarán en cada apartado.
• Ayuda en la selección de itinerarios: poder escoger el propio itinerario de aprendizaje
presenta el inconveniente de que un estudiante no preste atención a elementos básicos o que
seleccione una orden incoherente respecto a los temas que se han propuesto. Por ello es
interesante que exista una ayuda o guía para seleccionar el itinerario más adecuado.
Interacción
23
• Cantidad de información: una secuencia demasiado larga de texto es difícil de asimilar. La
información se ha de combinar con actividades de aprendizaje o preguntas que permitan al
estudiante reflexionar sobre los contenidos.
• Preguntas: cuando se plantean preguntas al estudiante, es preciso hacer un esfuerzo para
aclararle qué se espera que responda. Las preguntas no han de ser ambiguas, se deben
formular de una manera suficientemente completa.
• Retroalimentación: la información que se da, según las respuestas del estudiante, siempre
ha de ser constructiva y motivadora.
Evaluación del proceso
No sirve de nada avanzar en los contenidos si no se va llegando a los aprendizajes. Por este
motivo es importante que el estudiante pueda ir comprobando y autoevaluando el propio
proceso de aprendizaje. Algunas actividades de evaluación permiten comprobar la adquisición
de los aprendizajes de cada fase o bloque, de manera que se puede decidir continuar adelante
o bien repasar aquello que no se ha acabado de asimilar.
Cabe remarcar que en este punto hacemos referencia a una evaluación durante el proceso de
aprendizaje que ayude a mejorarlo, no a una evaluación final, que será el motivo de atención
del criterio siguiente.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Evaluación del proceso de aprendizaje: las actividades de evaluación sobre el proceso de
aprendizaje permiten que el estudiante valore las propias dificultades y carencias respecto a los
aprendizajes propuestos y que haga un nuevo esfuerzo para superarlas.
• Actividades de refuerzo: cuando el estudiante detecta que tiene dificultades en el
aprendizaje, puede repetir las actividades. No obstante, motiva más, porque evita la monotonía,
poder hacer nuevas actividades que aborden los aspectos tratados desde una perspectiva
diferente.
• Consideración del progreso: cuando el estudiante detecta que el grado de adquisición de
los aprendizajes es suficiente, ha de poder considerar la posibilidad de aumentar el grado de
dificultad de los aprendizajes posteriores, de manera que éstos continúen siendo un objetivo de
aprendizaje suficientemente interesante.
Evaluación de los resultados
Además de la evaluación del proceso, es interesante hacer una evaluación final, para que el
estudiante tenga una idea de la situación en que está respecto a los aprendizajes propuestos.
Esta evaluación le permite ser consciente del propio progreso y le estimula de cara a nuevos
aprendizajes, de la misma manera que le avisa si necesita reforzar el trabajo cuando los
resultados no son adecuados.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Evaluación final: además de la evaluación de los aprendizajes específicos de cada bloque,
es conveniente hacer una evaluación final que permita valorar si el estudiante es capaz de
relacionar los aprendizajes de cada una de las partes y determinar el nivel que ha alcanzado
respecto a los objetivos propuestos.
• Actividades de ampliación: los mejores aprendizajes siempre dejan al estudiante con el
deseo de aprender más. Por esta razón, a un usuario que ha aprendido y ha alcanzado un
24
buen nivel respecto al tema trabajado le interesaría recibir información o propuestas de cómo
puede continuar aprendiendo sobre el tema tratado.
• Propuesta de nuevas actividades de refuerzo: cuando el resultado de la evaluación final
no es suficientemente satisfactorio, también es interesante hacerlo saber al estudiante y
estimularlo para que continúe trabajando sobre el tema, tanto a partir de las propuestas del
propio programa como mediante otros recursos.
Tiempo para recibir la información
El nivel de atención del estudiante no es siempre el mismo, es preciso tener en cuenta el
tiempo que necesitará para recibir la información.
El tiempo que cada usuario necesita para hacer un aprendizaje es diferente; por esto, es
preciso que nos aseguremos de que el usuario ha recibido la información.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Previsión de tiempo: se ha de prever el tiempo aproximado que puede tardar el estudiante
en hacer las actividades propuestas en cada apartado del programa, de manera que se pueda
organizar el tiempo de estudio. Está claro que cada usuario tendrá un ritmo diferente, pero la
experiencia permitirá que cada uno pueda calcular el propio tiempo en relación con la previsión
previa.
• Control del tiempo: el estudiante debe poder controlar su progreso y pararse el tiempo
necesario para leer un cuadro de texto, recibir una información, realizar una actividad, etc. más
allá del tiempo de clase.
Diversidad de los trabajos propuestos
La variedad en los trabajos que se proponen estimula el aprendizaje, ya que invita al estudiante
a prestar más atención a lo que se le ofrece. Se trata de encontrar la estabilidad entre la
claridad de la información y la variedad de las actividades.
Respecto a este criterio, hay que tener en cuenta el siguiente indicador:
• Variedad: la variedad de los trabajos y las presentaciones ayuda al estudiante a prestar más
atención. En cambio, la rutina de los trabajos influye negativamente en el proceso de
aprendizaje.
Indicadores de contenidos
Estructura de los contenidos
Este criterio hace referencia a la organización de los contenidos en relación con la lógica propia
de la disciplina a que pertenecen. Se trata de comprobar que la secuencia de contenidos
establecida no comporta que pueda haber errores de concepción respecto a la materia de que
trata y que las relaciones entre los contenidos de cada parte sean claras.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
25
• Estructura: se trata de comprobar que la fragmentación de los contenidos en capítulos o
apartados es correcta o acertada para facilitar una asimilación progresiva.
• Corrección: los contenidos no han de tener errores.
• Ausencia de ambigüedades: las dificultades para asimilar los contenidos no han de
comportar que haya errores de concepción, de manera que el estudiante pueda pensar que ha
entendido un concepto cuando en realidad ha hecho una interpretación incorrecta.
Índice del material
El índice del material permite que el estudiante pueda saber en cada momento dónde se
encuentra respecto al conjunto del contenido del programa. No sólo se trata de que haya un
índice, sino también de que éste informe con la máxima precisión posible sobre los contenidos
de los materiales. Un índice demasiado general puede llegar a no decir nada sobre el
contenido real del material.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Inclusión de un índice: los índices, los sumarios o los mapas conceptuales para ayudar al
estudiante a situarse respecto al contenido que se trabaja y las actividades que se proponen
son unos elementos que añaden calidad al material.
• Claridad del índice: el índice no debe ser demasiado genérico, el usuario se ha de poder
hacer una idea clara de lo que encontrará en cada uno de los apartados del programa.
Interés del material
El interés de los contenidos de un material se mide por la capacidad de sorprender y ofrecer
una información nueva al usuario, y por la importancia que tienen dentro de la disciplina a la
que pertenecen. Se trata de evitar, por un lado, que un material incluya contenidos evidentes
para la mayor parte de la población, es decir, ha de ir un poco más allá, y, por otro, que se
convierta en un anecdotario poco profundo sobre una materia determinada.
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Importancia: es preciso valorar que los contenidos sean relevantes y que ocupen un espacio
reconocido dentro de la disciplina a que pertenecen.
• Capacidad de sorprender: para captar el interés del estudiante, a veces no basta con
explicar cosas nuevas, sino que es necesario hacerlo de manera que al receptor le resulte
sorprendente y atractivo, que se mantenga el interés por todo aquello que se le va ofreciendo.
Actualidad del material
Es bueno que un material didáctico se convierta en un soporte para el aprendizaje del
estudiante, pero es necesario que seamos conscientes de que no se le puede ofrecer todo
sobre una materia determinada, entre otras cosas porque las materias evolucionan.
La información sobre el momento a que pertenecen las informaciones y sobre las posibilidades
de consultar informaciones más actuales invita al estudiante a la investigación y le mantiene en
una situación constante de aprendizaje, de manera que no pueda tener una idea estancada (a
veces errónea por poco actual) sobre los contenidos.
26
Respecto a este criterio, hay que tener en cuenta los siguientes indicadores:
• Referencias: el conocimiento de las fuentes de información permite al estudiante profundizar
en unos aspectos determinados y a la vez le informa del grado de actualidad de estos
contenidos. El programa puede continuar siendo válido cuando los contenidos están
desfasados, siempre que el usuario sea consciente de ello.
• Perdurabilidad: cuando un contenido se aborda desde una perspectiva abierta y se tiene
conciencia de que las disciplinas evolucionan, se pueden ofrecer estrategias para contrastar la
actualidad de la información con el mundo que nos rodea y con algunas fuentes de información
que siempre están a nuestro alcance (prensa, centros y grupos de investigación...)
Respecto a cada uno de los criterios, hay algunas características específicas o
indicadores que permitirán que la evaluación sea operativa.
Hay que tener en cuenta que cualquier lista de indicadores
ha de ser abierta.
De una lista de indicadores se pueden extraer diferentes
instrumentos de evaluación a partir de la reorganización
por prioridades de éstos según los objetivos de la
evaluación.
27
¿Hasta dónde llegar?
Cuando profundizamos en el mundo de la evaluación a menudo nos dejamos llevar por el
apasionamiento de identificar aspectos mejorables y perder de vista el valor de aquello que
tenemos.
La cultura de la evaluación y la constante predisposición a la evaluación y mejora no se
contrapone al hecho de saber valorar las potencialidades de los elementos con los que estás
trabajando.
Cualquier evaluación tiene que combinar la detección de posibilidades de mejora con la
valoración de las potencialidades del objeto de evaluación.
Cuando recae bajo nuestra responsabilidad la evaluación y mejora de un programa, o de los
elementos con que interactúa, con la finalidad de mejorarlo, nos podemos ver forzados a
resaltar sus limitaciones y carencias.
Asimismo, la opinión de un externo respecto a un curso puede prestar especial atención a
aspectos mejorables, pero si en la toma de decisiones no tenemos también en cuenta sus
potencialidades fácilmente podemos estropear alguna de sus potencialidades al intentar
solventar una carencia.
Por ejemplo, para corregir la carencia de acceso a fuentes documentales en un material
podemos romper la estructura ágil y simple que se perseguía en su desarrollo inicial.
Probablemente sería un error dar por terminado completamente el programa de un curso y
obviar sus posibilidades de desarrollo y mejora; pero del mismo modo sería un error no dar por
terminadas fases de desarrollo que nos permiten trabajar el curso con confianza y seguridad
respecto a su capacidad de fomentar el aprendizaje.
Así como la selección de aquello que queremos evaluar y qué pensamos hacer con el
resultado de la evaluación es una decisión muy subjetiva que recae en los responsables del
diseño del curso, también lo es el hecho de dar por bueno aquello que se ha desarrollado hasta
a un momento dado.
En función del grado de calidad esperado por nuestros clientes, el nivel de exigencia tendrá
que ser más elevado. Esto no quiere decir que nos podamos conformar con un curso mediocre
en aquellos ámbitos en los cuales no haya mucha exigencia, la búsqueda de la calidad
28
continúa siendo el propósito en todos los casos, pero es necesario que seamos conscientes de
que no existen valores absolutos respecto a esta calidad.
El responsable de la calidad de un programa formativo
tiene que ser capaz de fijar los límites adecuados al
sistema de evaluación que permitan compaginar la
garantía de calidad con la confianza en el producto
resultante.
29