Sistema de Evaluación On-line para Certificar Competencias y

Sistema de Evaluación On-line para
Certificar Competencias y Medir
Cumplimiento del Perfil de Ingreso
Preparado por: Luis F Rodriguez, PhD, MPM, CEC, CCA, CMA, ASQ-CQIA
Director de Operaciones para América Latina – Peregrine Academic
Services
[email protected] 903-805-9135
• Uno de los mayores retos para las Instituciones de Educación
Superior, es la Valoración de sus Programas Académicos.
• La verdad es que para cerrar las brechas existentes entre los
objetivos de aprendizaje y la medición directa de los
resultados de los estudiantes después de completado los
requisitos de un programa académico es necesaria una
herramienta de evaluación que cumpla con los requisitos de
mejora continua de un programa de una Institución de
Educación Superior.
• La evaluación en educación superior debe ser definida como
el proceso de determinar como;
"Ofrecer administradores, profesores, administradores y
otras partes interesadas con pruebas concretas de que
pueden desarrollar información útil sobre sus
alumnos, los programas, sus cursos y también de la
institución" (Gardiner, 2014).
• Esta es una información vital que ayudan a los
administradores de una Institución de Educación Superior y
sus acreditadores para la Toma de Decisiones Efectivas sobre
el aprendizaje de los estudiantes y el desarrollo, eficacia
profesional y calidad del programa.
• La evaluación permite entonces
utilizar la información como una
evidencia creíble generada a través
de la evaluación para hacer juicios
de valor relativo: la aceptación de
las condiciones descritas a través
de la evaluación.
• La evaluación para una Institución
de Educación Superior no es sólo
una herramienta para asegurar
que un programa académico se
adhiere a altos estándares de
calidad en la investigación y
práctica.
¿Qué es el Avalúo del Aprendizaje?
• Avalúo del aprendizaje es la
traducción más cercana del
término “Assessment” muy
utilizado en educación superior.
• En términos de administración,
avalúo es un tipo de auditoría así
que por definición es la “Auditoría
del Aprendizaje”
• El avalúo se puede llevar a cabo en
diferentes áreas y niveles.
• El Avalúo del Aprendizaje busca con herramientas sencillas
evaluar a los estudiantes además de recopilar información que
le permita a profesores y administradores académicos realizar
los ajustes necesarios para mejorar el proceso de
enseñanza/aprendizaje.
• El avalúo del aprendizaje le permite al los profesores y los
administradores académicos conocer mejor de qué forma
aprenden sus estudiantes y reflexionar sobre las estrategias de
enseñanza que utiliza en el salón de clases.
Propósito
• Podemos decir que el propósito del Avalúo del Aprendizaje es dual:
• Desde el punto de vista de Educador:
• Identificar Fortalezas y Deficiencias en el desarrollo del estudiante en el
curso
• Conocer la Efectividad de las Estrategias de Enseñanza/Aprendizaje que
está utilizando.
• Poder tomar Acciones Correctivas para ayudar a los estudiantes en su
Construcción del Conocimiento y a tener éxito en el curso.
• Desde el punto de vista del Administrador Académico:
• Saber, Evaluar y DEMOSTRAR que tan bien lo hemos hecho.
¿Por qué es tan Importante el Avalúo?
• A nivel de la Institución
• Es el eje central para determinar el cumplimiento de la
Misión de las Instituciones de Educación Superior
• Es requerido en los Procesos de Acreditación.
• A nivel de la Academia
• Brinda información útil y a tiempo.
• Auto-evaluación del estudiante para desarrollo de la
Conocimiento, el Aprendizaje Reflexivo y Holístico.
¿Cómo Recopilamos la Información de Avalúo?
• Observación
• Recopilación de información de lo que observamos en
nuestros estudiantes
• Informal: Los propósitos no están tan definidos, luego
de la observación, seleccionamos que tiene
pertinencia
• Directa: Datos recopilados de un plan previamente
estructurado, con objetivos de aprendizaje definidos.
¿Qué preguntas debemos hacernos y
contestarnos entonces?
• Son entonces.. ¿El Avalúo del Aprendizaje y la Evaluación de
Programas Académicos lo mismo?
• ¿Puede hacerse esto utilizando un instrumento basado en un
Modelo Funcional que permita ambas?
• ¿Puede hacerse esto on-line?
• ¿Puede hacerse de manera confiable y válida?
Algunos de los Instrumentos de Medición del
Aprendizaje más Comunes
• Matriz de memoria o de rasgos sobresalientes
• Bosquejo sin rellenar/Bosquejo incompleto
• Diario Reflexivo (Freedom Writers)
• Pruebas de avalúo del conocimiento
• Pre-Prueba
• Mitad de termino (Identificar brechas en Programas
Académicos)
• Post-Prueba
Pre-Prueba, Mitad de Término y Post-Prueba
• Se puede definir como la
estrategia de medida de la
eficacia de las
intervenciones para la
conservación de los
resultados obtenidos en la
pre-prueba y la postprueba.
¿Por qué Utilizar Pruebas de Avalúo?
• Todos aquellos actores claves en instituciones educativas de
educación superior incluyendo aquellos organismos de
acreditación, las agencias reguladores del estado y grupos de
interés locales exigen una mayor rendición de cuentas.
• El rendimiento académico ya no se mide solamente en relación a:
• Las Calificaciones de los Estudiantes
• Las Tasas de Graduación
• Tal vez en el Posicionamiento de las Instituciones.
¿Por qué Utilizar Pruebas de Avalúo?
• Es necesario, para cerrar el
ciclo de la Calidad,
Evaluaciones a nivel de
Programas basadas en un
Avalúo del Aprendizaje que
demuestre claramente el Éxito
y Dirección de las Instituciones
hacia el Mejoramiento
Continuo.
¿En que consiste un
examen de avalúo on-line?
• La Evaluación Directa on-line para la rendición de cuentas a nivel de
Programa basado en el Componente Profesional Común (CPC) en el
Instituciones de Educación Superior.
• La Evaluación de Resultados de Aprendizaje a nivel de programa es un
requisito para todo tipo de acreditación.
• El Examen Comprensivo basado en el CPC (COMP) es un examen on-line que
mide los resultados del aprendizaje y el conocimiento retenido del estudiante
a nivel de programas académicos.
• Basado en objetivos de aprendizaje
¿Qué es el Componente Profesional
Común (CPC)?
• Es un Instrumento que ha demostrado ser eficaz en la evaluación de
Programas de Educación es el Componente Profesional Común o CPC.
• El Componente Profesional Común, mejor conocido como CPC está
orientado como una medida directa de los resultados con la intención de
asegurar el reconocimiento de la naturaleza de los programas académicos
que se refiere a las áreas programáticas comunes relacionadas con
situaciones reales del aprendizaje.
• Cripps, Clark y Oedekoven (2011) definen la evaluación de CPC como "el
proceso de responder a una pregunta, resolver un problema o abordar un
tema que es demasiado amplio o complejo para ser tratada
adecuadamente teniendo en cuenta la variado de un programa
académico".
¿Cómo Puedo Utilizar un Examen de Avalúo
on-line Basado en el CPC?
• Los estudiantes toman el examen al inicio de su programa académico,
generalmente dentro de su primer curso (examen de entrada).
• Los estudiantes toman el mismo examen al final de su programa,
generalmente justo antes de la graduación dentro de su último curso (examen
de salida).
• La comparación de resultados entre los exámenes de entrada y de
salida utiliza para análisis (benchmarking) interno.
• La comparación de los resultados del examen de salida con los
resultados de otras universidades, se utiliza para análisis
(benchmarking) externo.
• La comparación y análisis (benchmarking) de los
resultados internos y externos obtenidos por la batería de
exámenes desarrollados por Peregrine Academic Services
basados en el CPC /COMP han satisfecho los estándares,
requisitos y principios de acreditación y ha sido validado
mundialmente.
El uso de Exámenes: Método de Evaluación
• El método preferido de evaluación es que todos los alumnos tomen el
examen dos veces durante el programa académico.
• Los alumnos toman el examen denominado examen de ingreso al inicio de su
programa.
• Luego, vuelven a tomarlo al final del programa; este examen se denomina
examen de egreso.
• Las comparaciones entre los resultados de los exámenes de ingreso y los
resultados de los exámenes de egreso constituyen su PARÁMETRO DE
REFERENCIA INTERNA.
• Las comparaciones entre las calificaciones del examen de egreso con las de
otras universidades nacionales y/o internacionales constituyen su
PARÁMETRO DE REFERENCIA EXTERNA.
Parámetro de Referencia Interna
• La sección de referencia interna incluye:
• Un archivo de Excel que incluye todos los datos de cada examen.
• Resumen y estadísticas descriptivas del conjunto completo de datos en un
formato que es fácil de comprender y aplicar.
• Comparaciones en paralelo y estadísticas de los resultados de los
exámenes de ingreso y de los exámenes de egreso.
• Frecuencia de preguntas falladas en todas las áreas temáticas evaluadas,
aproximadamente de 4 a 6 por tema.
Parámetro de Referencia Externa
• A los fines de poder tener parámetros
de referencias externas para su
programa empresarial, le
proporcionamos:
• Comparaciones directas de los
resultados de los exámenes de egreso
con los de otras universidades
nacionales e internacionales.
• El cambio porcentual entre los
resultados de los exámenes de ingreso y
egreso de los alumnos y los porcentajes
obtenidos en otras universidades.
Análisis de Cohortes
• Si dividimos a la población estudiantil en función de los
datos que usted aporta (por ejemplo, según la ubicación
del campus o la especialización de los estudios),
podremos también realizar un análisis a nivel de las
cohortes.
• Los resultados obtenidos a partir de las diferentes cohortes de
alumnos, o sub-poblaciones, pueden compararse
estadísticamente.
• A las universidades como parte del proceso de obtener o mantener
acreditaciones globales deben evaluar y demostrar competencia
estudiantil asociado las áreas tópicas del CPC dependiendo del
programa de evaluación específica con al menos dos medidas directas
y dos medidas indirectas (Peregrine, 2012).
• La mayoría de los programas tienen al menos una medida directa así
la necesidad de demostrar una segunda medición independiente
como con el CPC es relevante.
• depende de la diferencia entre las medidas directas y medidas indirectas en el
aprendizaje
• tiene que existir una relación entre el rendimiento de los estudiantes y la
práctica de la evaluación (Anderson, n.d.).
Debemos tener en cuenta qué…
• Las calificaciones de grado, el porciento
de graduación y el posicionamiento de
la institución ya no son suficientes para
demostrar la responsabilidad de los
programa académicos y de las
instituciones que las ofrecen.
• Se necesita una herramienta
apropiada de avalúo a nivel de
programa.
• Las calificaciones de los estudiantes, graduación y las tasas de
retención no siempre son buenos indicadores de aprendizaje, ya que
en su determinación de factores distintos del aprendizaje (Anderson,
n.d.).
• Las normas de evaluación relacionadas con aprendizaje
internacionalmente son específicas y prescriptivas, pero todos los
estándares requieren la medida directa de lo que los estudiantes
aprendieron y cuáles son sus competencias basados en objetivos
instruccionales establecidos y aprobados para los programas
académicos de una institución de educación superior (Rivera &
Huertas, 2008).
El CPC-COMP es un Estándar Global
• Con el fin de medir directamente el rendimiento de los estudiantes con base en los
resultados del aprendizaje programáticos deben aplicarse una evaluación estandarizada
(Anderson, n.d.).
• El examen COMP basada en CPC como un instrumento de evaluación integral podría
funcionar como una medida directa de entrada/salida de evaluación para un programa
académico necesario para la evaluación y el cumplimiento de los requisitos específicos
de medición directa.
• La aplicación de un examen basado en CPC COMP como un instrumento de evaluación
que proporciona un enfoque multidimensional a la evaluación del programa.
• El Componente Profesional Común representan una oportunidad para evaluar y medir
los resultados del aprendizaje y mejora continua en la perspectiva interdisciplinaria de
los componentes comunes de los programas académicos en todo el mundo (Cripps, Clark
y Oedekoven, 2011).
Servicios accesibles on-line
• Todos nuestros servicios son virtuales. Pueden accederse en línea sin
asistencia.
• Tampoco necesita solicitar el acceso a los exámenes con antelación.
Los alumnos se pueden registrar en cualquier momento ya que los
exámenes están disponibles 24/7.
• No es necesario un próctor
• Las instituciones pueden acceder los informes y añadir los cohortes
que necesiten a través del portal de administración (Admin-Site) una
vez termine el periodo de examen. Solo personal autorizado de la
institución tiene acceso a los informes.
• Solo la institución puede divulgar los resultados.
Examen realizados en su propio idioma
• Al momento de evaluar a los alumnos, es preferible que se
examinen en su propio idioma para que sea una evaluación
auténtica basada en el conocimiento de la materia y no del
dominio del idioma.
• Los alumnos se sentirán más cómodos y seguros al saber
que se les evaluará en su lengua materna.
• Se diseña el examen en el idioma español.
Versiones de exámenes
• Ofrecemos dos versiones del examen que
responden a las necesidades específicas de
programas de licenciatura y de posgrado.
• El contenido del examen responde a las
necesidades específicos a nivel del título
académico y nivel.
Contenido del examen
• El contenido del examen incluye preguntas y áreas temáticas
afines con aspectos del conocimiento general.
• Las preguntas se enfocan en la aplicación del material en el
ámbito actual.
• Ofrecemos un examen aplicado que enfatiza un
conocimiento práctico.
Estructura del examen
• Un examen comprensivo en-línea incluye 10 preguntas elegidas al
azar para cada tema del CPC.
• La mayoría de los exámenes de grado incluyen hasta 12 temas del CPC. La
mayoría de los exámenes de posgrado incluyen de 6 a 10 temas del CPC.
• La selección de los temas se basa en el currículo medular requerido para un
grado de estudio de un programa académico.
• Cada institución de educación superior puede tener más de un examen si la
misma ofrece más de un programa de grado.
• Basado en las particularidades específicas de programa.
Integración de los programas
• Los exámenes de ingreso y egreso deben asociarse
con los cursos.
• Esta asociación de los exámenes y el curso contribuye
a mantener un seguimiento correcto de los datos e
informes.
• El examen on-line puede realizarse como una tarea
durante algún curso.
Registro de respuestas del examen
• Creamos un micrositio virtual con la identidad de la institución para
que los alumnos puedan registrarse y consultar las respuestas del
examen.
• Este micrositio seguro solo puede accederse mediante una
contraseña.
• El micrositio enumera las asociaciones de los exámenes y el curso.
• Los alumnos deben seleccionar su curso y completar el proceso
de registro (nombre y dirección de correo electrónico).
• El acceso al examen se permite a través de un hiper-enlace.
Referencias