Evaluación por competencias en Economía: los lineamiento del Módulo de Análisis Económico del Saber Pro Alexander Tobón Profesor Asociado, Departamento de Economía Universidad de Antioquia Barranquilla, octubre 2 de 2015 Trabajo presentado en la Serie de Seminarios IEEC Departamento de Economía-Universidad del Norte 02-10-2015 Prohibida la reproducción total o parcial de este material sin la autorización expresa del Autor Objetivo Informar a los profesores de la Universidad del Norte sobre los lineamientos básicos que sustentan la evaluación por competencias en el Módulo Análisis Económico de Saber Pro, con el propósito de que esos lineamientos puedan ser utilizados en la evaluación de los cursos de Economía, tanto en pregrado como en posgrado. Se esperaría que el uso de una evaluación por competencias favorezca el desempeño de los estudiantes de pregrado en los Exámenes de Estado. Contenido I. El marco de referencia del Módulo de Análisis Económico del Saber Pro II. Propuesta de evaluación por competencias en un curso de Macroeconomía I. El marco de referencia del Módulo de Análisis Económico del Saber Pro 1. Las competencias y la Economía 2. Algunos resultados de la prueba 3. La naturaleza de las preguntas La calidad de la educación superior en Colombia Punto de partida: El examen Saber Pro es OTRA herramienta dispuesta por Estado colombiano que busca medir la calidad de la educación superior con base en dos elementos: - (el fin) Medir el valor agregado respecto a la educación media. - (el medio) Utilizando un enfoque metodológico evaluativo muy particular: las competencias académicas, no directamente los conocimientos Normatividad - Ley 30 de 1992, Artículo 31, literal h): Crear mecanismo de evaluación de calidad de los programas académicos de las IES. - Decreto 1871 de 2003. Los Exámenes de Estado de la Educación superior (ECAES). Aunque se mencionan competencias se realizan por conocimientos (por programas y fue optativo). - Ley 1324 de 2009: Criterios muy generales para organizar el sistema de evaluación de la educación y se transforma el Icfes. Artículo 7, literal b): Crear Exámenes de Estado para quienes terminan pregrado en IES. - Decreto 3963 de 2009: Se crean los Exámenes de Calidad de la Educación Superior. Art.1 Objetivos: 1. “comprobar el grado de desarrollo de las competencias”, 2. Producir indicadores del valor agregado de la educación superior, 3. Fuente de información para indicadores de calidad de los programas de pregrado. Decreto 4219 de 2009: Los exámenes son obligatorios. Art.3. Competencias genéricas y competencias específicas. El nombre “Saber Pro” es definido por el Icfes. ¿Qué es una competencia? Es el saber hacer en contexto o la aplicación del conocimiento en situaciones definidas. Para “Economía” sería: la aplicación de los conocimientos económicos en situaciones o contextos definidas. La competencia que es susceptible de evaluación para los estudiantes universitarios que han aprobado el 75% de los créditos de su programa de pregrado, es una competencia académica, no laboral, ni profesional. Solo se evalúa el conocimiento que es susceptible de algún tipo de aplicación. El Icfes evalúa por competencias sin que haya una formación por competencias. Esa evaluación se organiza la evaluación por competencias por módulos. 5 Módulos para evaluar competencias genéricas. 41 Módulos para evaluar competencias específicas. 5 Módulos para evaluar competencias genéricas: Transversales a la educación superior 1 2 3 4 5 Comunicación Escrita Razonamiento cuantitativo Lectura crítica Competencias ciudadanas Inglés Resultados del piloto sobre “valor agregado” de 2009 Antiguas competencias genéricas Promedios Pensamiento Crítico (antiguos nombres de módulos) 55,0 50,0 50,0 47,3 46,2 45,0 42,3 1er año 41,6 41,3 41,2 Último año 39,5 40,0 36,5 36,7 37,8 37,4 38,6 35,8 35,0 30,0 Administración Contaduría Economía Educación Ingenierías Medicina Otros Salud Promedios Entendimiento Interpersonal 48,0 45,9 45,4 46,0 44,7 44,0 43,2 42,0 39,3 40,0 38,0 41,3 40,9 40,8 40,3 1er año 38,8 38,0 37,9 Último año 37,0 36,4 36,0 34,0 32,0 30,0 Administración Contaduría Economía Educación Ingenierías Medicina Otros Salud Promedios Solución de Problemas 50,0 49,0 48,3 48,0 47,2 46,0 44,0 42,1 41,8 42,0 40,0 41,1 1er año 39,2 38,7 38,2 38,0 40,7 38,0 37,2 36,1 35,9 36,0 34,0 32,0 30,0 Administración Contaduría Economía Educación Ingenierías Medicina Otros Salud Último año Promedios Redacción Reporte 46,0 44,6 44,3 43,5 44,0 42,8 42,0 41,3 40,7 40,8 40,7 40,0 38,6 38,1 37,6 38,0 38,6 37,6 Último año 36,8 36,0 34,0 32,0 30,0 Administración Contaduría 1er año Economía Educación Ingenierías Medicina Otros Salud 41 Módulos para evaluar competencias específicas: comunes a grupos de programas de pregrado: 1 Análisis de problemáticas psicológicas 2 Análisis económico Atención en salud a la persona, el paciente y la comunidad 3 Salud Pública 4 Comunicación jurídica 5 Cuidado de enfermería en los ámbitos clínico y comunitario 6 Diseño de procesos industriales 7 Diseño de sistemas de control 8 Diseño de sistemas mecánicos Ensamblaje, mantenimiento y operación de maquinaria y 9 equipos 10 Enseñar 11 Estudio proyectual 12 Evaluar 13 Formar 14 Formulación de proyectos de ingeniería 15 Formulación, evaluación y gestión de proyectos 41 Módulos para evaluar competencias específicas: comunes a grupos de programas de pregrado: 16 Fundamentación en diagnóstico y tratamiento médicos 17 Generación de artefactos 18 Gestión de organizaciones 19 Gestión del conflicto 20 Gestión financiera 21 Información y control contable 22 Intervención en procesos sociales 23 Investigación en ciencias sociales 24 Investigación jurídica 25 Mantenimiento e instalación de software y hardware 26 Pensamiento científico - Ciencias biológicas 27 Pensamiento científico - Ciencias de la tierra 28 Pensamiento científico - Ciencias físicas 29 Pensamiento científico - Matemáticas y estadística 30 Pensamiento científico - Química 41 Módulos para evaluar competencias específicas: comunes a grupos de programas de pregrado: 31 Procesos comunicativos 32 Producción agrícola 33 Producción pecuaria 34 Promoción de la salud y prevención de la enfermedad 35 Diagnostico y tratamiento en salud oral 36 Diseño de software 37 Diseño de obras de infraestructura 38 Diseño de procesos productivos y logísticos 39 Salud y bienestar animal 40 Administración en salud 41 Arquitectura Módulo de Análisis Económico ¿Cómo se construyó el Módulo Específico en Análisis Económico? Etapas 2009. El Icfes invita a los pregrado de Economía a través de Afadeco a participar en la construcción de módulos: Indagación científica, luego investigación en ciencias sociales y finalmente evaluación de proyectos. Fracasa. 2010. El Icfes le pide a Afadeco que identifique las competencias fundamentales en Economía. Competencias académicas y no laborales. 2011. Afadeco solicita una módulo propio para Economía. El Icfes acepta con una condición: El grupo de referencia será Economía pero será optativo para otros pregrados. Así es necesario definir una competencia alrededor de la Economía, pero que no sea exclusiva en la formación de los economistas, sino a un competencia que puede ser fomentada en otros pregrados afines a Economía. Surge la palabra Análisis Económico. 2012. Se construye el Marco de Referencia del Módulo Análisis Económico y se lleva a cabo la primera aplicación del examen hasta la fecha. El Marco de referencia del Módulo Análisis Económico No es una prueba de Economía (en todo su sentido), sino una prueba de retoma la parte del conocimiento económico del nivel de pregrado (Colombia) que es susceptible de evaluación a través de un objeto de evaluación denominado “análisis económico” El Marco de Referencia es el documento que justifica y especifica ese objeto de evaluación. Contenido - A. La justificación (cap. II-V) se fundamenta en un estudio sobre las competencias a partir de dos fuentes: científica (resultados de investigación) y los perfiles profesionales y laborales. - B. Las especificaciones de la prueba según MBE del Icfes (cap. VI) A. Elementos de justificación ¿Cuáles son las competencias académicas en Economía? Pueden ser generales o específicas. Hansen (2001): (específicas) - Habilidad para acceder al conocimiento económico existente. - Mostrar dominio del conocimiento económico existente- Interpretar el conocimiento económico existente. - Interpretar y manipular información económica - Aplicar el conocimiento económico existente - Crear nuevo conocimiento económico Grant (2001): (generales) - Comunicación oral - Comunicación escrita - Uso de la aritmética - Interpretación de datos - Resolución de problemas - Uso de diagramas Gil (2003) (Algunas) (específicas) - Saber leer, interpretar y escribir correctamente cuestiones de la disciplina. - Evidenciar actitud autocrítica, pensamiento crítico y propositivo. - Tener habilidad para disertar a profundidad en torno a las doctrinas económicas. - Debatir sólidamente los conceptos y procesos del desarrollo social y humano. - Investigar problemas económicos pertinentes. López y Rhenals (1995) (específicas) - Intuición para reconocer la importancia de los problemas a los cuales enfrentarse y la pertinencia de las soluciones propuestas. Conocimiento de la teoría económica básica. Capacidad para formalizar intuiciones a través del uso matemático, estadístico y econométrico. Habilidad para emplear la teoría económica en el análisis de problemas específicos. Afadeco (2010) (generales) - Contextualización teórico-práctica. - Responsabilidad social y compromiso ciudadano - Abstracción y análisis lógico. - Análisis cuantitativo - Dominio de la información. - Dominio de la comunicación y del trabajo en equipo. Finalmente, Los estudiantes de Economía se forman en las siguientes tres competencias académicas específicas COMUNES en los pregrado de Economía : 1. Comprensión y aplicación de conceptos económicos: Idea del orden económico que transmite una forma completa de entendimiento. Ej. Inflación (simple), Equilibrio de Nash en un juego cooperativo (intermedio), tasa natural de retorno del capital-producto perfectamente anticipada de largo plazo (complejo). 2. Comprensión y aplicación de teorías económicas: Conjunto de conceptos económico y argumentos abstractos lógicamente construidos, conectados y validados por la comunidad científica. También: Conjunto de modelos económicos. Ej. La teoría clásica de los precios relativos de equilibrio (generales), el modelo neoclásico de Mundell-Fleming (específicas) 3. Comprensión y aplicación de herramientas cuantitativas: Conjunto de instrumentos contenidos al interior de las matemáticas, la probabilidad, la estadística y la econometría que permiten el tratamiento de información para estudiar fenómenos económicos de forma númerica y/o gráfica. Ej. Calcular una tasa de variación (simple), elegir la mejor especificación de un modelo econométrico de acuerdo a los datos disponibles (intermedio), proponer métodos de corrección de estimación de modelos econométricos de acuerdo (complejo) El Análisis Económico es una competencia académica: Habilidad para comprender un fenómeno económico en un contexto específico, a través del planteamiento de problemas y soluciones que implican el uso de conceptos, teorías y herramientas cuantitativas propias de la Economía. B. Elementos de especificación ¿Es el Análisis Económico una competencia evaluable? SI. Entonces se requiere demostrar que la competencia en análisis económico es susceptible de una evaluación cuantitativa a través del uso de la metodología basada en evidencias (MBE). Esta metodología se denomina Especificaciones de la prueba. Las preguntas del examen se construyen a partir de la MBE. Metodología Basada en Evidencias Se requiere la construcción de: dimensiones, acciones del estudiante y tareas con el fin de precisar la naturaleza de la competencia en análisis económico. - Dimensión o afirmación: Enunciado englobante que traduce una conducta no observable sobre lo que los estudiantes pueden hacer: comprende, conoce. - Acciones del estudiante o evidencias: Enunciado que representan conductas observables con las cuales se verifica una afirmación: selecciona, aplica, compara. - Tareas: Enunciado que representa acciones concretas que el estudiante realiza para mostrar que cumple una evidencia: Selecciona un concepto, compara dos teorías, realiza un cálculo. Para la competencia en análisis económico se definen: 3 Dimensiones 2 Acciones del estudiante por cada dimensión 16 Tareas Especificaciones de la prueba Análisis Económico Dimensiones de la competencia Acciones del estudiante 1.1. Selecciona los conceptos necesarios para la explicación de un fenómeno económico 1. Comprende los conceptos económicos asociados con un fenómeno económico 1.2. Aplica los conceptos necesarios para la explicación de un fenómeno económico 2.1. Interpreta las teorías y los modelos 2. Comprende las teorías económicas que que explican un fenómeno económico permiten explicar un fenómeno 2.2. Contrasta las teorías y los modelos económico para interpretar los fenómenos económicos 3. Comprende las diferentes herramientas cuantitativas que permiten el planteamiento de un problema económico y su solución 3.1. Aplica las herramientas cuantitativas que permiten establecer relaciones entre variables económicas 3.2. Interpreta los resultados cuantitativos obtenidos a partir de estudios de fenómenos económicos Algunas características de las especificaciones de la prueba 1. Los verbos. Comprende (no observable, nivel dos de la taxonomía de Benjamín Bloom: conocer, comprender, aplicar, analizar, sintetizar). Observables: Identificar, emplear, aplicar, utilizar, sustentar. 2. Las dimensiones “conceptos”, “teorías” y “herramientas” son categorías cognitivas que organizan las áreas curriculares: microeconomía, macroeconomía, pensamiento económico, historia económica y econometría. 3. Los fenómenos económicos en contextos específicos: son los escenarios que materializan la aplicación de los conocimientos a los cuales se enfrenta el estudiante que es evaluado: Ej: un consumidor que decide, una empresa que solicita un estudio, un alcalde que planea, gobierno que aplica una política. Puntajes Para calificar cuantitativamente las preguntas, el Icfes utiliza la Teoría de Respuesta al Ítem (TRI), y en particular el modelo de Rasch (1960). Elementos del modelo: - Cada pregunta tiene asociada una competencia (tarea, acción y dimensión) con una única respuesta. - El estudiante tiene ¼ posibilidades de acertar la respuesta correcta, independientemente de si posee o no la competencia. Cada respuesta (correcta o incorrecta) es independiente de las demás preguntas. - Si el estudiante utiliza la competencia, cuanto más alto sea el grado de dificultad de la pregunta, menor es la probabilidad de acertar. - El grado de dificultad de una pregunta se obtiene a partir de la cantidad de veces que los estudiantes que conforman el grupo de referencia la responde apropiadamente (entre menos estudiantes la respondan acertadamente mayor es el grado de dificultad). - La escala de puntaje adoptada por el Icfes es: promedio 10 puntos. ¿Cómo se interpretan los resultados? Los resultados se interpretan comparativamente. Existen dos métodos a) Por medidas de posición: quintiles (ya disponible para Análisis Económico) b) Por niveles de desempeño: niveles de logro de la competencia en análisis económico (pendiente por desarrollar para Análisis Económico) Ejemplo de desempeño por Quintiles Los quintiles Los estudiantes de los pregrado de Economía que presentan el módulo análisis económico constituyen un Grupo de Referencia. Esta población constituye el 100%. Cada estudiante obtiene un puntaje entre 7 y 18 puntos, los cuales se pueden clasificar desde los puntajes bajos hasta los puntajes más altos. Si se divide el 100% de la población en 5 partes del 20%, entonces se tienen 5 quintiles los cuales se pueden relacionar con los puntajes de la siguiente forma: Quintil I Puntajes bajos (cercanos a 7) Estudiante no logra la competencia en análisis económico Quintil II Quintil III Logro mediano de la competencia en análisis económico Quintil IV Quintil V Puntajes altos (cercanos a 18) Estudiante logra plenamente la competencia en análisis económico Quintiles Dado que el uso de quintales se establece respecto al Grupo de Referencia, la interpretación del puntaje por quintiles es relativo a ese grupo. Ejemplo: El Icfes informa que Yessica Yepes tiene un puntaje individual de 11.2 puntos, lo que permite ubicarla en el quintil III del Grupo de Referencia. Esto significa que Yessica hace parte del 60% de los estudiantes de Economía del país que obtuvieron un puntaje igual o inferior a 11.2, lo que permite decir que tanto Yessica como quienes se ubican en ese quintil III tiene un logro mediano de la competencia en análisis económico. Otra forma de interpretar sería: Yessica NO hace parte del 40% de los estudiantes de Economía que tuvieron un puntaje superior a 11.2. ¿Quién es el mejor estudiante de Economía del país? Quien tenga el puntaje más alto dentro del quintil V para un único grupo de referencia, pero dado que los puntajes son promedios, muchísimos estudiantes tendrán el mismo puntaje. ¿Cómo desempatar? Ejemplo de niveles de desempeño para el módulo de Análisis Económico Los niveles se establecen en función de los resultados pasados de la prueba. Se identifican las preguntas que tuvieron el mayor acierto estadístico (fáciles) y aquellas que tuvieron un menor acierto (difíciles). Dado que cada pregunta tiene asociadas competencias y subcompetencias, se pueden establecer niveles de logro. Nivel de desempeño Significado del nivel 4 Logra totalmente la competencia en análisis económico 3 Logra la competencia en análisis económico en un alto grado 2 Logra la competencia en análisis económico en mediano grado 1 No logra la competencia en análisis económico Resultados 2013 y 2014 Participación en Pruebas Saber Pro 2014 Según carácter de la IES Módulo Específico-Caracter institucional 0,78% 2,34% 11,72% %ESCUELA TECNOLOGICA % INSTITUCIÓN TECNOLÓGICA % INSTITUCIÓN UNIVERSITARIA % UNIVERSIDAD 85,16% Desempeño por competencias genéricas Estudiantes de Economía, 2013 30,0% 25,0% 21,4% Porcentaje de estudiantes 20,6% 20,0% 24,0% 22,9% 22,4% 19,06% 19,39% 19,21% 18,23% 19,58% 15,0% 10,0% 5,0% 0,0% RAZONAMIENTO CUANTITATIVO COMPETENCIAS CIUDADANAS LECTURA CRITICA % Estudiantes Q1 COMUNICACION ESCRITA % Estudiantes Q5 INGLES Desempeño en competencias genéricas Estudiantes de Economía, Ingeniería y Medicina 2013 11,2 11,02 11 10,93 10,8 10,8 10,63 Puntaje Promedio 10,6 10,63 10,56 10,5 10,57 10,54 10,4 10,23 10,17 10,2 9,97 10 9,8 9,6 9,4 ECONOMIA RAZONAMIENTO INGENIERIA COMUNICACIÓN ESCRITA MEDICINA LECTURA CRITICA INGLES Desempeño en competencias genéricas Estudiantes de Economía, Administración y Contaduría 2013 11,2 11,02 11 10,8 10,8 10,63 Puntaje promedio 10,6 10,5 10,4 10,2 10,2 9,96 10 9,97 9,96 9,94 9,91 9,86 9,76 9,8 9,6 9,4 9,2 9 ECONOMIA RAZONAMIENTO ADMINISTRACION Y AFINES COMUNICACIÓN ESCRITA LECTURA CRITICA CONTADURIA Y AFINES INGLES Desempeño en Análisis Económico Ranking nacional 2014 11,5 Promedio programa 11 10,5 10 9,5 9 8,5 Desempeño en Análisis Económico Desempeño ponderado en quintil 1 por Universidad 2014 % Estudiantes en Q1 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% Desempeño en Análisis Económico Desempeño ponderado en quintil 5 por universidad 2014 70,0% % Estudiantes en Q5 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% Desempeño Departamental Módulo Análisis Económico-2014 DEPARTAMENTO PROMEDIO ANTIOQUIA 10,45 BOGOTA 10,36* ATLANTICO 10,27 CALDAS 10,06 CORDOBA 10,01 HUILA 9,96 BOLÍVAR 9,95 CESAR 9,91 CAUCA 9,9 MAGDALENA 9,61 NARIÑO 9,58 SANTANDER 9,55 BOYACÁ 9,45 RISARALDA 9,44 META 9,42 VALLE 9,3 SUCRE 9,27 TOLIMA 9,25 QUINDIO 9,2 NORTE DE SANTADER 8,99 CASANARE 8,9 Las preguntas - Las preguntas son ejemplos concretos de las Tareas de la Tabla de Especificaciones de la Prueba. Por esta razón, las preguntas NO se construyen al azar, ni al gusto de los constructores . - Dado que el Saber Pro es un examen masivo, se utiliza el método de la selección múltiple de 4 opciones con una única respuesta. - Cada pregunta tiene asociado un grado de dificultad: alto, medio, bajo definido por el redactor de la pregunta, según área curricular. No es la dificultad estadísitica. - Las buenas preguntas son aquellas que verdaderamente evalúan. En dos sentidos: Evalúan a todos los estudiantes -los “buenos” y los “malos” (universalidad) y evalúan algo (las competencias definidas en las especificaciones de la prueba). - Es muy difícil redactar preguntas que satisfagan a todo el mundo! Ejemplos de preguntas contenidos en el Marco de Referencia del Módulo Acciones del estudiante Ejemplo de pregunta 1.1. Selecciona En un reciente estudio económico el Gobierno Nacional los dio a conocer a la opinión pública que existe una conceptos deficiencia en la oferta de bienes públicos puros, razón necesarios por la cual se decidió asignar más recursos financieros para la en la provisión de estos bienes. Para un analista explicación económico esto podría significar que aumentará la de un provisión de: fenómeno económico. A. televisión satelital. B. educación terciaria. C. puentes y carreteras. *D. leyes de la nación. 1.2. Aplica los conceptos necesarios para la explicación de un fenómeno económico. El concepto de reproducción simple hace parte de la contribución de Karl Marx a la teoría económica. Este concepto permite entender uno de los siguientes problemas económicos: A. El crecimiento positivo de un país con una composición orgánica de capital constante. B. La crisis en economías capitalistas con tasas de plusvalía iguales al 100% del costo salarial. C. La explotación laboral bajo el supuesto de una relación capital-trabajo constante. *D. La ausencia de crecimiento económico en razón del consumo improductivo de la plusvalía. 2.2. Contrasta las teorías y los modelos para interpretar los fenómenos económicos. Un país exportador de materias primas se encontraba en una situación de equilibrio externo hasta hace cinco años, momento a partir del cual una devaluación real de la tasa de cambio mejoró considerablemente su balanza en cuenta corriente. Un analista económico ha concluido que la razón por la cual esta devaluación ha hecho superavitaria la cuenta corriente, radica en que la cantidad demandada de exportaciones y de importaciones ha sido suficientemente sensible a la variación en la tasa de cambio real. Según lo anterior, el modelo económico más útil para entender el desequilibrio externo de este país es el: A. Clásico del comercio internacional. B. Keynesiano de determinación del ingreso *C. De elasticidades de Marshall-Lerner D. De switching de la balanza de pagos. 3.2. Interpreta los resultados cuantitativos obtenidos a partir de estudios de fenómenos económicos. Se estima un modelo de regresión por mínimos cuadrados ordinarios (MCO) para determinar los factores que influyen en las calificaciones en matemáticas de los estudiantes de una universidad, variable continua denotada como Calificación, la cual está en función de las variables Tamaño de la clase (número de estudiantes por curso), Percentil que ocupó el estudiante en su clase, puntaje de la prueba de Admisión y dos variables cualitativas: Mujer y Atleta. La variable Mujer es igual a 1 si el estudiante es mujer e igual a 0 si es hombre; Atleta es igual a 1 si el estudiante es deportista e igual a 0 en caso contrario. Los resultados se presentan en la siguiente tabla: Variable dependiente: Calificación Número de observaciones: 4137 Constante Tamaño de la clase (Tamaño de la clase)2 Percentil Admisión Mujer Atleta Error Coeficiente estánda Estadístico t r 1,2413 *** 0,0795 15,6162 -0,0568 *** 0,0164 -3,4770 0,0047 ** 0,0022 -0,0132 *** 0,0006 0,0016 *** 0,00007 0,1549 *** 0,0180 0,1693 *** 0,0423 2,0785 -23,0676 24,6399 8,6023 3,9979 Donde: * significancia al 10%, ** significancia al 5%, *** significancia al 1% R-cuadrado F(6, 4130) Log-verosimilitud Criterio Schwarz 0,292510 284,5891 -3426,329 6910,953 R-cuadrado ajustado Valor p (de F) Criterio de Akaike Criterio de Hannan-Quinn 0,291482 0,000004 6866,659 6882,333 Considerando un nivel de significancia del 5%, los resultados muestran que de acuerdo con *A. la prueba F, por lo menos una de las variables independientes explica la Calificación. B. la prueba t, la diferencia en el promedio de Calificación de atletas y no atletas no es estadísticamente significativa. C. la prueba t, el efecto del Tamaño de la clase sobre la Calificación es lineal. D. la prueba F, ninguna de las variables independientes explica la Calificación. Temas de temas por áreas curriculares (sin compromiso) II. Propuesta de evaluación por competencias en un curso de Macroeconomía 1. El syllabus y las competencias 2. Evaluación masiva/no masiva 3. Las preguntas Objetivo Diseñar una propuesta de evaluación por competencias académicas para un curso regular de macroeconomía, la cual sea coherente con los propósitos institucionales del curso y la disponibilidad de tiempo del evaluador (el profesor). El syllabus Es el instrumento institucional que orienta la formación de un estudiante, en el marco de los siguientes lineamientos: 1. Normativo: El Proyecto Educativo Institucional y el Proyecto Educativo del Programa (perfil profesional), los cuales se reflejan en los objetivos y las competencias académicas. 2. Curriculares: Créditos (D1295) en términos de: horas docencia directa en aula, horas de trabajo independiente, horas de acompañamiento con monitores o profesores auxiliares, prerrequisitos. 3. Cognitivos: el nombre del curso y la lista de temas que desarrollan se desarrollan en el curso, cronograma. 4. Pedagógicos: metodología: leer, escribir, investigar, o docencia magistral y otras actividades en aula y fuera. 5. Didácticos: uso de métodos en la enseñanza: Ej. Lecturas de bibliografía, Plataformas virtuales. 6. Evaluativos: examenes escritos, talleres, quices, cuestinarios, mapas conceptuales (individuales y grupales). Aquí se evalúan para verificar el logro de las competencias del lineamiento normativo. EJEMPLO Evaluación por competencias Los syllabus deben ser cortos en sus propósitos y realistas para que se puedan cumplir. De lo contrario, una evaluación por competencias solo agrega a los “lindos propósitos”. Tabla de especificaciones del curso Macroeconomía Ejemplos de preguntas según tipo de actividad Recomendaciones para la construcción de pregunta por selección múltiple. Pasos en la elaboración de una pregunta por competencias 1. Seleccione una dimensión y una Acción. 2. Imagine un contexto hipotético: una empresa, la decisión de un trabajador, la política de un gobierno, un problema del Banco Central, las cifras publicadas por el Dane, el comportamiento de un mercado, la noticia de un periódico, los resultados de un estudio económico etc. 3. Redacte la pregunta teniendo en cuenta la aplicación de la Acción en el contexto definido, y piense de inmediato la respuesta correcta para verificar si cumple la Acción. 4. Elabore las opciones de respuesta incorrectas teniendo en cuenta que éstas deben tener la misma probabilidad de elección que la respuesta correcta (ver). 5. Defina el grado de dificultad de la pregunta. Algunas técnicas de elaboración de las opciones de respuesta 1. Verifique que la respuesta correcta si sea correcta (estar seguro de veracidad). 2. Las opciones de respuesta deben tener la misma probabilidad de ser elegidas. Se sugiere que tenga características comunes como su extensión o el uso de palabras con cierta simetría (sube, sube, baja, baja) o (sube, baja, constante, no se sabe). 3. No repetir la misma palabra en cada opción de respuesta. 4. Evitar: “todas las anteriores”, “ninguna de las anteriores”. 5. Evitar opciones de respuesta fácilmente descartables. Bibliografía Becker, W., Watts, M. (Eds) (1998) Teaching Economics to Undergraduates: Alternatives to Chalk and Talk, Edward Elgar, Cheltenham. Hansen, L. (2001), Expected proficiencies for Undergraduate economics Majors, The Journal of Economic Education, 32, (3), The Scholarship of Teaching Economics (Summer), p.231-242 Walstad, W. P. Saunders (Eds) (1998) Teaching undergraduate economics: A handbook for instructors, New York: McGraw-Hill.