LA EVALUACION DEL POSGRADO DESDE LA PERSPECTIVA DEL ALUMNO Felipe Tirado * Javier Nieto * Leonardo Reynoso * César Carrascoza * Introducción Los objetivos de este trabajo se enmarcan dentro de un conjunto de acciones llevadas a cabo por la División de Estudios de Posgrado de la ENEP Iztacala, las cuales están encaminadas al desarrollo de un sistema integral de evaluación. Consideramos que una tarea substancial para el desarrollo académico de la universidad, es el poder ir gestando un sistema integral de evaluación, y que este sistema de evaluación esté articulado de manera estructural a un sistema de promoción y estímulo al desempeño académico. Consideramos que parte de la esencia de toda universidad está en su planta docente. El esfuerzo desempeñado por el profesor, su dedicación, su entrega a las tareas del quehacer universitario, deben ser factores de reconocimiento y en justa correspondencia deben ser recompensados y utilizados como criterios para la promoción en el escalafón de contratación, con apoyo presupuestario diferenciado para el desarrollo de los programas de investigación que realiza, y con estímulos económicos anuales; tal y como ahora se aplica en la Universidad Autónoma Metropolitana, donde de acuerdo a los puntajes que el profesor logra obtener a partir de un sistema de evaluación, se le puede llegar a conceder 2, 4, o hasta 6 quincenas extras de salario al año, lo que sin dudas constituye un excelente estímulo en reconocimiento a su desempeño. Si el profesor demuestra dedicación, responsabilidad y capacidad, no se debe ser ante esto indiferente, como ahora generalmente ocurre. Apreciemos y retribuyamos en justo reconocimiento a su esfuerzo. El planteamiento anterior nos lleva necesariamente a considerar un sistema general de evaluación para poder, de alguna manera, estimar el desempeño docente. Con justa razón algunos profesores suelen resistirse a aceptar mecanismos burocráticos de evaluación, como el simple hecho de firmar o checar una tarjeta, lo cual se debe reconocer, poco dice. Evaluar el desempeño docente, de los alumnos, de la investigación, de los egresados, de las instancias académico administrativas, etc., representa sin duda un problema complejo. Pero si se quiere resolver este problema, necesariamente debemos actual y empezar formulando proposiciones, aunque sea, aventurando alternativas que sólo puedan constituir una base para la discusión colectiva, que sirve para irse gestando un sistema general de evaluación consensuado. Estas son las intenciones generales en que se inscribe este trabajo. * División de Estudios de Posgrado, UNAM. ENEP-Iztacala Consideramos que un sistema general de evaluación debe contemplar, como uno de sus elementos, las opiniones que los alumnos desarrollan sobre los distintos aspectos de la universidad a partir de sus actividades propias de estudiantes. Los alumnos tienen la situación más adecuada, e incluso única, para poder observar el funcionamiento del proceso educativo en sus condiciones naturales de ocurrencia, porque los alumnos son testigos de todo el proceso educativo, lo observan desde adentro y pueden constituir puntos de vista, opiniones y apreciación de los alumnos como agentes de evaluación constituyen elementos necesarios e insustituibles. Por estas razones decidimos desarrollar una investigación para conocer las opiniones de los alumnos. Investigación En este artículo se reporta una investigación que llevamos a cabo con los alumnos que actualmente están estudiando en los programas de la División de Estudios de Posgrado de la ENEP Iztacala. En el trabajo se reportan los resultados obtenidos a partir de las opiniones de los alumnos con respecto a cómo evalúan sus estudios. En el trabajo de Carrascoza, Reynoso, Nieto y Tirado, reportamos los resultados encontrados sobre el desempeño de los alumnos de la División con base en las calificaciones que han quedado asentadas en actas. Método Al pretender evaluar, inevitablemente se recurre a valores y estimaciones que se fundamentan en apreciaciones subjetivas. No obstante esta dificultad, es posible reconocer que hay grados de subjetividad y formas que pueden resultar más acertadas que otras para aproximarse a una evaluación menos subjetiva. Una manera de empezar puede ser la de ir reconociendo y estableciendo los factores que suelen ser generalmente aceptados como los más relevantes, tales como: que el profesor se presente a sus actividades, que esté actualizado, que tenga una formación teórica adecuada, que los contenidos de la asignatura estén definidos, que sean adecuados, que se tenga un programa y se cumpla, etc. Definidos estos factores, se puede tratar de detectar cuáles son las tendencias más generales e importantes de acuerdo a las opiniones de los alumnos, de manera tal que se puedan ir desarrollando pautas de comparación y evaluación. Con base en estas consideraciones, formulamos un cuestionario que inquiere sobre las opiniones que se tienen sobre los factores que pensamos se relacionan de manera importante con la formación del estudiante. Posteriormente sometimos el cuestionario a la consideración de los coordinadores de los programas y se aplicó a un grupo de estudiantes para que hicieran sus observaciones. Con base en las consideraciones recabadas, se formuló una versión final del cuestionario, la cual contiene 126 preguntas, de las cuales, en su gran mayoría son de opinión, la que se pide sea expresada por medio de una escala que va del 0 al 4, con las siguientes equivalencias: 0 = muy mal, 1 = mal, 2 = regular, 3 = bien, y 4 muy bien. En las preguntas de opinión se solicita que se evalúen aspectos tales como: la asistencia del profesor, su puntualidad, su preparación, la pertinencia de los contenidos, su actualidad, su complejidad, el funcionamiento de los elementos de apoyo académico administrativos, la biblioteca, etc. La otra parte de preguntas inquieren sobre las características generales de los encuestados, tales como: cuál programa están cursando, cuándo ingresaron, cuántos semestres han estudiado, qué calificaciones han obtenido, si tienen tutor, etc. Todos los cuestionarios fueron anónimos, de manera que los alumnos se pudieran expresar con toda libertad y confianza. También se preservó el anonimato de los profesores y las asignaturas que se evaluaban, de manera que no despertara la suspicacia o resistencia de los profesores y poder así obtener una primera visión. Resultados Se encuestaron 56 alumnos que actualmente están cursando estudios en la División de Estudios de Posgrado de la ENEP Iztacala, los cuales representan alrededor del 93% de los alumnos matriculados en el semestre 89-2. El 7% restante no fueron encuestados por no encontrarse en la Escuela cuando se aplicaron los cuestionarios. Los datos de los cuestionarios fueron capturados en equipo de cómputo y se obtuvieron las distribuciones y porcentajes de prepuestas dadas a cada pregunta y opción. Estos resultados se obtuvieron para la población en general (56 casos) y para cada uno de los 7 programas que integran la División de Posgrado. Entre los resultados generales más sobresalientes podemos destacar los siguientes: De los 56 encuestados, el 38% cursaban su primer semestre, 29% el segundo y el restante 33% estaban cursando entre el tercero y quinto semestre. Los encuestados en promedio habían estudiado 2.6 semestres, suelen inscribirse a 3.9 asignaturas en promedio cada semestre, lo que significa que en términos generales son alumnos de tiempo completo. En el presente semestre están estudiando 4.4 asignaturas en promedio y ya han cursado en promedio 10.2. De las calificaciones que han obtenido, manifiestan que el 42% son MB, 39% B, 12% S, 4% NA y 3% NP. En el trabajo de Carrascoza, Reynoso, Nieto y Tirado, exponemos estas mismas cifras, pero obtenidas a partir de las calificaciones asentadas en actas de todos los alumnos que se han matriculado en la División desde su inicio. Las cifras son similares a las reportadas por los alumnos, con excepción de los NPs, lo cual resulta lógico, ya que los desertores, que son los que más acumulan este tipo de notas, obviamente no contestaron nuestra encuesta. De los 56 alumnos encuestados, el 69% está realizando investigación (o lleva una práctica) y la calificación con: muy bien el 20% muy mal el restante 2.6%. Consideran que los cursos teóricos apoyan la investigación muy bien el 19%, bien el 55%, regular el 24% y el restante 2% mal. El 85% manifiesta que la investigación que se realiza no ha tenido difusión. A pesar de que las estimaciones sobre la investigación o prácticas que se realizan, no parecieran ser cifras que reflejen un estado de llamar la atención, si se comparan éstas con todas las demás de la encuesta, sí resultan ser entre las menos favorables. Los estudiantes encuestados reportan tutor en el 75% de los casos. De los que tienen tutor, el 50% dice entrevistarse por lo menos una vez a la semana con su tutor, y para el 72% las entrevistas suelen tener una duración de por lo menos una hora. Califican a las tutorías como muy bien el 72%. El porcentaje de alumnos con tutor nos parece muy aceptable, ya que hay que considerar que el 10.7% (6) son alumnos de una especialidad y por lo tanto no tienen ni deben tener tutores, y un 385 están apenas estudiando su primer semestre. En cuanto a cómo evalúan los alumnos la calidad de las asignaturas, con respecto a: la pertinencia de los contenidos, su actualidad, complejidad, conocimientos adquiridos, organización, dinámica del curso, aprovechamiento del tiempo en clase y personalmente; las opiniones, en promedio, fueron en el 42.8% de los casos como muy bien, como bien en el 37.5% como regular en el 14.8%, como mal en el 3.1% y como muy mal en el 1.8% de las veces. Consideramos que estas cifras son bastante aceptable en lo general, sin embargo, los coordinadores de programa junto con la División, deberemos ahora tratar de investigar los casos particulares de por lo menos ese 4.9% de opiniones que estiman que la situación es mala o muy mala, para planear acciones correctivas cuando proceda. En cuanto a la puntualidad del profesor, su asistencia, preparación teórica, preparación práctica, habilidad didáctica, actualización, presentación de programas, cumplimiento del programa, presentación de procedimientos de evaluación, cumplimiento con los procedimientos de evaluación, y la adecuación de la evaluación: en el 58.8% de los casos opinaron que ésta muy bien, 25.4% bien, 11.3% regular, 2.4% mal y 2% muy mal. Estas cifras indican que en un 84.2% de los casos la situación es aceptable, ya que se opinó que está bien o muy bien, lo que nos da indicadores de que las cosas están marchando en términos generales de manera muy aceptable; pero como ya lo mencionamos antes, ahora deberemos investigar junto con los coordinadores de programa, qué pasa particularmente con ese 2.5% de los casos en que opinan que la situación es mala o muy mala, para así detectar los problemas y buscar medidas correctivas. En el 91% de los casos los alumnos reportaron haber sido atendidos por los profesores titulares y sólo en el 95 de los casos por asistentes. El 39% de los alumnos desconoce cual debería de ser el perfil del egresado, lo que indica una falta de difusión adecuada de los propósitos de los programas. Para el 3.7% sus estudios cubren mal las expectativas que tenían, para el 31.5% le parece que se cubren de manera regular y para el restante 64.8% de forma adecuada (bien o muy bien); esto consideramos que también es producto de que la difusión de los programas no es del todo adecuada. Hace unos seis meses la División imprimió un nuevo folleto en que se explican los objetivos generales de cada programa y las líneas de investigación más importantes que se desarrollan en cada uno de ellos; esperamos que su difusión pueda aminorar este problema. Los puntajes más bajos obtenidos fueron al evaluar la biblioteca de la Escuela y las condiciones materiales de infraestructura, los cuales fueron, para el caso de la biblioteca, 1.8% muy mal, 16.4% mal, 40% regular y el restante 41.8% entre bien y muy bien; para el caso de la infraestructura, 1.8% muy mal, 12.7% mal, 38.2% regular y el restante 47.3% entre bien y muy bien. Estas cifras son reflejo, de alguna forma, de las carencias económicas de la Escuela, no obstante los resultados ya fueron remitidos a la Dirección para que sean considerados. En cuanto al desempeño de las funciones académico-administrativas por parte de la coordinación de cada uno de los programas, fueron evaluadas por el 72.2% de los casos como buenas o muy buenas, en el 19% como regulares, en el 8% como malas y en el 1% muy malas. Los resultados ya fueron entregados a todos los coordinadores y esperamos los consideren y actúen en correspondencia. En cuanto al desempeño de las funciones académico-administrativas por parte de la División, éstas fueron evaluadas por el 78% de los casos como buenas o muy buenas, en el 19% de los caso como regulares, en el 2% como malas y en el 0.5% como muy malas. Con base a estos resultados convocamos a los alumnos a que por favor nos comuniquen, de manera anónima por escrito, o bien personalmente, las razones concretas de por qué consideran que las funciones desempeñamos se hacen de manera regular, mal o muy mal; y que nos sugieran alternativas de solución. En síntesis podemos decir que en términos generales las opiniones de los alumnos son favorables, ya que alrededor del 40% de los casos opinaron que está muy bien y otro 40% bien. No obstante lo alentador de estas cifras, no podemos dejar de ver que son producto de las opiniones de los alumnos activos, es decir de aquellos que están cursando sus estudios y por lo tanto podrían estar sesgadas favorablemente, ya que no se están considerando las opiniones de los egresados ni de los desertores, las que no parecen son muy importantes por diversas razones. Las opiniones de los egresados son particularmente interesantes porque conocen todo el proceso y ahora confrontan sus expectativas y habilidades en el ejercicio profesional, además podrían sentirse más libres para opinar al no sentir ninguna presión por parte de profesores o autoridades, si es que las hay cuando se es alumno. Actualmente estamos ya elaborando una investigación para explorar las opiniones de los egresados. Las opiniones de los desertores no dejan de ser también muy importantes, porque entre ellas probablemente están las opiniones más críticas y que posiblemente fueron las razones que les llevaron ala conclusión de abandonar sus estudios. Puede ser que muchas de sus críticas están planteadas con fundada razón. Poder conocer sus opiniones ofrecería sin duda elementos importantes de reflexión, para localizar al desertor y obtener su colaboración es una tarea difícil y costosa. No obstante a futuro pensamos que debemos incursionar en el rescate estas opiniones que ahora nos son desconocidas. Conclusiones La evaluación por la evaluación no tiene sentido. El sentido de ser de un programa de evaluación está en permitir detectar qué tanto se cumplen con los propósitos que se tienen y dónde estriban los problemas que obstruyen o dificultan el que los objetivos se cumplan, para de esta manera poder ir formulando alternativas de solución. La evaluación la entendemos como fuente para la acción correctiva y no para la simple crítica estéril. Como ya lo advertimos, creemos que los alumnos tienen la situación más adecuada, e incluso única, para poder observar el proceso cotidiano del quehacer universitario en las aulas sin alterarlo y desde adentro. Por ello consideramos que la participación de los alumnos como agentes de evaluación debe ser sistemáticamente recogida y utilizada en al estructura general del proceso de evaluación. Es cierto que las opiniones de los alumnos, como toda otra opinión, son subjetivas y se pueden ver seriamente condicionadas por las experiencias personales que se tienen. Por ejemplo, es pertinente pensar que el alumno que reprueba genere opiniones muy diferentes de las de aquél que obtiene la mejor nota. Igualmente es posible pensar que si la evaluación puede tener repercusiones importantes sobre el profesor, los alumnos podrían opinar con intenciones de venganza o por perjudicar, o bien al revés, opinar favorablemente a partir de un discurso persuasivo o bajo presiones, o aun amenazas, de algún profesor. No obstante lo anterior, estos problemas pueden ser atenuados por diversos medios. Si se establece como una práctica cotidiana el recoger las evaluaciones hechas por los alumnos cada semestre, de manera anónima y por medio de un buzón, y se forman bases de datos, será posible ir obteniendo pautas estadísticas que permitan detectar cuándo y dónde se presentan variaciones significativas en contraste con las medias, o por lo extremo de las contradicciones que se den entre las distintas opiniones de los alumnos. Por ejemplo, pensemos que un profesor es calificado en su asistencia como “muy mal” por el 15% de los alumnos, como “mal” por el 25%, como “regular” por el 40% y como “bien” por el 20% restante: se pueden tener elementos para pensar que el maestro es faltista, pero si se compara con su historia de registros y se observa que el profesor ha calificado en promedio durante toda su historia docente, en cuanto a su asistencia, con “bien” o “muy bien” en el 90% de los casos, se pueden tener elementos para pensar que en el último semestre tuvo un problema particular. De manera análoga se puede hacer un análisis y tomar con las debidas reservas las opiniones que surgieran de un alumno, si éstas son extremas, aisladas y muy alejadas de las medias del grupo y de la historia académica del profesor. Las extraordinarias facilidades que ahora brindan los equipos de cómputo, permiten hacer este tipo de análisis de manera sistemática, confiable, rápida y económica. Cuáles son los pesos que se le debe otorgar a la opinión de los alumnos es algo difícil de establecer. Pensamos que el peso relativo de las evaluaciones de los alumnos es algo que se debe establecer a partir de la experiencia, ya que en la medida en que se desarrollen experiencias, se expongan sus resultados a la consideración de la comunidad universitaria, y se abran espacios de diálogo donde se vayan formulando nuevas alternativas, se podrá ir ajustando, y de esta forma gestando, un sistema consensuado de evaluación. Pensamos que para el desarrollo académico de las universidades se debe de conformar un sistema general de evaluación, que en este sistema se debe de considerar las opiniones de los alumnos, pero también, la de los egresados y desertores: para que sean éstas aunadas a la evaluación del desempeño docente con base en la investigación realizada, de las publicaciones logradas, del número de tesistas graduados, de la difusión de sus trabajos en congresos, etc. A partir del sistema de evaluación consideramos que se debe de advertir el mérito académico y éste debe de ser reconocido con menciones, retribuido con ascensos escalafonarios y con la asignación diferenciada del presupuesto, de tal manera que se apoye el desarrollo de las actividades docentes y de investigación de aquellos que se hagan acreedores. Como ya lo advertíamos, creemos que parte insustituible de la esencia de toda universidad está en sus profesores. El esfuerzo desempeñado por el profesor, su dedicación, su entrega a las tareas del quehacer universitario, deben ser factores de reconocimiento y en justa correspondencia, deben ser recompensados con estímulos. La experiencia del sistema Nacional de Investigadores, ahora también la del modelo de la Universidad Autónoma Metropolitana, son buenos ejemplos de cómo se pueden desarrollar tabuladores, para que de acuerdo a los puntajes que el profesor logre obtener a partir de su desempeño, se le concedan estímulos económicos, pongamos de 2, 4, o hasta 6 quincenas extras de salario al año. No podemos desconocer que la Universidad es acosada por la apatía, la burocracia, el multichambismo, la indiferencia; que los cuadros docentes más formados, capaces y responsables irán emigrando hacia otras instituciones si se continúa con la indiferencia por el desempeño y bajos salarios. Actuar para desarrollar cambios estructurales que abatan esta problemática y fortalezcan la planta docentes constituye una necesidad impostergable, empecemos a actuar en este sentido.