un proceso cuanticualitativo para describir realidades educativas.
Anuncio
LA EVALUACION: UN PROCESO CUANTICUALITATIVO PARA DESCRIBIR REALIDADES EDUCATIVAS Lic. Haydée PÁEZ de DE SOUSA Profesora de la Facultad de Ciencias de la Educación Universidad de Carabobo Casi todo lo que llamamos razonamiento consiste en encontrar argumentos para seguir creyendo lo que creemos James H. Robinson A MANERA DE PRESENTACIÓN La evaluación es un campo influenciado por muchos factores que, en menor o mayor grado condicionan la marcha de todo el proceso educativo. Es una tarea compleja tanto en la adopción de posturas teóricas que orienten la toma de decisiones como en la praxis pedagógica. La evaluación no sigue pautas únicas de orientación en virtud de la abundancia y heterogeneidad de criterios, posturas y filosofías cultivadas por el personal involucrado en ese proceso. Si algún aspecto ha de considerarse importante en el proceso educativo es el relativo a la evaluación de dicho proceso, sus fases, métodos, procedimientos, técnicas, recursos, etc. Evaluar ha sido tradicionalmente sinónimo de examinar, medir exclusivamente el rendimiento estudiantil. Pero la evaluación debe referirse no sólo al grado en que el alumno aprende un conjunto de habilidades o un tipo de conocimiento, sino debe también responder al porqué debe aprender esto y no aquello, qué ha aprendido además de lo establecido por el docente o institución y qué ha dejado de aprender. Esto indudablemente requiere de un tipo de información distinta a una cuantificación, requiere de una información de tipo cualitativo. La evaluación educacional requiere entonces una metodología sensible a las diferencias, a los acontecimientos imprevistos, al cambio, al progreso, a las manifestaciones observables y a los significados subyacentes. Una metodología basada en el anverso de los presupuestos del paradigma positivista, psicoestadístico de evaluación educacional, una metodología que vaya de la generalización estadística basada en las medidas de tendencia central al estudio de lo ideosincrático; de la operacionalización de las variables a la consideración de la vida como un sistema abierto, complejo, humano y por lo tanto complejo y cambiante; de la necesidad de control riguroso de las variables a la observación directa y flexible de la vida natural del proceso educativo. Admitiendo que no es ésta la concepción de evaluación dominante en nuestra realidad educativa se presentan en este trabajo dos posturas o enfoques metodológicos inscritos dentro de las metodologías cualitativas de evaluación educacional: la crítica artística y el naturalismo. ACERCA DE LA EVALUACION EDUCACIONAL Según Pérez Gómez (1985), el concepto de evaluación es uno de los que más ha sufrido los rigores de la estrechez positivista. Desde Bobbit (1918) con sus mas de quinientos objetivos que debían ser acometidos por la escuela para formar un ciudadano apto para vivir en democracia, pasando por Mager (1962), Thomdike (1971), De Landsheere (1981) y otros, el concepto de evaluación se ha restringido de tal manera que, para la mayoría de los educadores e investigadores se refiere simplemente al proceso de medida del éxito de la enseñanza en términos de las adquisiciones observables de los alumnos. Evaluar ha sido entonces, históricamente, sinónimo de examinar, y el examen concierne casi exclusivamente al alumno en lo que a su rendimiento se refiere. De esta concepción provienen los conceptos de la evaluación por objetivos, enfoque sistémico de evaluación y otras posturas metodológicas comunes en este campo. Más, cualquiera metodología de evaluación está basada en las ciencias sociales. La evaluación es un proceso de enjuiciamiento humano aplicado a los resultados de un objeto o ente examinado. Y este proceso de enjuiciamiento debe considerar todos los factores, incluido lo evaluado, que pudieran haber producido los efectos observados, ya que todo comportamiento humano es complejo y multi causal. Los evaluadores, cualquiera sea el criterio metodológico asumido para conducir la evaluación, tratan de observar las reglas de la investigación científica porque asumen que están buscando la verdad acerca del programa o ente evaluado y que encontrarla depende de los esfuerzos que haga. LA EVALUACION EDUCACIONAL Y LOS ENFOQUES ALTERNATIVOS La estrechez del paradigma positivista en sus aplicaciones a la elaboración y evaluación de proyectos educativos ha conllevado al desarrollo paralelo de los llamados enfoques alternativos con presupuestos éticos, epistemológicos y teóricos bien diferentes. A partir de la década de los sesenta se produjo un rápido y acelerado incremento del interés por la posición o perspectiva llamada evaluación cualitativa, representada por autores como Scriven (1967), Stake (1967), Cronbach (1972), Parlett y Hamilton, (1972), Mc Donald (1976), Eisner (1981), Guba (1983). Tal auge o interés se debió en gran medida al reconocimiento de que los tests o pruebas estandarizadas de rendimiento no eran el mejor medio para tratar de explicar el porqué los profesores enseñan lo que enseñan y los alumnos aprenden lo que aprenden. Esta evaluación cualitativa se apoya en las siguientes características: - - - La objetividad en la ciencia y en la evaluación es siempre relativa y de ninguna forma puede considerarse su objetivo central ni prioritario. La ciencia trata de comprender la realidad y la evaluación entender y valorar los procesos y resultados de un programa educativo. Esta comprensión, como empresa humana intencional y tentativa, está sujeta a limitaciones y errores. Interpretar una situación donde interactúan hombres con intencionalidad y significados subjetivos requiere tomar en consideración las diferentes posiciones, opiniones e ideologías mediante las cuales los individuos interpretan los hechos y reaccionan en los intercambios. Ni la educación ni la evaluación pueden concebirse desligados de los valores. La evaluación no puede estar circunscrita a una tarea aséptica de determinar en qué medida se han logrado unos objetivos preestablecidos, observables y cuantificables. Como lo señala Eisner (1981), los profesores y la escuela como institución enseñan más de lo que se proponen y hay que buscar ese más, su porqué y como se dan, tarea que va más allá de la simple determinación de la medida en que se han logrado unos objetivos. - - - El objetivo de la evaluación no se restringe a las conductas manifiestas, a los efectos previsibles y a los resultados a corto plazo. Los efectos secundarios y a largo plazo son a veces tanto o más importantes. Si se busca la comprensión de significados, los resultados a considerar serán los procesos de pensamiento, análisis, interpretación, capacidades complejas de investigación, comprensión y solución de problemas, los cuales no pueden limitarse a simples mediciones de la conducta observada. Comprender el significado de productos complejos, explícitos y ocultos requiere un cambio del énfasis en el producto a un énfasis en los procesos. Los métodos cualitativos de evaluación están orientados en gran medida para enfocar los procesos de la práctica educativa, con el objeto de proporcionar información para la formulación y reformulación racional de ¡atarea didáctica. La búsqueda de significados y procesos supone la traslación desde las generalizaciones estadísticas al análisis e interpretación de lo singular e irrepetible. La evaluación centrada en los procesos de enseñanza-aprendizaje intenta capturar la singularidad de los hechos concretos, las características particulares que definen una situación y que pueden considerarse responsables del curso de los acontecimientos y de los resultados de la actividad en el aula. La evaluación cualitativa requiere pues una metodología sensible a las diferencias, a los acontecimientos imprevistos, al cambio y al progreso, a las manifestaciones observables y a los significados latentes, a la consideración de la totalidad de la vida peculiar de un sistema abierto, cambiante, complejo, a la observación directa, abierta y flexible de la naturalidad del aula, a la sensibilidad para el cambio previsto e imprevisible. La evaluación cualitativa incorpora pues, el conjunto de técnicas, orientaciones y presupuestos de la metodología etnográfica, de la investigación de campo de la Escuela de Chicago. Su propósito es comprender la situación estudiada mediante la consideración de las interpretaciones, intereses y aspiraciones de quienes en ella interactúan, para ofrecer la información necesaria e intervenir del modo más adecuado. Todo ello, porque la finalidad de la educación según Sten" house (1988) es desarrollar la comprensión de situaciones sociales, de actos humanos y de las discusiones sobre valores controversiales sostenidas por un grupo. Así, el informe de evaluación debe proporcionar información sobre lo evaluado respetando la intimidad de todos los que participan en el hecho educativo. Los datos e informaciones deben contrastarse desde la perspectiva de los diferentes grupos implicados, dentro de un proceso de triangulación (Elliot,1988), en tanto según este autor, la validez de cualquier evaluación descansa en su utilidad para aquellos que realmente influyen en la realización del programa. Los enfoques de investigación cualitativa son parte del paisaje intelectual de la evaluación educativa y no constituyen una entidad monolítica pues existen diversos enfoques: orientados artísticamente, fenomenológicos, naturalista, iluminativa, etc. En la actualidad se da un pluralismo metodológico y epistemológico en la evaluación educacional por lo que se puede hablar de una revolución científica silenciosa en este campo y todo se debe al cambio en los paradigmas subyacentes en el método y la finalidad de la investigación educativa. Los evaluadores se están alejando del paradigma positivista y acercándose a la aceptación y al uso de conceptos y técnicas fenomenológicos o cualitativos. Como en cualquier cambio en la ciencia, el giro es gradual, haciendo consideraciones de tipo objetivo y subjetivo. Aún los proponentes del enfoque positivista como Campbell (1988) han aceptado que cuando las evaluaciones cualitativas sean contrarias a los resultados cuantitativos, éstos deben mirarse con suspicacia hasta que las razones de las discrepancias sean bien entendidas. Si un evaluador conoce los diversos enfoques cualitativos y está consciente dé las consecuencias que puede traer mezclarlos, puede entonces combinar diferentes enfoques al realizar un estudio ya que la validez de un enfoque cualitativo aumenta cuando se utilizan técnicas propias de una u otra posición metodológica. ENFOQUES CUALITATIVOS DE EVALUACION EDUCACIONAL Dentro de los enfoques cualitativos de evaluación educacional se presentarán en este reporte el modelo de evaluación basado en la crítica artística propuesto por Elliot Eisner (1981) y el modelo naturalista de evaluación educacional propuesto por Egon Guba e Yvonna Lincoln (1983). EVALUACION EDUCACIONAL BASADA EN LA CRITICA ARTÍSTICA Este modelo propuesto por Eisner (1981) rompe definitivamente con los modelos experimentales de evaluación educacional. Es uno de los modelos de enjuiciamiento que utiliza el ser humano como instrumento de medición. La recolección de los datos, su análisis, procesamiento e interpretación se producen dentro de la mente del juez y por lo tanto no están sujetos a la observación directa de los demás. Todo proceso de enjuiciamiento se hace dentro del cerebro del juez basándose en la crítica educativa que ese juez haya internalizado en virtud de su entrenamiento y experiencia. El mismo se fundamenta en la concepción de la enseñanza como arte y de la tarea del docente como la tarea del artista. "El evaluador es un experto en educación que interpreta lo que observa tal y como ocurre en un medio cultural lleno de significados". (Esner, 1981, p. 7). Señala este autor que las prácticas educativas, como trabajo artístico que son, son extremadamente complejas. El crítico, en virtud de su formación, es capaz de apreciar las características y cualidades del fenómeno estudiado, con mayor profundidad que un laico en el área. Esa interpretación indudablemente depende de la comprensión del contexto, de los símbolos, reglas y tradiciones de los que participa cualquier persona, objeto, fenómeno o acontecimiento. La finalidad de la crítica no es discernir sobre el carácter y las cualidades constitutivas del ente evaluado sino informar en términos lingüísticos sobre lo que ha encontrado, de manera que los que no son expertos en el área puedan entender también lo acontecido. La función de la crítica es educativa. La crítica educativa, entonces, toma la forma de un documento escrito cuya finalidad es ayudar a otros a ver, comprender y valorar la calidad de la práctica educativa y sus consecuencias. Ese documento está constituido por tres aspectos: 1. La Descripción. En este primer aspecto se presenta una descripción viva y detallada de la situación. Contiene un enfoque factual y otro artístico. En lo factual, el evaluador presenta información de lo acontecido en el aula con profesores y alumnos. En lo artístico le corresponde presentar de tal modo la información que realmente trasmita al lector las emociones y sentimientos registrados. Como las emociones juegan un papel importante en la comprensión debe utilizar el lenguaje de modo que revele la riqueza del proceso a través de ellas y de la representación de los hechos. 2. La Interpretación. El evaluador da cuenta de las interacciones que percibe en las interacciones escolares. Interpretar supone buscar significados, entender lo que ocurre más allá de lo observable, inferir y detectar interacciones complejas y latentes. 3. El Enjuiciamiento. El tercer aspecto se refiere a la emisión de juicios de valor acerca de los méritos educativos de lo que ha sido descrito e interpretado. La evaluación en todo caso significa valorar situacionalmente, no con criterios estándar, universales y definitivos, sino en función de las peculiaridades que singularizan y definen cada situación educativa concreta. La crítica educativa es esencialmente cualitativa y procesual, sensible a las características del aula, singular, relevante y debe mostrar las relaciones que definen el comportamiento de las personas y el desarrollo de los procesos. Este enfoque requiere del evaluador un entrenamiento adecuado, una experiencia directa y una potente preparación teórica. Estas condiciones son necesarias para desarrollar satisfactoriamente este tipo de evaluación cualitativa. La crítica educativa cuestiona los supuestos del paradigma positivista en la definición única y excluyente de los conceptos de confiabilidad y validez de los instrumentos y procedimientos de recolección de datos. Para Eisner, si estos procedimientos están predeterminados, estarán también contaminados por los presupuestos teóricos de partida. Para él, la validez interna y externa de la evaluación se consiguen a través del proceso de corroboración estructural y adecuación referencial. La corroboración estructural se refiere a que todas las piezas deben encajar perfectamente como en un rompecabezas. Así, los participantes contrastan sus opiniones, comparten sus significados y reformulan sus criterios. De esa contrastación emergen nuevos significados y sentimientos compartidos. Es esa corroboración estructural la que proporciona validez a la evaluación realizada por el crítico. Por su parte, la adecuación referencia¡ alude a la posibilidad de encontrar en el programa criticado las características a las que apunta la crítica; es la contrastación empírica de la crítica con el fenómeno y su resultado debe capacitar a los participantes para percibir lo que de alguna otra manera estaría oculto. El propósito fundamental de la crítica educativa entonces, es reeducar la capacidad perceptiva, la comprensión y valoración de aquellos que participan en los programas o experiencias educativas (docentes, educandos, directivos), retratándoles de manera viva y profunda las situaciones y procesos, actuaciones y cualidades emergentes sobre la consideración de los resultados, la búsqueda de significados sobre la constatación de la eficacia; en resumen, la evaluación mediante la crítica artística pretende conceptualizar la enseñanza más como un proceso artístico que como un proceso tecnológico. La crítica artística como metodología de evaluación educacional propuesta por Eisner tiene el mérito de haber sido la primera en romper con el uso del paradigma científico en evaluación (Guba and Lincoln, 1983) abriendo una nueva ventana para estudiar la práctica educativa. No obstante, este modelo tiene sus puntos débiles en tanto no proporciona una orientación operacional al evaluador que lo va a seguir y coloca todo el peso del éxito del proceso en la capacidad o competencia del evaluador. Realmente pocos pueden ser totalmente expertos en el campo tal como lo exige el enfoque, aún cuando se reconozca que, ciertamente, los profesores actúan como expertos en la enseñanza cuando, en el aula, pasan de un contenido programático a otro o de una actividad instruccional a otra porque juzgan que los estudiantes han logrado aprender o dominar el objetivo perseguido (Eisner,1977). Realmente, es cierto que los docentes ordinariamente toman estas decisiones en base a su experiencia y quizás a un sexto sentido que le indica cuando las cosas van bien o mal en el aula. Obviamente, un enfoque como éste de la evaluación educacional representa una separación dramática de las metodologías usadas corrientemente por los educadores y evaluadores. Más, ¿cómo saber si se puede confiar en los críticos educativos?, ¿cómo se puede estar seguros de que lo que el crítico dice es realmente parte de la situación y no un producto de su imaginación?, ¿cómo saber si la descripción, interpretación y evaluación hecha por el crítico de lo que pasa en el aula es confiable?. No se puede dar una respuesta única a estas preguntas, pero con toda seguridad esas respuestas contendrán mucho más información e información más significativa acerca del proceso educativo y de las personas involucradas en él, que la proporcionada por un simple y frío número. LA EVALUACION NATURALISTA Ernest House, en 1976, definía-la evaluación naturalista como aquélla que intenta llegara generalizaciones naturales, que está dirigida a un público que no es técnico como los profesores o el público en general, que usa un lenguaje corriente, que se basa en el razonamiento informal cotidiano y que usa extensivamente argumentos que intentan establecer la estructura de la realidad. Wolf y Tymitz (1977) sugieren que esta evaluación es un proceso dirigido a descubrir las historias idiosincráticas importantes contadas por la propia gente, acerca de hechos reales, de manera natural y real. Así, la evaluación se conduce ante un problema que surge de la observación, de la experiencia, de los datos y en esto no se diferencia de la evaluación emprendida por medios cuantitativos. Relevancia del Paradigma Naturalista para la Evaluación Educacional. En el área de la investigación en las ciencias de la conducta ya se ha dicho que las variables discretas y sus relaciones presentes en las ciencias físicas no parecen ser suficientes para tratar con las complejas interacciones y patrones de la conducta humana. De igual manera, los investigadores no sólo reaccionan ante su objeto de investigación, sino que a su vez son cambiados por a calidad de su interacción con lo investigado. Por ello, las generalizaciones en estas ciencias sociales o de la conducta tienden a tener una vida muy corta; llegando a ser como lo afirma Cronbach (1980) más parte de la historia que de la ciencia. Naturalmente, hay casos en que la investigación social está muy ligada a las ciencias físicas, como por ejemplo en los estudios de la psicología e evolutiva que están muy ligados al desarrollo físico y que permiten al investigador considerarse aparte del objeto investigado y generalizar. Y ciertamente habrá aspectos o preguntas que podrán ser mejor respondidas enmarcadas dentro de un cuadro fisiológico y necesitarán del uso del paradigma científico, pero lo referente a los procesos mentales será mejor comprendido dentro del paradigma naturalista. Hay muchos campos dentro de la investigación en ciencias de la conducta en los cuales es también preferible utilizar el paradigma naturalista y uno de esos campos es el de la evaluación educacional. ¿Porqué?. Porque cualquiera actividad evaluativa, en última instancia debe establecer el valor del ente evaluado en su relación con un contexto y unas características propias muy particulares. Howe (1988) señala que la intencionalidad de los datos (éstos incorporan valores, creencias, intenciones) es lo que caracteriza lo cualitativo desde el punto de vista ontológico. Y ese valor, esa importancia del ente evaluado se determina en relación a las características demográficas, los valores, factores motivacionales, etc inherentes al contexto o ambiente donde aquél se inscribe. Para tratar sobre valores, factores motivacionales, el investigador tiene que ver con las personas en cada contexto. La investigación de campo requerida en este caso definitivamente no puede ser llevada a cabo de manera experimental sino natural; porque mientras el investigador científico está propenso a encontrar sus problemas de investigación en la teoría, en la literatura o en la estructura conceptual de su área, el investigador naturalista prefiere encontrarlos en la observación directa, en la experiencia, en los datos; es decir, prefiere encontrarlos en el terreno. Recomendaciones para Conducir una Evaluación Naturalista. Para llevar a cabo una evaluación naturalista, Guba and Lincoln (1983) señalan una serie de recomendaciones a seguir. A.-Establecer el ámbito de la evaluación. Como en cualquiera actividad investigativa, la evaluación debe comenzar por el planteamiento o formulación de un problema, pero en este caso, el problema no es especificado a priori por el evaluador sino por los afectados por la situación. El evaluador naturalista inicia su tarea con una actitud descubridora; postura que puede llevarlo a comprender la situación de una forma determinada y esa comprensión debe ser verificada. Esa verificación lo lleva a nuevos descubrimientos y así sucesivamente. De manera que cualquier situación ocultada intencionalmente puede llegara ser descubierta por el evaluador ys ervirle como recurso para tratar de explicar la situación problemática. Tiene también el evaluador naturalista que interactuar con el personal que se desenvuelve en el contexto evaluado, de manera de captarlos en su justa dimensión. B.- Delimitar el problema. Los problemas a tratar surgen del análisis, la categorización e interpretación de resultados o situaciones dadas en el ambiente natural. De éstos surgen dos tipos de problemas: de convergencia y de divergencia. 1.- Problemas de convergencia. Este tipo de problema surge porque el evaluador naturalista debe derivar, inferir, deducir categorías con las que va a clasificar e interpretar los resultados observados. De hecho, la evaluación naturalista es un proceso de dos pasos: a) la identificación de los problemas e inquietudes del personal involucrado y b) la recolección de información pertinente a esos problemas e inquietudes. Ahora, ¿como recolectar esa información?. Primero debe señalarse la distinción entre problemas e inquietudes. Un problema es cualquier materia o asunto de interés o de importancia para uno o más tipos de personal que puede sentirse amenazado o sentir que las consecuencias serán nefastas o que ellos piensen canalizar de manera positiva. Una inquietud por su parte es cualquier afirmación, proposición hecha bajo diferentes puntos de vista; alguna proposición ante la cual puede haber desacuerdos, etc. Para estudiar esos problemas e inquietudes, el evaluador debe cumplir una serie de tareas; a saber: a) Categorizar. Una vez identificados los problemas e inquietudes y recolectada la información por medio de la observación y de la entrevista, el evaluador debe convertir esa información en categorías. según Howe (1988) es esta medición por categorías lo que define a la metodología cualitativa desde el punto de vista del tratamiento de los datos o sea, desde el punto de vista de la medición realizada. Esta tarea es difícil y requiere de un proceso altamente intuitivo y es por ello subjetiva. Para establecer esas categorías, el evaluador busca cuales son las regularidades observadas en los hechos. Aunque algunos datos puedan no calzar en alguna categoría detectada, no deben ser desechados por el evaluador. Los primeros datos o los datos recolectados en las primeras etapas de la investigación pueden dar lugar a un primer grupo de categorías que deben ser sometidas a prueba, refinadas y sometidas a constante y posterior verificación, a medida que se avanza en la evaluación. La categorización, entonces, es algo dinámico, que cambia y mejora constantemente. El evaluador tendrá que contentarse con categorías discretas que no tienen un orden particular. En todo caso, debe buscar obtener categorías unidimensionales, internamente homogéneas, retratadas en su justa dimensión, de acuerdo a la realidad. b) Jerarquizar. Una vez obtenidas las categorías, el evaluador debe entonces darle un orden o prioridad en el proceso. Para ello puede basarse en la frecuencia de respuestas sobre una situación considerada por el personal como problema o inquietud; en la creencia de ese personal de que se encuentra ante un problema; en la determinación de problemas únicos o su¡ generis; en aquellas categorías que ofrezcan la posibilidad de abrir nuevos horizontes de exploración de otros campos o áreas dentro del contexto evaluado. Debe señalarse además que el evaluador inevitablemente se encontrará con problemas e inquietudes, que a pesar de ser interesantes, no son posible de investigar porque no haya suficiente tiempo para ver sus resultados, porque no se domine la metodología requerida, porque no se posean los recursos necesarios, etc. En otros casos, puede ser que el problema no sea intrínsecamente interesante pero debe ser abordado, en tanto es de interés de los administradores de la educación. c) Determinar la integridad de las categorías. El evaluador debe examinar las categorías obtenidas y ver su validez interna y externa. Internamente, éstas deben ser consistentes; externamente, deben representar un cuadro completo de la situación y ser reproducibles por otro evaluador, no porque éste vaya a asumirlas en su propia evaluación, sino porque debe ser capaz de verificar que las categorías son significativas a la luz de los datos recaudados y que éstos a su vez han sido correctamente asignados a cada categoría. La función de un segundo evaluador es similar a la de un auditor en una empresa comercial. Por otra parte, las categorías deben representar realmente el opinión del personal que la emitió; es lo que se denomina adecuación contextual y que los sociólogos llaman "member checks". 2. Problemas de divergencia. Una vez establecidas las categorías, el evaluador naturalista debe filtrarlas a través de la recaudación de información que describa en detalles los problemas o inquietudes planteados; que los visualice y que arroje-suficiente evidencia para juzgarlos. ¿Cómo cumplir con esta tarea?. Para ello se puede: a) Utilizar estrategias que le permitan llenar los posibles vacíos de información. Una de esas estrategias es la extensión, o sea, se comienza con la información de que se dispone y sobre esa base, se hacen más preguntas o se orienta el examen de los documentos y records, tendiendo un puente entre lo desconocido y lo conocido. Otra estrategia es la de conectar piezas separadas de información, consideradas separadas porque todavía no se conoce su interrelación, para completar con una estrategia de consolidación en forma de proposición de una nueva información que debe ser buscada y encontrada en el campo evaluado. Esta actividad es similar al planteamiento de hipótesis; obedece a una lógica de la situación problemática. Obviamente, estas estrategias tienen más carácter artístico que científico, pero no por ello deben ser rechazadas. Después de todo, las ciencias dependen del investigador artista y el uso de la intuición es un derecho de todo científico. b) Criterios de exclusión e inclusión. El evaluador puede incorporar o desincorporar información que se considere valiosa dentro de los límites de la evaluación. c) Cierre. La última pregunta sobre divergencia que se hace el evaluador naturalista es hasta cuando recolectar información. En raras ocasiones se encuentra con que ya no hay más situaciones que observar, sujetos que entrevistar, procesos que describir o documentos que analizar. En este caso es obvio que ya no se puede seguir buscando información. Pero como eso no es lo común, el evaluador generalmente trata de reciclar el proceso de descubrimiento de información, de triangular fuentes o de usar estrategias de extensión, conexión y consolidación. Si este proceso proporciona información redundante, es la señal de que debe cerrarse el proceso. En ocasiones puede darse el caso de que se sature el proceso sin haber obtenido una visión integral, completa de la situación problemática debido al reducido número de informantes, a su negativa en proporcionar información o porque los elementos cruciales que definen la situación no llegaron a aflorar a la superficie, a pesar de toda la logicidad del proceso y de toda la expertisia del evaluador. El Evaluador Naturalista y el Científico. Puede observarse entonces que, a pesar de la ausencia de un preestablecimiento de resultados a través de reglas establecidas a priori, es posible que el evaluador naturalista resuelva los problemas convergentes y divergentes y encuentre un núcleo significativo para su trabajo. Pero, ¿son sus soluciones menos significativas y creíbles que las del evaluador que estipula los resultados a priori?. Si se revisan los problemas de convergencia, el problema de deducir significados a partir del análisis de los datos es idéntico en las dos posiciones. La diferencia está en cuando se establecen las reglas para hacer ese análisis. Para el evaluador positivista, todas las categorías son definidas previamente y típicamente están basadas en hipótesis derivadas lógicamente de alguna teoría previa. Piensa este evaluador que con esto asegura un mayor grado de objetividad. Más, por el contrario, ¿no será mejor llegar a esas especificaciones como producto de una realidad particular, como producto de una teoría proveniente y verificada por los mismos datos de esa realidad?. Las hipótesis del evaluador naturalista casi siempre son acertadas porque su dirección es indicada por la información recaudada, la del evaluador positivista es una especie de adivinanza y ¿si adivina mal?. Simplemente se rechaza la hipótesis y aquí no ha pasado nada. En cuanto al rigor de la evaluación, tanto el evaluador positivista como el naturalista son absolutamente rigurosos en los procesos seguidos para ganarse la confianza de sus seguidores. Para ello cuida todo lo referente a: la noción de verdad, aplicabilidad, consistencia y neutralidad. Estos aspectos son denominados, respectivamente, por el evaluador positivista y el naturalista: validez interna y credibilidad; validez externa o generalización y adecuación; confiabilidad y auditabilidad y objetividad y revalidación o confirmación. Criterio de verdad. El evaluador positivista señala que la verdad depende del grado de isomorfismo entre el estudio de los datos y el fenómeno estudiado. Para ello sólo tiene en sus manos una realidad y, la información obtenida es válida si describe esa realidad y permite controlarla y manipularla. El evaluador naturalista está más preocupado por probar la credibilidad de sus hallazgos y de su interpretación sobre diversas realidades, por las diversas fuentes de quienes provino esa información. No pretende controlar ni manipular esas realidades porque son diferentes. Es lo que Eisner (1981) llama corroboración estructural. Si las evidencias de esas realidades apuntan en una dirección, aumenta la credibilidad. Los procesos de triangulación, el examen cruzado y las observaciones repetidas brindan al evaluador naturalista mayor asidero para hacer creíble, verdadera su interpretación. La credibilidad, entonces, de cierta manera es una función del tiempo y esfuerzo invertido por el evaluador. Igualmente, las fuentes de invalidación de la validez interna de los estudios científicos positivistas señaladas por Campbell y Stanley (1970): selección diferencial, historia, maduración, instrumentación, mortalidad, etc amenazan también al evaluador naturalista y de ellas, la instrumentación amenaza más al evaluador naturalista por cuanto él mismo es un instrumento de recolección de datos y la fatiga, los cambios es sus concepciones, diferencias de entrenamiento, destrezas y experiencia pueden afectar los resultados. La historia, maduración, la selección pueden ser controladas por el evaluador naturalista porque continuamente está haciendo observaciones, notando los cambios e impactos históricos y considerándolos a medida que el estudio progresa. De manera que en cuanto a la validez interna se refiere, los dos enfoques corren los mismos riesgos saliendo quizás más airoso el naturalista. Aplicabilidad. En algunos casos, por ejemplo, cuando se desea saber cual texto es más adecuado y cual es una buena estrategia para ser usada con los alumnos, la validez externa o generalización puede ser irrelevante. En otros casos, como cuando se quiere poner en práctica una innovación en ambientes escolares distintos no lo es. Así, ¿qué hace el evaluador cuando se le pide una evaluación con el propósito de generar información que pueda ser aplicada en diferentes contextos?. De nuevo, esa validez externa dependerá de la validez interna del estudio. El evaluador naturalista al no establecer controles a priori está libre de uno de los problemas que afectan al positivista: la carencia de isomorfismo entre el laboratorio y el mundo real. Pero el problema está en que se debe determinar cuan representativa es esta realidad de las otras realidades y en que la generalización tiene que ser afirmaciones libres del contexto y, tratándose del ser humano, esto es completamente imposible porque ¿cuál conducta del hombre no se debe a una causa? y esto es válido para los dos paradigmas. Por ello, es quizás mejor hablar de hipótesis de trabajo y de probar el grado de adecuación entre el contexto en que se generó esa hipótesis y el contexto en que será aplicado. Adecuación es el término y no generalización. De nuevo, al ser contextual, la evaluación naturalista parece quedar en mejor posición. Consistencia. Este es un asunto fundamentalmente empírico. Las evaluaciones, debe recordarse, son singulares, se llevan a cabo para fundamentar una decisión, para responder a una crítica o preocupación o para determinar la efectividad de un método, etc. De manera que la posibilidad de replicar un estudio para esos efectos es mínima, ya que el diseño de investigación naturalista es emergente, no preestablecido, depende de la situación particular. Debe admitirse entonces que la consistencia de una evaluación naturalista es más difícil de establecer y que está limitada a la posibilidad de ser avalada por otro evaluador, quien después de examinar el trabajo hecho, puede concluir en que probablemente sus conclusiones hubieran sido las mismas. De allí la preferencia por el término auditabilidad (Guba and Lincoln, 1983). Neutralidad. Los términos objetivo y subjetivo tienen muchas acepciones. Acompañando a Scriven (1972), desde el punto de vista cualitativo, la diferencia entre estos dos términos hace referencia a la calidad del testimonio o evidencia de un hecho o fenómeno. Así, subjetivo significa no confiable, total o parcialmente parcializado, opinión y, objetivo significa confiable, fáctico, confirmable o confirmado. Más lo que un individuo siente no tiene que ser necesariamente parcializado, así como no tiene que ser necesariamente confiable lo que un grupo de personas exprese. Dependiendo de la experiencia, entrenamiento y cualidades de un evaluador, su reporte puede ser más confiable que el de un grupo. De manera que lo que un individuo siente puede ser igual al sentimiento del grupo pero un reporte parcializado no puede ser igual a un reporte factual, confirmable. Desde el punto de vista cuantitativo, objetivo y subjetivo se refiere a lo que le ocurre a un sujeto individual, sus experiencias, cualidades y disposiciones, mientras que objetivo se refiere a lo que siente un grupo de sujetos ante un fenómeno público. Así, cualitativamente, objetividad y subjetividad son posiciones polares pero cuantitativamente pueden ser idénticas, por lo que no habría razón para desconfiar del resultado de una evaluación naturalista si los datos han sido obtenidos objetivamente. El punto neurálgico estará entonces en la confirmación o revalidación de la información una vez obtenida. Pero, a menudo, la objetividad se relaciona con el investigador mas pensar que éste, por un acto de libre albedrío o debido a una estrategia inteligente va a deslastrarse de su subjetividad es la peor fantasía. Ningún ser humano puede ser objetivo en ese sentido. Los valores no se pueden hacer a un lado simplemente por tomar las decisiones procedimentales antes de la investigación y no durante ella. Aún más, al tomar decisiones apriorísticas, el evaluador pierde la posibilidad de comprender situaciones emergentes y de establecer un terreno adecuado para sus hipótesis y preguntas. De nuevo, el evaluador naturalista no es peor ni menos científico que el positivista en alcanzar la neutralidad requerida por la ciencia y, en ocasiones, puede ser mejor debido a su estudio comprensivo de las situaciones a medida que se producen. A.- MANERA DE CONCLUSIÓN Es un hecho innegable que las conductas humanas complejas que interesan al investigador educacional son por su naturaleza impredecibles si es que no fueran indeterminadas. Esta condición por si misma hace que surjan serios cuestionamientos acerca de la validez de un enfoque positivista, experimental, cuantitativo de la investigación y de la evaluación educacional. Los argumentos para afirmar esos cuestionamientos están basados en las diferencias individuales, en el caos o posibilidad de obtener un resultado inesperado en las ciencias físicas aún teniendo el conocimiento preciso y necesario sobre las condiciones iniciales, la naturaleza evolucionista del aprendizaje y del desarrollo, en el papel de la conciencia y del libre albedrío en la conducta humana existentes en un individuo a pesar de los planteamientos sobre su inexistencia de Watson y Skinner y en las implicaciones de la mecánica cuántica que ha puesto sobre el tapete, desde mediados de este siglo, la indeterminación y azar de los fenómenos subatómicos (Cziko,1989). Así se tiene el estudio de Cronbach y otros (1980) en el cual se señala que las diferencias individuales interactúan con los tratamientos educacionales de tal manera que el método que parece ser efectivo para enseñar al alumno A puede ser completamente ineficiente para enseñar al alumno B. Y no sólo interactúa el método sino también el tiempo y otros factores que determinan en realidad el aprendizaje logrado por un estudiante o grupo de estudiantes. Considerando que esos factores están cambiando constantemente, los autores concluyen en que experimentos de carácter definitivo y explicativos de una realidad son imposibles de lograr en las ciencias sociales y que sólo se puede lograr una interpretación temporal de lo sucedido. Para Cronbach la conducta humana no es impredecible ni azarosa por sí misma sino que no se pueden establecer generalizaciones y constructos para formular teorías a partir de la observación de la conducta humana. Esta es una posición indudablemente determinista pero que alude a la naturaleza cierta del objeto de estudio de la investigación educacional: el ser humano. En consecuencia, se puede argumentar que la investigación educacional que intenta predecir y controlar ciertos resultados educativos no puede tener éxito, por cuanto esa investigación debe centrarse en la provisión de descripciones e interpretaciones de los fenómenos educativos que proporcione hallazgos que puedan ser usados para mejorar nuestra comprensión acerca del porqué se produce un aprendizaje y, acerca del desarrollo y de la educación para facilitar todo el proceso que implica su evolución. Esto porque la investigación científica es amplia y variada y dentro de ella es posible hacer investigación educativa aunque filósofos de la ciencia como Popper (1979) y Nagel (1961), no lo admitan. Es esta epistemología de la investigación educacional la que ha ocupado gran parte de los temas discutidos en la literatura desde finales de los años setenta y durante la década de los ochenta tratando de dirimir argumentos y lograr posiciones como paradigmas científicos, significando éstos "toda la constelación de creencias, valores, técnicas, etc que comparten los miembros de una comunidad dada" (Kuhn,1983, p. 269). En este orden de ideas debe señalarse que sigue predominando el enfoque positivista, cuantitativo dentro de la investigación educacional tal como se demuestra en los planteamientos de Elmore y Woehlke (1988) al hacer un balance de los métodos estadísticos empleados en las investigaciones publicadas en las revistas de la Asociación Americana de Investigación Educativa durante el decenio 19781987. Los autores puntualizan el uso en investigaciones de las técnicas de análisis estadístico siguientes: 47 correlaciones de dos variables, 42 t-test, 137 ANOVAIANCOVA, 95 correlaciones/ regresiones múltiples y apenas 13 meta-análisis, 3 simulaciones y 4 investigaciones cualitativas. Esta situación no se aparta mucho del enfoque que le dan los maestros a la verificación del fruto de su diario quehacer instruccional; es decir, el enfoque que le da el docente a la evaluación de su labor. Evaluación es una de esas palabras que pueden tener muchos significados, parece querer decir algo distinto para cada persona más para un docente, la evaluación es una parte importante y fascinante, tan importante que sin ella sería prácticamente imposible enseñar. Ella le proporciona información acerca de las capacidades de sus estudiantes, sus logros pasados, sus intereses, sus puntos fuertes y débiles, etc. Estos rubros indican que el término evaluación implica algo mas que aplicar pruebas y calificar. Evaluar es asignar un valor a algo, juzgar. En educación, normalmente evaluar significa juzgar a un estudiante, a un profesor, a un programa educativo o a un curso. De hecho, los profesores continuamente evalúan: si están cumpliendo con las tareas asignadas; si dichas tareas son difíciles o adecuadas para el logro de los objetivos; si los instrumentos de evaluación son adecuados; si realmente está enseñando, etc. Se pregunta muchas veces el docente: ,¿cómo lee Jaime?, ¿sería Alba capaz de ser líder del grupo?, ¿cuánto interés tienen mis alumnos en aprender sistemas numéricos con base distinta a 10?, ¿tienen mis alumnos mayor motivación porta profesión de zootecnista una vez concluida la mesa redonda sobre las posibilidades de estudio a nivel medio diversificado y profesional?. De estas preguntas unas son fáciles de contestar otras no lo son tanto pero todas tienen en común que necesitan emitir un juicio. Y ese juicio debe estar fundamentado en una información, información que puede ser tan simple y objetiva como el número de sustantivos que ha podido identificar el estudiante en un párrafo dado o tan subjetiva como el tipo de sentimiento que experimenta cuando lo lee. En cualquier caso, el docente tendrá que buscar esa información y una vez obtenida tendrá que interpretarla y tomar una decisión. Así, las decisiones educativas se toman sobre la base de unos juicios, y los juicios a su vez, se emiten sobre la base de una información que como ya se ha visto puede ser de tipo cuantitativo o de tipo cualitativo, en tanto, en educación, la mayoría de la información que se necesita es aquélla referida a las respuestas que dan las personas a su medio ambiente. Se puede entonces acompañar a Tenbrink (1981) señalando que la evaluación es "el proceso de obtención de información y de su uso para formular juicios que a su vez se utilizarán para tomar decisiones" (p.19). Pero para tomar esa decisión, como para tomar cualquier otra, se necesita información cuanti-cualitativa. Se parte de la premisa de que sin algún tipo de información es casi imposible formular juicios y tomar decisiones válidas y de que con una información adecuada y precisa se pueden emitir los juicios que llevarán a decisiones sólidas. Según Carreño (1985) en la actualidad pedagógica "el empirismo ha sido sustituido por la tecnología, la intuición por el conocimiento y la costumbre o el capricho por los principios científicos" (p.15). Esto claramente implica la existencia y consecuente posibilidad de implantar mecanismos más racionales, justos y útiles en el proceder evaluativo. Siendo que la evaluación puede recaer en diferentes objetos del campo de la educación es factible enjuiciar, utilizando diversos criterios y valoraciones, la utilidad, el rendimiento, la eficiencia, la adecuación, la flexibilidad, la orientación de ese objeto, por cuanto según el mencionado autor, la evaluación debe culminar en apreciaciones, juicios y valoraciones sobre el aprendizaje, que sirvan de base lógica para el establecimiento de los cambios que el proceso requiere para mantenerse vigente o mejorar en la consecución de su finalidad, que es el logro de los objetivos programados. Para Carreño (1985), evaluar es la acción de juzgar, de inferir juicios a partir de cierta información desprendida directa o indirectamente de la realidad, o bien, atribuir o negar cualidades al objeto evaluado o, finalmente, establecer reales valoraciones en relación a lo enjuiciado. Para hacerlo, es innegable que las alternativas metodológicas cualitativas de evaluación educacional comentadas en este reporte son más adecuadas que la medición positivista. BIBLIOGRAFIA CONSULTADA - - - - ANDERSON, Scarvia B., Ball, Samuel, Murphy, Richard T. and Associates. Encyclopedia of Educational Evaluation. Concepts and techniques for evaluation education and training programs. San Francisco, Jossey-Bass Inc. Publishers, 1983. BOBBIT, Franklin. The Curriculum. Boston, Houghton Mifflin Company, 1918. CAMPBELL, Donald T. y Stanley, Julian C. Diseños Experimentales y Cuasi experimentales en la Investigación Social. 6ta reimp. Buenos Aires, Amorrortu Editores, 1970. CAMPBELL, D. T. Degrees of freedom and the case study. In Fetterman, David. Qualitative approaches to educational evaluation. Educational Researcher. Vol. 17 (8), November 1988, pp.jg 17 -23.266 CARREÑO H., Fernando. Enfoques y Principios Teóricos de la Evaluación. México, Editorial Trillas, 1985. CRONBACH, Lee. Course improvement through evaluation. In Taylor, Peter A. and Cowley, Doris M. Readings in Curriculum Evaluation. Dubuque, Iowa, WM C. Brown Company Publishers,1972. - - - - - CRONBACH, Lee J. et alius. Toward Reform of program Evaluation: Aims, Methods and Institutional Arrangements. San Francisco, Jossey-Bass Inc. Publishers, 1980. CZIKO, Gary A. Unpredictability and indeterminism in human behavior: arguments and implications for educational research. Educational Researcher. Vol. 18 (3), April 1989, pp. 17 - 25. DE LANDSHEERE, Gilbert y De Landsheere, Viviane. Objetivos de la Educación. 2da ed. Barcelona, España, OIKOS-TAU S.A., 1981. EISNER, Elliot W. On the differences between scientific and artistic approaches to qualitative research. Educational Researcher. Vol. 10 (4), April 1981, pp. 5 - 9. EISNER, Elliot W. On the uses of educational connoisseurship and criticism for evaluation classroom life. Teachers College Record. 78, February, 1977, pp. 345 - 358. ELLIOT, John. Teachers as researchers: implications for supervision and teacher education. Valencia, 1988 (mim.). ELMORE, Patricia B. and Woehlke. Statistical methods- employed in American Educational Research Journal, Educational Researcher, and Review of Educational Research from 1978 to 1987. Educational Researcher. Vol. 17 (9), December 1988, pp. 19-20 FETTERMAN, David M. Qualitative approaches to educational evaluation. Educational Researcher. Vol. 17 (8), November 1988, pp. 17 - 23. GUBA, Egon G. and Lincoln, Yvonna S. Effective Evaluation. Improving the usefulness of evaluation results through responsive and naturalistic approaches. San Francisco, Jossey-Bass Inc. Publishers, 1983. HOUSE, E. R. Justice in evaluation. In Guba, Egon and Lincoln, Yvonna. Effective Evaluation. San Francisco, Jossey-Bass Inc. Publishers, 1983. HOWE, Kenneth R. Against the quantitative - qualitative incompatibility thesis or dogmas die hard. Educational Researcher. Vol. 17 (8); November, 1988, pp. 10 - 16. KUHN, T. S. La Estructura de las Revoluciones Científicas. 5ta reimp. México, Fondo de Cultura Económica, 1983. GIMENO S., J. y Pérez G., A. (comp.). La Evaluación. Su Teoría y su Práctica. Cuadernos de Educación. No. 126. Caracas, Cooperativa Laboratorio Educativo, 1985. MAC DONALD, B. Evaluation and the control of education. In Tawney, D. Curriculum Evaluation Today. Trends and implications. London, Mac Millan Publishers, 1976. MAGER, Robert. Preparing Instructional Objectives. Palo Alto, California, Fearon Publishers, 1962. MARTINEZ, Miguel. Comportamiento Humano. Nuevos Métodos de Investigación. México, Editorial Trillas, 1989. NAGEL, Ernest. La Estructura de la Ciencia. Buenos Aires, Editorial Paidós, 1961. POPPER, K. R. Objective Knowledge: an evolutionary approach. Oxford, Clarendon Press, 1979. SCRIVEN, Michael. The methodology of evaluation. In Taylor, Peter A. and Cowley, Doris M. Readings in Curriculum Evaluation. Dubuque, Iowa, WM C. Brown Company Publishers, 1972. SCRIVEN, Michael. Objectivity and subjectivity in educational research. In Guba, Egon and Lincoln, Yvonna. Effective Evaluation. San _Francisco, Jossey-Bass Inc. Publishers, 1983. - - SMITH, John K. Quantitative versus qualitative research: an attempt to clarify the issue. Educational Researcher. March, 1983, pp. 6 - 13. STAKE, Robert. The countenance of Educational Evaluation. In Taylor, Peter A. and Cowley, Doris M. Readings in Curriculum Evaluation. Dubuque, lowa, WM C. Brown Company Publishers,1972. STENHOUSE, E. In Elliot, John. Teachers as Researchers: Implications for Supervision and Teacher Education. Valencia, 1988, (mim.). TENBRINK, Terry D. Evaluación. Guía Práctica para Profesores. Madrid, Narcea, S. A. de Ediciones, 1981. THORNDIKE, Robert (Ed.). Educational Measurement. 2nd ed. New York, Mc GrawHill Book Company, 1971. WOLF, R. L. and Tymitz, B. Toward more natural inquiry in education. CEDR Quarterly, 1977, 10, 7-9. In Guba, Egon and Lincoln, Yvonna. Effective Evaluation. San Francisco, Jossey-Bass Inc. Publishers, 1983.
