prueba_evaluacion.pdf

ISSN; 0212-5374
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL:
EXPRESA 2004
Standardized objective assessment test ofspoken Spanish:
EXPRESA 2004
Épreuve pour l'évaluation de l'expression órale: EXPRESA 2004
J o s é Luis RODRÍGUEZ DIÉGUEZ, Esperanza HERRERA GARCÍA y M.' Cruz SÁNCHEZ GÓMEZ
Universidad
de
Salamanca
BIBLID [0212-5374 (2005) 23; 323-338]
Ref. Bibl. JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y
M." CRUZ SÁNCHEZ GÓMEZ. Prueba d e evaluación d e la expresión oral: EXPRESA
2004. Enseñanza,
23, 2005, 323-338.
RESUMEN: La investigación a la que se refiere este artículo fue financiada por
el Ministerio de Educación, Cultura y Deporte, a través del antiguo Instituto Nacional de Calidad y Evaluación en el año 2002, y tuvo como objetivo la realización de
una prueba para la evaluación externa y objetiva de la expresión oral en Educación
Primaria. Las actividades que componen su elaboración son las siguientes: creación
de una prueba piloto, fijación de los criterios de corrección, aplicación de métodos de lingüística computacional, análisis de datos, análisis de resultados, incluyendo
transformaciones posibles para el trabajo, estudio de validez y fiabilidad de la prueba
y elaboración de la prueba final.
Palabras clave: evaluación, lenguaje oral, Educación Primaria.
SUMMARY: The aim of this research team from the University of Salamanca
was to design a standardized objective assessment test of spoken Spanish for use in
Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
324
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ. ESPERANZA HERRERA GARCÍA y M.' CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
Primary Education as commissioned by what used to be known as the Instituto
Nacional de Calidad y Evaluación (INCE) at the Ministry of Education. It was decided
to opt for the continuous text format as it could include elements of description,
narrative and presentation and would allow greater natural expression. We considered using a variant of the visual stimulus from the language assessment test designed
by Myklebust (1965). Together with the above-mentioned variables, as well as a
series of others selected in a similar fashion, we worked on our prediction of the students' oral achievement. We used some transformations of the variables, to form a
normal distribution curve according to the number of words.
Key words: evaluation, language assessment, Primary Education.
RESUME: La recherche a laquelle cet article se rapporte a été financée par le
Ministére d'Éducation, Culture et Sports, á travers l'ancient Institut National de Qualité et d'Évaluation en 2002 et elle a eu comme but la réalisation d'une épreuve pour
l'évaluation extérieure et objetive de l'expression órale dans l'Éducation Élémentaire.
Les activités qui composent son élaboration sont les suivantes: création d'une
épreuve pilote, fixation des critéres de correction, application des méthodes de linguistique computationnelle, analyse des dates, analyse de résultats, ci-inclus les
transformations posibles pour le travail, étude de validité et fiabilité de l'épreuve, et
élaboration de l'épreuve finale.
Mots cléf: evaluation, expression órale, Education Élémentaire.
INTRODUCCIÓN
El objetivo del equipo de investigación que firma este trabajo, perteneciente
al Departamento de Didáctica, Organización y Métodos de Investigación de la Universidad de Salamanca, fue la elaboración de una prueba de evaluación externa y
objetiva de la expresión oral en español para alumnos de Educación Primaria, a
instancias del entonces denominado Instituto Nacional de Calidad y Evaluación
(INCE) del Ministerio de Educación.
Los estudios realizados por el INCE se orientan hacia:
•
•
•
La evaluación periódica de los diferentes niveles, ciclos y/o etapas del sistema educativo.
El conocimiento del grado de consecución de los objetivos establecidos
en las disposiciones legales vigentes en el nivel correspondiente.
El conocimiento de la incidencia que en todo ello puedan tener los procesos educativos.
Estudios realizados por el mencionado Centro son, por ejemplo, INCE (1996),
INCE (2000) o Pérez Zorrilla (2000). Se trata de estudios en línea con el proyecto
PISA (OCDE, 2001).
© Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M." CRUZ SÁNCHEZ GÓMEZ
PRUEUA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXl'RESA 2004
325
De acuerdo con la legislación vigente en España y en el momento en el que
se iniciaba el estudio, los criterios de evaluación aplicable en Educación Primaria se describían del siguiente modo:
-
-
Producir textos orales (cuentos, relatos de diverso tipo, exposiciones y
explicaciones sencillas...) en los que se presenten de forma organizada
los hechos, ideas o vivencias.
Mediante este criterio se pretende constatar en el alumnado el desarrollo de
la capacidad para expresar oralmente las propias vivencias, hechos o ideas
de forma estructurada y razonada. Se prestará especial atención a la coherencia en la presentación de los diferentes elementos (organización del
texto, selección de contenidos relevantes al tema...) y a la utilización de un
vocabulario adecuado (R. D. 1006/1991, de 14 de junio, por el que se establecen las enseñanzas mínimas correspondientes a Educación Primaria),
El producto sobre el que habría de evaluarse la competencia lingüística de
carácter oral debería ser un texto generado por los alumnos a evaluar. Los tipos
de texto posibles los enumera y analiza el proyecto PISA del modo siguiente:
1.
Textos continuos
Todos los textos continuos se presentan en forma de «prosa» estándar. Se clasifican según el propósito del autor en los siguientes cinco tipos:
DESCRIPCIÓN se refiere a las propiedades de los objetos situados en el espacio y
reponde a preguntas del tipo «qué»
NARRACIÓN se refiere a las propiedades de los objetos situados en el tiempo y responde
habitualmente a preguntas del tipo «cuándo» o «en qué orden».
EXPOSICIÓN presenta la información de conceptos complejos, de con.strucciones
mentales o de elementos en los que se pueden analizar los conceptos y los
constructos mentales. El texto proporciona una interpretación sobre la manera en que
los elementos constitutivos se interrelacionan en un todo unitario y generalmente
responden a preguntas del tipo «cómo»
ARGUMENTACIÓN presenta propuestas sobre relaciones entre conceptos o proposiciones.
Los textos argumentativos frecuentemente responden a preguntas del tipo «por qué».
PRESCRIPCIÓN da o proporciona instaicciones sobre qué hacer e incluye procedimientos,
reglas, regulaciones y normas que especifican determinados comportamientos.
Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
326
2.
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ. ESPERANZA HERRERA GARCÍA y M." CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
Textos discontinuos
A diferencia de los textos continuos, los textos discontinuos varían mucho en
cuanto a la forma y, por tanto, son clasificados teniendo en cuenta más su estaictura
que la intención del autor. En el proyecto PISA se emplean los seis tipos siguientes:
1.
2.
3.
4.
5.
6.
Los IMPRESOS...
Los AVISOS Y ANUNCIOS...
Los CUADROS Y GRÁFICOS...
Los DIAGRAMAS...
Las TABLAS Y MATRICES...
Los MAPAS...
La distribución y la variedad de los textos que los estudiantes deben leer para
el proyecto PISA son características importantes de la evaluación. Aproximadamente dos tercios de los textos de la evaluación son textos continuos de los que el
grupo más amplio es el constituido por materiales expositivos. Dos tercios de los
textos discontinuos son tablas, cuadros o gráficos. El resto de los textos discontinuos
son mapas, anuncios y formularios, cuyo tipo se espera sea entendido y usado por
un joven de 15 años (OCDE, 2001).
En resumen, una tipología de textos orales sobre los que efectuar la evaluación podría proponerse inicialmente del siguiente modo:
1. Textos continuos
1.1. Descripción
1.2. Narración
1.3. Exposición
1.4. Argumentación
1.5. Prescripción
2. Textos discontinuos
2.1. Interrogatorio
2.2. Diálogo directo
2.3. Coloquio
No parece recomendable la utilización de todos los tipos en la evaluación al
finalizar la Educación Primaria. El salto que se produce entre los Decretos de mínimos de 1991 y 2001 pone de manifiesto la toma de conciencia de una intención
excesivamente amplia, una exigencia tal vez no realizable.
Sería conveniente marcar unos límites, de modo que se resolviera el contexto
tipológico de los textos en un grupo máximo de dos o tres de los denominados continuos y dos de los tipos discontinuos. Por esta razón, se optó por la utilización de
un texto continuo, que permitiera la utilización de elementos descriptivos, narrativos y explicativos, buscando una situación de la mayor naturalidad expresiva.
Para estimular la expresión verbal se consideró la utilización de alguna
variante de estímulo visual basada en la prueba de lenguaje de Myklebust (1965).
© Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M." CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
327
Consiste en el empleo de una tarjeta que es representación gráfica de una situación
que permite estructurar un texto en torno a la misma. Por mencionar algunos estudios basados en esta prueba caben señalar los trabajos de Tuana, Desideri, Serrato
y otros (1993); Doherty y Margois (1981); Sims y otros (1976). Este estímulo había
sido también empleado en varios estudios realizados en el Departamento de Didáctica de Salamanca.
La expresión oral con base en una ilustración adecuada a la edad y el contexto
de los alumnos permite dar respuesta a las exigencias de las competencias comunicativas que señala el Council of Europe (2002) en el Marco de referencia europeo para el aprendizaje, la enseñanza y la evaluación de lenguas.
La ilustración fue elaborada mediante un trabajo colaborativo del equipo
investigador con el profesor de Educación Secundaria José Luis R. Beltrán, titular
de Expresión Plástica. Tras sucesivos tanteos y pruebas parciales, en aproximaciones y modificaciones sucesivas propiciadas por la búsqueda de la mayor riqueza
del estímulo, se optó por la ilustración que se presenta, en una reproducción original en color de tamaño DIN A 4.
Tras una serie de pruebas previas, realizadas con grupos reducidos de alumnos de Madrid y Salamanca, se fijaron los criterios de aplicación.
Se confió la aplicación piloto a una empresa especializada en este tipo de
tareas, que colaboró con un grupo de seis entrevistadores que aplicaron las pruebas en una muestra de 400 alumnos de sexto curso de Educación Primaria, procedentes de 20 centros de enseñanza, buscando la representatividad geográfica,
socioeconómica y de tipología de las escuelas.
Estos entrevistadores fueron preparados mediante una sesión de modelado
realizado en la Universidad de Salamanca, que consistió en una exposición global
del proceso que se pretendía, una descripción de la función a desarrollar por cada
aplicador de la prueba, seguida del visionado de una serie de aplicaciones realizadas por el equipo investigador y grabadas en vídeo, y unas prácticas por parte de
cada uno de los seis aplicadores seleccionados, realizadas en una cámara de Gessell y observadas por los restantes aplicadores. Las sesiones se grabaron y posteriormente fueron analizadas por el grupo.
Las instrucciones que se darían a cada alumno serían las mismas en todos los
casos:
Cuéntame lo que pasa en este dibujo como si se lo contaras a una persona que está
contigo y no puede verlo. Cuando hayas terminado dirás «ya está».
Los textos producidos por los alumnos fueron grabados por los aplicadores en
cinta magnetofónica, y se procedió después a una transcripción literal de lo enunciado. Las modificaciones sólo se realizaron sobre los aspectos fonéticos debidos a
las distintas entonaciones y la pronunciación propia de cada zona geográfica.
La dispersión de los textos recogidos pone de manifiesto, de modo intuitivo,
las posibilidades del proceso.
© Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
328
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M.» CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
FIGURA 1
Estímulo visual: La calle
Algunos de los textos, procedentes de alumnos de centros distintos son los
siguientes:
Alumno A
Pues veo tráficos, eh, personas, policías, un hombre que ha perdido el autobús.
Una mujer con su hijo. Animales. Y, ya está.
Alumno B
Sí. ¿Qué es lo que veo? Autobuses, personas y automóviles, animales y niños
pequeños. Ya está.
Frente a estos textos, caracterizados por su simplicidad y la corta aportación
de información, nos encontramos con otros mucho más ricos y expresivos tales
como los siguientes:
© Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M." CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
329
Alumno X
Esto es una calzada que hay muchos transportes como dos motos, un autobús y
un coche. En el autobús hay cuatro personas, el autobús es verde claro con unas
niedas de color negro y hay un círculo pequeño que es verde. Hay varias gentes,
que hay un niño que tiene una tirita en la cara, tiene el jersey rojo, lleva una pelota,
los pantalones azules y los zapatos negros, y es un niño pequeño, tiene el pelo de
pincho. Después, hay una moto que es verde claro con las ruedas negras y por
dentro azules. Hay unos chicos; la chica es rubia con una melena y tiene un jersey
azul claro con unos pantalones grises y los zapatos grises; y el chico lleva el pelo
un poco de pincho, lo tiene corto, con un jersey verde, los pantalones marrones,
los calcetines son de color rojo y los pies los tiene negros. Después hay una especie de todo terreno que es rojo oscuro, también es azul y las ruedas de color rojo
oscuro y negro, y la policía está poniéndole una multa porque tiene el coche mal
aparcado. El policía lleva una gorra que es azul oscuro y tiene una franja que es
blanca y negra, y tiene bigote, y el uniforme lleva una porra que es de color negro,
unas botas también y un chaquetón de color amarillo y azul oscuro. Hay un gato
que está persiguiendo..., hay un perro que está persiguiendo a un gato y el perro
tiene una especie de rayas marrones y gris con color amarillo y la nariz la tiene
roja, y el perro es rojo y con una lengua roja. Hay un señor que ha perdido el autobús y está intentando cogerlo, y parece que vaya al trabajo; tiene el señor el pelo
corto y lleva una especie de maletín negro, y los pantalones son grises, lleva una
corbata azul al igual que la camisa y tiene un chaquetón marrón.
Alumno Y
Hay un cartel que pone..., que es la parada del autobús, que pone: «Bus», que es
de color amarillo y hay una papelera que es amarilla y verde que está al lado de
la parada, que está pegada en el palo de la parada. Después hay una señora que
está hablando por el móvil y ella tiene el pelo rizado, con un chaquetón..., con
una camisa rojo oscuro y con un pantalón azul claro y lleva como una especie de
botines con tacón que son grises y lleva un bolso gris. Y hay un niño, un chaval
que tiene unos cascos que está escuchando música; tiene el pelo corto con pinchos, lleva una especie de chándal con una chamarra de color naranja, con una
mochila gris, y lleva una especie de patinete que tiene..., que es rojo y con unas
rayas de color verde, y los zapatos son verdes y con los calcetines verdes, y la parte
de delante de las zapatillas las tiene blancas. Después también hay otra moto, que
el señor tiene un casco, para cubrirle los ojos tiene una especie de..., para ver
mejor, que son..., que es gris; la moto es bastante grande, tiene para que se siente
alguien atrás, tiene para guardar cosas que es rojo oscuro con una franja gris, el
asiento es gris, el tubo de escape es un poco..., es blanco y azul, tiene unas ruedas de color negro y por dentro azul, y es roja oscuro. Y también la... hay también
la moto del policía, que es azul y tiene la silla que también es azul. Y hay un carricoche que tiene un niño pequeño con una madre; el niño lleva una pelota roja,
tiene un jersey naranja, los pantalones azules y lleva unos zapatos de color rojo
oscuro; y el carricoche es de color azul y tiene como una especie de compartimento para que guarde cosas la madre; y la madre tiene el pelo..., una melena,
I Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
330
JOSK l.l IS RoniíicU FZ DIIÍCL HZ. ESPERANZA llKRRl-RA f.ARCÍA y M.' CRIZ SÁNCHEZ CiÓMEZ
l'RlEliA DE EXAUr ACIÓN DE LA EXI'RHSIÓN ORAL: EXPRESA 2004
tiene lina especie ele jersey cjiíe es ixijo y la falda la tiene roja claro, y los zapatos
son negros. Ya.
La.s grabacione.s magnetofónica.s, traducidas a registro.s MP3, de los 400 alumnos d e la muestra fueron valoradas por el e q u i p o investigador, mediante una escala
d e valoración, previamente estudiada, cjue implicaba las siguientes categorías d e
análisis:
•
•
•
•
Adecuación, acomodación del discurso a la petición expresada.
Coherencia de la iní'ormación presentada y del cc^ntenido del texto generadcí.
Cohesión entre los c o m p o n e n t e s del discurso emitido.
Interpretación d e la ilustración presentada y, en su caso, extrapolacic3n d e
las situaciones presentadas.
Las valoraciones se efectuaron mediante un proceso sucesivo d e aproximación. Se inicie) con una valoración individual por parte d e los miembros del equipo,
seguido d e un estudio en grvipo y una negociación d e las calificaciones.
Los textos fueron transcritos para realizar u n análisis informático d e los mismos, para conseguir la máxima objetividad e independencia posible e n la valoración de amplias muestras.
Los indicadores sobre los q u e se trabajó en las transcripciones se agrupaban
en las categorías siguientes:
1.
2.
3.
4.
5.
6.
Total d e palabras e n el texto
Usualidad del lenguaje
Densidad léxica
Indicadores clásicos:
3.1. Tasa de redundancia
3.2. Longitud d e palabras
Deixis
Vocabulario gramatical
1. Para la determinación del número total de palabras de cada u n o d e los textos, es necesario considerar el mismo c o n c e p t o d e palabra, q u e si bien presenta
matices diferenciadores y sutilezas conceptuales d e difícil precisión p u e d e resultar
aclarador el fragmento d e Ullman c u a n d o señala q u e
...en la vida diaria, no se tiene ninguna diticultad en reconocer las palabras, y al
escribir e.sta página las separo unas de otras sin la más ligera vacilación. Pero una
cosa es identificar las palabras y otra establecer los criterios mediante los cuales se
las identifica.
P o d e m o s considerar válida la clásica definición de Meillet (1921, en Lázaro,
1971).
Una palabra resulta d e la asociacicm d e u n sentido d a d o a u n conjunte:) d a d o
d e sonidos, su.sceptible d e u n e m p l e o gramatical d a d o .
© Ediciones Universidad de Salamanca
Enseñanza. 23. 2005, pp, 32.i-3,W
JOSÉ Li'is K()i)Rk,ii-:z i)iÉ(¡rKZ, K.spKKANZA III:KRI':RA <;ARC:ÍA y M,' C R i z SÁNCHEZ cióMiíz
PKI KHA l)F KVAIAACIÓN DK I.A KXI'RKSIÓN ORAL: HXI'RESA 20()1
331
El recuento del total de palabras del texto g e n e r a d o por cada alumno no constituye un problema operativo importante, aun teniendo presente la serie d e aspectos implicadcxs en la determinación del concepto.
2. La usiialidad se entiende c o m o la frecuencia d e uscj en un vocabulario d e
propósito general, basado en un corpus general.
La utilización de indicadores de usualidad es clásica en los estudios lingüísticos cuantitativos. Sus orígenes p u e d e n remontarse a Gamble en I86I. Un balance
completo hasta su m o m e n t o p u e d e considerarse en el trabajo clásico d e Harkin
(1957), y una actualización relativamente actual p u e d e verse en Rabin (1988).
Los estudios d e usualidad en español han sido relativamente frecuentes. Desde
el d e Buchanan (1927), posteriormente reelaborado por Spaulding c o m o Density
Wcjrd List, los de Rodríguez Bou (1952), García Hoz (1953), Juilland y Chang Rodríguez (1964), continuados con los e.studios d e Armayor (1975), Díaz Ca.stañón
(1975), d e n u e v o García Hoz (1975), Lorenzo Delgado (1980), Ju.sticia (1984),
Ministerio de Educación y Ciencia (1989), hasta los d e Lecuona (1991) y Bustos Gisb e n (2001) marcan un amplíen recorrido q u e h e m o s considerado para la elaboración de nuestro vocabulario d e usualidad.
El vocabulario usualidad q u e h e m o s utilizado, con base en los reseñados,
consta d e un tt^tal d e 9.707 vocablos.
3. La densidad léxica se ha considerado d e s d e la perspectiva d e la frecuencia
de uso sobre el vocabulario específico utilizado en los textos estudiados. Aunque
ciertos m o d o s d e recuentos d e usualidad p u e d e n ser considerados c o m o análisis
de densidad léxica, h e m o s t o m a d o c o m o referencia estudios tales c o m o el d e
Curado (2000) sobre el léxico de las ciencias y las tecnologías d e la información.
Hemos considerado en este caso las palabras más frecuentes en los textos orales
generados por los alumnos. Para ello se efectuó un recuento d e vocablos y frecuencias en los 400 textos enunciados por los alumnos, y ,se consideraron los vocabltxs n o gramaticales con más d e 9 frecuencias, q u e constituían im conjtmto d e 200
palabras.
3.1. El índice de redundancia,
typen-token mtío, TTR, es un indicador de
riqueza léxica, q u e viene expresado por la razón entre los vocablos (tipos o clases)
y el total d e palabras (figuraciones o símbolos). Utilizado clásicamente en estudios
cuantitativos, se ha vi.sto desarrollado a partir del tratamiento d e la lingüí,stica computacional (Scott, 200).
3.2. La longitud de palabra ha sido un indicadcjr frecuentemente utilizadc^ en
e.studios de lingüística cuantitativa, y en distintos idiomas.
En torno a 1850 surge la «estiloestadística», un intento d e aplicación d e técnicas estadísticas al ámbito d e la investigación d e los estilos literarios. Augusto de
Morgan parece ser quien inicia este tipo de e.studios, centrándose precisamente en
© lídiciones Universidad de Salamanca
Kn.señanza. 23. 2()0S, pp. .•52,V.-Í3H
332
jOSÍ H IS KtJDRÍClKZ Dllítil EZ. ESI>KI(ANZA HERRERA CARCIA y M,' c;Rl Z SÁNCHEZ CÓMEZ
PRliEHA DE E\'AL1 iAt:l()N DE LA EXl'RESIÓN ORAE: EXPRESA 2001
la determinación de la longitud promedio de las palabras como un distintivo del
estilo de un autor (Bailey, 1969).
En la década de los veinte, apenas iniciado el estudio cuantitativo de la lecturabilidad por Lively y Pressey (1923), se efectúa la propuesta de líear (1927), cuyo
título ya es suficientemente expresivo: La longitud de las palabras como indicador
de dificultad en la lectura silenciosa. Jonhson (1930), Gray y Leary (193^), Lewerenz (1939) proponen, entre otros, valoraciones basadas en el número de palabras
polisílabas. La más clásica de la fórmulas de lectural:>ilidad, la de Flesch (1948), propone la utilización de dos indicadores tan scMo en la ecuación de predicción: el
número de palabras por frase y el número de sílabas por palabra. El éxito de esta
fórmula es inmediato, y la extrapcjlación a otras lenguas, con mayor o menor éxito
y rigor, no se hace esperar. Kandel y Moles (1958), Fernández Huerta (1959), De
Landsheere (1963) pueden ser\'ir como ejemplos de estos diferentes procesos de
adaptación. McLaughlin (1968) y Fuks (1952) continúan esta línea.
Una variante curiosa en la evaluación de la longitud de palabras es la que proporcionan Dale y Tyler (1934), al tomar como índice el número de palabras
monosílabas.
El promedio de letras por palabra se utiliza también como indicador en algunas ocasiones; Coke y Rothkopf (1970) y Coleman y Liau (1975) hacen uso de e.ste
criterio.
Una línea di.stinta es la sugerida por Ellis H. Page (1966), que estudia la relación existente entre diversas variables lingüísticas del texto de unos exámenes y la
calificación final de los alumnos en esos exámenes escritos en los que se efectuó
el recuento. Una de las variables que alcanza mayor correlación con el resultado
final del examen es la desviación típica de la distribución de letras por palabra. Por
otra parte. A, J. Moe (1980) desarrolla y presenta un programa orientado al análisis de textos por medio de computador en el que uncí de los parámetros que ofrece
es el promedio y la desviación típica de la distribución de letras por palabra.
Los recuentos, como se ha podido ver, se han centrado, ante todo, en el
recuento de los términos más largos: las palabras polisílabas. Cuando se han utilizado los monosílabos, ha sido como predictores de facilidad. El título de la obra
de Bear (1927), ya citada, es suficientemente expresivo. Y la justiñcación conceptual con base en la Ley de Zipf suficientemente plausible. Para Zipf (1949) es constátatele la estrecha dependencia exi.stente, en cualquier idioma, entre la longitud de
una palabra y su usualidad. En una tensión dinámica entre discriminación y economía, las palabras más usuales tienden a ser más breves. Puede seguirse la evolución de e.sta ley en autores tales como Pietronero y otros (2001).
En diversos estudios realizackxs en nuestro Departamento se ha puesto de
manifiesto el sentido que tiene como indicador de longitud un estimador que
supone considerar el valor del promedio de letras por palabra en el texto con el
que se trabaja, incrementado en 2,58 veces el valor de la desviación típica de la distribucicm de puntuaciones de letras por palabra en ese mismo texto. Suipone una
e.stimación probabilística de la longitud máxima esperable en un porcentaje breve
© Kdiciones Universidad de Salamanca
Enseñanza, ¿3, 2005, pp. 323-3.W
JOSÉ Ll IS UODRÍOIEZ DllíCri:/., KSPK.RANZA HKRRIÍRA CAKCÍA y M ' CKIZ SÁNCHEZ CÓMHZ
HRlEliA DE EVAH'ACIÓN DE l.A EXI'RESIÓN ORAL: EXPRESA ¿004
333
de casos d e esa ciistribucicm. Su valor, en el análisis de textos escritos se nos había
puesto de manifiesto ya en estudios d e lecturabilidad (Rodríguez Diéguez, 1988,
1989, 1994; Rodríguez Diéguez y otros, 1993), y de rendimiento escolar en español
(Herrera García y Martínez García, 1988; Rodríguez Diéguez y Gallego Rico, 1992),
en portugués (Rodríguez Diéguez y Levres, 1990; Rodríguez Diéguez y Q u a d r a d o
Gil, 1996), y en euskera (Goicoechea, 1991) entre otros.
4. Los términos deícticos fueron otro de los indicadores utilizados. El concepto
d e deixis se define en el Diccionario d e la Real Academia c o m o
señalamiento que ,se realiza mediante ciertos elementos lingüísticos que muestran,
como esle, esa-, qiie indican ima persona, como yo. vosotros; o un lugar, como allí,
arriba: o un tiempo, como ayer, ahora. ?,\ .señalamiento puede referirse a otros elementos del discurso... o presentes .sólo en la memoria.
Por su parte, Greimas y Courtes (1982) señalan q u e
En un relato dado, las posiciones temporales (ahora/entonces)
o espaciales
(aquí/allá) pueden .ser postuladas como deixis de referencia a partir ele las cuales
pueden desarrollarse las categorías temporales, aspectuales y espaciales. Así, lo
que se designa, algunas veces, como «tiempo del relato» aparece como Lin presente
(identificable con la deixis temporal "entonces») con relación al cual se podrán instalar im pasado y un futuro, conforme al sistema lógico de anterioridad/concomitancia/po.sterioridad.
Harris, de un m o d o más metafórico y descriptivo señala q u e en
las frases y palabras transicionales, el componente de ela.sticidad que proporciona
la proximidad y enlace entre ellas proporciona coherencia ayudando el lector para
comprender la relación entre los contenidos del texto.
Con base en las listas propiciadas por el mismo Harris (1999), Basdeo (2001)
y el Worcester Polytechnichic Institute (s.a.), se elaboró una lista d e 76 palabras,
considerando el vocabulario total e m p l e a d o por los alumnos en ,sus textos.
5. Por último, el i'ocahulaiio graftzatical esiíibn constituido por los términos
asemánticos, las palabras sin significado pleno, tales c o m o conjunciones, verbos
auxiliares, etc. Son un conjunto de 371 palabras en total.
© Kdiciones Universidad d e Salamanca
Hnseñanza. 2.-!, 2005. p p . ,^2.i-.-S.-5«
334
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M.' CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
CUADRO 1
Resumen d e los indicadores utilizados para elaborar la prueba
1. Riqueza de vocabulario, expresada a través de:
1.1. La tasa de redundancia (TTR), valorada a través de fórmulas similares o derivadas
de la siguiente formula: TTR = Número de vocablos del texto/N." total de palabras
del texto.
1.2. La longitud estimada máxima de las palabras del texto generado por cada alumno
sometido a la prueba. Viene expresada por una variable derivada de la
puntuación media de las palabras empleadas en el texto.
1.3. Usualidad del vocabulario empleado. Para ello se han de contrastar las palabras
utilizadas en el texto generado por cada alumno con diccionarios de usualidad del
castellano. De modo global esta estimación ,se efectúa a partir de indicadores
del tipo: Usualidad = Palabras totales del texto-palabras del diccionario/ Palabras
totales del texto.
1.4. índice de densidad personal, mediante la consideración de los datos arrojados por
medio de los análisis de las listas de consistencia obtenidas en el apartado 1.4.
2. Características sintácticas. Evaluadas a través de indicadores tales como:
2.1. Longitud de frases, considerando los signos de puntuación mediante la
reelaboración del texto con base en las pausas.
2.2. Utilización de elementos subordinantes, susceptibles de detección mediante la
creación de diccionarios «ad hoc- (Rodríguez Diéguez, 2001).
RESULTADOS: LA ECUACIÓN DE PREDICCIÓN
Con las variables indicadas, junto con otra serie d e ellas determinadas d e
m o d o similar, se estudió la predicción del rendimiento e n expresión oral q u e había
sido determinado por el e q u i p o investigador.
Se utilizaron u n a serie d e transformaciones d e las variables, orientadas a u n a
normalización en función del n ú m e r o d e palabras. En el caso d e los vocabularios
utilizados (gramatical, d e usualidad, d e redundancia y d e palabras transicionales)
la transformación efectuada mediante la fórmula Vn.
A partir d e estos datos, la ecuación d e predicción del rendimiento e n expresión oral obtiene los siguientes valores;
R
0,837428769
R2
0,7013
R2 correg.
0,6970
F
161,9909
Sig.
0,0000
Variables predictoras:
(Constante), TOTPAL, U1SAT2, TTRMT2, A2SAT2, T2SAT2, M258DTr2
Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M." CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
335
Las variables incluidas en la predicción son las siguientes:
•
•
•
•
•
Número total de palabras
Indicador de longitud promedio de palabras, mediante la estimación: X +
2,58 S.D.
Tasa de redundancia
Vocabulario gramatical
Vocabulario transicional
Los coeficientes del modelo de predicción son los siguientes:
B
Constante
X + 2,58 S.D.
Tasa de redundancia
Vocabulario gramatical
Vocabulario transicional
Vocabulario de usualidad
-2,3535
0,0576
0,3392
-0,0700
-0,0085
-0,0154
Número total de palabras
-0,0070
Beta
t
-2,3177
0,9887
0,1503
-0,0575
-0,0156
-0,0106
6,8285
3,3659
-0,7301
-0,1376
-0,2190
-0,3623
-3,2940
Sig.
0,0210
0,0000
0,0008
0,4657
0,8906
0,8267
0,0011
Como consecuencia, la fórmula global de valoración de la eficacia en la comprensión oral a través de los resultados de nuestra prueba sería la siguiente:
Valoración global - 0,06 X + 2.58 S.D. + 0,34 TTR -0,07 Voc. Gramatical -0,01
Voc. Transicional -0,02 Voc. usual -0,01 Total palabras -2,35
Con esta prueba se ha pretendido una evaluación de la expresión oral lo más
completa posible a través de las características susceptibles de ser evaluadas de
modo automático. La evaluación por tanto consistirá en una apreciación objetiva y
cuantitativa de los indicadores que se han determinado.
© Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
336
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M." CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
BIBLIOGRAFÍA
AMORI, B. A. y DALTON, E. F. (1994): Examiner'sManual, IDEA Reading & Writing Proficiency
Test, Level 1, Spanish, Brea, CA, Ballard & Tighe.
ARMAYOR, G. H . (1976): Determinación del vocabulario fundamental (de uso y reconocimiento) del niño cordobés de seis años, en su incorporación a la E.G.B. Córdoba, Instituto de Ciencias de la Educación de la Universidad de Córdoba.
BAII.EY, R. W, (1969): Statistics and Style: A Historical Survey, in Statistics and Style. L. R. DOLEZEL y W. BAILEY (eds.). New York, pp. 217-236.
BASDEO, G. D . (2001); Ganesh D. Basdeo: Transitional words and other vocabulary you will
find useful when writing your compositions. http://courses.washington.edu/dibas/203/
transitionwds203. html.
BEAR, M. V. (1927): The Length of Word as an Index of Difficulty in Silent Reading. Unpublished doctoral thesis, University of Chicago.
BINL (1991): Basic Inventory of Natural Language. Technical Repon. San Bernadino, Checkpoint Systems, Inc.
BUCHANAN, M. A. (1941): A Graded Spanish Word Book. Toronto, Univ. of Toronto Press.
BUSTOS GISBERT, J. M, (2001): Definición del glosario léxico del español: niveles inicial y
medio, Enseñanza, vol. 19, 35-72.
CoKE, E. U. y ROTHKOPF, E. Z. (1970): Note on a Simple Algorism for a Computer-Produced
Reading Ease Score, Journal of Applied Psychology, vol. 54, n.° 3, 208-210.
CoLEMAN, M. y LiAU, T. L. (1975): A Computer Readability Formula Designed for Machine Seoring,/OMrna/q/'/lpp/xed Psycfcotogy, vol. 60, n.° 2, 283-284.
CouNciL OF EuROPE (2002): Council ofEurope. Modern Languages División. Marco de referencia europeo para el aprendizaje, la enseñanza y la evaluación de lenguas. Madrid,
Instituto Cervantes.
CURADO, A. (2000): A Lexical Common Core in English for Information Science and Technology. Tesis doctoral. Cáceres, Universidad de Extremadura.
— (2001): El lenguaje específico del inglés de las nuevas tecnologías y su relevancia para
el usuario extremeño, Ars et Sapientia, septiembre, 171-182.
DALE, E. y TYLER, R. W. (1934): A Study of the Factors Influencing the Difficulty of Reading
Materials for Adults of Limited Reading Ability, Library Quarterly, 4, 384-412.
DÍAZ CASTAÑÓN, C. et al. (1975): Vocabulario básico del español y sus aplicaciones a la enseñanza. Oviedo, Instituto de Ciencias de la Educación de la Universidad de Oviedo.
DOHERTY y MARGOIS (1981): The Effectiveness of Myklebust's Pupil Rating Scale as an Index
of Learning Difficulties, Reading Improvement, vol. 18, n.° 2, 157-160.
FLESCH, R. E. (1948): A New Readability Yardstick./owma/ of Applied Psychology, n.° 32, June,
221-233.
FUKS, W. (1952): On Mathematical Analysis of Style, Biometrika, XXXIX, 122 pp. onwards.
GARCÍA HOZ, V. (1953): Vocabulario usual, vocabulario común y vocabulario fundamental.
(Determinación y análisis de susfactores). Madrid, Instituto S.José de Calasanz del CSIC.
— (1975): El vocabulario general de orientación científica y sus estratos (Bases para una
enseñanza vertebrada). Madrid, Instituto S. José de Calasanz del CSIC.
GoicoECHEA, M. J. (1993): Eskola eta hizkunka. Donostia, Txertoa Argitaldaria.
GRAY, W. S y LEARY, B . (1935): What Makes a Book Readable. An Initial Study. Chicago, The
University of Chicago Press.
© Ediciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M." CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXl^RESIÓN ORAL: EXPRESA 2004
337
GREIMAS, A. J. y CouRTES, J. (1982): Semiótica. Diccionario razonado de la Teoría del Lenguaje. Madrid, Ed. Credos.
HARKIN, D . (1957): The history of the word counts, Babel, n.° 3, 113-124.
HARRIS, R. H . (1999): www. virtualsalt.com.
HERRERA GARCÍA, E. y MARTÍNEZ GARCÍA, I. (1988): Producción escrita. Estructura factorial, Enseñanza, n.° 6, 81-86.
iNCE (1996): Evaluación de la Educación Primaria: lo que aprenden los alumnos de 12 años.
Datos básicos. Madrid, Centro de Publicaciones del Ministerio de Educación y Cultura.
— (2000): Evaluación de la educación primaria: datos básicos 1999. Madrid, Centro de
Publicaciones del MEC.
JOHN.soN, G. R. (1930): An Objective Method of Determining Reading Difficulty,/oMrna/q/
Educational Research, 21, 283-287.
JUILLAND, A. y CHANG RODRÍGUEZ, E. (1964): Frequency Dictionary of Spanisb ivords. London,
Mouton and Co.
JUSTICIA Ju.sTiciA, F. (1984): Vocabulario básico para el aprendizaje de la lectura. En Actas del
II Congreso de AESLA. Granada, 3-5 julio.
KANDEL, L. y MOLES, A. A. (1958): Application de l'Indice de Flesch a la Langue Fran^aise,
Cahiers d'Études de Radio Televisión, n." 9, 252-275.
LANDSHEERE, G. (1973): Le test de closure. París, F. Nathan.
LÁZARO, F. (1971): Diccionario de términos filológicos. Madrid, Ed. Credos.
LECUONA, P. (1991): El lenguaje en Educación infantil. Salamanca, lUCE, Universidad de Salamanca.
LEWERENZ, A. S. (1930); Vocabulary Grade Placement of Typical Newspaper Contení, Educational Research Bulletín, 10, 4-6.
LIVELY, B . A. y PRESSEY, S. L. (1923): A Method for Measuring the «Vocabulary Burden» of Text
Books, Educational Administration and Supervisión, 9, 389-398.
LORENZO DELGADO, M. (1980): El vocabulario y la ortografía de nuestros alumnos. Madrid,
Cincel-Kapelusz.
MCLAL'GHLIN, H . (1968): Proposals for British Readability Measures. En BROWN y DOWNING
(eds.): Third International Reading Symposium. London, Cassell.
MINISTERIO DE EDUCACIÓN Y CIENCIA (1989): Vocabulario básico en la EGB. Madrid, MEC-Espasa
Calpe.
MoE, A. J. (1980): Analyzing Text With Computers, Educational Technology, July, 29-31.
MYKLEBU.ST, H . R. (1965): Development and Disorders of Griten Language, 2 vols. New York,
Gruñe and Stratton.
ocDE (2001): La medida de los conocimientos y destrezas de los alumnos. La evaluación de
la lectura, las matemáticas y las ciencias en el Proyecto Pisa 2000. Madrid, Ministerio
de Educación, Cultura y Deportes.
PAGE, E. B. (1966): Grading Essays by Computer: ProgressRepon. Educational Testing Service.
New Jersey, Princeton.
PÉREZ ZORRILLA, M. J. (2000): Evaluación de la Educación Primaria. Datos básicos 1999.
Madrid, lastituto Nacional de Calidad y Evaluación, Centro de Publicaciones del Ministerio de Educación y Cultura.
PiETRONERO, L.; To.SAiTi, E.; TosATTi, V. y VESPIGNANI, A. (2001): Explaining the uneven distribution of numbers nature: the laws of Benford and Zipf, Physica, A 293, 297-304.
© Ediciones Universidad de Salamanca
En,señanza, 23, 2005, pp. 323-338
338
JOSÉ LUIS RODRÍGUEZ DIÉGUEZ, ESPERANZA HERRERA GARCÍA y M.' CRUZ SÁNCHEZ GÓMEZ
PRUEBA DE EVALUACIÓN DE LA EXPRESIÓN ORAL: EXPRESA 2004
RABIN, A. T. (1988): Determining Difficulty Levéis of Text Written in Languages Other than
English. En B. L. ZAKALUCK & S. J. SAMUELS (eds.): Readability. Its Past, Present &. Future.
Ira, Newark, Delaware, pp. 46-76.
REAL ACADEMIA ESPAÑOLA (2001): Diccionario de la Lengua Española. Madrid, Espasa.
RODRÍGUEZ BOU, I. (1952): Recuento de vocabulario español. Universidad de Puerto Rico.
RODRÍGUEZ DIÉGUEZ, J. L. (1988): La lecturabilidad del material escrito. En J. L. RODRÍGUEZ DIÉ-
GUEZ (ed.): Cuestiones de Didáctica. Homenaje a J. Fernández Huerta. Barcelona, CEAC,
Sociedad Española de Pedagogía, pp. 219-230.
— (1989): Predicción de la lecturabilidad de textos en castellano: Una propuesta y algunas
sugerencias, Leer en la Escuela. Nuevas Tendencias en la Enseñanza de la Lectura.
Madrid, Ed. Pirámide/Fundación Germán Sánchez Ruipérez, pp. 284-310.
— (1994): Fórmulas para predecir las condiciones de lectura de textos en español, Telos.
Cuadernos de comunicación, tecnología y sociedad. Fundesco, n.° 27, 97-112.
RODRÍGUEZ DIÉGUEZ, J. L. y GALLEGO RICO, S. (1992): Lenguaje y rendimiento académico. Sala-
manca, Ediciones Universidad de Salamanca.
RODRÍGUEZ DIÉGUEZ, J. L y LEVRES, M. L. (1990): Aproveitamento escolar e linguagem: variaveis individuáis. Revista Portuguesa de Pedagogía, 345-366.
RODRÍGUEZ DIÉGUEZ, J . L.; MORO BERIHUETE, P. y CABERO PÉREZ, M. (1993): Ecuaciones de pre-
dicción de lecturabilidad. En colaboración con P. y M., Enseñanza, n."* 10-11, 47-64.
RODRÍGUEZ DIÉGUEZ, J. L. y QUADRADO GIL, J. (1996): Linguagem e rendimento escolar. Educando e Tecnología, n.° XVIII, 7-32. En colaboración con J. Quadrado Gil.
ScoTT, M. (2000): Reverberations of Echoes. En B. LEWONDC:>WSKA-TOMASZCZYK y P. J. MELIA
(eds.): Practical Applications in Language Corpora. Lodz, University of Lodz.
SiMS, H. B. et al. (1976): Use of the Meeting Street School Screening Test and the Myklebust
Pupil Rating Scale with First-grade Black Urban Children, Psychology in the Schools, vol.
13 (4), oct., 386-389.
TuANA, E.; DESIDERI, D.; SERRATO, PuRA M. et al. (1993): Desarrollo del lenguaje escrito de los
escolares. ¡ístudio experimental del test -Cuento sobre una lámina de Helmer R. Myklebust''. Ediciones Sociedad de Dislexia del Uaiguay.
WoRCESTER Poi.YTECHNic INSTITUTE (s.a.): Transitional words to aid in composition (English/
Spanish). http://users.wpi.edu/~arivera/transi.html.
ZiPF, G. K. (1949): Human Behavior and the Principie of Least Effori. Cambridge, Addison
Wesley Press.
© F.diciones Universidad de Salamanca
Enseñanza, 23, 2005, pp. 323-338