Spa - unesdoc

COMPENDIO
DE LOS MANUALES
DEL SERCE
1
Esta es una publicación de la Oficina
Regional de Educación para América
Latina y el Caribe (OREALC/UNESCO
Santiago) y del Laboratorio
Latinoamericano de Evaluación de la
Calidad de la Educación (LLECE).
Jorge Sequeira
Director
OREALC/UNESCO Santiago
Stefanie Block
Editora de publicaciones / Información pública
Sección de Gestión del Conocimiento
OREALC/UNESCO Santiago
Ana Atorresi (Cap. V)
Carlos Pardo (Cap. VII y VIII)
David Glejberman (Cap. I)
Giuliana Espinosa (Cap. II, III, IV y VI)
Lilia Toranzos (Cap. II, III, IV y VI)
Martha Rocha (Cap. VII y VIII)
Mauricio Castro (Cap. I)
Autores
INTERSON S.A.
Edición, Diseño y Diagramación
Los autores son responsables por la selección y la presentación de los hechos contenidos en esta publicación,
así como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no
comprometen a la Organización. Las denominaciones empleadas y la presentación de los datos no implican,
de parte de la UNESCO, ninguna toma de posición respecto al estatuto jurídico de los países, las ciudades, los
territorios, las zonas y sus autoridades ni respecto al trazado de sus fronteras o límites.
El uso de un lenguaje que no discrimine ni reproduzca esquemas discriminatorios entre hombres y mujeres es
una de las preocupaciones de la UNESCO. Sin embargo, no hay acuerdo entre los lingüistas acerca de cómo
expresar en castellano la igualdad de géneros sin evitar la sobrecarga que supone utilizar “o/a”, “los/las” y otras
formas sensibles al género para marcar la presencia de ambos sexos. Por esta razón, hemos optado por usar la
forma masculina en su tradicional acepción, que hace referencia tanto a hombres como a mujeres.
Permitida la reproducción total o parcial de esta publicación, así como su traducción a cualquier otro idioma,
siempre que se cite la fuente y que no se utilice con fines lucrativos.
©UNESCO 2010
ISBN: 978-92-3-304186-8
INTERSON S.A.
Santiago, Chile; diciembre, 2010.
COMPENDIO
DE LOS MANUALES
DEL SERCE
Laboratorio Latinoamericano de Evaluación
de la Calidad de la Educación
Presentación
U
no de los propósitos más importantes del Laboratorio Latinoamericano de Evaluación de
la Calidad de la Educación (LLECE), de la Oficina Regional de Educación para América Latina y
el Caribe (OREALC/UNESCO Santiago), es el de
dejar capacidades instaladas en los equipos técnicos de los países sobre los procedimientos y prácticas utilizadas para evaluar la calidad de la educación. Para esta tarea, es necesario no solo entregar
los productos finales, sino que también las pautas
de cómo se normaron los procesos que llevaron a
la realización de dichos productos. El fin es que no
seamos solo usuarios de herramientas, sino usuarios conscientes, capaces de reproducir, adaptar y
mejorar lo aprendido en su aplicación.
Es por las razones esbozadas anteriormente que el
LLECE, a través de este Compendio, quiere poner
a disposición de toda la comunidad de la Región
Latinoamericana tanto de los países miembros del
LLECE como de cualquier otro interesado en esta
temática, la colección de manuales desarrollados a lo
largo del Segundo Estudio Regional Comparativo y
Explicativo (SERCE), los cuales dan detalles desde
el diseño muestral y la elaboración de los instrumentos, tales como las pruebas y los cuestionarios, hasta
la aplicación de los mismos, tanto en su versión piloto como definitiva.
Esperamos que este Compendio de Manuales permita conocer más cercanamente el trabajo técnico que
se llevó a cabo en el SERCE, y pueda contribuir a
elevar aún más las capacidades de los equipos técnicos de evaluación de los países de la región, así como
también orientarnos sobre las normas a seguir en pro
de la mejora de la calidad educativa de los niños y
niñas de Amétrica Latina y el Caribe.
Jorge Sequeira
Director
OREALC/UNESCO Santiago
4
Índice
Capítulo I: Manual de Muestreo ................................................................................. 13
2. Universos que serán objeto de estudio ......................................................................... 13
3. Subuniversos de estudio ................................................................................................ 14
4. Unidades de muestreo y marco muestral ..................................................................... 15
5. Exclusiones válidas ....................................................................................................... 15
6. Método de muestreo ...................................................................................................... 17
7. Criterios de estratificación para la optimización del muestreo ................................... 18
8. Cantidad mínima de escuelas
por estrato explícito y por país ......................................................................................... 20
9. Ajustes en el tamaño de la muestra .............................................................................. 21
10. Procedimientos para la selección de escuelas y alumnos
Sistema de reemplazos ....................................................................................................... 22
11. Estratos adicionales optativos para cada país
Tratamiento de los mismos.
Tratamiento de las muestras para entidades subnacionales (Nuevo León y Goias) ........23
12. Requerimientos e instrucciones para la elaboración
del marco muestral en cada país. Estructura de las bases de datos ................................ 23
13. Criterios y procedimientos para el control de los marcos muestrales
por parte de la Coordinación Técnica .............................................................................. 24
14. Requisitos mínimos de cobertura que deben ser alcanzados por cada país para que los datos sean considerados confables ....................................... 25
15. Criterios y procedimientos para el control de las muestras
realmente obtenidas, una vez culminada la aplicación .................................................... 26
16. Márgenes de error estimados para el diseño muestral,
a nivel internacional, nacional y de estrato ..................................................................... 26
17. Sistema de ponderaciones para la estimación de resultados
a nivel nacional y de subuniversos .................................................................................... 27
18. Advertencia .................................................................................................................. 27
ANEXO 1 .......................................................................................................................... 28
5
ANEXO 2 .......................................................................................................................... 29
ANEXO 3 .......................................................................................................................... 30
Escuelas y directores ......................................................................................................... 31
Estimadores alternativos (de expansión simple) ............................................................. 33
Alumnos ............................................................................................................................ 33
Capítulo II:
Manual del Coordinador Nacional para la Aplicación Definitiva ............... 35
2. Papel del Coordinador Nacional .......................................................................................... 35
3. Lista de instrumentos ....................................................................................................... 36
4. Actividades previas a la aplicación .................................................................................... 37
4.1 Conformar el marco muestral y definir fechas de aplicación ............................................... 37
4.2 Recibir y estudiar la documentación del proyecto ........................................................... 38
4.3 Establecer contacto con los centros educativos .............................................................. 39
4.4 Convocar, seleccionar y capacitar a los aplicadores ......................................................... 40
4.5 Imprimir cuadernillos y cuestionarios ............................................................................. 41
4.6 Organizar la revisión y entrega de los materiales a los aplicadores ..................................... 41
Actividades durante la aplicación .......................................................................................... 44
5.1 Implementar un sistema interno (nacional) de apoyo a la aplicación ................................ 44
5.2 Colaborar con el sistema de control de calidad del estudio .............................................. 44
6. Actividades después de la aplicación ................................................................................ 45
6.1 Organizar la verificación y recepción de los materiales de la aplicación ........................... 45
6.2 Organizar la captura de las respuestas a los instrumentos ............................................... 45
6.3 Consolidar y remitir la documentación ........................................................................... 46
6.4 Mantener bajo resguardo los instrumentos ..................................................................... 47
ANEXO 1 ........................................................................................................................... 48
ANEXO 2 ........................................................................................................................... 49
Fase II: Actividades presenciales ............................................................................................ 50
1. Prueba de carácter formativo (30 minutos) ............................................................................ 50
2. Análisis grupal de las partes fundamentales del Manual de Aplicación (120 minutos) ................ 50
3. Representaciones de las aplicaciones de las pruebas ................................................................ 51
4. Representaciones de las aplicaciones de los cuestionarios de factores asociados ........................ 52
4.1 Presentación introductoria a cuestionarios (15 minutos) ....................................................... 53
4.2 Cuestionarios del docente (incluye los cuestionarios sobre enseñanza),
el director y ficha de empadronamiento del centro educativo (45 minutos por instrumento) ............ 53
4.3. Cuestionario de la familia .................................................................................................. 53
5. Despedida del centro educativo, devolución de materiales y elaboración del reporte
(60 minutos) .......................................................................................................................... 53
6
Capítulo III: Manual del Aplicador para la Aplicación Definitiva ................................. 54
2. Lista de instrumentos ....................................................................................................... 54
3. Actividades del Aplicador .................................................................................................. 55
3.1 Establecer contacto con la escuela ....................................................................................... 55
3.2 Recibir el material de la evaluación y verificar que esté completo ............................................ 56
3.3 Completar el Formulario de Asistencia de Estudiantes (F2) ................................................... 57
3.4 Completar las carátulas de los instrumentos ......................................................................... 58
3.5 Aplicar los instrumentos a los estudiantes ............................................................................ 60
3.5.1 Conducir la aplicación de acuerdo con la guía .................................................................... 61
3.5.2 Supervisar la sesión ......................................................................................................... 61
3.5.3 Finalizar la sesión ............................................................................................................ 62
3.6 Administrar los cuestionarios de familia (QF) ....................................................................... 62
3.7 Administrar los cuestionarios del director y de los docentes ................................................... 63
3.8 Completar el formulario de registro de incidentes (F3) .......................................................... 63
3.9 Agradecer y despedirse de la escuela .................................................................................... 64
3.10 Consolidar todo el material y devolverlo ............................................................................. 64
4. Situaciones problemáticas: preguntas y respuestas ................................................................... 65
ANEXO 1 .............................................................................................................................. 66
ANEXO 2 ............................................................................................................................. 67
ANEXO 2B ........................................................................................................................... 68
ANEXO 3 .............................................................................................................................. 69
ANEXO 4 .............................................................................................................................. 70
ANEXO 5 .............................................................................................................................. 71
ANEXO 6 .............................................................................................................................. 73
Capítulo IV: Manual para la Codificación de los ítems
de respuesta abierta de matemática .......................................................................................... 96
2. Las pruebas de Matemática SERCE ...................................................................................... 97
3. Estructura de los ítems de respuesta abierta ........................................................................... 98
4. Estructura de las consignas de codificación ............................................................................ 98
5. Códigos de dos dígitos ......................................................................................................... 98
6. Cuestiones generales de la codificación .................................................................................. 98
7. Guía general de codificación de los ítems de respuesta abierta de tercero ................................. 100
8. Guía general de codificación de los ítems de respuesta abierta de sexto ................................... 109
7
Capítulo V: Manual para la evaluación de las pruebas de Escritura .................................... 124
Primera Parte ..................................................................................................................... 125
1. La Escritura ..................................................................................................................... 125
1.1 La planificación de la Escritura ........................................................................................ 125
1.2 La puesta en texto .......................................................................................................... 126
1.3 La revisión y el ajuste ...................................................................................................... 127
1.4 Particularidades de la Escritura en las pruebas del SERCE .................................................. 128
2. Aspectos para evaluar: producto y proceso .......................................................................... 128
2.1 Evaluación del proceso .................................................................................................... 129
2.1.1 Evaluación del proceso de Escritura en el SERCE ........................................................... 130
2.2 Evaluación del producto .................................................................................................. 131
2.2.1 Los objetivos ............................................................................................................... 131
2.2.2 Las instrucciones ......................................................................................................... 132
2.2.3 Los criterios de éxito y las escalas de calificación ............................................................. 134
Segunda parte ...................................................................................................................... 137
1. Glosario de conceptos involucrados en la evaluación ........................................................... 137
1.1 Coherencia .................................................................................................................... 138
1.2 Estructura textual descriptiva .......................................................................................... 139
1.3 Estructura textual narrativa ............................................................................................. 140
1.4 Estructura textual instructiva ........................................................................................... 144
1.5 Géneros discursivos ........................................................................................................ 145
1.6 Legibilidad ..................................................................................................................... 146
1.7 Léxico ........................................................................................................................... 146
1.8 Ortografía ..................................................................................................................... 147
1.9 Registro ........................................................................................................................ 147
1.10 Texto .......................................................................................................................... 148
1.11 Título .......................................................................................................................... 149
Tercera parte ....................................................................................................................... 150
1. Instructivo para la evaluación de las pruebas de tercer grado ................................................ 150
Cuarta parte ........................................................................................................................ 179
1. Instructivo para la evaluación de las pruebas de sexto grado ................................................. 179
Quinta parte ........................................................................................................................ 205
1. Recomendaciones para evitar sesgos y errores al evaluar ....................................................... 205
Referencias .......................................................................................................................... 206
8
Capítulo VI: Manual para la Codificación de los Ítems de Ciencias Naturales ..................... 208
A.Código: C.b1.it15. Ítem 15 del Cuadernillo 1. Ítem 30 del Cuadernillo 6 ................................. 208
B.Código: C.b2.it15. Ítem 30 del Cuadernillo 1. Ítem 15 del Cuadernillo 4.................................. 211
C.Código: C.b3.it10. Ítem 10 del Cuadernillo 2. Ítem 25 del Cuadernillo 4.................................. 214
D. Código: C.b3.it15. Ítem 15 del Cuadernillo 2. Ítem 30 del Cuadernillo 4................................. 216
E.Código: C.b4.it15. Ítem 30 del Cuadernillo 2. Ítem 15 del Cuadernillo 5.................................. 219
F. Código: C.b5.it15. Ítem 15 del Cuadernillo 3. Ítem 30 del Cuadernillo 5.................................. 222
Capítulo VII: Manual para el Procesamiento y Análisis de Datos Aplicación Piloto ............ 225
1. Fundamentación teórica del Modelo de Análisis ................................................................... 225
1.1 Las teorías de medición .................................................................................................... 225
1.2 La Teoría de Respuesta al Item (TRI)................................................................................. 226
1.2.1 Supuestos de la TRI ...................................................................................................... 226
1.2.2 Modelos en la TRI ........................................................................................................ 227
2. Indicadores estadísticos para análisis de ítems ...................................................................... 229
2.1 Dificultad ....................................................................................................................... 229
2.2 Discriminación ............................................................................................................... 230
2.3 Correlación Producto Momento Punto Medida .................................................................. 230
2.4 .Funcionamiento Diferencial de Ítems (DIF) ...................................................................... 231
2.5 Curva Característica del Ítem (ICC) ................................................................................... 231
2.6 Ajuste próximo y lejano (infit y outfit)................................................................................ 232
2.7 Promedio de habilidad por opción .................................................................................... 232
2.8 Mapa de distribución de habilidades y dificultades .............................................................. 233
2.9 Correlaciones inter-ítem ................................................................................................... 233
2.10 Error estándar de medición ............................................................................................ 233
3. Indicadores estadísticos para el análisis de grupos de ítems ................................................... 234
3.1 Promedio ....................................................................................................................... 234
3.2 Desviación estándar ......................................................................................................... 234
3.3 Puntuación máxima y mínima ........................................................................................... 235
3.4 Confiabilidad ................................................................................................................... 235
4. Software para procesamiento .............................................................................................. 235
5. Base de datos .................................................................................................................... 236
5.1 Base de datos de entrada ................................................................................................... 236
9
5.2 Archivos de comandos ................................................................................................... 239
5.3 Base de datos de salida ................................................................................................... 239
6. Reportes ......................................................................................................................... 240
6.1 Reportes en tablas para el informe internacional ............................................................... 240
6.2 Reportes gráficos para el informe internacional ................................................................. 245
6.3 Reportes en tablas por país ............................................................................................. 250
6.4 Reportes gráficos por país................................................................................................ 252
7. Fases del procesamiento..................................................................................................... 253
Capítulo VIII: Manual para el Procesamiento y Análisis de Datos Aplicación Definitiva ... 254
1. Fundamentación teórica del modelo de análisis ................................................................... 255
1.1 Las teorías de medición ................................................................................................... 255
1.2 La teoría de respuesta al ítem (TRI) .................................................................................. 256
1.2.1 Supuestos de la TRI ..................................................................................................... 256
1.2.2 Parámetros y modelos de la TRI .................................................................................... 257
1.3 Modelo utilizado para el procesamiento del estudio principal .............................................. 260
2. Fases generales del procesamiento de datos......................................................................... 261
2.1 Fase uno: procesamiento para análisis de ítems y de pruebas ............................................... 261
2.2 Fase dos: producción de resultados .................................................................................. 261
3. Conformación de la base de datos para análisis de ítems ...................................................... 262
3.1 Depuración inicial ......................................................................................................... 262
3.2 Estructura de las bases de datos ....................................................................................... 262
3.3 Archivos de comandos ................................................................................................... 263
4. Depuración de bases de datos para análisis de ítems ............................................................ 263
5. Verificación de supuestos del modelo.................................................................................. 264
6. Indicadores estadísticos para análisis de ítems ..................................................................... 264
6.1 Indicadores de categoría uno............................................................................................ 265
6.1.1 Ajuste próximo y lejano (Infit y Outfit) .......................................................................... 265
6.1.2 Funcionamiento Diferencial de Items - DIF ................................................................... 265
6.2 Indicadores de categoría dos ........................................................................................... 266
6.2.1 Dificultad .................................................................................................................. 266
6.2.2 Discriminación ........................................................................................................... 266
6.2.3. Correlación Producto Momento Punto Medida ............................................................. 267
6.2.4 Curva Característica del Item - CCI ............................................................................... 267
10
7. Indicadores estadísticos para análisis de grupos de ítems ....................................................... 269
7.1 Promedio ....................................................................................................................... 269
7.2 Desviación estándar ......................................................................................................... 270
7.3 Puntuación máxima y mínima ........................................................................................... 270
7.4 Función de información ................................................................................................... 270
8. Depuración de bases de datos para generación de escalas de calificación ................................. 271
8.1Depuración previa al procesamiento para análisis de ítems .................................................... 271
8.2 Depuración posterior al procesamiento para análisis de ítems ............................................... 271
8.3 Estructura de la base de datos para producción de resultados ............................................... 271
9. Escalas de calificación......................................................................................................... 272
9.1 Puntuación total en la prueba ............................................................................................ 272
9.2 Nivel de desempeño ........................................................................................................ 272
9.3 Desempeño relativo por categorías de la estructura de prueba ............................................. 273
10. Bases de resultados........................................................................................................... 273
11. Software para procesamiento............................................................................................. 274
12. Reportes.......................................................................................................................... 275
12.1 Reportes en tablas por prueba ......................................................................................... 275
12.2 Reportes gráficos por prueba........................................................................................... 278
12.3 Reportes en tablas con información por país..................................................................... 282
12.4 Reportes gráficos por país ............................................................................................... 284
Bibliografía............................................................................................................................ 286
11
Introducción
E
l Laboratorio Latinoamericano de Evaluación de
la Calidad de la Educación (LLECE), como red de
apoyo a los países de la región, tiene como propósito
diagnosticar y mejorar la calidad de la educación, pero
también promover el desarrollo de capital humano que
nos haga cada día mejores en la compleja tarea de la evaluación, por lo que se hace necesario dejar estampada y
difundida la experiencia acumulada en este camino.
A través de este Compendio, La Oficina Regional de
Educación para América Latina y el Caribe (OREALC/
UNESCO Santiago) busca contribuir al fortalecimiento
de las capacidades técnicas de los países, dejando memoria de la experiencia acumulada en los distintos procesos que llevaron a la realización exitosa del Segundo
Estudio Regional Comparativo y Explicativo (SERCE).
Para ello, el LLECE divulga este Compendio de Manuales desarrollados para la aplicación de las distintas tareas
del estudio SERCE.
A través de estos manuales, se recogieron las pautas
a seguir para una ejecución controlada de las distintas
etapas por la que transitó la evaluación de los aprendizajes en cada país participante en el SERCE y en toda
la región. Esta experiencia permitirá orientar y mejorar
tanto nuevas iniciativas regionales de evaluación como
esfuerzos de evaluaciones locales.
Esperamos que este compendio ayude a los equipos técnicos de los países a fortalecer sus capacidades y a propiciar evaluaciones con calidad para todos en América
Latina y el Caribe.
12
CAPÍTULO I: MANUAL DE MUESTREO
E
l propósito de este documento es explicitar las características del diseño muestral del SERCE y los procedimientos que seguirá la Coordinación Técnica del LLECE para la selección de las muestras nacionales de
los países participantes del Segundo Estudio. El documento se propone, además, explicitar los requisitos que
deberán satisfacer dichas muestras para que los datos de un país se consideren confiables para su inclusión en
los reportes regionales1 . Asimismo, el documento realiza una primera aproximación a los niveles de precisión
que tendrán los resultados por país y por estrato, así como a los procedimientos a seguir para la estimación de
márgenes de error de dichos resultados.
Muchas de las decisiones sobre cómo realizar el muestreo se derivan de decisiones relativas a los propósitos del
SERCE, adoptadas por los Coordinadores Nacionales del LLECE. Esto será indicado en notas al pie de página.
El presente manual fue elaborado por David Glejberman, con la colaboración de Mauricio Castro, y fue revisado por la Coordinación Técnica del LLECE y sometido a la revisión de los equipos nacionales de los países
participantes, muchos de los cuales enviaron observaciones y recomendaciones que ayudaron a mejorarlo. En
el proceso previo a la elaboración de este manual, se recibieron orientaciones y recomendaciones de Richard
Wolfe y Marc Joncas, integrantes del Comité Técnico Consultivo del SERCE.
2. Universos que serán objeto de Estudio.
a)
El SERCE se propone, en primer término, estudiar los logros educativos en Lenguaje y Matemática
de los alumnos matriculados en tercero o sexto grados del nivel primario al final del año lectivo 2005-2006
(escuelas con calendario norte) o año lectivo 2006 (escuelas con calendario sur), en instituciones educativas
oficialmente reconocidas que otorgan una certificación que habilita al estudiante a acceder al grado o nivel
educativo siguiente. No se consiera parte del universo a los alumnos matriculados en instituciones de educación
para adultos, en instituciones de educación especial o en programas de educación alternativa no formal o no
presencial. En el caso de 3º no se incluirá a las escuelas dirigidas a niños cuya lengua materna es indígena, dado
que se considera que aún no tienen suficiente dominio del lenguaje como para realizar una prueba escrita. En
cambio, se considera que al final de la educación primaria (6º), todos los niños deberían haber alcanzado un
nivel de dominio del lenguaje estándar que les permita realizar las pruebas. Tampoco forman parte del universo
de estudio los alumnos con necesidades educativas especiales que están integrados en escuelas comunes.
b)
En segundo término, el SERCE se propone estudiar los factores que tienen influencia y/o explican los
logros educativos de los alumnos. Con este propósito son también universos objeto de estudio los siguientes:
b.1. Los hogares de los alumnos de 3º y 6º grados;
b.2. Los padres o tutores de los alumnos de 3º y 6º grados;
b.3. Las secciones o aulas a las que pertenecen los alumnos de 3º y 6º grados;
b.4. Los maestros que enseñan Lenguaje y Matemática a los alumnos de 3º y 6º grados;
b.5. Las escuelas a las que asisten los alumnos de 3º y 6º grados;
b.6. Los directores de las escuelas a las que asisten los alumnos de 3º y 6º grados.
Los universos indicados en el apartado a) se estudiarán a través de la aplicación de pruebas estandarizadas de
1
En otros documentos se explicitan otros requisitos que deben satisfacer la implementación del estudio en los países no relacionados
con la muestra y su implementación.
13
Lenguaje y Matemática, así como de Cuestionarios autoadministrados. Los universos indicados en el apartado
b) se estudiarán a través de la aplicación de cuestionarios autoadministrados.2
3. Subuniversos del Estudio.
A nivel regional, se pretende obtener información de cada país, con desagregaciones al nivel de los siguientes
subuniversos: Urbano Público y Rural.
En relación a las escuelas rurales, dado que alrededor de la mitad de los países carecen de información suficiente, para aplicar la definición estándar que se intentó utilizar en el Piloto (escuelas ubicadas en localidades con
hasta 2500 habitantes), se decidió emplear la definición de escuela rural vigente en cada país. Obviamente, esto
conlleva problemas de comparabilidad, que serán resueltos posteriormente, a partir del análisis de las características de las escuelas que fueron definidas como rurales (en términos de cantidad de alumnos, grados que
incluye, carácter uni, bi o multidocente, etc.).3 Esto significa que en los informes regionales se caracterizará a
las escuelas rurales de cada país y, eventualmente, se efectuarán comparaciones entre subconjuntos de escuelas
rurales con características similares.
En relación a las escuelas privadas, dado que, primero, tanto el Primer Estudio del LLECE como otros estudios
internacionales (p.ej. PISA) muestran que no existen diferencias relevantes entre escuelas estatales y privadas,
cuando se controla la composición sociocultural del alumnado; y dado que, segundo, existen restricciones presupuestales, en relación al tamaño de muestra que pueden implementar los países; se optó por no forzar una
muestra representativa de este subuniverso4, de manera que las escuelas privadas participarán en la muestra en
función de su participación en el universo. Esto implica que en países en que las escuelas privadas correspondan
a una proporción reducida de la matrícula, no será posible realizar inferencias de ellas, con suficiente precisión.
Los países que deseen datos representativos y precisos a nivel de escuelas privadas u otros subuniversos o
estratos, deberán solicitarlo expresamente en el Formulario de la Aplicación Definitiva SERCE 2006. A los
efectos del SERCE, se define como escuela privada a aquella cuya conducción no está en manos del personal
dependiente del Estado nacional. Los países que lo deseen pueden distinguir entre escuelas de gestión privada
y financiamiento estatal y escuelas de gestión privada y financiamiento privado.
El estrato Urbano Público será en todos los países lo suficientemente grande como para permitir una estratificación sociocultural a posteriori, a partir de los datos recogidos en los cuestionarios de factores asociados. La
estratificación sociocultural no se puede contemplar en el diseño muestral, por falta de información sobre este
aspecto. Sin embargo, en términos del análisis, se considera que es particularmente relevante distinguir entre
distintos tipos de escuelas públicas urbanas, principalmente en términos de la composición social de su alumnado.5
2
Dado que las escuelas serán seleccionadas por muestreo probabilístico, los alumnos, maestros, padres y hogares de 3º y 6º automáticamente están siendo seleccionandos por el mismo procedimiento, por lo tanto, las inferencias serán válidas para los diversos universos, aunque las estimaciones de error deberán realizarse específicamente para cada universo.
3
4
5
Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunión de Brasilia, en junio de 2005.
Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunión de Brasilia, en junio de 2005.
Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunión de Brasilia, en junio de 2005.
14
4. Unidades de muestreo y marco muestral.
Dado el tamaño del universo de alumnos de 3º y 6º en la región, alrededor de 20 millones de estudiantes, la
recolección de datos se realizará a través de muestras nacionales. Para garantizar precisión y confiabilidad, el
muestreo tendrá carácter probabilístico, a partir de marcos muestrales constituidos por las escuelas de cada país
que forman parte del universo definido.
La unidad de muestreo será la escuela, es decir, un establecimiento escolar6 que tiene un responsable, su director, y que puede funcionar en un único turno, en dos turnos o en jornada completa.
El marco muestral de cada país estará constituido por el listado de la totalidad de las escuelas que forman parte
del universo definido. En el marco muestral, para cada escuela se incluirá la información relativa a las variables
especificadas en el punto 12 de este documento.
5. Exclusiones válidas.
De acuerdo a la definición dada de universo, no forman parte del mismo las escuelas Especiales (dirigidas
exclusivamente a alumnos con necesidades especiales), de educación de adultos y de educación alternativa no
formal o no presencial.
Se excluyen del universo:
- Las escuelas con menos de 6 alumnos matriculados en 3º y menos de 6 alumnos matriculados en 6º (debido a
la relación costo/beneficio en la aplicación).
- Las secciones con menos de 6 alumnos matriculados en el grado (relación costo/beneficio).
- Los alumnos de 3º en escuelas bilingües con lengua indígena (se entiende que no estarán en condiciones de
responder una prueba escrita en castellano o portugués).
Se excluyen de la muestra:
- Las secciones con 6 o más alumnos matriculados y menos de 4 alumnos esperados en la fecha de las pruebas
(relación costo/beneficio).
- Los alumnos cuya lengua materna no es el castellano o portugués y que no han recibido al menos dos años
de enseñanza en el lenguaje de la prueba (se entiende que no estarán en condiciones de responder una prueba
escrita).
- Los alumnos con necesidades especiales, cuya situación les impide desempeñarse en una prueba escrita (por
ejemplo, un niño ciego). Al respecto, véase el Capítulo III “Manual del Aplicador para la Aplicación Definitiva,
Anexo III”.
Serán excluidas del análisis:
- Las secciones en las que participan de las pruebas menos del 75% de los alumnos que asisten efectivamente
a clases (riesgo de selección intencional por parte del centro educativo). En estos casos, no se considerará a la
sección en los análisis que se realicen por sección o escuela, pero sí se incluirá a los alumnos en las estimaciones
nacionales y por estrato.
6
La expresión “establecimiento escolar” denota un local físico donde se desarrollan actividades de enseñanza primaria a cargo de
un responsable que es el director del establecimiento. En un mismo local físico puede funcionar más de un establecimiento escolar.
15
- En los casos de escuelas en que menos del 50% de los alumnos de 3º y 6º, alumnos que asisten efectivamente a
clases, realicen la prueba, tanto la escuela como los alumnos serán excluidos de todos los análisis y estimaciones
relativas a 3º y 6º, incluso las nacionales (riesgo de selección intencional).
Observaciones
a)
Sólo se excluyen del universo las escuelas pequeñas, en términos del número de alumnos de 3º y de 6º.
No se excluyen del universo las escuelas que tienen al menos 6 alumnos en 3º ó al menos 6 alumnos en 6º.
b)
Seleccionada una escuela en la muestra, se procede a solicitar información a la Coordinación Nacional
del país sobre el número efectivo de alumnos que concurre a clases. Si este número es inferior a 4 en 3º y en 6º,
entonces se procede a sustituir esta escuela de la muestra por su reemplazo y se sortea un nuevo reemplazo.
c)
En la etapa del análisis, las exclusiones implican una reducción del tamaño efectivo de la muestra, lo que
se debe tomar en cuenta al ponderar o expandir los resultados.
Tabla 1
Proporción de alumnos que quedan fuera del universo investigado, por la condición:
matrícula de 3º menor que 6 y matrícula de 6º menor que 6.
ALUMNOS EXCLUIDOS
PAÍS
O REGIÓN
En 3º
En 6º
Argentina
0,6%
0,5%
Brasil
2,8%
0,0%
Chile
1,8%
1,6%
Colombia
5,4%
0,1%
Costa Rica
3,0%
2,9%
Cuba
5,6%
3,4%
Ecuador
4,2%
3,9%
El Salvador
0,5%
0,3%
Guatemala
2,0%
1,9%
México
1,3%
1,2%
México - Nuevo León
1,3%
1,2%
Nicaragua
2,7%
1,1%
Panamá
2,9%
3,1%
Paraguay
1,2%
0,7%
Perú
2,9%
2,2%
Uruguay
2,9%
3,0%
Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la
Aplicación Piloto, SERCE 2005.
16
Tabla 2
Proporción de alumnos del sector rural que quedan fuera del universo investigado, por la condición:
matrícula de 3º menor que 6 y matrícula de 6º menor que 6.
ALUMNOS EXCLUIDOS
PAÍS
O REGIÓN
En 3º
En 6º
Argentina
1,05%
0,95%
Brasil
10,85%
0,18%
Chile
12,46%
11,07%
Colombia
15,86%
0,12%
Costa Rica
6,09%
6,16%
Cuba
22,33%
13,73%
Ecuador
9,62%
9,83%
El Salvador
0,70%
0,51%
Guatemala
2,62%
2,92%
México
1,47%
1,50%
México - Nuevo León
2,52%
2,85%
Nicaragua
4,56%
2,40%
Panamá
7,22%
7,65%
Paraguay
2,03%
1,40%
Perú
6,67%
6,04%
Uruguay
56,74%
54,42%
Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la
Aplicación Piloto, SERCE 2005.
6. Método de muestreo.
El método de muestreo propuesto tiene las siguientes características:
- Aleatorio
- Estratificado
- De conglomerados
- En una sola etapa de selección
En cada país, la muestra se selecciona mediante muestreo aleatorio (probabilístico) estratificado de conglomerados. Los criterios para la estratificación a priori se comentan en la sección siguiente. Los conglomerados son las
escuelas del universo. En cada estrato se selecciona una muestra de escuelas, en una sola etapa de selección con
probabilidades iguales para todas las escuelas del estrato. La muestra de alumnos, en cada estrato, se conforma
con todos los alumnos (salvo por las “exclusiones válidas”) de las escuelas seleccionadas en cada estrato. Este
procedimiento garantiza probabilidades iguales de selección para todos los alumnos de un estrato. Sin embargo,
las probabilidades de selección de escuelas y alumnos no son iguales si las escuelas (o los alumnos) pertenecen
a estratos diferentes, lo que conduce a muestras no autoponderadas de alumnos.
17
Observaciones
•
La probabilidad de un alumno de pertenecer a la muestra es igual a la probabilidad de que su escuela
sea seleccionada, porque todos los alumnos de su grado pertenecen a la muestra (excepto por las exclusiones
válidas de la sección 6).
•
La probabilidad de que una escuela pertenezca a la muestra es igual al cociente nh / Nh , donde nh es
el tamaño de la muestra de escuelas en el estrato h y Nh es el tamaño del universo de escuelas en el mismo estrato. Por ejemplo, si en un estrato (ver sección 8) hay 150 escuelas y el tamaño de muestra en dicho estrato es
12, entonces la probabilidad de selección de escuelas y alumnos en dicho estrato es 0,08 (12 / 150). Si en otro
estrato para el mismo país hay 6 escuelas y el tamaño de la muestra es 3, entonces la probabilidad de selección
de escuelas y alumnos en dicho estrato es 0,50.
7. Criterios de estratificación7 para la optimización del muestreo.
Se utilizan tres criterios para la estratificación a priori de las escuelas (esta estratificación se emplea para optimizar el muestreo, pero no es la que se utilizará para el reporte de resultados):
- Tipo de gestión y área geográfica
- Tamaño
- Relación entre la matrícula de 6º y la matrícula de 3º
El tipo de gestión, como variable de estratificación, permite proporcionar información desagregada por subuniversos de estudio: las escuelas de gestión pública y las de gestión privada.
Se conoce que el tamaño de la escuela incide en los logros académicos de los alumnos, y la relación matrícula
de 6º / matrícula de 3º permite discriminar las escuelas con diferentes tasas de retención, lo que también puede
estar asociado al rendimiento escolar. Se reconoce que esta posible asociación puede verse distorsionada por
aquellas escuelas nuevas (que pueden tener una escasa o nula matrícula de 6º) y también por los casos de países
donde el 3º y el 6º grados se dictan en diferentes escuelas.
El criterio “tipo de gestión y área geográfica” determina tres categorías de escuelas, coincidentes con los subuniversos de estudio: URBANO PÚBLICO, URBANO PRIVADO y RURAL8 .
El criterio “tamaño de la escuela” determina tres categorías de escuelas, para lo cual se recomienda utilizar las
mismas definiciones para todos los países:
- PEQUEÑA: escuela con una sola sección en el grado9
- MEDIANA: escuela con dos o tres secciones en el grado
- GRANDE: escuela con cuatro o más secciones en el grado
7
En este documento, el término estrato se emplea a los efectos del muestreo. No se trata de estratos para el reporte de resultados.
Para la denominación de los subconjuntos de escuelas sobre los cuales se espera reportar resultados, se emplea el término subuniverso.
8
Se considera que la escuela es “rural”, según la definición propia de cada país.
9 Si la escuela tiene alumnos de 3º y 6º, el tamaño estará dado por la cantidad de secciones en 3º. Si la escuela sólo tiene alumnos de 6º,
entonces el tamaño estará dado por la cantidad de secciones de este grado.
18
La relación entre la matrícula de 6º y la de 3º (R6/3) determina tres categorías de escuelas, con resultados bastante diferentes por países. Las tres categorías son:
- R6/3 ≥ 0,8
- 0 < R6/3 < 0,8
- Matrícula de 3º = 0
El valor “0,8” es paramétrico. De hecho, se han realizado pruebas con el valor 0,75 (ver ANEXO 2) y se encontró que, en la mayoría de los países, este valor de la variable determina tamaños desiguales para los estratos.
Dicha “desigualdad” se reduce, en parte, aumentando el límite de 0,75 a 0,8.
En el caso de las escuelas ubicadas en zonas rurales, el escaso número de escuelas “grandes” justifica que se
colapsen los tamaños GRANDE y MEDIANA en una sola categoría.
Con las definiciones precedentes, las escuelas del universo en cada país se clasifican en 24 estratos, como máximo. Es posible que en algunos países esta desagregación origine estratos sin escuelas o con un número muy
reducido de escuelas, lo que haría recomendable colapsar estos casos en un número más reducido de estratos
finales. Por ejemplo, en aquellos países donde las escuelas con matrícula nula en 3º representan menos del 5%
de las escuelas, a los efectos de la selección de la muestra, todas las escuelas urbanas públicas con matrícula
nula en 3º podrían conformar un único estrato a priori, y lo mismo podría hacerse con las urbanas privadas y las
rurales con matrícula nula en 3º.
A los efectos de obtener estimaciones desagregadas de los subuniversos de estudio que determinan el tipo de
gestión y el área geográfica, no estará permitido colapsar estratos a priori que pertenezcan a diferentes subuniversos de estudio.
Tabla 3
19
Estratos a priori para la selección de la muestra.
RELACIÓN
M6º / M3º
TIPO DE GESTIÓN, ÁREA GEOGRÁFICA Y TAMAÑO
URBANO PÚBLICO
URBANO PRIVADO
RURAL
PEQ.
MED.
GRA.
PEQ.
MED.
GRA.
PEQ.
M/G
R=0
1
9
17
2
10
18
3
11
19
4
12
20
5
13
21
6
14
22
7
15
23
8
16
24
M3º = 0
25
26
27
28
29
30
31
32
R ≥ 0,8
0 < R < 0,8
La muestra de 3º se selecciona en los estratos 1 a 16 y la muestra de 6º, en los estratos 1 al 24. La muestra de
6º en los estratos 1 a 24 es consecuencia de la selección de escuelas para el tercer grado, excepto por aquellos
casos ya mencionados en las exclusiones válidas.
Si en un país la cantidad de escuelas en el marco sin información de matrícula resulta significativa, entonces se
agregará a los anteriores un estrato con dichas escuelas (por lo que a lo sumo tendríamos hasta 33 estratos al
agregar 9 para escuelas sin información de matrícula, es decir, 3 por cada dominio) y la muestra en este estrato
será proporcional a su importancia en el total de escuelas en el país.
8. Cantidad mínima de escuelas por estrato explícito y por país.
Se recomienda que el número de escuelas por país sea al menos 150, con un mínimo de 3 por estrato, a priori.
De esta manera, y con los ajustes que se proponen en la sección siguiente, se espera obtener en cada país una
muestra real no inferior a 4.000 alumnos en 3º y 3.500 en 6º.
Para la determinación del tamaño de la muestra por estrato, en primer lugar, se calcula el porcentaje de escuelas
con matrícula nula en 3º y se reserva un tamaño proporcional para estos estratos. Por ejemplo, si dicho porcentaje es el 5% y la muestra total es de 160 escuelas, entonces se reservan 8 escuelas para los estratos con M3º=0.
El tamaño de la muestra en los estratos 1 a 24 es proporcional al número de escuelas en el universo, corrigiendo
los tamaños obtenidos, de manera de conseguir un mínimo de 3 escuelas por estrato.
A continuación se presenta un ejemplo de aplicación.
Tabla 4
Número de escuelas en el universo en el país A.
RELACIÓN
M6º / M3º
R ≥ 0,8
0 < R < 0,8
R=0
M3º = 0
TOTAL
TIPO DE GESTIÓN, ÁREA GEOGRÁFICA Y TAMAÑO
URBANO PÚBLICO
URBANO PRIVADO
RURAL
PEQ.
MED.
GRA.
PEQ.
MED.
GRA.
PEQ.
M/G
500
300
0
100
900
400
200
0
50
650
100
50
0
0
150
250
200
50
30
480
150
140
40
10
300
100
60
10
10
170
400
250
100
0
650
100
100
50
0
200
El total de escuelas es 3.500 y las que tienen matrícula nula en 3º son el 5,7% del total. La muestra en los estratos
17 a 24 será de 9 escuelas, y las restantes 141 se han de distribuir en forma proporcional entre los primeros 16
estratos.
Tabla 5
Distribución proporcional de la muestra en los estratos 1 a 24.
RELACIÓN
M6º / M3º
R ≥ 0,8
0 ≤ R < 0,8
R=0
TIPO DE GESTIÓN, ÁREA GEOGRÁFICA Y TAMAÑO
URBANO PÚBLICO
URBANO PRIVADO
RURAL
PEQ.
MED.
GRA.
PEQ.
MED.
GRA.
PEQ.
M/G
21
13
17
9
4
2
11
7
2
7
4
2
4
2
0
17
6
4
4
2
2
20
Tabla 6
Distribución de la muestra en todos los estratos y corregida para que el mínimo por estrato sea
de 3 escuelas.
RELACIÓN
M6º / M3º
R ≥ 0,8
0 < R < 0,8
TIPO DE GESTIÓN, ÁREA GEOGRÁFICA Y TAMAÑO
URBANO PÚBLICO
RURAL
PEQ.
MED.
GRA.
PEQ.
MED.
GRA.
PEQ.
M/G
21
13
17
9
4
3
11
7
3
7
4
3
4
3
17
6
4
4
3
3
0
0
R=0
M3º = 0
URBANO PRIVADO
6
3
3
3
La muestra final resulta de 152 escuelas en este ejemplo. ¿Cuántos alumnos entrarán en la muestra? El número
de alumnos en la muestra es aleatorio, pues depende de la matrícula de 3º y 6º en cada escuela de la muestra. Si
en promedio las escuelas tienen 40 alumnos en 3º y 35 alumnos en 6º, entonces el número esperado de alumnos
en 3º, en este ejemplo, será de 5680 (40 por 142 escuelas) y en 6º, alrededor de 5320 (35 por 152 escuelas). El
número de escuelas en el subuniverso URBANO PÚBLICO es de 73 escuelas, 42 en URBANO PRIVADO y
36 en RURAL, lo que garantiza un número suficiente de alumnos para obtener estimaciones confiables en estos
dominios de estudio. Sólo el 13% de las escuelas de la muestra son GRANDES10 (a tener en cuenta a la hora de
presupuestar el personal de campo necesario para aplicar las pruebas y cuestionarios).
Aunque los estratos finales por país pueden ser diferentes, la forma de colapsar estratos pequeños debe permitir, mediante agregación, conformar los subuniversos de escuelas urbanas públicas, urbanas privadas y rurales.
9. Ajustes en el tamaño de la muestra.
La evaluación se realiza casi al finalizar los cursos, por lo que cabe esperar que una parte de la matrícula inicial
no estará presente al realizar las pruebas por dos motivos: uno, porque algunos alumnos habrán abandonado
el curso, y otro, porque habitualmente falta a clase un cierto porcentaje de alumnos (entre el 5% y el 10%) por
diversos motivos tales como enfermedad, problemas familiares, lluvia, etc. En consecuencia, para garantizar el
número requerido de alumnos en la muestra, se hace necesario ajustar el número de escuelas tomando en cuenta
la retención y las ausencias. A esos efectos, y como primera aproximación, se supone que la merma por estos
dos motivos, respecto de la matrícula inicial, será del orden del 25%.
Por otra parte, el tamaño de la muestra, en términos del número de alumnos, depende también del número de
alumnos promedio por escuela en 3º y 6º. En el ejemplo precedente, si en lugar de 35 alumnos por escuela en
6º, el promedio es 30, entonces en el país A el número esperado de alumnos de 6º en la muestra será 152 x 30
x 0,75 = 3.420 alumnos. Para alcanzar a 3.500 será necesario incrementar el tamaño de la muestra de escuelas.
A partir de los datos disponibles en los marcos muestrales de los países y suponiendo que en las muestras se
tendrán promedios de alumnos por grado similares a los del universo, se han calculado los tamaños de muestra
de escuelas por país y región para alcanzar, en la muestra inicial, por lo menos 4.000 alumnos en 3º y 3.500 en
6º. Los resultados obtenidos se presentan a continuación.
10 Obsérvese que si la selección de las escuelas se realizara con probabilidades proporcionales al tamaño de las escuelas, entonces el peso de
las escuelas grandes en la muestra sería significativamente mayor.
21
Tabla 7
Tamaños estimados de las muestras.
TAMAÑO ESPERADO DE LA MUESTRA
PAÍS O REGIÓN
Argentina
Brasil
Brasil - Goias
Chile
Colombia
Costa Rica
Cuba
Ecuador
El Salvador
Guatemala
México
México - Nuevo León
Nicaragua
Panamá
Paraguay
Perú
Uruguay
ESCUELAS
ALUMNOS DE 3º
ALUMNOS DE 6º
150
160
150
150
190
160
200
190
170
230
160
160
200
180
210
160
150
5456
5058
4911
4911
4633
4043
4187
4208
5010
5412
4118
3927
5211
4068
4535
4121
4168
5182
3820
5402
5402
3698
4161
4080
3530
3648
3457
4034
3720
3468
3882
3600
3626
3929
Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicación Piloto, SERCE 2005.
Dado que estos datos están basados en la matrícula inicial incluida en los marcos muestrales y que se espera
una merma del orden del 25%, debido a sobreestimación de la matrícula inicial, abandonos durante el año y
ausencias el día de la prueba, para cada país se sortearán muestras que satisfagan simultáneamente
las siguientes tres condiciones:
•
•
•
Un mínimo de 150 escuelas;
Un mínimo de 5300 alumnos de 3º;
Un mínimo de 4700 alumnos de 6º.
10. Procedimientos para la selección de escuelas y alumnos. Sistema de reemplazos.
Para la selección de las escuelas, en cada país, se procede de la siguiente manera:
•
•
•
En primer lugar, las escuelas se clasifican por estrato a priori.
Se analiza la conveniencia de colapsar algunos de los estratos.
Se determina el tamaño de la muestra en cada estrato.
22
•
•
Se seleccionan las escuelas de cada estrato mediante muestreo aleatorio simple sin reposición
(probabilidades de selección iguales para todas las escuelas de un mismo estrato).
Se seleccionan suplentes respectivas para cada unidad de la muestra, también por muestreo aleatorio simple sin reposición. Cada escuela titular de la muestra tendrá una escuela suplente. La escuela suplente se elige en el mismo estrato de la titular y, en caso de disponerse de la información en el marco, en la misma jurisdicción de la titular.
Seleccionada una escuela en la muestra en los estratos 1 a 24, entonces todos los alumnos de 3º y de 6º pertenecen a la muestra de alumnos, salvo por lo mencionado en las exclusiones válidas.
Seleccionada una escuela en la muestra en los estratos 25 a 32, entonces todos los alumnos de 6º pertenecen a
la muestra de alumnos, salvo por lo mencionado en las exclusiones válidas.
El proceso de selección de escuelas será realizado por la CT-LLECE. Cada país recibirá el listado de escuelas
titulares con sus respectivas suplentes y con su código LLECE asignado.
Los reemplazos de escuelas se realizan mediante el sistema de suplentes respectivas y, en todos los casos, deberán ser autorizados por el Coordinador Nacional. Éste deberá elaborar un informe de los reemplazos autorizados, con la causal que los motivó y con las acciones que realizó para evitar el reemplazo (se proporcionará un
formulario específico para este fin).
11. Estratos adicionales optativos para cada país. Tratamiento de los mismos.
Tratamiento de las muestras para entidades subnacionales (Nuevo León y Goias).
El diseño muestral que se ha propuesto tiene, como una de sus características, la flexibilidad. Ello implica que
se pueden definir criterios adicionales de estratificación, se pueden variar los tamaños de muestra por estrato (a
condición de respetar los mínimos establecidos para el operativo nacional) y que la información que se recoja
a nivel de las entidades subnacionales puede agregarse junto con la información del nivel nacional, adecuadamente ponderada. Se proporcionará a los países un formulario para indicar sus opciones nacionales adicionales
en materia de muestra.
Para la muestra de Nuevo León se seguirán los mismos criterios que para la determinación de las muestras de
los países (estratificación a priori, muestreo en conglomerados en una sola etapa de selección, probabilidades
iguales para todas las escuelas de un mismo estrato, mediante muestreo aleatorio simple sin reposición) de manera de garantizar precisión y confiabilidad de los resultados a nivel regional.
12. Requerimientos e instrucciones para la elaboración del marco muestral en cada país.
Estructura de las bases de datos.
El marco muestral es una matriz que en cada fila presenta una escuela y sus datos, y en cada columna una variable asociada a cada escuela. Las variables asociadas son:
a.
b.
c.
d.
e.
f.
Nombre de la escuela
Código de identificación nacional de la escuela (si existe)
Mes de inicio de los cursos en la escuela
Mes de finalización de los cursos en la escuela
Ubicación 1 - Dirección
Ubicación 2 - Localidad
23
g.
h.
i.
j.
k.
l.
m.
n.
o.
p.
q.
r.
s.
t.
u.
v.
w.
x.
y.
Código de Ubicación 2
Ubicación 3 - Departamento, provincia o estado
Código de Ubicación 3
Cantidad de alumnos en 1° en la escuela
Cantidad de alumnos en 2° en la escuela
Cantidad de alumnos en 3° en la escuela
Cantidad de alumnos en 4° en la escuela
Cantidad de alumnos en 5° en la escuela
Cantidad de alumnos en 6° en la escuela
Cantidad de alumnos en 7° en la escuela
Cantidad de alumnos en 8° en la escuela
Cantidad de alumnos en 9° en la escuela
Cantidad de secciones de 3º (el dato más actualizado)
Cantidad de secciones de 6º (el dato más actualizado)
Turnos en que funciona la escuela (matutino – tarde – doble turno - jornada completa)
Área (urbana o rural, empleando la definición de ruralidad propia del país)
Gestión (pública o privada. Las escuelas de gestión privada que reciben subvención estatal deben ser consideradas privadas, excepto que el país desee establecer un subuniverso explícito que permita
diferenciar ambos tipos de escuelas)
Lengua en que se enseña en 3°
Año al que corresponden los datos de la base
Cada país deberá incluir variables adicionales que permitan identificar a las escuelas pertenecientes a los subuniversos que desee sobre-muestrear como opción nacional.
13. Criterios y procedimientos para el control de los marcos muestrales
por parte de la Coordinación Técnica.
Las propiedades deseables de los marcos muestrales aplicables a este caso son:
•
•
•
•
Cobertura: todas las escuelas del universo investigado se encuentran en el marco (completitud) y cada unidad del universo a investigar figura una sola vez en el marco11.
La identificación y la ubicación que figuran en el marco son suficientes para direccionar al personal de campo, en caso que la escuela sea sorteada en la muestra.
Actualización: las variables de estratificación en el marco corresponden al dato más actual posible.
Calidad: las variables del marco no contienen errores (de importancia).
A los efectos de lograr estimaciones precisas, confiables y no sesgadas de .los parámetros a investigar, la Coordinación Técnica debe controlar que los marcos muestrales cumplan satisfactoriamente con las propiedades
deseables arriba enumeradas.
En particular, para controlar la completitud se utilizará la variable “Cantidad de alumnos en la escuela”, porque
la suma de dicha variable, a través de todas las escuelas del marco, debe coincidir razonablemente con la matrícula de la educación primaria del país.
11
Se recomienda tener un cuidado especial con los locales que albergan dos escuelas, una en el turno de la mañana y otra en el turno
vespertino.
24
Para controlar la calidad y actualización del marco, una vez seleccionada la muestra, se solicitará a la Coordinación Nacional que contacte a las escuelas y actualice la información sobre cantidades de secciones y alumnos
de 3º y 6º. Esta información actualizada permitirá ajustar la asignación de cuadernillos a los alumnos y será empleada a posteriori por la Coordinación Técnica para realizar un análisis de la calidad de la información empleada
para sortear la muestra.
14. Requisitos mínimos de cobertura que deben ser alcanzados por cada país
para que los datos sean considerados confiables.
Dado que sólo se admitirá una escuela suplente por cada escuela titular, es posible que el tamaño de muestra
efectivamente alcanzado en el operativo resulte algo inferior al tamaño originalmente planeado. Se considerará
que la muestra de un país es suficiente para realizar estimaciones confiables si se cumplen a la vez las tres condiciones siguientes:
•
•
El tamaño de muestra efectivo de escuelas es por lo menos el 80% del tamaño planeado.
El tamaño de muestra efectivo incluye al menos el 70% de escuelas titulares.
Tabla 8
DESPUÉS DE LOS REEMPLAZOS
Tasa de respuesta (en %) en la muestra de escuelas.
100
90
80
70
60
50
40
30
20
10
ACEPTABLE
25
10
20
30
40
50
60
70
80
90
100
ANTES DE LOS REEMPLAZOS
•
El tamaño de muestra efectivo alcanza por lo menos al 80% de los alumnos que asisten efectivamente
a clases.
15. Criterios y procedimientos para el control de las muestras realmente obtenidas,
una vez culminada la aplicación.
Una vez culminado el operativo será necesario verificar:
•
que el tamaño de la muestra en cada estrato es de al menos dos escuelas;
•
que se dispone del número de alumnos que asisten regularmente a clase por sección de la muestra para comparar con el número de alumnos que hicieron las pruebas (criterio de exclusión para el análisis);
•
cuál fue la proporción de alumnos participantes en cada escuela y sección;
•
que el tamaño de la muestra efectiva de escuelas es al menos el 80% de la muestra planeada;
•
que el tamaño de la muestra efectiva de escuelas titulares es al menos el 70% de la muestra planeada;
•
que las escuelas de la muestra son efectivamente las sorteadas como titulares o, en su defecto, las su
plentes respectivas;
•
que todas las secciones de la escuela en 3º y en 6º fueron incluidas en el operativo o, en su defecto, que las secciones omitidas fueron excluidas correctamente, en virtud de su tamaño;
•
que se ha logrado la participación en las pruebas del 80% de los alumnos de cada grado que concu-
rren efectivamente a clases;
•
que todas las pruebas y cuestionarios contienen la identificación precisa del alumno, la sección, la escuela y del estrato al que pertenece la escuela.
16. Márgenes de error estimados para el diseño muestral, a nivel internacional,
nacional y de estrato.
La simulación realizada con los datos de dos países del Primer Estudio Regional Comparativo y Explicativo
(PERCE), con los tamaños de muestra propuestos, permite afirmar que para un nivel de confianza del 95%, el
error de muestreo en las pruebas de Lengua y Matemática será:
•
•
•
Inferior al 1%, para el conjunto de todos los países;
Alrededor del 4,5%, a nivel nacional;
Alrededor del 10%, para los dominios de estudio con una participación del 40% o más en la muestra total.
Los niveles de error se pueden reducir, pero ello requiere incrementar la cantidad de escuelas en la muestra.
A los efectos de que los Coordinadores Nacionales tengan una idea aproximada, se estimó para un país (Argentina), a partir de los datos del Primer Estudio (Matemática), los tamaños de muestra necesarios para lograr
diferentes niveles de error a nivel nacional (ver Tabla 9). Esta información se proporciona ante la eventualidad
de que alguno o todos los países consideren necesario alcanzar menores niveles de error, para que se puedan
estimar los costos involucrados.
26
Tabla 9
Tamaños muestrales para distintos niveles de error.
Cantidad
de Escuelas
118
160
230
358
633
Error a nivel
nacional
5%
4%
3,5 %
3%
2%
Error en el estrato
urbano público
7%
6%
5%
4%
3%
Error en el estrato
rural
7%
6%
5%
4%
3%
17. Sistema de ponderaciones para la estimación de resultados a nivel nacional
y de subuniversos.
Como la muestra no es auto ponderada, los resultados deberán desagregarse a nivel de los estratos a priori, y
ponderarse con el peso que cada estrato tiene en términos del número de alumnos, en el caso de los universos
de alumnos, hogares, padres o tutores, secciones y maestros; y ponderarse con el peso que cada estrato tiene en
términos del número de escuelas, en el caso de los universos de escuelas y directores. En el Anexo 3 se plantea,
de manera provisoria, una propuesta para la aplicación de ponderaciones y para las estimaciones de error. Esta
propuesta deberá revisarse a partir de los aportes de los especialistas de los países participantes y de la calidad
de los datos que se obtengan a partir de la aplicación definitiva, con los cuales se podrán ensayar diversas alternativas de cálculo.
18. Advertencia.
En la determinación del tamaño de la muestra se ha trabajado con el mínimo necesario para obtener cierta
precisión y seguridad. Si no se pone especial cuidado en el sistema de archivo de pruebas y cuestionarios, aún
cuando la muestra se hubiera realizado en el 100% en el campo, una parte de ella podría “perderse” en el procesamiento posterior. Aunque la parte perdida sea pequeña, no se debe esperar que la pérdida se distribuya
proporcionalmente a lo largo de la muestra. Antes bien, es probable que la información perdida se concentre
en alguno de los estratos y que ello impida obtener inferencia válida a ese nivel.
Una disminución en el tamaño de la muestra en un estrato puede ocasionar una pérdida importante de precisión. Téngase presente que, para todos los estratos, es imprescindible que nh2, pues, de lo contrario, no será
posible aplicar las fórmulas que se presentan en el Anexo 3 para estimar su variabilidad.
Por tanto, es necesario que los países sigan estrictamente las normas de control de instrumentos y de captura de
datos incluidas en el Manual del Coordinador Nacional y en el Manual de Sistematización y Captura de Datos.
27
ANEXO 1
Cantidad máxima de alumnos por escuela en 3º, según país o región.
PAÍS O REGIÓN
Argentina
Brasil
Brasil- Goias
Chile
Colombia
Costa Rica
Cuba
Ecuador
El Salvador
Guatemala
México
México - Nuevo León
Nicaragua
Panamá
Paraguay
Perú
Uruguay
Tamaño máximo
354
629
320
593
452
314
294
318
384
289
504
170
417
272
232
473
174
Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la
Aplicación Piloto, SERCE 2005.
28
ANEXO 2
Distribución porcentual del marco de escuelas por la relación de matrícula de 6º a la matrícula de 3º,
según país o región.
Relación de matrícula de 6º a la matrícula de 3º
PAÍS O REGIÓN
Argentina
Brasil
Brasil - Goias
Chile
Colombia
Costa Rica
Cuba
Ecuador
El Salvador
Guatemala
México
México - Nuevo León
Nicaragua
Panamá
Paraguay
Perú
Uruguay
R ≥ 0,75
0 < R < 0,75
R=0
Mat. 3º = 0
TOTAL
68
19
28
76
10
58
59
53
43
28
65
65
27
51
51
48
60
29
68
8
21
81
38
36
45
55
69
30
31
72
42
48
50
35
5
64
47
5
79
5
25
8
14
10
3
4
38
8
13
11
8
3
13
17
3
9
4
5
2
2
3
5
4
1
7
1
2
5
100
100
100
100
100
100
100
100
100
100
100
100
100
100
100
100
100
Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicación Piloto, SERCE 2005.
Notas:
1.
2.
El estrato con matrícula de 3º = 0 incluye también las escuelas sin información de matrícula.
Para este procesamiento no se excluyeron las escuelas con matrícula menor que 6 en cada grado.
29
ANEXO 3
Pautas preliminares para la aplicación de ponderaciones y para las estimaciones de error
en el procesamiento de los resultados definitivos
A continuación, se plantea una propuesta preliminar de fórmulas para la estimación de la variabilidad de los
parámetros promedio o proporción (ejemplos: promedio de los resultados de las pruebas o proporción de
alumnos que repite el curso). Para realizar estimaciones sobre la población de alumnos, se opta aquí por los
estimadores de razón12 .
Nota: X representa alguna variable cuyo promedio se quiere estimar para toda la población de alumnos. Si la
variable X sólo toma los valores cero y uno, entonces el promedio en la población es también la proporción de
alumnos con cierto atributo.
Genéricamente, se designa a los estratos a priori con “h”, mientras que con “j” se hace referencia a cada escuela
(conglomerado) de la muestra en el estrato.
N
Nh nh M
Mh Mhj X h =
X h =
nh
∑ M hj X hj
j
= Número de escuelas en el marco muestral
= Número de escuelas en el estrato “h”
= Número de escuelas en la muestra del estrato “h”
= Número de alumnos en el grado (3º ó 6º) a nivel nacional
nh= Número de alumnos en el grado (3º ó 6º) del estrato “h”
nh=M
Número
de alumnos en el grado de la escuela “j” en el estrato “h”
∑
hj X hj
j M X
∑j=nh Estimador
hj
hj
del promedio en la población a nivel nacional
=
Estimador
del promedio en la población del estrato “h”
nh M hj
∑
=
de los alumnos en el grado de la escuela “j” en el estrato “h”
M hj
∑j Promedio
j
nh
∑ MALUMNOS
hj
j
nh
Estimador del promedio en el estrato “h”: X h =
∑M
hj
X hj
j
nh
∑M
hj
j
Estimador del promedio a nivel nacional: X = ∑
h
Mh
.X h
M
Error cuadrático medio del estimador del promedio en el estrato “h”:
1 ⎡ N N − nh
~
EC M ( X h ) = 2 ⎢ h h
M h ⎣⎢ nh nh − 1
12
2
⎤
2
(
)
M
X
X
−
∑j hj hj h ⎥
⎦⎥
nh
Por ser los que presentan menor error de muestreo.
30
Error cuadrático medio del estimador del promedio a nivel nacional:
2
~
~
⎛M ⎞
EC M ( X ) = ∑ ⎜ h ⎟ . EC M ( X h )
h ⎝ M ⎠
En los casos precedentes, la variabilidad se estima mediante el Error Cuadrático Medio del estimador en virtud
de que los estimadores de razón no son insesgados, como se conoce.
ESCUELAS Y DIRECTORES
En el caso de escuelas y directores, el diseño muestral es el aleatorio estratificado de escuelas, lo que simplifica
enormemente los cálculos de los estimadores y la estimación de su variabilidad. Los promedios en cada estrato
se calculan como promedio simple de los resultados para cada escuela de la muestra en el estrato.
Estimador del promedio de escuelas o directores en el estrato “h”:
Xh =
1 nh
.∑ X hj
nh j
Estimador del promedio de escuelas o directores a nivel nacional:
X =∑
h
Mh
.X h
M
31
Los estimadores precedentes son insesgados, por lo tanto, su variabilidad se estima mediante la estimación de
la varianza.
Varianza del estimador del promedio en el estrato “h”:
⎡ 1 N h − nh
~
V (Xh) = ⎢
⎣⎢ nh − 1 nh − 1
∑ (X
j
Varianza del estimador del promedio a nivel nacional:
2
~
⎛M ⎞ ~
V (X ) = ∑⎜ h ⎟ . V (Xh )
h ⎝ M ⎠
⎤
− Xh) ⎥
⎦⎥
2
nh
hj
Tabla 10
Ejemplo de aplicación de estimadores de razón y de expansión simple
PUNTAJE PROMEDIO EN LENGUA 3º Y SU VARIABILIDAD EN EL ESTRATO 8
DE LA MUESTRA DE ESCUELAS
N-sub8 = 100 escuelas
n-sub8 = 4 escuelas
M-sub8 = 2.000 alumnos Resultados de la muestra ALUMNO
ESCUELA 1 ESCUELA 2 ESCUELA 3 ESCUELA 4
ALUMNOS EN 3º
PUNTAJES DE
LOS ALUMNOS
EN LENGUA
PROMEDIO ESCUELA
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
15
21
17
22
18
15
20
19
18
18
17
21
22
24
20
18
20
22
20
19
17
23
24
25
23
22
19
18
22
19
17
23
24
25
20
22
23
19,33
21,35
25
23
24
25
23
22
19
27
23
28
21
20
19
18
23
25
26
22
23
28
21
20
19
26
23
20
22,72
20
22
19
18
22
19
17
23
24
25
22
19
18
22
19
17
23
24
25
21
23
21,10
32
ESTIMADOR POR EXPANSIÓN SIMPLE
PROMEDIO EN EL ESTRATO 8
21,1258333
VARIANZA DEL ESTIMADOR
0,46442733
ESTIMADOR DE RAZÓN
PROMEDIO EN EL ESTRATO 8
ECM DEL ESTIMADOR
21,3375
0,02160988
El ejemplo muestra, como podía esperarse, una menor variabilidad en el caso del estimador de razón.
Estimadores alternativos (de expansión simple)
Para el caso de los alumnos, estos estimadores promedian primero los resultados a nivel de cada escuela (conglomerado) del estrato, y luego estiman el promedio en el estrato como promedio simple de los promedios de
cada escuela de la muestra.
En el ejemplo de la Tabla 11, los promedios por escuela en la prueba de lengua fueron: 19,33; 21,35; 22,72;
21,10. Para obtener el promedio del estrato, utilizando el estimador alternativo, se calcula el promedio simple
de estos promedios:
PROMEDIO DEL ESTRATO (EXP. SIMPLE) =
1
.(19,33 + 21,35 + 22,72 + 21,10) = 21,1258333
4
¿Por qué, en el caso del ejemplo, el estimador alternativo presenta una estimación menor que el estimador de
razón? Porque el primero asigna el mismo peso a los promedios de todas las escuelas del estrato, mientras que
el segundo les asigna un peso proporcional al tamaño de la escuela, y como el promedio más alto corresponde
a la escuela de mayor tamaño, y el promedio más bajo, a la escuela de menor tamaño, entonces el estimador de
razón presenta un promedio más alto.
A continuación, se exponen los estimadores alternativos a los que se presentaron en la sección 20, primero para
los alumnos y luego para los directores y escuelas.
ALUMNOS
Estimador del promedio en el estrato “h”: X h =
1
nh
Estimador del promedio a nivel nacional: X = ∑
h
nh
∑X
hj
1
Mh
.X h
M
33
Varianza del estimador del promedio en el estrato “h”:
⎛
n ⎞
2
1
~
(
V ( X h ) = ⎜⎜1 − h ⎟⎟
x hj − μ~h )
∑
N h ⎠ nh (nh − 1) j
⎝
Varianza del estimador del promedio a nivel nacional:
~
⎛M ⎞ ~
V (X ) = ∑⎜ h ⎟ . V (Xh )
h ⎝ M ⎠
2
Propuesta para el cálculo de la precisión a posteriori
A los efectos de estimar los errores de muestreo, se recomienda realizar el cálculo de la precisión (absoluta), y
verificar, para el caso particular de las pruebas, si los tamaños de muestra resultaron suficientes para lograr la
precisión deseada con un 95% de seguridad. Cualquiera sea la P
variable
( | X - “X”
μ | < εconsiderada,
) = 0.95 si m = E (X) es el
parámetro que se quiere estimar, para una seguridad del 95%, la precisión es tal que:
P ( | X - μ | < ε ) = 0.95
Si el tamaño de la muestra es “grande”, aplicando los teoremas de convergencia se tiene que:
~
ε~ = 1.96
~
E C M (X )
o bien
~
ε~ = 1 .96 V ( X )
~
donde E C M ( X ) o bien V ( X ) se calculan mediante las fórmulas de la sección 20.
Obsérvese que es la semiamplitud de un intervalo de confianza para m , con lo que, al calcular , también se
podrán construir dichos intervalos.
Finalmente, la precisión relativa se estima mediante el cociente / .
Cabe agregar que el pesado se debe ajustar en base a la muestra observada, dado que no todos los alumnos esperados pueden estar presentes en la prueba. El detalle de este procedimiento se describe en el reporte técnico
de este estudio que se encuentra en el sitio Web de la OREALC/UNESCO Santiago.
Ahora bien, debido a que resulta poco eficiente, computacionalmente, la estimación de la varianza de los estimadores directamente de las formulas anteriores, se puede decidir ocupar para este fin los métodos de linearización por series de Taylor, los cuales son muy difundidos desde mediados de los setenta, ya que se pueden aplicar
a través de varios paquetes computacionales, como por ejemplo STATA, SPSS, etc. Otra alternativa pueden
ser los métodos de remuestreo como el bootstrap o el jackknife, aunque su procesamiento puede resultar más
lento, por lo que requieren de un sistema de hardware de gran capacidad y rapidez.
34
CAPÍTULO II: MANUAL DEL COORDINADOR
NACIONAL PARA LA APLICACIÓN DEFINITIVA
E
l proyecto aplica pruebas de Lectura, Escritura, Matemática y, opcionalmente, de Ciencias Naturales, a
estudiantes de tercero y sexto grados de educación básica, e identifica los factores asociados al aprendizaje, mediante cuestionarios dirigidos a dichos estudiantes, sus docentes, sus directivos y sus padres de familia o
tutores. La aplicación definitiva se llevará a cabo durante el primer semestre del año en curso en los países con
calendario norte y durante el segundo semestre, en los países con calendario sur.
La aplicación definitiva tendrá lugar durante el primer semestre de 2006 en los países con calendario norte y
durante el segundo semestre en los países con calendario sur.
Concluido el análisis de los resultados, el Estudio debe proporcionar explicaciones de los hallazgos encontrados
y sugerir acciones conducentes a mejorar la calidad de la educación ofrecida en cada país de la región. Se trata de
descubrir en la escuela los motores que tienen los mayores efectos sobre los resultados, no sólo entendidos en
términos de altos promedios de puntajes, sino, sobre todo, en menores valores para la varianza: distancias más
pequeñas entre quienes logran más y quienes logran menos, abordando el tema de la equidad y promoviendo
estados de desarrollo cada vez más avanzados para quienes se encuentran en las situaciones más difíciles.
Para llevar a cabo el proyecto, cada país ha designado un coordinador nacional, encargado de organizar y garantizar el cabal cumplimiento de las actividades que se describen en el presente Manual.
2. PAPEL DEL COORDINADOR NACIONAL
El coordinador nacional es el interlocutor oficial del LLECE y el responsable de organizar, ejecutar y supervisar
el desarrollo de todas las actividades relacionadas con la aplicación definitiva del SERCE en su país, en estricto
cumplimiento de los criterios y procedimientos establecidos en el conjunto de los manuales proporcionados
por la Coordinación Técnica del LLECE.
El LLECE espera que el coordinador nacional realice cuidadosamente los procedimientos descritos en este
manual, con el fin de garantizar que los instrumentos sean administrados en la misma forma y bajo las mismas
condiciones en todos los países participantes, para lograr resultados que permitan hacer análisis sólidos y formular hipótesis robustas acerca de cómo alcanzar niveles más altos en las competencias desarrolladas por los
estudiantes. Si se omite o se cambia algún procedimiento sin autorización de la Coordinación Técnica del LLECE, podrían alcanzarse resultados inconsistentes y, por lo tanto, la participación del país en el SERCE podría
resultar invalidada. En los países que se requiera, el coordinador nacional podrá apoyar su labor en coordinadores de sede, respondiendo así a posibles demandas de descentralización del proceso de aplicación.
35
3. LISTA DE INSTRUMENTOS
La Tabla 1 muestra una lista de los instrumentos que serán administrados durante la aplicación definitiva en
cada centro educativo seleccionado en la muestra. Más adelante, se detallarán los procedimientos para su aplicación.
Tabla 1. Lista de Instrumentos
Tipo
Forma de
Administración
Cuadernillo
Código
Lectura
Del 1 al 6
C1 a C6
Estudiantes de
tercero y sexto
grado
Escritura
1y2
C1 y C2
Estudiantes de
tercero y sexto
grado
Matemática
Del 1 al 6
C1 a C6
Ciencias13
naturales
Del 1 al 6
C1 a C6
Estudiantes de
tercero y sexto
grado
Del estudiante
de tercero
Único
QA3
Estudiantes de
tercer grado
Del estudiante
de sexto
Único
QA6
Estudiantes de
sexto grado
Pruebas de
Logro
Del docente
Cuestionarios
de Factores
Asociados
De enseñanza
De la familia
13
¿Quién lo
responde?
Nombre
Sesión
colectiva
Único
QP
Autoadministrada
Cinco
QL3,QL6,
QM3,QM6
QC6
Autoadministrada
QF
Autoadministrada/
Entrevista
Único
Del directivo
Único
QD
Ficha de
empadronamiento
Único
FE
Estudiantes de
tercero y sexto
grado
Docentes de
lenguaje y
matemática del
aula evaluada
Docente del
área respectiva
del aula
evaluada
Padres o
tutores de los
estudiantes
evaluados
Autoadministrada
Director o
miembro del
equipo directivo
Entrevista
Aplicador con
el apoyo del
director
En adelante, cuando aparezca el área de ciencias naturales, se entenderá con carácter opcional.
36
4. ACTIVIDADES PREVIAS A LA APLICACIÓN
4.1 Conformar el marco muestral y definir fechas de aplicación
De acuerdo con las indicaciones de la Coordinación Técnica del LLECE, el coordinador nacional debe obtener
toda la información correspondiente a los centros educativos de su país; en especial, el nombre, la localización
(rural o urbana), el sector (público o privado) y el número de aulas y de estudiantes en tercero y sexto grados.
El marco muestral, la matrícula del país en cada grado y las fechas de iniciación y terminación del año escolar
deben consignarse en las tablas y formatos correspondientes y remitirse al LLECE.
Por otra parte, el coordinador nacional debe establecer las fechas de la aplicación definitiva, dentro del período
de las ocho semanas anteriores a la terminación del año escolar. Si el país cuenta con dos calendarios, deberá
programar dos aplicaciones en dos fechas distintas para administrar las pruebas en los centros educativos que
resulten de uno u otro calendario. Las fechas de la aplicación definitiva atienden a las circunstancias y posibilidades reales de cada país, tanto desde el punto de vista administrativo y presupuestal como desde la perspectiva
operativa, y deben informarse al LLECE.
Tabla 2.
Distribución del tiempo para la aplicación de los instrumentos a estudiantes de tercer grado
PRIMER DÍA
Prueba de Lectura
Instrucciones
Desarrollo (60 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección de material
Pausa (20 minutos)
Prueba de Escritura
Instrucciones
Desarrollo (45 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Entrega de cuestionarios de familia
SEGUNDO DÍA
Prueba de Matemática
Instrucciones
Desarrollo (60 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección de material
Pausa (20 minutos)
Cuestionario del Estudiante
Instrucciones
Desarrollo (aproximadamente 20 minutos)
Recolección del material
Recepción de cuestionarios de familia
37
Para programar la aplicación definitiva, la Coordinación Técnica del LLECE sorteará la muestra, de acuerdo
con las indicaciones del Manual de Muestreo, y la remitirá a los coordinadores nacionales. Es importante tener
en cuenta en la programación que la aplicación definitiva en cada aula requiere dos días, debido a la extensión
de los cuadernillos y los cuestionarios previstos. La aplicación debe llevarse a cabo en la misma forma y en el
mismo orden secuencial en todas las aulas de la muestra, en arreglo al diseño que aparece en las tablas 2 y 3,
para cada uno de los dos grados considerados.
Tabla 3.
Distribución del tiempo para la aplicación de los instrumentos a estudiantes de sexto grado
PRIMER DÍA
Prueba de Lectura
Instrucciones
Desarrollo (60 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Pausa (15 minutos)
Prueba de Escritura
Instrucciones
Desarrollo (45 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Pausa: (15 minutos)
Cuestionario del Estudiante
Instrucciones
Desarrollo (aproximadamente 45 minutos)
Recolección del material
Entrega de cuestionarios de familia
SEGUNDO DÍA
Prueba de Matemática
Instrucciones
Desarrollo (70 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Pausa (20 minutos)
Prueba de Ciencias
Instrucciones
Desarrollo (60 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
38
Recepción
de cuestionarios de familia
4.2 Recibir y estudiar la documentación del proyecto
Como coordinador nacional, usted ha recibido un identificador de usuario y una contraseña para acceder al sitio
web donde encontrará toda la documentación requerida para atender la aplicación definitiva:
•
•
•
•
•
•
•
Criterios y procedimientos para el aseguramiento de la calidad.
Manual de muestreo.
Manual del aplicador.
Informes regional y nacional de análisis de ítems.
Versión definitiva estándar de cuadernillos de pruebas (Lectura, Escritura, Matemática y
Ciencias Naturales).
Versión definitiva estándar de cuestionarios de factores asociados (estudiante, docente, de enseñanza, director, familia y ficha de empadronamiento del centro educativo).
Pautas para la aplicación de los cuestionarios.
•
•
•
•
•
•
Manual de evaluación de la escritura.
Manual de codificación de las preguntas de respuesta abierta de matemática.
Manual de codificación de las preguntas de respuesta abierta de ciencias.
Instructivo de captura de datos.
Interfase para la captura de datos.
Manual de procesamiento de datos.
Seguir rigurosamente los protocolos establecidos en los diferentes documentos es un compromiso ineludible
de los países participantes. Si se presentan circunstancias especiales que requieran una variación en algún procedimiento, el país interesado podrá plantearlas a la Coordinación Técnica del LLECE, que extenderá o no la
correspondiente autorización por escrito para efectuar el cambio solicitado.
Con los indicadores presentados en los informes regional y nacional de análisis de ítems, al coordinador nacional le corresponde organizar la revisión de las versiones definitivas estándar de cuadernillos de pruebas, para
efectos de solicitar a la Coordinación Técnica del LLECE las adaptaciones lingüísticas que consideren
necesarias en los ítems. Luego del estudio y autorización correspondientes por parte del LLECE, el coordinador nacional recibirá la versión definitiva de los cuadernillos de pruebas adaptadas al país.
En relación con los cuestionarios de factores asociados, el coordinador nacional debe organizar la revisión de
las versiones definitivas estándar y solicitar las adaptaciones que considere pertinentes, que deberán ser aprobadas por la Coordinación Técnica del LLECE. Luego, debe remitirle una copia de la versión definitiva adaptada
al país.
4.3 Establecer contacto con los centros educativos
Recibida la muestra, es deseable entrar en contacto con los centros educativos para efectos de: verificar la
información sobre aulas y matrícula, garantizar el correcto envío del material; informar sobre la naturaleza y
los alcances del proyecto; pedir la cooperación de los directivos en la disposición de los recursos requeridos; y
responder a sus inquietudes y lograr su compromiso para alcanzar una aplicación definitiva satisfactoria14.
Es conveniente designar en la coordinación nacional una o más personas responsables de la interlocución directa con los centros educativos. El director del centro educativo o la persona que este designe recibirá con antelación un documento informativo en el que se detallarán aspectos importantes del proyecto y las condiciones
necesarias para realizar una adecuada aplicación de los instrumentos.
Con la información verificada y consolidada sobre aulas y matrícula de los centros educativos de la muestra,
el coordinador nacional procede a determinar en forma precisa el número de estudiantes de la muestra. Los
nombres de los estudiantes de las aulas de tercero y de sexto de cada centro educativo se consignarán en el
Formulario 2 (F2), lista de asistencia de estudiantes. Por cada aula que participará en la aplicación definitiva, se
generará un Formulario 2 (F2) que facilitará la tarea de registro de asistencia a las sesiones de evaluación y sobre
todo asegurará la adecuada distribución de los cuadernillos de las pruebas.
14
Si el coordinador nacional lo estima conveniente y las condiciones son propicias, el aplicador, debidamente capacitado, puede
realizar una visita previa al centro educativo en la que obtenga o confirme la información antes referida y adelante la aplicación de la ficha de
empadronamiento. Cada país definirá si este proceso se adecua a sus necesidades y posibilidades.
39
4.4 Convocar, seleccionar y capacitar a los aplicadores
La aplicación definitiva supone formar a las personas que realizarán el trabajo de campo (aplicadores), con base
en una misma metodología, con el fin de garantizar las mismas condiciones de evaluación para todos los estudiantes que responderán los instrumentos.
Es necesario asegurar que los aplicadores posean el siguiente perfil:
•
•
•
•
•
•
•
•
•
Ser profesional con experiencia docente en educación básica o estudiante de educación próximo a
egresar, con experiencia de prácticas profesionales en aula. También pueden admitirse estudiantes de los últimos dos años de psicología o profesionales con experiencia en áreas afines a evaluación de gru
pos o enseñanza.
Tener habilidades desarrolladas para el manejo de grupos de niños.
Tener un manejo fluido de la lengua española.
Tener un buen nivel de dicción, para la lectura apropiada de instrucciones.
Tener un buen nivel de comprensión lectora, para el seguimiento de instrucciones y pautas dadas en los manuales.
Ser una persona de confianza, a quien se le pueda entregar la responsabilidad la evaluación y los
instrumentos.
No poseer ningún vínculo laboral con los centros educativos que forman parte de la muestra.
Ser asertivo, seguro de sí mismo y flexible, para adaptarse rápidamente y dar respuesta eficiente a
situaciones imprevistas.
Tener manejo de la lengua materna del lugar en el que se encuentra ubicado el centro educativo.
Tras la convocatoria y selección del grupo de aplicadores, se debe organizar una capacitación. En el Anexo 2, se
propone una pauta de capacitación para su adaptación. Es recomendable capacitar por lo menos a un 10% más
de los candidatos a aplicadores del total requerido para el trabajo. Es necesario asegurar que todos los aplicadores reciban el Manual del Aplicador, al menos con una semana de anticipación a la capacitación y que conozcan
y dominen la ejecución de las actividades previstas en dicho Manual, paso a paso, y que realmente mantengan
todo el material bajo resguardo, con estrictas medidas de confidencialidad. Igualmente, debe garantizarse que
los aplicadores conozcan el contenido de los cuestionarios.
La capacitación a aplicadores debe tener una duración mínima de seis horas cronológicas. Esto sin contar el
tiempo destinado a asuntos administrativos como asignación de centros educativos, entrega de materiales, explicación de rutas de acceso a los centros, entre otros.
Una vez concluida la capacitación de aplicadores, el coordinador nacional les expedirá un certificado que los
acredita como tales y que, además, los identifica para establecer contacto con los centros educativos, antes de
la fecha de la aplicación definitiva, con el propósito de confirmar los planes de la aplicación y la presencia de
los estudiantes que presentarán la prueba. El coordinador nacional podrá ratificar o no a los aplicadores que ya
recibieron capacitación, de acuerdo con la evaluación de su desempeño en la aplicación piloto.
40
4.5. Imprimir cuadernillos y cuestionarios
Determinada la muestra de centros educativos y el número preciso de estudiantes y de docentes incluidos en
la aplicación definitiva, debe procederse a la impresión de los cuadernillos y los cuestionarios. Esto se realiza
teniendo en cuenta el listado de instrumentos presentado en la tabla 115 . Se advierte que no puede alterarse el
recuadro que contiene códigos y datos requeridos por el LLECE y que se contará con un espacio para colocar
un código nacional.
Es indispensable imprimir solamente la cantidad de cuadernillos y de cuestionarios que se requieren para efectos de la aplicación. En el proceso de impresión, es recomendable incluir una numeración correlativa en cada
ejemplar de cada instrumento, como medida de control adicional.
También es necesario poner atención a las indicaciones que la Coordinación Técnica del LLECE señale en
referencia al tipo y tamaño de papel, tinta, color y demás especificaciones, así como verificar el ensamble o
encuadernación de las páginas de los cuadernillos, de acuerdo con el original enviado en formato PDF por la
Coordinación Técnica del LLECE, para que todos los estudiantes de todos los países participantes rindan la
prueba en las mismas condiciones. Los cuestionarios se dispondrán en un formato en el que pueda intervenirse,
para poder introducir las adecuaciones nacionales aprobadas y, a partir de ello, obtener la diagramación final.
4.6. Organizar la revisión y entrega de los materiales a los aplicadores
La organización del material depende de la forma en que se haya previsto la aplicación definitiva. Lo importante es que en un centro educativo en el que se evalúe más de un aula (sección) del mismo grado en el mismo
turno, el proceso se dé de manera simultanea, es decir, si, por ejemplo, existen tres secciones de tercero en el
turno de la mañana en un mismo centro educativo, las sesiones de evaluación deben darse de manera simultánea
por lo que se requiere, por lo menos, tres aplicadores para ese centro educativo.
Para la organización de los cuadernillos, se ordenarán todas las aulas de cada grado de todos los centros educativos y, luego, se definirá el número del cuadernillo por el que se comienza la agrupación, como se indica en la
tabla 4, con las pruebas de Lectura y Matemática o Ciencias Naturales, para garantizar que sea similar el número
de respuestas a cada uno de los ítems. En el caso de la prueba de Escritura, se utilizarán dos tipos de cuadernillo
en cada grado.
15
uada.
Recuerde que, en el caso del cuestionario para el docente (QP), debe estimarse hasta dos por cada aula programada para ser eval-
41
Tabla 4.
Ejemplo de organización de los cuadernillos de Lectura, Matemática y Ciencias Naturales,
por aula para cada grado
Número de aula
01
02
03
04
05
06
.
.
Número de estudiantes
11
10
15
13
21
16
.
.
Orden de los cuadernillos*
1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5
6, 1, 2, 3, 4, 5, 6, 1, 2, 3
4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6
1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1
2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4
5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2
.
.
* El criterio consiste en construir una sola serie de conjuntos de seis cuadernillos, al considerar la sucesión de todas las aulas de un
país. La primera aula comienza con el cuadernillo 1 y las demás, con el cuadernillo siguiente al último del aula inmediatamente anterior.
Para facilitar el trabajo de los aplicadores, la Coordinación Técnica del LLECE ha diseñado un mecanismo por
el cual, siguiendo la lógica mostrada en la tabla precedente, se genera el Formulario 2 (F2), lista de asistencia de
estudiantes, en el que quedará indicado el tipo de cuadernillo que corresponde a cada estudiante en cada una de
las pruebas. Este Formulario 2 contiene:
•
•
•
Los datos de la escuela y del aula (sección). Estos datos son llenados previamente por la Coordinación Nacional y, en aquellos casos necesarios, por el aplicador;
El nombre completo de cada estudiante que se va a evaluar en el aula asignada (sección); en caso de ser necesario, el aplicador debe completar esta información;
Una columna para consignar si el estudiante tiene alguna necesidad educativa especial (NEE) (especifi
cadas en el Capítulo III, anexo 3). En este caso el aplicador coloca los siguientes códigos:
o
1, si no existe discapacidad o limitación para responder la prueba.
o
2, para “Discapacidad funcional”
o
3, para “Discapacidad intelectual”
o
4, para “Limitación en el dominio del idioma”
o
5, para “Otro tipo de problema”
•
•
•
Una columna por prueba (Lectura, Escritura, Matemática y Ciencias Naturales, para el caso sexto), donde aparece el número de cuadernillo que le corresponde a cada estudiante;
Una columna por cuestionario (estudiante y familia);
En cada columna de prueba o del cuestionario del estudiante (QA), existe un recuadro en blanco don
de se consigna la asistencia de cada estudiante. Se asigna:
o
0, para “Inasistencia”
o
1, para “Asistencia”
42
(Si algún estudiante se retira durante la evaluación, se lo considera asistente a la misma y se consigna el hecho
en el Formulario 3, Registro de incidentes, que se explicará más adelante).
•
En la columna del cuestionario de la familia (QF), un recuadro en blanco donde se consigna la devolu
ción del instrumento respondido. Se asigna:
o
0, para “No aplicado” / “No devuelto”
o
1, para “Respondido”.
El Formulario 2 constituye una de las herramientas centrales del proceso de aplicación y ofrece un resumen
ordenado de las tasas de respuesta a los instrumentos y de asistencia a las sesiones de evaluación. Concluida la
aplicación definitiva, el coordinador nacional deberá enviar a la Coordinación Técnica del LLECE una copia de
todos los Formularios 2 (F2) debidamente llenados.
Ya organizado el material, en una fecha próxima a la de la aplicación definitiva16 , el coordinador nacional, o la
persona designada para el efecto, debe entregar a cada aplicador los siguientes documentos:
•
•
•
•
•
•
•
Manual del Aplicador17 .
Pautas para la aplicación de los cuestionarios.
Formulario 2 (F2), con el registro de los estudiantes del aula que se le haya asignado.
Cuadernillos de las pruebas de los estudiantes.
Cuestionarios de los estudiantes, sus docentes (incluye cuestionarios sobre enseñanza) y sus familias.
Cuestionario para el director y la ficha de empadronamiento del centro educativo18 .
Formulario 3 (F3), para llenar con los incidentes que se presenten durante la aplicación definitiva.
Al recibir el material, el aplicador debe firmar el Formulario 1 (F1), de recepción y devolución de materiales.
Este formulario tiene carácter de compromiso de confidencialidad bajo declaración jurada, y se termina de
llenar cuando el aplicador devuelve el material. En el anexo 1, se presenta un modelo de carta acuerdo de confidencialidad, en el caso de que el coordinador nacional desee usarla de manera complementaria al Formulario
1 (F1). Es deseable que todo aquel que vaya a tener contacto con los instrumentos firme el acuerdo de confidencialidad (por ejemplo, los responsables de la impresión y embalaje).
En todo momento, debe recordársele al aplicador la importancia y significado del principio de confidencialidad. Él debe estar consciente de que romper este principio pone en riesgo el proyecto, y el
esfuerzo realizado sería en vano. Debe remarcársele que en todo momento debe mantener actitud
vigilante y resguardar el material, en especial los cuadernillos de las pruebas, para evitar que algún
ítem se filtre.
De igual modo, el aplicador debe estar consciente de la importancia del principio de estandarización;
en todo momento debe recordársele que modificar las condiciones de evaluación establecidas en los
manuales puede invalidar los resultados.
Si un motivo de fuerza mayor impidiera a algún aplicador realizar su trabajo, el coordinador nacional debe contar con algún mecanismo de reemplazo de la persona faltante. Por esta razón, entre otras, es que se sugiere que
se capacite un porcentaje adicional de personas al número requerido.
16
Donde sea posible, se sugiere que los materiales para la evaluación se entreguen el día anterior a la evaluación o el mismo día, a
primera hora.
17
Aunque el aplicador ya conoció este Manual durante la capacitación, se sugiere que se entregue nuevamente, como parte de toda la
documentación.
18
Si la aplicación definitiva prevé más de un aplicador en un mismo centro educativo, el cuestionario del director y la ficha de empadronamiento del centro educativo se asignarán sólo a uno de ellos.
43
5.
ACTIVIDADES DURANTE LA APLICACIÓN
Durante los días previstos para la aplicación definitiva, el coordinador nacional debe atender personalmente, o
a través de un equipo de personas designadas especialmente para este efecto, todas las consultas que los aplicadores y los directivos de centros educativos formulen, y resolver los inconvenientes que se presenten. Esta
labor busca garantizar que en todas las aulas programadas se efectúe la aplicación con arreglo a lo establecido en
el Manual del Aplicador y que sólo se presenten a la prueba los estudiantes señalados en el Formulario 2 (F2).
Igualmente, durante los días previstos para realizar el trabajo de campo, el coordinador nacional debe intentar
entrar en comunicación con los directores de los centros educativos elegidos, con el fin de informarse acerca
del desarrollo de la aplicación definitiva.
5.1. Implementar un sistema interno (nacional) de apoyo a la aplicación
Se sugiere que la coordinación nacional organice un sistema de apoyo al proceso de aplicación. Para ello, es
recomendable contar con un número suficiente de personas, debidamente capacitadas, que puedan atender
consultas de grupos aplicadores y resolver incidentes que pudieran impedir el normal desarrollo de la evaluación en grupos los de centros educativos. Estas personas deben estar en capacidad y condiciones de sustituir a
algún aplicador, en caso emergencia.
5.2. Colaborar con el sistema de control de calidad del estudio
Como parte del control de calidad del estudio, se implementará un sistema de supervisión y observación externa de la aplicación definitiva en cada uno de los países participantes.
Este dispositivo de supervisión de la aplicación definitiva basa su desarrollo en dos perfiles y funciones principales: los Observadores Internacionales y los Monitores Externos.
La tarea del Observador Internacional consistirá en trasladarse al país donde se realizará la aplicación, por un
plazo de una semana aproximadamente. En los días previos al inicio de la aplicación, deberá entrenar a un grupo de Monitores Externos, previamente seleccionados por la Coordinación Técnica del LLECE, realizar una
visita al Centro Nacional para verificar in situ los procedimientos de trabajo y visitar centros educativos durante
los dos primeros días de la aplicación. Posteriormente, deberá elaborar y remitir a la Coordinación Técnica del
LLECE un reporte de lo observado.
Está previsto que los propios Coordinadores Nacionales sean quienes se desempeñen como Observadores
Internacionales, para ello, en el momento oportuno, se les brindará orientación más detallada acerca de cómo
llevar adelante estas actividades.
Los Monitores Externos son especialistas del propio país, seleccionados por la Coordinación Técnica en base
a la propuesta que realiza cada uno de los Coordinadores Nacionales. Se requiere que los candidatos tengan
experiencia en educación y conocimiento del sistema educativo (educación básica), de preferencia con experiencia previa en operativos nacionales de evaluación y a la vez que no tenga relación funcional con la entidad
responsable de la Coordinación Nacional (condición excluyente).
44
La tarea de los Monitores Externos consistirá en: observar sesiones de entrenamiento de aplicadores; realizar
visitas de media jornada a centros educativos durante la aplicación, para observar el cumplimiento de los procedimientos estipulados; elaborar un informe de observación por cada centro educativo visitado, de acuerdo a
un formato que se le entregará.
Estos Monitores Externos NO asumirán funciones dentro de la aplicación nacional como, por ejemplo, reemplazar aplicadores o apoyar en tareas logísticas.
Los coordinadores nacionales deben informar a toda la Red de Evaluación de la existencia de este sistema de
control de calidad del estudio.
6.-
ACTIVIDADES DESPUÉS DE LA APLICACIÓN
6.1. Organizar la verificación y recepción de los materiales de la aplicación
Una vez concluida la aplicación definitiva, cada aplicador consolidará y organizará todo el material utilizado y
lo entregará personalmente al coordinador nacional o a la persona designada para esta labor, quien debe asegurarse de recibir los siguientes documentos:
•
•
•
•
•
Formulario 2 (F2) con la lista de asistencia de los estudiantes que respondieron las pruebas y los
cuestionarios, debidamente llenado. Este formulario debe tener la firma y sello de la autoridad del
centro educativo, para hacer constar su participación en la evaluación.
Formulario 3 (F3) con el registro de los incidentes presentados, debidamente llenado.
Cuadernillos y cuestionarios respondidos y no respondidos por los estudiantes, los cuestionarios
respondidos por los docentes y el director del centro educativo y los cuestionarios de padres de
familia o tutores que sea posible recoger.
Informe del Aplicador, debidamente llenado.
Formulario 1 (F1) de recepción y devolución de materiales, debidamente llenado19.
Adicionalmente, los directores de los centros educativos remitirán al coordinador nacional los cuestionarios
para los padres de familia o tutores, debidamente respondidos, que no hayan podido entregarse al aplicador
durante la aplicación.
Después de recibir los materiales provenientes de todos los aplicadores y los directores de centros educativos, es
necesario organizar por separado los cuadernillos y cuestionarios, para proceder a leer y corregir las producciones escritas, a codificar las respuestas a las preguntas abiertas y a capturar todas las respuestas. Adicionalmente,
para consolidar un Informe Nacional de Aplicación Definitiva, a partir de los formularios y los informes de los
aplicadores. Estos informes son fundamentales para documentar el proyecto.
6.2. Organizar la captura de las respuestas a los instrumentos
Una vez organizados los cuadernillos y los cuestionarios, es necesario conformar un archivo con las respuestas
consignadas en ellos. Para tal fin, cada país recibirá una interfase personalizada en formato ACCESS y un Instructivo de Captura20 que permitirá llenar las siguientes tablas:
19
Al recibir el material completo, el coordinador nacional firmará el Formulario 1 (F1), dando su conformidad.
20
La Coordinación Técnica del LLECE organizará un taller de entrenamiento para el uso de la interfase ACCESS, dirigido a los
responsables de la captura de datos de cada país.
45
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Respuestas de Lectura para tercer grado
Respuestas de Matemática para tercer grado
Respuestas de Lectura para sexto grado
Respuestas de Matemática para sexto grado
Respuestas de Ciencias Naturales para sexto grado
Respuestas a los cuestionarios para los estudiantes de tercero
Respuestas a los cuestionarios para los estudiantes de sexto grado
Respuestas a los cuestionarios para los docentes
Respuestas al cuestionario sobre enseñanza de Matemática para tercer grado
Respuestas al cuestionario sobre enseñanza de Matemática para sexto grado
Respuestas al cuestionario sobre enseñanza de Lenguaje para tercer grado
Respuestas al cuestionario sobre enseñanza de Lenguaje para sexto grado
Respuestas al cuestionario sobre enseñanza de Ciencias Naturales para sexto grado
Respuestas a los cuestionarios para los padres de familia o tutores
Respuestas a los cuestionarios para el director
Respuestas a la ficha de empadronamiento
Respuestas de escritura para tercer grado
Respuestas de escritura para sexto grado
Una vez concluida la captura de las respuestas, se requiere depurar las tablas y verificar que los registros presentes en cada una de ellas correspondan uno a uno con los cuadernillos aplicados en cada una de las áreas, antes
de su envío.
Las interfases requerirán el doble código asignado a las preguntas abiertas de las áreas de Matemática y Ciencias
Naturales. Asimismo, la evaluación de Escritura requerirá que el proceso de corrección se realice antes de que
los datos se ingresen en la interfase correspondiente.
Los procedimientos para llevar a cabo la codificación de las preguntas abiertas de matemática y ciencias se detallarán en los manuales de codificación respectivos, los cuales se remitirán a los países. Asimismo, se remitirán
los instructivos que detallen los procedimientos de corrección múltiple y supervisión de la codificación que los
países deberán implementar. De forma similar, se procederá con el caso de la evaluación de la escritura21 .
6.3
Consolidar y remitir la documentación
Una vez consolidados los diferentes documentos del proyecto y elaborado el correspondiente informe, el coordinador nacional debe remitir al LLECE, debidamente organizados y relacionados, los siguientes documentos
y materiales:
•
Informe Nacional de Aplicación Definitiva, elaborado a partir de los Informes de los Aplicadores y de acuerdo con una pauta enviada por el LLECE.
•
Tablas depuradas y verificadas con las respuestas dadas a la totalidad de los instrumentos.
21
Los talleres de capacitación para la codificación de las preguntas abiertas y de la escritura se realizarán entre la segunda quincena
de mayo y la primera semana de junio. A estos talleres asistirán los representantes de los países responsables de conducir estos procesos y de
capacitar a los correctores a nivel nacional.
46
•
Fotocopia (buena calidad) de una muestra de las producciones escritas, elegida de manera aleatoria por la Coordinación Técnica del LLECE (el porcentaje está por definirse y fluctuará entre 5 y 10%)
•
Fotocopia (buena calidad) de una muestra de las respuestas a las preguntas abiertas de Matemática y Ciencias Naturales, elegida de manera aleatoria por la Coordinación Técnica del LLECE (el porcentaje está por definirse y fluctuará entre 5 y 10%).
La remisión debe efectuarse, a más tardar, ocho semanas después de realizada la aplicación definitiva.
6.4
Mantener bajo resguardo los instrumentos
Una vez concluida la aplicación definitiva, por razones de confidencialidad del material, es indispensable mantener bajo resguardo seguro todos los cuadernillos y cuestionarios impresos y utilizados, durante un tiempo de
seis meses. Transcurrido este tiempo, el coordinador nacional debe proceder a destruir tanto los cuadernillos
como los cuestionarios, bien sea mediante incineración o picado en tiras de menos de 1 milímetro de ancho,
dejando constancia, mediante un acta, del material que se destruye y remitiendo copia al LLECE. Si la impresión de este material se contrata con alguna empresa especializada, en el contrato respectivo debe aparecer la
cláusula de confidencialidad correspondiente. Igualmente, es necesario mantener bajo consulta restringida al
coordinador nacional, todos los archivos electrónicos generados durante la aplicación definitiva.
Al mismo tiempo, el coordinador nacional debe conservar todos los Formularios F1, F2 y F3, para efectos
de documentar el proyecto y poder atender alguna solicitud de confirmación de datos que el LLECE pueda
requerir.
47
ANEXO 1
ACUERDO DE CONFIDENCIALIDAD
MATERIALES DEL SEGUNDO ESTUDIO REGIONAL
COMPARATIVO Y EXPLICATIVO (SERCE)
Yo _______________________________________________________
En mi carácter de APLICADOR de la prueba definitiva del SERCE en <País> asumo formalmente el compromiso de:
•
Guardar la confidencialidad de todos los materiales relacionados con esta evaluación.
•
No conservar ni dejar en los centros educativos ningún ejemplar o copia de de ninguna prueba o ítems de pruebas o borradores de dichos materiales ni permitir copia de los mismos.
•
No divulgar el contenido de los materiales antes mencionados a personas no autorizadas, a través
ningún medio.
FIRMA:______________________
DOCUMENTO DE IDENTIDAD:________________________
FECHA:_____________________
48
ANEXO 2
MODELO DE PAUTA PARA CAPACITACIÓN DE APLICADORES22
FASE I: ACTIVIDADES A DISTANCIA
1.
Lectura de documentos informativos
Objetivos
-
Poner a disposición del Aplicador información suficiente para atender consultas generales de los
centros educativos, durante los días de la aplicación definitiva.
-
Familiarizar al Aplicador con los procedimientos y actividades de la aplicación definitiva, antes de
iniciar su capacitación.
1.1.
Información general sobre el SERCE
•
Documento preparado por el coordinador nacional donde el aspirante tenga un enfoque global sobre el estudio:
-
-
-
-
-
Las instituciones organizadoras y los países participantes
Objetivos
Fases
Principales características
Página web LLECE para orientar a quien desee profundizar en el tema.
•
Documento de habilidades para la vida (Lenguaje, Matemática y Ciencias Naturales).
1.2. Manual del Aplicador
22
La presente pauta de capacitación va acompañada de un archivo de presentaciones en PowerPoint que complementa los materiales
requeridos para cada actividad propuesta.
49
FASE II: ACTIVIDADES PRESENCIALES
1.
Prueba de carácter formativo (30 minutos)
Objetivo:
Autoevaluación de los participantes y devolución de información por el capacitador, a partir de la corrección
en grupos.
Actividad:
Se entregará una prueba a cada participante que podrá ser resuelta usando el manual del aplicador en. Aproximadamente, 20 minutos. Los 10 minutos finales servirán para socializar las respuestas.
Materiales:
-
-
-
1 prueba por participante
1 manual del aplicador por participante (en adelante, requerido para toda la capacitación)
1 documento solucionario para el capacitador
2.
Análisis grupal de las partes fundamentales del Manual de Aplicación (120 minutos)
Objetivo:
Resaltar aspectos centrales contemplados en el manual de aplicación e instruir sobre el correcto uso de los principales formularios que el aplicador ha de completar, antes de la aplicación.
Actividad:
A través de una presentación (con soporte visual mediante el uso de diapositivas o transparencias) el capacitador irá detallando los siguientes puntos nodales contemplados en el manual.
-
Papel del aplicador
-
Lista de control de actividades
-
Lista de instrumentos
-
Cronograma de aplicación
-
Actividades previas a la aplicación:
o
Recibir el material y llenar el formulario correspondiente (F1)
o
Confirmar planes de aplicación
o
Verificar la asistencia de estudiantes del aula asignada (requiere el Formulario F2, lista de
asistencia de estudiantes)
o
Presentarse en el centro educativo y verificar el material antes de su aplicación
(requiere el adecuado llenado de las carátulas, previamente)
Actividad opcional 1: Entrenamiento en el llenado de carátulas, usando el Formulario F2.
(30 minutos adicionales). Si se considera que por falta de experiencia los aplicadores pueden cometer errores
al momento de llenar las carátulas de los cuadernillos, se sugiere incluir, en este momento, uno o dos ejercicios
de llenado de carátula. La resolución del ejercicio puede ser parte de la presentación en diapositivas.
Actividad opcional 2: Presentación en el centro educativo. (45 minutos adicionales). Esta actividad es
particularmente importante para aquellos países en los que no sea posible tomar contacto previo con los centros educativos. Se sugiere, mediante una dinámica de juego de roles, plantear algunas situaciones problemáticas
como:
50
o
o
o
Que el director o los docentes rechacen la evaluación
Formular algunos medios de disuasión o negociación
Que el director o los docentes exijan ver las pruebas de logro
Materiales:
-
-
Presentación. Parte 1
Para opcional 1: Carátulas vacías (1 ó 2 por participante)
3.
Representaciones de las aplicaciones de las pruebas
Tiempo aproximado:
15 minutos para la presentación general
45 minutos por prueba (15 de trabajo en grupos, 20 para una o dos representaciones y 10 para plenaria)
Objetivo:
Entrenar a los participantes para la aplicación apropiada de las pruebas de logro a los estudiantes.
Actividades:
Este trabajo se iniciará haciendo una breve presentación (con soporte visual mediante el uso de diapositivas o
transparencias) sobre las características esenciales de la aplicación de pruebas:
-
-
-
Características de las pruebas
Aspectos a verificar antes de la aplicación de las pruebas
Aspectos generales para la aplicación de las pruebas
A continuación se procederá a representar las aplicaciones de cada una de las pruebas.
Previamente, el capacitador agrupará en equipos de 4 ó 5 personas a los participantes. Ellos tendrán que revisar
las indicaciones para la aplicación de una prueba dada (por ejemplo, la de lectura de tercer grado) y ensayarlas en
sus equipos. Luego, se elegirá un participante de todo el grupo para que represente las indicaciones; los demás
participantes observarán y harán los comentarios respectivos en un plenario, después de la representación.
Se proponen algunas situaciones para ser representadas:
ROL PLAYING 1.- Primer día de aplicación. Aplicación de Prueba de Lectura.
Roles: aplicador, director cordial y firme, docente del grupo intenta copiar un cuadernillo de prueba, un alumno
que tiene un mal comportamiento, un alumno busca el apoyo del docente para resolver.
ROL PLAYING 2.- Primer día de aplicación. Aplicación Prueba de Escritura.
Roles: aplicador, director cordial y firme, docente del grupo trata de ayudar a los alumnos en la realización de la
prueba, un alumno se retira antes de finalizar, porque su padre lo exige.
ROL PLAYING 3.- Segundo día de aplicación. Inicio de la Actividad.
Roles: aplicador, docente ansioso que da pautas, además de las del aplicador, un alumno llama constantemente
la atención del aplicador.
51
ROL PLAYING 4.- Segundo día de aplicación. Aplicación Prueba de Matemática.
ROL PLAYING 5.- Segundo día de aplicación. Aplicación Prueba de Ciencias.
Tener en cuenta lo siguiente:
•
En todos los casos, se sugiere que se represente como mínimo la parte de aplicación dedicada a la lectura de las instrucciones que el aplicador debe hacer con los estudiantes. En todo momento, es preciso observar
que las instrucciones sean dadas al pie de la letra, tal como consta en el manual.
•
El capacitador debe elegir a diferentes participantes cada vez; es importante que todos, o la mayoría,
tengan la oportunidad de representar al menos una lectura de instrucciones de pruebas, ya que este elemento,
por un lado, es motivador de aprendizajes más sólidos y por otro, permite al capacitador evaluar el desempeño
de los candidatos a examinadores.
•
Dado que las instrucciones para tercero y sexto grados son las mismas y sólo varían por área, se sugiere
asumir alternativamente que a veces el grupo es de tercero y a veces de sexto.
Materiales:
-
Presentación. Parte 2
-
Instructivos de las pruebas de cada área (al menos un juego de ejemplares por equipo)
4.
Representaciones de las aplicaciones de los cuestionarios de factores asociados23
[Sólo si el Aplicador es el responsable de la administración de los cuestionarios (aspecto por definir)].
Objetivo:
Entrenar a los participantes para la apropiada aplicación de los cuestionarios de factores asociados a los diferentes actores del proceso educativo.
Presentación introductoria a cuestionarios (15 minutos):
Este trabajo se iniciará haciendo una breve presentación (con soporte visual mediante el uso de diapositivas o
transparencias) sobre las características esenciales de la aplicación de cuestionarios:
-
Características de los cuestionarios
-
Tipos de cuestionarios y aplicaciones posibles
A continuación se trabajará cada cuestionario.
Materiales:
-
-
-
Presentación. Parte 3
Pauta para la aplicación de los cuestionarios
Set completo de cuestionarios
23
Sujeto a la definición final del conjunto de estos instrumentos.
52
4. 1 Cuestionario del estudiante (60 minutos)
Actividad:
Se seguirá una dinámica similar a la empleada para la representación de la aplicación de las pruebas de logro.
En primer lugar, se hará una lectura individual, o en parejas, del contenido del cuestionario del alumno y se
estudiarán las indicaciones o instrucciones para su aplicación (material pendiente). Finalmente, el capacitador
elegirá a uno o dos participantes para que representen frente a todo el grupo la administración del cuestionario.
Tras dicha representación, los participantes harán sus comentarios, en plenaria.
4.2 Cuestionarios del docente (incluye los cuestionarios sobre enseñanza), el director y ficha de empadronamiento del centro educativo (45 minutos por instrumento).
Actividad:
Para cada uno de estos instrumentos se sugiere dar 30 minutos para la revisión del cuestionario y 15 minutos de
plenaria para resolver dudas puntuales.
4.3. Cuestionario de la familia
Se sugiere una actividad similar a la anterior. Adicionalmente, si el cuestionario admitirá formas alternativas de
aplicación (por ejemplo: autoaplicada para zonas urbanas, aplicada mediante entrevista –pensando en padres de
familia con analfabetismo-, etcétera) se recomienda capacitar en los diferentes procedimientos que han de ser
considerados, para asegurar una alta tasa de respuesta.
5.
Despedida del centro educativo, devolución de materiales y elaboración del reporte
(60 minutos)
53
Objetivo:
Ofrecer a los participantes indicaciones para asegurar una adecuada despedida del centro educativo, así como la
devolución ordenada de los materiales a la sede principal y la elaboración del reporte final de aplicación.
Actividad:
Se realizará una presentación (con soporte visual mediante el uso de diapositivas o transparencias) en el que se
precisen los aspectos relativos al objetivo.
Si se considera conveniente, se puede reforzar la actividad realizando una representación de la despedida del
centro educativo.
Finalmente, se revisará el Formulario 1 (F1), en la parte de devolución de materiales, y el Formulario 3 (F3),
Informe del Aplicador.
Es importante aclarar que, si bien los tiempos pueden ajustarse de acuerdo con la situación particular de cada
país, el tiempo mínimo previsto para la capacitación de los aplicadores debe ser de seis horas, excluyendo el
tiempo que demande la organización y distribución de materiales y asignación de centros educativos.
CAPÍTULO III:
MANUAL DEL APLICADOR PARA
LA APLICACIÓN DEFINITIVA
Para asegurar que los resultados obtenidos en todos los países y escuelas que participan sean comparables y
válidos, es preciso que todos los niños que participan en el estudio se evalúen bajo las mismas condiciones. Para
ello, el rol de aplicador de los instrumentos es esencial.
Es imprescindible que Usted siga todas las indicaciones que se presentan en este manual y que ante cualquier
duda consulte con su supervisor.
2. LISTA DE INSTRUMENTOS
Hay dos tipos de instrumentos:
•
Las pruebas de logro, que serán respondidas por los estudiantes de tercero y sexto grado.
•
Los cuestionarios de factores asociados, que serán respondidos por los mismos estudiantes que rinden las pruebas, sus familias, sus profesores y sus directores. Estos cuestionarios buscan obtener
información sobre las condiciones escolares y familiares que pueden ayudar a explicar los resultados de las pruebas.
En la Tabla 1 se muestra la lista de instrumentos que se administrarán en este estudio. En apartados posteriores,
se explicará cómo se debe aplicar cada uno de ellos.
54
Tabla 1. Lista de Instrumentos
Tipo
Pruebas de
Logro
Cuadernillos
Código
Lectura
Del 1 al 6
DL3 – DL6
Estudiantes de tercero y
sexto grado
Escritura
Del 1 al 2
DE3 – DE6
Estudiantes de tercero y
sexto grado
Matemática
Del 1 al 6
DM3 – DM6
Estudiantes de tercero y
sexto grado
Ciencias
Del 1 al 6
DC6
Único
QA3
Estudiantes de tercer grado
Único
QA6
Estudiantes de sexto grado
Del docente
Único
QP
Autoadministrada
Docentes de lenguaje y
matemática del aula evaluada
De enseñanza
Cinco
QL3, QL6,
QM3,QM6, QC6
Autoadministrada
Docente del área respectiva
del aula evaluada
Padres o tutores de los
estudiantes de tercero y
sexto grado evaluados
Del estudiante
de 3
Del estudiante
de 6
Cuestionarios
de Factores
Asociados
Forma de
Administración
Nombre
Sesión
colectiva
¿Quién lo responde?
Estudiantes de sexto grado
De la familia
Único
QF
Autoadministrada/
Entrevista
Del directivo
Único
QD
Autoadministrada
Director o miembro del
equipo directivo
Ficha de
empadronamiento
Único
FE
Entrevista
Aplicador con el apoyo
del director
3. ACTIVIDADES DEL APLICADOR
En esta sección presentaremos en 10 subtítulos las principales actividades que usted, como aplicador, deberá
realizar. Es imprescindible que siga estrictamente los procedimientos establecidos en este apartado pues ello es
un requisito para que todos los estudiantes que participan en el estudio sean evaluados bajo las mismas condiciones.
3.1 Establecer contacto con la escuela
Cada una de las escuelas participantes en el estudio ha designado un interlocutor24 , quien está a cargo de informar a los docentes, a las familias y a los estudiantes acerca de la evaluación. El aplicador debe presentarse
ante la dirección de la escuela y solicitar hablar con dicho interlocutor o bien, si es que nadie ha sido designado
aún para tal efecto, pedir al director que designe a una persona con la que puedan coordinar todos los aspectos
relativos a la evaluación.
24
Cuando el director lo considere pertinente, él mismo podrá asumir esta responsabilidad.
55
En lo posible, el aplicador realizará el primer contacto con antelación a la fecha prevista para la evaluación.
Este contacto se establece en forma personal o por vía telefónica o electrónica, cuando las circunstancias así lo
requieran. El objetivo es el siguiente:
•
Ubicar o confirmar la dirección de la escuela y la forma de acceso a la misma;
•
Confirmar la fecha, la hora y el lugar de la aplicación (por ejemplo: asegurar ambientes apropiados para dar las pruebas);
•
Solicitar que en la escuela esté(n) presente(s) el o los docentes del aula durante los días de la aplicación para que responda(n) a los cuestionarios que le correspondan;
•
Acordar la manera de manejar eventuales imprevistos o situaciones problemáticas;
•
Acordar los procedimientos a seguir al concluir cada sesión;
•
Llenar la ficha de empadronamiento del centro educativo25 ;
•
Verificar la cantidad de estudiantes que hay en el grado y en cada sección a ser evaluada.
El primer día de aplicación, el aplicador debe explicar al director o al interlocutor, dentro de la escuela, que
existe un sistema de supervisión de la calidad de la evaluación y que es posible, por lo tanto, que otra persona
de la red de la evaluación se acerque o visite a la escuela para monitorear el proceso.
Si un motivo de fuerza mayor impidiera al aplicador realizar su trabajo, esto debe comunicarse al supervisor con la mayor antelación posible, de modo que puedan tomarse las medidas necesarias para
resolver la situación.
3.2 Recibir el material de la evaluación y verificar que esté completo.
El aplicador recibirá el material de evaluación detallado en Formulario 1 (F1), de recepción y devolución de
materiales. Debe verificar si ha recibido todos los documentos señalados en dicho formulario y, en el caso de
que faltara alguno debe informar al supervisor.
Es necesario tener presente que el material de evaluación del SER CE podrá utilizarse en el futuro, a efectos de
realizar otros estudios, y que, por tanto, es indispensable mantener su confidencialidad y garantizar que no se
divulge ni se dañe. Esto significa que las pruebas no se pueden copiar bajo ninguna forma y que el aplicador
es responsable de que todos los cuadernillos y cuestionarios que recibió retornen en perfecto estado.
La firma del aplicador en el Formulario 1 constituye el compromiso de confidencialidad que lo obliga
a mantener bajo resguardo y protección todos los documentos que recibe.
25
En el caso de no ser posible completar esta ficha en este contacto, se la llenará durante los días de la aplicación.
56
3.3 Completar el Formulario de Asistencia de Estudiantes (F2)
El Formulario de Asistencia de Estudiantes (F2) tiene dos objetivos principales:
•
Asegurar que cada estudiante de la muestra reciba el instrumento que le corresponde en cada sesión de evaluación. Esto se debe a que las pruebas de logro tienen formas o cuadernillos distintos (por ejemplo,
existen 6 cuadernillos distintos de la prueba de lectura) y es importante que estos se repartan de acuerdo al
orden establecido en este formulario.
•
Llevar el registro de asistencia a las sesiones de evaluación.
Este formulario contiene:
•
Los datos de la escuela y la sección. La Coordinación Nacional llena estos datos, previamente, y en aquellos casos que sea necesario, lo hará el aplicador;
•
El nombre completo de cada estudiante que se va a evaluar en la sección o aula asignada; en caso de ser necesario, el aplicador debe completar esta información;
•
Una columna para consignar si el estudiante tiene alguna necesidad educativa especial (NEE, especifi
cadas en el anexo 3). En este caso, el aplicador coloca los siguientes códigos:
o
1, si no hay discapacidad o limitación para responder la prueba
o
2, para “Discapacidad funcional”
o
3, para “Discapacidad intelectual”
o
4, para “Limitación en el dominio del idioma”
o
5, para “Otro tipo de problema”
•
Una columna por prueba (Lectura, Escritura, Matemática y Ciencias en el caso de sexto), donde
aparece el número de cuadernillo que le corresponde a cada estudiante;
•
Una columna por cuestionario (estudiante y familia);
•
En cada columna de prueba o del cuestionario del estudiante (QA), existe un recuadro en blanco don
de se consigna la asistencia de cada estudiante. Se asigna:
o
0, para “Inasistencia”
o
1, para “Asistencia”
(Si algún estudiante se retira durante la evaluación, se considera asistente a la misma y se consigna el hecho en
el Formulario 3: Registro de incidentes que se explicará más adelante).
•
En la columna del cuestionario de la familia (QF), existe un recuadro en blanco donde se consigna la devolución del instrumento respondido. Se asigna:
o
0, para “No aplicado”/“No devuelto”
o
1, para “Respondido”.
57
EJEMPLO
FORMULARIO 2 . Lista de Asistencia de Estudiantes (TERCERO)
País: 01 Escuela: 075 Sección: 02
Escuela: Libertador San Martín Dirección: Las Flores Nº 33 - Calafate - Provincia de Santa Cruz
Cód
Apellido
Paterno
Apellido
Materno
Nombre
NEE
01
Almeida
Rengifo
Iván
02
Castro
Elizondo
03
Pérez
Matemática
Cuestionario
Estudiante
Cuestionario
Familia
Lectura
Escritura
1
C2
1
C2
1
C2
1
QA3
1
QF3
1
Mauricio
1
C3
1
C1
1
C3
1
QA3
1
QF3
1
Maldonado
Laura
1
C4
1
C2
1
C4
1
QA3
1
QF3
1
04
Ramírez
Valdez
Cecilia
1
C5
1
C1
1
C5
1
QA3
1
QF3
1
05
Ramírez
Bogoya
Daniel
1
C6
1
C2
1
C6
1
QA3
1
QF3
1
06
Zapata
Carbajo
Pablo
4
C1
1
C1
1
C1
1
QA3
1
QF3
1
07
Zúñiga
Cariola
María
1
C2
1
C2
1
C2
1
QA3
1
QF3
1
TOTAL PERSONAS QUE RESPONDIERON
FECHA DE APLICACIÓN (DD/MM)
7
6
6
7
21/07
21/07
22/07
22/07
5
En el ejemplo anterior, si tomamos el caso de la niña Laura Pérez Maldonado, encontramos que esta niña tiene
asignado el código de estudiante 03. De acuerdo al F2, esta estudiante debe recibir el cuadernillo 4 en la sesión
de Lectura, el cuadernillo 2 en la sesión de Escritura y el cuadernillo 4 en la sesión de Matemática. De acuerdo
a lo consignado por el aplicador, esta niña estuvo presente en las sesiones de Lectura y Escritura y ausente en
la sesión de Matemática. Por otro lado, Laura contestó el cuestionario de estudiante, pero no fue devuelto o
aplicado el cuestionario de su familia.
Como se observa, el aplicador consigna en el F2 el dato de la cantidad total de estudiantes y padres de familia
que responden a cada instrumento, asimismo registra la fecha en que cada sesión de evaluación con estudiantes
se realizó.
El Formulario 2 debe ser sellado y firmado por el director o autoridad del centro educativo,
una vez que el registro de asistencia a todas las sesiones se haya concluido.
3.4 Completar las carátulas de los instrumentos
Completar las carátulas de los instrumentos
Antes de iniciar la aplicación de los instrumentos, el aplicador debe asegurarse de haber completado sus carátulas de acuerdo con el F2: Lista de Asistencia de Estudiantes.
En cada instrumento, el aplicador debe llenar los siguientes códigos y datos:
•
•
Códigos: país, escuela, sección y estudiante asignados por el LLECE.
Datos: nombre de la escuela, dirección de la escuela y nombre completo del estudiante.
Siguiendo el ejemplo anterior, la carátula correspondiente a la estudiante “Laura Pérez Maldonado” se muestra
en el cuadro a continuación.
58
EJEMPLO DE CARÁTULA LLENADA POR EL APLICADOR
59
Debe asegurarse que el número de cuadernillo entregado al estudiante se corresponda
con el que se asignó a ese estudiante en el Formulario 2.
Además, debe asegurarse que los códigos de Escuela, Sección y Estudiante correspondan al estudiante según dicho formulario.
3.5. Aplicar los instrumentos a los estudiantes
Aplicar los instrumentos a los estudiantes
A la hora fijada, el aplicador hace ingresar a los estudiantes al aula dispuesta para la aplicación de instrumentos. Una vez que los estudiantes están sentados y debidamente organizados, el aplicador les pide
que sobre su pupitre sólo dejen su lápiz, una goma de borrar y un sacapuntas (el uso de diccionario y
calculadora NO está permitido en ningún caso).
Luego, pasa lista a los estudiantes, de acuerdo con el orden en que aparecen en el F2, y le entrega a cada
uno de ellos el cuadernillo correspondiente. En ningún caso puede entregar las pruebas a un estudiante
que no aparece en el F2 en reemplazo de otro que sí aparece.
El orden de aplicación de los instrumentos y los tiempos establecidos para cada sesión de evaluación
se muestran en las tablas 2 y 3.
Tabla 2. Distribución del tiempo para la aplicación de los instrumentos a estudiantes – TERCERO
PRIMER DÍA
Prueba de Lectura
Instrucciones
Desarrollo (60 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección de material
Pausa (20 minutos)
Prueba de Escritura
Instrucciones
Desarrollo (45 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Entrega de cuestionarios de familia
SEGUNDO DÍA
Prueba de Matemática
Instrucciones
Desarrollo (60 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección de material
Pausa (20 minutos)
Cuestionario del Estudiante
Instrucciones
Desarrollo (aproximadamente 20 minutos)
Recolección del material
Recepción de cuestionarios de familia
60
Tabla 3. Distribución del tiempo para la aplicación de los instrumentos a estudiantes – SEXTO
PRIMER DÍA
Prueba de Lectura
Instrucciones
Desarrollo (60 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Pausa (15 minutos)
Prueba de Escritura
Instrucciones
Desarrollo (45 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Pausa: (15 minutos)
Cuestionario del Estudiante
Instrucciones
Desarrollo (aproximadamente 45 minutos)
Recolección del material
Entrega de cuestionarios de familia
SEGUNDO DÍA
Prueba de Matemática
Instrucciones
Desarrollo (70 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Pausa (20 minutos)
Prueba de Ciencias
Instrucciones
Desarrollo (60 minutos)
Tiempo adicional (hasta 10 minutos)
Recolección del material
Recepción de cuestionarios de familia
3.5.1 Conducir la aplicación de acuerdo con la Guía
Para garantizar que todas las sesiones de evaluación desarrolladas en todos los países que participan en el SERCE brinden las mismas condiciones de oportunidad, tiempo e información, y que todos los estudiantes reciban
las mismas instrucciones, es necesario que el aplicador utilice paso a paso la Guía que se incluye en el Anexo
5.
Se debe proceder de acuerdo con la Guía de Aplicación, leyendo los textos que en ella aparecen de forma clara,
pausada y suficientemente audible. Si los estudiantes plantean dudas y formulan preguntas, podrá releerse el
texto mencionado. El aplicador debe evitar agregar ejemplos o explicaciones no contempladas en los textos de
la guía, sin embargo, puede adaptar el lenguaje para que los niños comprendan bien cómo deben colocar sus
respuestas.
3.5.2 Supervisar la sesión
En especial, se debe tener en cuenta:
Si los estudiantes comprenden bien cómo deben anotar sus respuestas;
•
Que no se debe ayudar a los estudiantes acerca de qué significa un enunciado o palabra ni qué opción de respuesta deben elegir;
•
Que no está permitido que los estudiantes salgan del aula, salvo en caso de extrema necesidad.
Si algún estudiante debe retirarse antes de terminar la prueba, por razones de enfermedad o fuerza mayor, debe recogerse el cuadernillo;
61
•
Si algún estudiante que se haya retirado del aula antes de terminar la prueba, regresa y todavía dentro del tiempo previsto para la sesión, debe retornársele el cuadernillo o cuestionario para que continúe respondiéndolo (este hecho debe quedar consignado en el Formulario 3: Registro de incidentes);
•
Que los estudiantes que terminen antes del tiempo previsto su trabajo deben revisarlo y permanecer en el aula hasta que termine la prueba;
•
•
Que cumplido el tiempo establecido, deberán recogerse todos los cuadernillos;
Que la presencia del docente en el aula, durante las sesiones de evaluación a estudiantes,
NO está permitida.
3.5.3 Finalizar la sesión
Al concluir el tiempo previsto para toda la sesión, el aplicador recogerá todos los cuadernillos y los cuestionarios de estudiantes; los organizará de acuerdo con la numeración que aparece en el F2 y los contará para confirmar que posee de nuevo todo el material. Confirmará, además, que no falte ninguna parte de los materiales.
Sólo después de las confirmaciones mencionadas, permitirá la salida de los estudiantes, agradeciéndoles su
participación.
Recuerde que durante la aplicación de las pruebas de logro a los estudiantes NO puede ayudarlos con
el contenido de la prueba, NI SIQUIERA explicarle el significado de una palabra que no entienden.
3.6 Administrar los cuestionarios de familia (QF)
Para la aplicación de los cuestionarios de familia (QF), se debe decidir el mejor mecanismo de administración del instrumento, con el propósito de garantizar la mayor cantidad de respuestas y el adecuado entendimiento de las preguntas.
Existen las siguientes alternativas de administración:
•
Autoadministrada: El primer día de aplicación se envía el cuestionario a la familia a través del estudiante
o se lo entrega personalmente y se acuerda su devolución al día siguiente. El instrumento irá y volverá en sobre
cerrado, porque esto garantiza la confidencialidad de la información para tranquilidad de la familia.
Este mecanismo es propicio para aquellas zonas o centros educativos en los que las familias están alfabetizadas.
•
Entrevista: En el caso que se considere que la autoadministración del instrumento plantea dificultades
se puede optar por convocar al centro educativo a uno de los padres o responsables de cada estudiante evaluado para aplicar el cuestionario mediante entrevista individual o colectiva (leyendo al grupo las preguntas). Si
las entrevistas son individuales, el aplicador debe tomar las previsiones necesarias en términos de tiempo.
La decisión sobre los mecanismos de administración del instrumento recaerá en el Supervisor, que
evaluará cada caso. Idealmente, si existe un contacto previo con la escuela y se presume que los padres de familia pueden tener dificultades con la autoadministración del cuestionario se debe coordinar
su convocatoria.
62
3.7 Administrar los cuestionarios del director y de los docentes (QD, FE, QP, QL3, QL6, QM3, QM6
y QC6)
El aplicador entrega un cuestionario general al o los docentes responsables de enseñar matemática y/o lenguaje
a la sección evaluada (QP) y los Cuestionarios sobre enseñanza, al o los docentes de la sección evaluada, según
el área que le enseñan (Por ejemplo el QM3 se debe entregar al docente que enseña matemática al grupo de
tercero que está siendo evaluado). En ese momento, muestra las indicaciones y le dice al docente que, cuando
devuelva el cuestionario respondido, tendrá espacio para aclarar cualquier duda que le haya surgido durante su
llenado. Idealmente, el aplicador puede aprovechar las sesiones de evaluación con los estudiantes para entregar
al docente el respectivo cuestionario para que, de manera simultánea, lo conteste26 .
En cuanto al cuestionario del director (QD), debe ser entregado en la entrevista que tiene lugar al inicio del
primer día de aplicación. Procediendo como con el cuestionario docente, el aplicador indicará al director que
debe responder siguiendo las instrucciones del instrumento y que si surge alguna duda, esta podrá ser aclarada
en el momento de devolverlo. El aplicador debe acordar una hora de devolución del cuestionario respondido
dentro de los dos días de evaluación en la escuela.
Respecto a la ficha de empadronamiento del centro educativo (FE), como se dijo, es posible que esta haya sido
llenada en la visita previa que se hace al mismo. De lo contrario, el aplicador la debe completar con el apoyo del
director o de alguna autoridad del centro educativo durante los días de la aplicación.
Si en el centro educativo hubiera más de un aplicador trabajando, el supervisor designará a uno de ellos para
administrar el cuestionario del director (QD) y la ficha de empadronamiento del centro educativo (FE).
3.8 Completar el Formulario de Registro de Incidentes (F3)
Cualquier anomalía en la aplicación de algún instrumento debe ser registrada en el F3. Si bien el aplicador debe
tomar todas las precauciones necesarias para cumplir con las condiciones de aplicación establecidas en el presente manual. Cualquier situación imprevista que pueda afectar la aplicación de los instrumentos o el desempeño de los estudiantes en la prueba debe ser consignada en este reporte. Por ejemplo, problemas relacionados
a las condiciones ambientales (exceso de ruido externo, interrupciones constantes de terceros), a la conducta
del grupo que se está evaluando, a las condiciones del material de evaluación (por ejemplo, si se detectan instrumentos con problemas de impresión o si los cuadernillos no coinciden con los del formulario 2), entre otros.
En este registro NO deben incluirse las dudas habituales que pueden plantear los estudiantes mientras son
evaluados, por ejemplo, si no entienden una pregunta o si piden ayuda en la prueba, tampoco intentos fallidos
de copiarse entre compañeros de aula o casos aislados de comportamiento inadecuado que no haya afectado
al grupo.
Si hay rechazo enfático a responder algún instrumento por parte del docente, director, estudiante o padre de
familia, deberá ser consignado el hecho en el F3. También se consigna aquí si algún estudiante durante alguna
sesión de evaluación se retiró del aula, ya sea parte del tiempo de evaluación o toda la sesión.
El F3 se presenta en el Anexo 4. Al completarlo debe ser lo más claro, conciso y breve posible.
26
Los procedimientos para la distribución de estos cuestionarios, así como la correcta identificación de los docentes que responden en cada caso, se detallan en el documento “Pautas para la aplicación de los cuestionarios”.
63
3.9 Agradecer y despedirse de la escuela
Una vez concluidos todos los procesos de aplicación, usted debe agradecer a cada participante y dirigirse a la
dirección de la escuela para agradecer por las facilidades prestadas, despedirse y solicitar que le sellen y firmen
el Formulario 2, Lista de asistencia de estudiantes, en cada página del mismo. Además, usted llevará consigo el
documento Evaluación del proceso de aplicación, que se muestra en el Anexo 5, y un sobre vacío, en el que el
director o autoridad que responde la evaluación se la entregará una vez completada.
Finalmente, recordará a las autoridades educativas que el objetivo principal de esta evaluación es obtener información del rendimiento de los estudiantes a nivel de sistemas educativos nacionales y en la Región Latinoamericana. No obstante, ello ofrecerá a la escuela un breve informe de carácter pedagógico con recomendaciones
a partir de los resultados obtenidos por los grupos de estudiantes evaluados (no se identificarán rendimientos
individuales). Dicho informe será remitido por la Coordinación Nacional en <fecha>
3.10 Consolidar todo el material y devolverlo
El material de evaluación debe ser devuelto a la <Sede> , debidamente organizado y en perfecto estado, el
mismo día en que fue aplicado. Si esto no fuera posible para aquellos casos en los que la distancia de la escuela
obliga al aplicador a viajar fuera de la ciudad en la que se ubica la sede, el supervisor establecerá una fecha
máxima de retorno del material de acuerdo a cada caso.
Las pruebas no pueden quedar, bajo ningún término, en los centros educativos. En cambio, en casos
autorizados por el Coordinador Nacional, los cuestionarios de director, docente y familia pueden quedar en el centro educativo para ser recogidos con posterioridad por el aplicador.
El aplicador debe asegurarse de que entrega el siguiente material a <Sede>:
•
El F1. Recepción y Devolución de Materiales, debidamente llenado;
•
El F2. Lista de Asistencia de Estudiantes, debidamente llenado con el registro de los datos y asistencia de los estudiantes que respondieron las pruebas y los cuestionarios. Recuerde que este formulario se debe presentar con la firma y sello de la autoridad del centro educativo, con el propósito de hacer constar su participación en la evaluación;
•
El F3. Registro de Incidentes, debidamente llenado;
•
Todos los cuadernillos y cuestionarios respondidos y no respondidos por los estudiantes, los cuestionarios respondidos por los docentes y el director de centro educativo y todos los cuestionarios de padres de
familia o tutores que sea posible recoger.
Recuerde que las pruebas de logro son totalmente confidenciales y usted es el responsable de su resguardo. No debe dejarlas en la escuela ni en ningún lugar en el que corran el riesgo de ser extraídas,
copiadas o dañadas.
64
4. SITUACIONES PROBLEMÁTICAS: PREGUNTAS Y RESPUESTAS
A continuación, algunas soluciones a problemas frecuentes que se han detectado en experiencias anteriores.
•
¿Qué hacer si todo el grupo de estudiantes termina la prueba antes del tiempo estipulado?
Se ha establecido que es deseable que el grupo permanezca dentro del aula durante el tiempo de evaluación establecido para una prueba. Esto para evitar que algunos estudiantes dejen el cuadernillo sin concluir por salir del
aula junto con los compañeros que terminaron primero. Sin embargo, si se observa que todos los estudiantes
del grupo han concluido la prueba, es decir, han respondido a toda ella, se puede dar por concluida la sesión.
•
¿Qué hacer si algún(os) estudiantes no han concluido la prueba una vez que el tiempo
estipulado ha acabado?
Tal como aparece en el cronograma de aplicación, en este caso se puede dar un máximo de 10 minutos adicionales de evaluación. El resto de estudiantes puede permanecer en el aula leyendo un libro o revista, o bien, salir.
Evite, en lo posible, autorizar la salida de estudiantes del aula sin coordinarlo previamente con algún docente
o autoridad del centro educativo.
•
¿Qué hacer si una emergencia lo obliga a salir del aula mientras está aplicando una prueba?
Debe evitar salir del aula mientras aplica una prueba. Sin embargo, si una emergencia lo obliga a hacerlo, retire
todos los cuadernillos de prueba y llévelos consigo. Anote el hecho en el Registro de Incidentes. Bajo ningún
término deje los cuadernillos a solas con el director, con el docente o con los estudiantes.
En caso de sismo o emergencia que ponga en riesgo la integridad de los estudiantes evacue al grupo siguiendo
las indicaciones de seguridad acordadas con el centro educativo. Identifique anticipadamente las zonas de seguridad y las rutas de evacuación para poder afrontar este tipo de situaciones. Pasada la emergencia, anote el
hecho en el Registro de Incidentes.
•
¿Qué hacer si el docente desea ingresar a la sesión de evaluación de sus estudiantes?
Explique que no es posible hacerlo, debido a que la UNESCO así lo ha establecido como un requisito para asegurar igualdad de condiciones en la evaluación de todos los estudiantes de todos los países y que usted no está
autorizado a modificar esta norma. Trate con cortesía al docente en todo momento, pero no le permita ingresar
al aula bajo ningún concepto, si lo considera necesario pida ayuda a las autoridades del centro educativo.
65
ANEXO 1.
FORMULARIO 1. RECEPCIÓN Y DEVOLUCIÓN DE MATERIALES SERCE
Códigos LLECE: País:  Escuela:  Datos de la Escuela:
Nombre :__________________________________________________________
Dirección: _________________________________________________________
Nombre:_________________________________________ Código: 
Datos del Aplicador:
Aplicador: _________________ Código Aplicador
Fecha de recepción: _____________
 Teléfono _____________
Fecha de devolución: _____________
MATERIALES
Grado
Tercero
Sexto
Centro
Educativo
Tipo de Cuadernillo
o Cuestionario
Cantidad
Recibidos
Devueltos
Respondidos
En blanco
Lectura
Escritura
Matemática
Cuestionario Estudiante 3º
Lectura
Escritura
Matemática
Ciencias
Cuestionario Estudiante 6º
66
Docente
De enseñanza
Director
Familia
Ficha de empadronamiento
____________________________
Firma del Aplicador
(al recibir el material del Coordinador)
_____________________________
Firma del Coordinador Nacional
(al recibir devuelto el material del Aplicador)
El Aplicador se compromete a mantener absoluta confidencialidad de todo el material recibido.
- ESTE DOCUMENTO TIENE CARÁCTER DE DECLARACIÓN JURADA -
ANEXO 2.A
FORMULARIO 2. Lista de Asistencia de Estudiantes (TERCERO)
País:  Escuela:  Sección 
Nombre Escuela _____________________ Dirección: ______________________________________
Lectura
Escritura
Matemática
Cuestionario
Estudiante
Cuestionario
Familia
01
C4
C2
C4
QA3
QF3
02
C5
C1
C5
QA3
QF3
03
C6
C2
C6
QA3
QF3
04
C1
C1
C1
QA3
QF3
05
C2
C2
C2
QA3
QF3
06
C3
C1
C3
QA3
QF3
07
C4
C2
C4
QA3
QF3
08
C5
C1
C5
QA3
QF3
.
.
.
.
.
.
N
.
.
.
.
.
Código
Apellido
Paterno
Apellido
Materno
Nombre
NEE
TOTAL DE PERSONAS QUE RESPONDIERON AL INSTRUMENTO
FECHA DE APLICACIÓN (DD/MM)
67
ANEXO 2. B
FORMULARIO 2. Lista de Asistencia de Estudiantes (SEXTO)
País:  Escuela:  Sección 
Nombre Escuela _____________________ Dirección: _____________________________________
Lectura
Escritura
Matemática
Cuestionario
Estudiante
Ciencias
Cuestionario
Familia
01
C5
C1
C5
QA6
C5
QF6
02
C6
C2
C6
QA6
C6
QF6
03
C1
C1
C1
QA6
C1
QF6
04
C2
C2
C2
QA6
C2
QF6
05
C3
C1
C3
QA6
C3
QF6
06
C4
C2
C4
QA6
C4
QF6
07
C5
C1
C5
QA6
C5
QF6
08
C6
C2
C6
QA6
C6
QF6
09
C1
C1
C1
QA6
C1
QF6
.
.
.
.
.
.
.
N
.
.
.
.
.
.
Código
Apellido
Paterno
Apellido
Materno
Nombre
NEE
TOTAL DE PERSONAS QUE RESPONDIERON AL INSTRUMENTO
FECHA DE APLICACIÓN (DD/MM)
68
ANEXO 3.
ESTUDIANTES CON NECESIDADES EDUCATIVAS ESPECIALES (NEE)
Con el propósito de seguir los mismos criterios en todos los países participantes en el SERCE, en relación con
discapacidades o limitaciones que impiden presentar la evaluación, es muy importante tener en cuenta que sólo
se permite la exclusión de estudiantes con alguna de las siguientes características:
Discapacidad funcional (código NEE 2): se trata de discapacidad física permanente, de moderada a severa, que puede tener algún estudiante y que le impide presentar las pruebas; por ejemplo, la ceguera. Cuando la
discapacidad funcional no impide realizar la evaluación —por ejemplo, en el caso de un sordo que lleva más de
dos años estudiando español—, es necesario aplicar las pruebas al estudiante.
Discapacidad intelectual (código NEE 3): se refiere a la discapacidad emocional o intelectual que puede
tener algún estudiante con un diagnóstico de retardo cognitivo, efectuado y certificado por un profesional
debidamente registrado, salvo en aquellos casos donde sea materialmente imposible obtener dicho certificado.
Esta definición incluye a aquellos estudiantes que son emocional o intelectualmente incapaces de seguir instrucciones simples, como los que presentan un cuadro moderado de autismo. Los estudiantes NO deben ser
excluidos simplemente por tener un desempeño académico deficiente, dificultades de aprendizaje o problemas
de conducta.
Limitación en el dominio del idioma (código NEE 4): se reconoce cuando la lengua materna del estudiante
es diferente del español o del portugués, según sea caso, y lleva menos de dos años de escolaridad estudiando
con esta lengua, lo cual constituye una barrera y una limitación para leer y comprender las pruebas en condiciones aceptables.
69
ANEXO 4.
FORMULARIO 3. REGISTRO DE INCIDENTES
Códigos LLECE: País:  Escuela:  Sección 
Datos de la Escuela:
Nombre :__________________________________________________________
Dirección: _________________________________________________________
Datos del Aplicador:
Nombre:_________________________________________ Código: 
Por favor responda la siguiente pregunta marcando con una X sobre la opción que corresponda:
¿El proceso de evaluación se realizó bajo los parámetros establecidos en el manual del aplicador?.
(1) Sí, todos los procesos se realizaron de acuerdo al manual.
(2) No. Hubo incidentes o anomalías que reportar.
Instrucciones
1. Si su respuesta fue (1), por favor firme el presente formulario y entréguelo al supervisor.
2. Si su respuesta fue (2), por favor llene el siguiente cuadro, antes de entregar el formulario al supervisor.
3. En el cuadro, use una fila por cada tipo de incidente. Agregue las que hagan falta para registrar lo sucedido.
4. En el cuadro:
•
•
•
En la primera columna, identifique el código del instrumento en cuya aplicación se presentó la
dificultad o anomalía.
En la segunda columna, describa el tipo de problema (Sea breve y preciso).
En la tercera columna, describa la solución que dio al problema
Si no fue posible dar solución escriba “No”
Instrumento
Incidente
Solución
Observaciones Generales:
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
Firma del aplicador _________________
- ESTE DOCUMENTO TIENE CARÁCTER DE DECLARACIÓN JURADA -
70
ANEXO 5.
Evaluación del proceso de aplicación
Estimado Director/a
En nombre de la oficina regional de la UNESCO y del <Entidad Nacional> deseamos agradecerle por todas
las facilidades prestadas para que este estudio se desarrolle apropiadamente.
Quisiéramos pedirle su opinión respecto al proceso de evaluación realizado en este centro educativo. Esta información será muy útil para valorar la calidad del proceso y mejorar nuestra actuación en futuros estudios.
Mucho agradeceremos responda las preguntas a continuación, firme el documento y se lo devuelva al propio
aplicador en el sobre qué el mismo le ha entregado cerrado y si es posible sellado también.
1.
¿Cuántos aplicadores visitaron este centro educativo?
a.
b.
c.
d.
Uno
Dos
Tres o más
No lo sé.
2.
¿Cuántos días duró la aplicación en su centro educativo?
a.
b.
c.
d.
e.
Un día
Dos días
Tres días
Cuatro días o más
No lo sé
3.
¿El primer día de aplicación, el (los) aplicador(es) se acercaron a la dirección a saludar y coordinar las
acciones para el trabajo?
a.
b.
Sí
No
Por favor indique su opinión sobre el desempeño del aplicador o aplicadores:
4.
Los aplicadores fueron amables y respetuosos.
a.
b.
c.
Sí
No
No lo sé
5.
Los aplicadores fueron puntuales.
a.
b.
c.
6.
Sí
No
No lo sé
Los aplicadores mostraron un apropiado manejo de los procesos de evaluación.
71
a.
b.
c.
Sí
No
No lo sé
7.
Recibió quejas de algún miembro de la comunidad educativa como consecuencia de la presente
evaluación.
a.
b.
Sí
No
Si recibió quejas por favor indique quién las hizo (marque todas las que correspondan):
a.
b.
c.
d.
e.
Algún(os) docente(s) a cargo del(os) grupo(s) evaluado(s).
Otros docentes o la asociación sindical.
Estudiantes evaluados.
Padres de familia o asociación de padres de familia.
Otros
8.
Llegó a su centro educativo algún supervisor para monitorear el desarrollo de la aplicación.
a.
b.
c.
Sí
No
No lo sé
9.
Por favor, si tiene algún comentario (observación, queja o sugerencia) escríbalo en las siguientes líneas.
_____________________________________________________________________________________
_____________________________________________________________________________________
_____________________________________________________________________________________
_____________________________________________________________________________________
_____________________________________________________________________________________
_______________________________________________________________________________
Datos Generales:
Nombre de la escuela: ___________________________________________
Teléfono / Dirección:____________________________________________
Datos del encuestado:
Nombre completo: _______________________________________________
Cargo: _________________________________________________________
Firma: _____________________________
72
ANEXO 6.
4. GUÍA DE APLICACIÓN DE INSTRUMENTOS A ESTUDIANTES
4.1 PROTOCOLO DE PRESENTACIÓN GENERAL (PRIMER DÍA)
1. Al comenzar la sesión preséntese a sí mismo ante los estudiantes y lea a continuación el texto 1.
Texto 1.
Ustedes han sido elegidos para participar en un importante estudio
internacional sobre educación.
Este estudio sirve para conocer cuánto aprenden los estudiantes
en la escuela y para mejorar la educación en nuestro país.
Por eso es importante que se esfuercen y demuestren todo lo que saben.
4.2 SESIÓN LECTURA: TERCERO (PRIMER DÍA)
1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo
lápiz, goma de borrar y sacapuntas (recuerde que el uso de diccionario no es permitido).
2. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le
corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.
Enseguida, lea el texto 2.
Texto 2.
Ahora todos van a resolver una prueba de lectura de textos.
Cada uno tendrá una prueba diferente.
Encontrarán algunas preguntas fáciles y otras más difíciles.
Intenten responderlas todas.
Recuerden esto: lo más importante es que se esfuercen
y demuestren todo lo que saben.
Voy a leer en voz alta la carátula y las instrucciones generales
mientras ustedes las leen en silencio junto conmigo.
73
3. Lea en voz alta y lentamente la carátula, desde el título del instrumento.
74
4. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la
tercera pregunta de las instrucciones solos y mire si han comprendido cómo deben marcar sus respuestas. Si
lo considera necesario repita las instrucciones.
75
5. Tras leer las instrucciones de la evaluación de lectura y asegurarse de que los estudiantes han comprendido
cómo marcar sus respuestas, lea el texto 3.
Texto 3.
Tienen 60 minutos para responder a la prueba.
Recuerden seguir las instrucciones y trabajen en silencio.
Si alguien tiene una duda, levante la mano
y espere que me acerque a su sitio.
Ahora pueden comenzar.
6. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo
de prueba. Supervise la sesión, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algún
estudiante está resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras.
A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar.
Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer
un libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de
prueba haya acabado (los estudiantes saldrán solo cuando el tiempo de sesión se haya cumplido o en el caso
excepcional de que todos hayan terminado la prueba antes del mismo).
7. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permítales salir del
aula. A los que no han concluido dígales que permanezcan en el aula y concédales 10 minutos adicionales. Un
vez transcurridos retire también sus cuadernillos.
8. Haga la pausa de 20 minutos y convóquelos para la siguiente sesión.
4.3 SESIÓN ESCRITURA: TERCERO (PRIMER DÍA)
1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo
lápiz, goma de borrar y sacapuntas.
2. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le
corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.
Enseguida, lea el texto 4.
76
Texto 4.
Ahora van a tener 45 minutos para responder a una evaluación de escritura.
Cada uno tendrá una prueba diferente. Voy a leer en voz alta las instrucciones
generales mientras ustedes las leen en silencio junto conmigo.
3. Lea en voz alta y lentamente la carátula, desde el título del instrumento. Insista, releyendo, en que la prueba se
resuelve siguiendo tres pasos, uno después del otro y en cuáles son esos pasos. Bajo ningún concepto aclare
a los estudiantes las consignas que siguen al cartelito “ESPERA”, ubicadas dentro de la prueba.
77
4. Tras leer la carátula de la evaluación de escritura, lea el texto 5.
Texto 5.
Sigan las instrucciones y trabajen en silencio.
Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio.
5. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de
prueba. Supervise la sesión, sin distraer a los estudiantes. Si algún niño solicita su ayuda para la lectura de las
instrucciones en las páginas interiores, que corresponden a cada uno de los pasos en particular, dígale que lea
con atención esas instrucciones, ubicándose a su lado para no distraer al resto del grupo. NO lea en voz alta
ni agregue explicaciones adicionales.
A los 30 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar.
Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer un
libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de prueba
haya acabado (los estudiantes saldrán sólo cuando el tiempo de sesión se haya cumplido o en el caso excepcional
de que todos hayan terminado la prueba antes del mismo).
6. A los 45 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permítales salir del aula.
A los que no han concluido dígales que permanezcan en el aula y concédales 10 minutos adicionales. Un vez
transcurridos retire también sus cuadernillos.
7. Concluido el tiempo, si procede, entregue los cuestionarios a las familias. Luego, despídase de los estudiantes
y anúncieles que el día de mañana seguirán trabajando juntos.
4.4 SESIÓN MATEMÁTICA: TERCERO (SEGUNDO DÍA)
1. Salude a los estudiantes, si lo considera necesario repita la información del protocolo de presentación (texto
1). Anuncie que el día de hoy comenzarán con una evaluación de matemática.
2. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz,
goma de borrar y sacapuntas (recuerde que el uso de calculadora no está permitido).
3. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.
Enseguida, lea el texto 6.
78
Texto 6.
Ahora todos van a resolver una prueba de matemática
. Cada uno tendrá una prueba diferente.
Encontrarán algunas preguntas fáciles y otras más difíciles.
Intenten responderlas todas.
Recuerden esto: lo más importante es que se esfuercen y demuestren
todo lo que saben.
Voy a leer en voz alta la carátula y las instrucciones generales
mientras ustedes las leen en silencio junto conmigo.
4. Lea en voz alta y lentamente la carátula, desde el título del instrumento.
79
5. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la
tercera pregunta de las instrucciones solos y verifique si han comprendido cómo deben marcar sus respuestas.
Si lo considera necesario repita las instrucciones.
80
6. Tras leer la carátula y las instrucciones, lea el texto 7.
Texto 7.
Tienen 60 minutos para responder la prueba. Recuerden seguir
las instrucciones y trabajar en silencio.
Pueden emplear los espacios en blanco de la prueba para hacer sus cálculos.
Si alguien tiene una duda, levante la mano y espere a que me acerque
a su sitio.
Ahora pueden comenzar.
7. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de
prueba. Supervise la sesión, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algún estudiante está resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras.
A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar.
Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer un
libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de prueba
haya acabado (los estudiantes saldrán sólo cuando el tiempo de sesión se haya cumplido o en el caso excepcional
de que todos hayan terminado la prueba antes del mismo).
8. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permítales salir del aula.
A los que no han concluido dígales que permanezcan en el aula y concédales 10 minutos adicionales. Un vez
transcurridos retire también sus cuadernillos.
9. Haga la pausa de 20 minutos y convóquelos para la siguiente sesión.
81
4.5. SESIÓN CUESTIONARIO: TERCERO (SEGUNDO DÍA)
1. Distribuya los cuestionarios y lea el texto 8.
Texto 8.
Ahora vamos a responder un cuestionario. Esto no es una prueba.
Queremos conocer sus opiniones.
No hay respuestas correctas o incorrectas.
Lean con cuidado cada pregunta y contesten de acuerdo con su opinión.
Expresen lo que realmente piensan; sus respuestas no las van a conocer
ni sus docentes ni el director ni sus padres ni sus compañeros.
Si en el cuestionario hay algo que no entienden,
pídanme ayuda levantando la mano y guardando silencio.
Yo me acercaré a sus lugares para ayudarlos.
2. A diferencia de lo que sucede con las pruebas, usted sí puede ofrecer asistencia a los estudiantes.
Incluso puede leer las preguntas a aquellos que no puedan hacerlo solos.
3. Cuando los estudiantes hayan concluido, recoja los cuestionarios y despídase de ellos agradeciéndoles por
su participación.
82
4.6 SESIÓN LECTURA: SEXTO (PRIMER DÍA)
1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz,
goma de borrar y sacapuntas (recuerde que el uso de diccionario no es permitido).
2. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.
Enseguida, lea el texto 9.
Texto 9.
Ahora todos van a resolver una prueba de lectura de textos.
Cada uno tendrá una prueba diferente.
Encontrarán algunas preguntas fáciles y otras más difíciles.
Intenten responderlas todas.
Recuerden esto: lo más importante es que se esfuercen y demuestren
todo lo que saben.
Voy a leer en voz alta la carátula y las instrucciones generales mientras ustedes
las leen en silencio junto conmigo.
3. Lea en voz alta y lentamente la carátula, desde el título del instrumento.
83
4. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la
tercera pregunta de las instrucciones solos y mire si han comprendido cómo deben marcar sus respuestas. Si lo
considera necesario repita las instrucciones.
84
5. Tras leer las instrucciones de la evaluación de lectura y asegurarse de que los estudiantes han comprendido
cómo marcar sus respuestas, lea el texto 10.
Texto 10.
Tienen 60 minutos para responder a la prueba. Recuerden seguir las instrucciones
y trabajen en silencio.
Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio.
Ahora pueden comenzar.
6. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de
prueba. Supervise la sesión, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algún estudiante está resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras.
A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar.
Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer un
libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de prueba
haya acabado (los estudiantes saldrán sólo cuando el tiempo de sesión se haya cumplido o en el caso excepcional
de que todos hayan terminado la prueba antes del mismo).
85
7. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permítales salir del aula.
A los que no han concluido dígales que permanezcan en el aula y concédales 10 minutos adicionales. Un vez
transcurridos retire también sus cuadernillos.
8. Haga la pausa de 15 minutos y convóquelos para la siguiente sesión.
4.7 SESIÓN ESCRITURA: SEXTO (PRIMER DÍA)
1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz,
goma de borrar y sacapuntas.
2. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.
Enseguida, lea el texto 11.
Texto 11.
Ahora van a tener 45 minutos para responder a una evaluación de escritura. Cada
uno tendrá una prueba diferente. Voy a leer en voz alta las instrucciones generales
mientras ustedes las leen en silencio junto conmigo.
3. Lea en voz alta y lentamente la carátula, desde el título del instrumento. Insista, releyendo, en que la prueba se
resuelve siguiendo tres pasos, uno después del otro y en cuáles son esos pasos. Bajo ningún concepto aclare
a los estudiantes las consignas que siguen al cartelito “ESPERA”, ubicadas dentro de la prueba.
86
4. Tras leer la carátula de la evaluación de escritura, lea el texto 12.
Texto 12.
Sigan las instrucciones y trabajen en silencio. Si alguien tiene una duda,
levante la mano y espere que me acerque a su sitio.
5. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de
prueba. Supervise la sesión, sin distraer a los estudiantes. Si algún niño reclama su ayuda para la lectura de las
instrucciones en las páginas interiores, que corresponden a cada uno de los pasos en particular, dígale que lea
con atención esas instrucciones, ubicándose a su lado para no distraer al resto del grupo. NO lea en voz alta
ni agregue explicaciones adicionales.
A los 30 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar.
Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer un
libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de prueba
haya acabado (los estudiantes saldrán solo cuando el tiempo de sesión se haya cumplido o en el caso excepcional
de que todos hayan terminado la prueba antes del mismo).
87
6. A los 45 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permítales salir del aula.
A los que no han concluido dígales que permanezcan en el aula y concédales 10 minutos adicionales. Un vez
transcurridos retire también sus cuadernillos.
7. Haga la pausa de 15 minutos y convóquelos para la siguiente sesión.
4.8 SESIÓN CUESTIONARIO: SEXTO (PRIMER DÍA)
1. Distribuya los cuestionarios y lea el texto 13.
Texto 13.
Ahora vamos a responder un cuestionario. Esto no es una prueba.
Queremos conocer sus opiniones. No hay respuestas correctas o incorrectas.
Lean con cuidado cada pregunta y contesten de acuerdo con su opinión.
Expresen lo que realmente piensan; sus respuestas no las van a conocer
ni sus docentes ni el director ni sus padres ni sus compañeros.
Si en el cuestionario hay algo que no entienden, pídanme ayuda levantando
la mano y guardando silencio. Yo me acercaré a sus lugares para ayudarlos.
2. A diferencia de lo que sucede con las pruebas, usted sí puede ofrecer asistencia a los estudiantes. Incluso
puede leer las preguntas a aquellos que no puedan hacerlo solos.
3. Cuando los estudiantes hayan concluido, recoja los cuestionarios y despídase de ellos agradeciéndoles por
su participación.
4. Concluido el tiempo, si procede, entregue los cuestionarios a las familias. Luego, despídase de los estudiantes
y anúncieles que el día de mañana seguirán trabajando juntos.
4.9 SESIÓN MATEMÁTICA: SEXTO (SEGUNDO DÍA)
1. Salude a los estudiantes, si lo considera necesario repita la información del protocolo de presentación (texto
1). Anuncie que el día de hoy empezarán por una evaluación de matemática.
2. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lápiz,
goma de borrar y sacapuntas (recuerde que el uso de calculadora no es permitido).
3. Distribuya las pruebas y pídales que no las abran aún. Cada estudiante debe recibir el cuadernillo que le corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.
Enseguida, lea el texto 14.
88
Texto 14.
Ahora todos van a resolver una prueba de matemática.
Cada uno tendrá una prueba diferente.
Encontrarán algunas preguntas fáciles y otras más difíciles.
Intenten responderlas todas.
Recuerden esto: lo más importante es que se esfuercen y demuestren
todo lo que saben.
Voy a leer en voz alta la carátula y las instrucciones generales
mientras ustedes las leen en silencio junto conmigo.
4. Lea en voz alta y lentamente la carátula, desde el título del instrumento.
89
5. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la
tercera pregunta de las instrucciones solos y verifique si han comprendido cómo deben marcar sus respuestas.
Si lo considera necesario repita las instrucciones.
90
6. Tras leer la carátula y las instrucciones, lea el texto 15.
Texto 15.
Tienen 70 minutos para responder la prueba.
Recuerden seguir las instrucciones y trabajar en silencio.
Pueden emplear los espacios en blanco de la prueba para hacer sus cálculos.
Si alguien tiene una duda, levante la mano y espere a que me acerque a su sitio.
Ahora pueden comenzar.
7. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de
prueba. Supervise la sesión, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algún estudiante está resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras.
A los 55 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar.
Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer un
libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de prueba
haya acabado (los estudiantes saldrán sólo cuando el tiempo de sesión se haya cumplido o en el caso excepcional
de que todos hayan terminado la prueba antes del mismo).
8. A los 70 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permítales salir del aula.
A los que no han concluido dígales que permanezcan en el aula y concédales 10 minutos adicionales. Un vez
transcurridos retire también sus cuadernillos.
9. Haga la pausa de 20 minutos y convóquelos para la siguiente sesión.
91
4.10 SESIÓN DE CIENCIAS (SEGUNDO DÍA)
1. Distribuya las pruebas y pídalas que no las abran aún. Cada estudiante debe recibir el cuadernillo que le
corresponde según el Formulario 2. Lista de Asistencia de Estudiantes.
2. Lea en voz alta y lentamente la carátula, desde el título del instrumento.
92
3. Lea a continuación las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la
segunda y tercera preguntas de las instrucciones solos y verifique si han comprendido cómo deben marcar sus
respuestas. Si lo considera necesario repita las instrucciones.
93
94
3. Tras leer la carátula y las instrucciones, lea el texto 16.
Texto 16.
Tienen 60 minutos para responder la prueba.
Recuerden seguir las instrucciones y trabajar en silencio.
Si alguien tiene una duda, levante la mano y espere a que me acerque a su sitio.
Ahora pueden comenzar.
4. Anote en la pizarra la hora de inicio y término. Utilice un cronómetro o un reloj para medir el tiempo de
prueba. Supervise la sesión, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algún estudiante está resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras.
A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar.
Cuando considere que un estudiante ha respondido el cuadernillo, podrá retirárselo y decirle que puede leer un
libro o una revista. No permita que ningún estudiante o grupo salga del salón antes de que el tiempo de prueba
haya acabado (los estudiantes saldrán solo cuando el tiempo de sesión se haya cumplido o en el caso excepcional
de que todos hayan terminado la prueba antes del mismo).
5. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permítales salir del aula.
A los que no han concluido dígales que permanezcan en el aula y concédales 10 minutos adicionales. Un vez
transcurridos retire también sus cuadernillos.
6. Cuando el tiempo haya concluido, recoja los cuestionarios y despídase de los estudiantes agradeciéndoles por
su participación.
95
CAPÍTULO IV:
MANUAL PARA LA CODIFICACIÓN
DE LOS ÍTEMS DE RESPUESTA ABIERTA
DE MATEMÁTICA
En su paso por la escuela, el estudiante debe lograr, entre otras cosas, la incorporación significativa a sus estructuras cognitivas de conceptos y habilidades. Esto posibilita que los contenidos conceptuales, procedimentales
y actitudinales aprendidos puedan ser aplicados a situaciones nuevas surgidas de la matemática o de la vida real
del alumno en sus diferentes ámbitos de desempeño. La presente evaluación, por lo tanto, no está limitada solamente a lo que los alumnos han aprendido, sino que también está concentrada en determinar si los estudiantes
pueden utilizar lo aprendido.
Desde una perspectiva que considera que el conocimiento se construye mediante un proceso en el que las ideas
pueden evolucionar gracias a situaciones problemáticas que favorecen la explicitación y contraste de puntos de
vista, la evaluación es un elemento fundamental de la dinámica del proceso de aprendizaje (Sanmartí y Jorba,
1995 citado por Callejo, 1996). Por eso es importante destacar que la evaluación se debe centrar tanto en los
resultados como en los procedimientos utilizados para resolver los problemas.
El medio más utilizado para evaluar ciertos procedimientos es a través de la resolución de problemas.
Es así como el estudiante, ante situaciones a resolver, pone en juego los contenidos conceptuales, procedimentales y actitudinales que ha aprendido. Las producciones del alumno son una información sobre su “estado de
saber”.
Las tareas presentadas a los estudiantes permiten evaluar los aprendizajes para obtener información del grado
de dominio que tienen sobre los conocimientos en cuestión.
La recolección de la información a través de este tipo de tareas permitirá conocer:
•
dónde se encuentran los estudiantes en los aprendizajes de los procedimientos que utilizan en la reso
lución de problemas, sus logros y sus dificultades,
•
los saberes que utilizan , las estrategias que usan, la forma en que comunican los procedimientos y re
sultados,
•
la capacidad de los alumnos para usar sus conocimientos en la resolución de nuevos problemas.
Los procedimientos matemáticos generales tienen una presencia insustituible en el quehacer matemático. Pero
en matemática no se trabaja separando problemas, representaciones, modelizaciones, demostraciones, sino que
varios procedimientos convergen en las tareas matemáticas.
La resolución de algunos problemas matemáticos requiere de procesos de identificar, interpretar, comparar,
relacionar, clasificar y ordenar los distintos tipos de números y sus propiedades.
En la resolución de ciertos problemas planteados matemáticamente se ponen en juego las operaciones, teniendo en cuenta su significado en cada conjunto numérico y la forma de calcular los resultados.
96
Para resolver problemas, los alumnos deben reconocer y saber usar las propiedades de las figuras bidimensionales y tridimensionales, aplicar los conceptos de ubicación y medida, usar y operar con las unidades de medida,
así como organizar, procesar e interpretar información estadística en sus diferentes formas de representación.
Por su parte, la comunicación permite brindar y recibir información, establecer conexiones entre diferentes
formas de representación gráfica, simbólica o verbal de conceptos y relaciones matemáticas, precisar el vocabulario, dar a conocer las ideas y los procedimientos de la matemática.
2. Las pruebas de Matemática SERCE
Las pruebas de Matemática SERCE incluyen dos tipos diferentes de ítems:
•
•
de opción múltiple con cuatro opciones o alternativas de respuesta,
de respuesta abierta a desarrollar por el estudiante.
Los ítems de opción múltiple presentan un enunciado incompleto o una pregunta y cuatro opciones de respuesta. Una sola es la correcta. El estudiante debe resolverlo y seleccionar la respuesta que cree correcta.
Los ítems de respuesta abierta son aquellos en los cuales el estudiante tiene que construir su propia respuesta.
Para ello tiene que diseñar, realizar y comunicar su procedimiento de resolución.
Ambos tipos de ítems están orientados a medir logros en los aprendizajes, pero se diferencian en el tipo de
información que entregan a partir de sus resultados.
En el caso de los ítems de opción múltiple, aunque pueden llegar a medir complejos procesos de pensamiento,
se focalizan, en general, en objetivos precisos. Cada ítem permite evaluar un aspecto de un objetivo mayor y la
suma de todos ellos da cuenta del nivel de logro del o los objetivos planteados.
En el caso de las preguntas de respuesta abierta, el proceso tiene tanta o más importancia que el resultado, porque dichas preguntas facilitan conocer los distintos caminos de exploración que sigue el estudiante. Permiten
seguir una línea argumentativa, posibilitan establecer los niveles de dominio de conocimiento en las diferentes
etapas del proceso de solución y monitorear los procedimientos que siguen los estudiantes para resolver los
problemas planteados. Las pruebas de Matemática SERCE ponen el énfasis en aquellos procedimientos, habilidades y destrezas vinculadas a la resolución de problemas y a la comunicación.
Por lo tanto, los ítems de respuesta abierta necesitan la clasificación y codificación de codificadores expertos.
Pero para que esta codificación sea lo más objetiva posible es necesario que se efectúe teniendo en cuenta una
guía común de consignas y códigos de corrección para cada ítem. De esta manera, los codificadores clasifican
y codifican las respuestas. Las categorías: crédito total, crédito parcial y sin crédito dividen las respuestas de
los alumnos según la habilidad matemática que demuestran al producir su respuesta. Si bien la guía describe y
ejemplifica cada código para lograr la mayor objetividad, los codificadores deberán tener en cuenta el grado de
habilidad matemática que el estudiante muestra al resolver el ítem.
97
3. Estructura de los ítems de respuesta abierta
En general, cada ítem de respuesta abierta tiene un enunciado, una pregunta y un recuadro en blanco en el que
el alumno desarrollará su procedimiento de resolución, los cálculos, argumentos, razones plausibles, dibujos o
esquemas necesarios. En la parte inferior de ese recuadro está el lugar asignado para que el alumno escriba la
respuesta.
En otros ítems, el alumno tendrá que hacer trazos para completar un diseño.
4. Estructura de las consignas de codificación
Las consignas de codificación tienen la siguiente estructura:
•
•
•
•
•
Código del ítem, indicación de su ubicación en los cuadernillos de la aplicación piloto y muestra
reducida del ítem.
Categoría de respuesta: Crédito total, crédito parcial o sin crédito.
Código numérico para cada categoría de respuesta.
Descripción de la categoría de respuesta que corresponde a cada código.
Ejemplos de las respuestas de los alumnos para cada código.
En todos los casos los ejemplos que se muestran son algunos de los posibles y se extrajeron de las producciones
de los alumnos en la aplicación piloto.
5. Código de dos dígitos
El código de dos dígitos lo usa PISA y TIMSS para la codificación de los ítems abiertos de Matemática yCciencias.
En el código de dos dígitos, el primer dígito indica el crédito asignado a la respuesta. El segundo dígito se usa
para codificar las diferentes clases de respuestas o estrategia puesta en juego para responder.
El uso del código de dos dígitos posibilita reunir más información acerca de los conceptos erróneos, errores
comunes, nociones que no han logrado construir y diferentes abordajes que adoptan los estudiantes para resolver los problemas.
Al mismo tiempo, el código de dos dígitos indica claramente los niveles jerárquicos de respuestas.
6. Cuestiones generales de la codificación
•
Omisión del procedimiento de solución: Si el procedimiento de resolución del ítem no estuviera escrito,
a pesar de estar expresamente pedido en las instrucciones, la codificación varía según la pregunta. Es necesario,
entonces, consultar la guía de corrección de cada pregunta para decidir el código que se asignará a las respuestas.
•
Errores ortográficos y gramaticales:No se tomará en cuenta los errores ortográficos y gramaticales.
•
Dudas que el corrector puede tener: Si ante una situación el corrector dudara y no fuera capaz de asignar el código, porque entiende que la respuesta del alumno no se ajusta a ninguna de las categorías presentadas
en esta guía de corrección, lo consultará con el Supervisor de la codificación de los ítems abiertos de Matemática.
98
•
Situaciones que pueden presentarse:Algunos ítems de respuesta abierta requieren un procedimiento que
tiene varios pasos. Si el estudiante realiza correctamente uno de esos pasos y el resto del trabajo es erróneo, se
le asignará el crédito parcial, siempre y cuando esta parte no contradiga la parte que efectuó correctamente.
Si el estudiante resuelve un ítem utilizando dos procedimientos distintos y ambos correctos, se le asignará el
código que corresponde al mayor nivel de desempeño.
En cambio, si un estudiante resuelve un ítem utilizando dos procedimientos diferentes, uno correcto y otro
incorrecto y no escribe la respuesta se le asignará código 12, que corresponde a una respuesta incorrecta.
Si el estudiante resuelve el problema correctamente, pero no respeta la consigna del lugar asignado para resolverlo, su respuesta será considerada válida.
Por ejemplo:
o
Si el estudiante hace las cuentas fuera del recuadro asignado para ello.
o
Si coloca la respuesta en otro lugar de la hoja distinto del asignado.
o
Si no da una respuesta explícita: “Había 16 dulces en la caja” sino que termina su procedimiento de resolución con “16”, resaltándolo o no, pero que claramente se ve que es el resultado final.
•
Códigos para respuestas especiales:
o
Código W
Este código se asigna cuando un ítem está mal impreso, mal encuadernado o fotocopiado, cuando es ilegible y,
por lo tanto, el alumno no puede resolverlo.
o
Código Z
Este código es para las omisiones. Se reserva para los casos en que los estudiantes no han dejado evidencias de
sus intentos por responder el ítem. Abarca el espacio en blanco y expresiones tales como “No me alcanzó el
tiempo”.
o
Código cuyo primer dígito es 1
Si el alumno en cambio, responde “No sé”, “No lo entiendo”, tacha, hace una cruz, marcas, escribe groserías,
expresiones o hace dibujos que no corresponden con la tarea propuesta, se le asigna el código cuyo primer
dígito es 1.
99
7. Guía general de codificación de los ítems de respuesta abierta de tercero
A.
Código DM3.B2.IT 11
ÍTEM 23 del Cuadernillo 1 – ÍTEM 11 del Cuadernillo 4
En una caja hay 50 caramelos: 25 de naranja, 5 de limón y el resto de uva.
¿Cuántos caramelos de uva hay?
•
Dominio de contenidos: Numérico.
•
Dominio cognitivo: Solución de problemas simples.
•
El ítem requiere que el alumno resuelva un problema que involucra dos operaciones: una adición y una sustracción o dos sustracciones.
Nota: En el código 33 se acepta como correcta la respuesta y el procedimiento aunque la representación no
es adecuada. Si se presenta una resolución con este modelo, pero con un resultado erróneo se considera sin
crédito.
100
20 caramelos ó 20, mostrando o no un procedimiento válido.
Crédito total:
Código 3
31
Suma y resta (uno de los cálculos puede no estar explícito).
Ejemplo 1: 25 + 5=30; 50 - 30=20
Ejemplo 2: 25 + 5=30 y responde 20
32
Hace dos restas sucesivas (uno de los cálculos puede no estar explícito).
Ejemplo 1: 50 – 25=25 y 25 – 5=20
33
Otra estrategia de solución.
Ejemplo 1: 25 + 5 + 20=50 y responde 20
Ejemplo 2: 25 + 5=30; 30 + 20=50 y responde 20
Ejemplo 3: Dulces de uva hay 20, porque si hay 25 de naranja y 5 de limón, el resto es de uva :
20
Ejemplo 4:
50
- 25
5
20 y contesta 20
Nota: Si tiene error en la representación y no llega al resultado correcto, es código 12.
34
Respuesta correcta sin mostrar el procedimiento de resolución.
Ejemplo: Respuesta 20 (sin procedimiento)
21 Procedimiento matemático adecuado pero llega a un resultado incorrecto por errores en el
cálculo.
Ejemplo 1: 50 – 25 = 35 ; 35 – 5 =30
Crédito
parcial:
Código 2
22 Procedimiento matemático adecuado sin error en los cálculos, pero da una respuesta¬ incorrecta.
Ejemplo: 50 – 30 = 20 ; 25 + 5 = 30 y responde 30
23 El alumno hace el tratamiento correcto solamente de una parte de la tarea y da una respuesta
parcial o no da respuesta.
Ejemplo 1: 25 + 5 = 30 y responde “Hay 30 caramelos de uva”
Ejemplo 2: 50 – 25 = 25 y responde “Hay 25 caramelos de uva”
Ejemplo 3: 50 – 5 = 45 y responde “Hay 45 caramelos de uva”
Ejemplo 4: 25 + 5 = 30
11
Suma todos los números con o sin error en los cálculos.
Ejemplo 1: 50 + 25 + 5=80
Ejemplo 2: 50 + 25 + 5 =125
12
Otras respuestas.
Ejemplo :
50
25
- 5
30
Sin crédito:
Código 1
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la
tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
101
B.
Código DM3.B2.IT 12
ÍTEM 24 del Cuadernillo 1 – ÍTEM 12 del Cuadernillo 4
•
•
•
Dominio de contenidos: Medidas.
Dominio cognitivo: Solución de problemas complejos.
El ítem requiere que el alumno lea y escriba la hora que indica el primer reloj, que le sume 6 horas y que dibuje en el segundo reloj las agujas que indican la hora del almuerzo.
Nota: El dibujo se considera correcto si se ve claramente la posición de las agujas,
aunque sin tomar en cuenta la longitud de las mismas.
El alumno resuelve correctamente las dos partes del ítem.
Escribe correctamente la hora del 1er reloj: 6 y cuarto; 6:15; 6 h y 15 minutos;
6:15 a.m. Y representa correctamente las agujas correspondientes a las 12 horas y
Crédito total: 15 minutos en el 2do reloj.
31
Código 3
Crédito
parcial:
Código 2
Sin crédito:
Código 1
32
Omite la primera parte del ítem y resuelve correctamente la segunda.
No escribe la hora en el primer reloj, pero dibuja las 12:15 minutos en el segundo reloj.
21 Escribe incorrectamente la hora del 1er reloj, pero dibuja en el 2do reloj las
12:15 o la hora que resulta de sumarle 6 horas al registro que realizó para el primero.
22 Escribe 6 horas y 15 minutos o expresión equivalente para el 1er reloj, pero
comete errores en la segunda parte o la omite.
12 Otras respuestas.
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen
relación con la tarea propuesta.
14 No sé, no lo entiendo.
102
C.
Código DM3.B4.IT 11
ÍTEM 23 del Cuadernillo 2 – ÍTEM 11 del Cuadernillo 5
Con 3 litros de jugo, ¿cuántas botellas de 1/2 litro se pueden llenar?
•
•
•
Dominio de contenidos: Numérico.
Dominio cognitivo: Solución de problemas simples.
El ítem requiere que el alumno use el concepto de medio o de mitad para resolver una situación.
6 ó 6 botellas, mostrando algún procedimiento correcto aritmético o gráfico que represente la
respuesta correcta.
Crédito total:
Código 3
31
3 ÷ 1/2 = 6 botellas ó 3 ÷ 0,5 = 6 botellas ó 3 x 2 = 6 botellas
32
1/2 + 1/2 + 1/2 + 1/2 + 1/2 + 1/2 = 3
Se pueden llenar 6 botellas de ½ litro.
33
Dibuja 6 botellas de ½ litro o hace otra representación gráfica que exprese la respuesta
correcta (puede estar acompañada de una elaboración aritmética).
34
Respuesta correcta con otros procedimientos.
Ejemplo: 3+3=6 y responde 6 botellas.
103
21 Respuesta correcta sin mostrar el procedimiento.
Crédito
parcial:
Código 2
22 Muestra la elección de un procedimiento válido, pero no llega al resultado
correcto o no lo expresa en la unidad correcta.
Ejemplo 1: Plantea la división, pero resuelve con error.
Ejemplo 2: 3 x 2=6 y responde 6 litros.
11
12
Sin crédito:
Código 1
Suma 1 + 2 + 3 = 6 litros, 6 botellas ó 6.
Otras respuestas.
Ejemplo: 6 litros sin mostrar procedimiento.
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen
relación con la tarea propuesta.
14
No sé, no lo entendí.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
D.
Código DM3.B4.IT 12
ÍTEM 24 del Cuadernillo 2 – ÍTEM 12 del Cuadernillo 5
104
•
•
•
Dominio de contenidos: Geométrico.
Dominio cognitivo: Solución de problemas simples.
El ítem requiere que el alumno reconozca un elemento de un dibujo de 3
dimensiones en su representación en un dibujo de 2 dimensiones (en un plano).
Crédito total:
Código 2
21
El alumno hace una cruz u otra marca dentro
del rectángulo que representa el escritorio.
22
Dibuja una flecha que señala el escritorio de
la maestra.
23 Realiza la correspondencia entre el escritorio
dibujado y su representación en el plano, mediante
una flecha u otro trazo.
24 Hace una cruz u otra marca que no sea una
flecha fuera del rectángulo, pero muy próxima a su
contorno.
12
Otras respuestas.
13 Respuestas borradas, tachadas, groseras,
dibujos o expresiones que no tienen relación con la
tarea propuesta.
Sin crédito:
Código 1
14
No sé, no lo entiendo.
E.
Código DM3.B6.IT 11
ÍTEM 23 del Cuadernillo 3 – ÍTEM 11 del Cuadernillo 6
El lado mayor de un rectángulo mide 130 centímetros y el lado menor mide 70 centímetros.
¿Cuántos metros mide la suma de los cuatro lados?
70 cm
130 cm •
•
•
Dominio de contenidos: Geométrico.
Dominio cognitivo: Solución de problemas complejos.
El ítem requiere que el alumno aplique la propiedad de congruencia entre los lados opuestos de un rectángulo, sume las medidas de los mismos y efectúe la equivalencia entre centímetros y metros.
105
4 metros ó 4 m ó 4, mostrando su trabajo.
31
Procedimiento basado en la suma.
Ejemplo 1: 130 cm + 130 cm + 70 cm + 70 cm = 400 cm; 400 cm = 4 m
Ejemplo 2 : 1,30 m + 1,30 m + 0,70 m + 0,70 m = 4 m
Ejemplo 3: 130+130=260; 70+70=140; 260+140=400= 4m
32
Procedimiento basado en multiplicación y suma.
Ejemplo 1: 130 + 70= 200 ; 200×2=400 cm = 4 m ó 4
Ejemplo 2: 130×2=260 ; 70×2=140 ; 260 +140=400cm=4m
Ejemplo 3: 1,30×2=2,60 ; 0,70×2=1,40 ; 2,60+1,40=4,00
21
Calcula correctamente el perímetro pero calcula mal la equivalencia.
Ejemplo: 400 m ó 40 m ó 40, mostrando las operaciones.
Crédito total:
Código 3
22
Calcula correctamente el perímetro, pero omite la equivalencia o conversión
de unidades.
Crédito
parcial:
Código 2
Sin crédito:
Código 1
Ejemplo 1: 130 + 130 + 70 + 70=400 cm ó 400
Ejemplo 2: (130 + 70)×2 = 200 × 2 =400 cm ó 400
Ejemplo 3: 130 × 2 + 70 × 2=260 + 140=400cm ó 400
Ejemplo 4: 400 ó 400 cm, sin mostrar el procedimiento.
23
Procedimiento correcto para calcular el perímetro con error en los cálculos
o faltando realizar una sola operación, realizando o no la equivalencia.
Ejemplo 1: 130 x 2 = 260; 70 x 2= 240 ; 260 + 240 = 500
Ejemplo 2: 130 + 130=260; 70 + 70=240
Ejemplo 3: 130 + 130=260; 70 + 70=140; 260 + 114=374
Nota: El alumno comete un error al trasladar el resultado de la segunda suma.
24
Respuesta correcta sin mostrar el procedimiento.
Ejemplo: 4 metros ó 4 m ó 4, sin mostrar el procedimiento.
11
Suma sólo los dos lados que son datos, con o sin error en el cálculo.
12
Otras respuestas.
13
Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen
relación con la tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente
inconsistente.
106
F.
Código DM3.B6.IT 12
ÍTEM 24 del Cuadernillo 3 – ÍTEM 12 del Cuadernillo 6
•
•
•
Dominio de contenidos: Numérico.
Dominio cognitivo: Solución de problemas complejos.
El ítem requiere que el alumno resuelva un problema que implica calcular el número de elementos presentados en una distribución rectangular y luego lo triplique.
107
144 naranjas ó 144, mostrando un procedimiento válido o
sin mostrar el procedimiento.
41
Crédito total:
Código 4
Con un procedimiento que involucra la multiplicación.
Ejemplo:6 x 8=48 naranjas; 48 x 3=144 naranjas
Ejemplo 2: 48 x 3=144 naranjas
Ejemplo 3: 6 x 8 x 3=144 naranjas, la multiplicación en
cualquier orden.
42
Con un procedimiento solamente aditivo.
Ejemplo: 48+48+48=144 naranjas
43
Respuesta correcta sin mostrar el procedimiento.
Ejemplo: 144 naranjas ó 144 sin mostrar el
procedimiento.
Escribe un procedimiento correcto, pero con error al operar.
31
Crédito parcial:
Código 3
48 correcto y error en el cálculo en el paso siguiente.
Ejemplo: 48 x 3=124
32 Calcula con error el número de naranjas del 1er cajón,
pero el paso siguiente es correcto.
Ejemplo: 6 x 8 = 51 ; 51x3= 153
33 Procedimiento correcto con error en los cálculos en
ambos pasos.
Ejemplo: 6 x 8=49; 49 + 49 + 49=68
Hace correctamente sólo un paso.
Crédito parcial:
Código 2
21 Calcula correctamente sólo el número de
naranjas de un cajón y omite o selecciona
incorrectamente la siguiente operación.
Ejemplo 1: 6 x 8=48; 48 x 2=96
Ejemplo 2: 48
Sin crédito:
Código 1
12 Otras respuestas.
13 Respuestas borradas, tachadas, groseras,
dibujos o expresiones que no tienen relación con la
tarea propuesta.
14 No sé, no lo entiendo.
15 Respuesta correcta con procedimiento
evidentemente inconsistente.
108
8. Guía general de codificación de los ítemes de respuesta abierta de sexto
G.
Código DM6. B2.IT 14
ÍTEM 30 del Cuadernillo 1 – ÍTEM 14 del Cuadernillo 4
Claudia vive en Batovia y en ese país la moneda es el bat. Claudia fue a la farmacia, compró
3 cajas de medicamentos de 150 bats cada caja y 2 frascos de jarabe de 72 bats cada uno.
¿Cuánto dinero le devolvió el farmacéutico si pagó con un billete de 1000 bats?
•
•
•
Dominio de contenidos: Numérico.
Dominio cognitivo: Solución de problemas complejos.
El ítem requiere que el alumno resuelva un problema que implica varias operaciones entre números naturales.
109
31
406 bats o 406, mostrando un procedimiento válido.
Crédito total: Ejemplo 1: 150 x 3=450
72 x 2=144, 450 + 144=594, 1000 – 594=406 bats
Código 3
Ejemplo 2: 150 + 150 + 150 + 72 + 72=594; 1000 - 594=406 bats
Ejemplo 3: 1000 – 594=406 bats
21 Procedimiento correcto y completo, con errores en los cálculos.
Ejemplo: 150 x 3=450 ; 72 x 2=144, 450 + 144=594, 1000 – 594=506 bats
Crédito
parcial:
Código 2
22 Procedimiento incompleto: plantea correctamente parte del problema y omite
o emplea incorrectamente sólo una de las operaciones (con o sin errores en los
cálculos).
Ejemplo 1: 150 x 3=450 ; 72 x 2=144; 450 + 144=594 bats
Ejemplo 2: 150 x 2=300; 300 + 144=444; 1000 - 444=556 bats
Ejemplo 3: 150 x 3=45 ; 72 x 2=144; 144 + 45=189 bats
23 Respuesta correcta sin mostrar el procedimiento.
Ejemplo: 406 bats ó 406 sin mostrar el procedimiento.
Sin crédito:
Código 1
11
Suma el precio de una caja de medicamentos y un frasco de jarabe y luego
resta (con o sin error en los cálculos).
Ejemplo: 150 + 72=222; 1000 – 222=888
12
Otras respuestas.
13
Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen
relación con la tarea propuesta.
14
No sé, no lo entiendo.
15 Respuesta correcta con procedimiento evidentemente inconsistente.
110
H.
Código DM6.B2.IT 15
ÍTEM 31 del Cuadernillo 1 – ÍTEM 15 del Cuadernillo 4
•
•
•
Dominio de contenidos: Geométrico.
Dominio cognitivo: Solución de problemas simples.
El ítem requiere que el alumno resuelva un problema que involucra el concepto de medida del ángulo de un giro (360º) y el concepto y cálculo de una fracción.
21
72º ó 72 mostrando un procedimiento
válido.
Crédito total:
Código 2
Ejemplo 1: de 360º = 72º
Ejemplo 2: 360º ÷ 5 = 72º
22
Respuesta correcta sin mostrar
el procedimiento.
Sin crédito:
Código 1
11
Procedimiento correcto con errores de cálculo.
Ejemplo: 360 ÷ 5=70
12
Otras respuestas.
Ejemplo: Mide el 20% del círculo.
13
Respuestas borradas, tachadas, groseras,
dibujos o expresiones que no tienen relación con la
tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
111
I.
Código DM6.B2.IT 16
ÍTEM 32 del Cuadernillo 1 – ÍTEM 16 del Cuadernillo 4
I.
Código DM6.B2.IT 16
ÍTEM 32 del Cuadernillo 1 – ÍTEM 16 del Cuadernillo 4
El piso de que
una habitación
que tiene forma
una habitación
tiene forma
rectangular
2,4ym de largo y
mide 2,4
m de mide
largo
m decubrir
ancho. Siel
para
cubrirse
el piso se
ncho. Si 1,6
para
piso
baldosas
de forma cuadrada
dosas deutilizan
forma
cuadrada
20 cm por lado,
¿cuántas baldosas
por lado, de¿cuántas
baldosas
se necesitan
parael
cubrir
todo el piso?
an para cubrir
todo
piso?
•
•
•
Dominio de contenidos: Numérico.
Dominio cognitivo: Solución de problemas complejos.
El ítem requiere que el alumno resuelva un problema que involucra el cálculo del área de un rectángulo, de un cuadrado, equivalencia entre medidas de longitud o de superficie y división entre números naturales y decimales.
112
31
Crédito total:
Código 3
96 baldosas ó 96, mostrando un procedimiento válido
Ejemplo 1:
1,6 m = 160 cm
2,4 m = 240 cm
Área del piso= 160 x 240=38400 cm2
Área de la baldosa = 20 x 20=400 cm2
Nº de baldosas = 38400 ÷ 400=96 baldosas
Ejemplo 2:
1,6 x 2,4=3,84
0,20 x 0,20=0,04
3,84 ÷ 0,04= 96 baldosas
Ejemplo 3:
160 ÷20=8
240 ÷20=12
12 x 8=96 baldosas
21 Procedimiento correcto, con error en los cálculos y/o en las conversiones.
Ejemplo: 160 x 240=38400
20 x 20=40
38400 ÷ 40=960
Crédito
parcial:
Código 2
Sin crédito:
Código 1
22 Procedimiento y cálculos correctos, pero muestra una respuesta incorrecta.
1,6 x 2,4 = 3,84 ; 0,20 x 0,20 = 0,04
3,84 ÷ 0,04 = 96 y responde 960 baldosas.
23 Tratamiento correcto de sólo una parte de la tarea y el resto del trabajo omitido o con errores.
•
Una o dos áreas correctas y el resto omitido o con errores.
Ejemplo 1: 2,4 x 1,6 = 3,84 ; 3,84 x 20 = 76,80
Ejemplo 2: 20 x 20 = 400
•
Conversiones correctas y el resto omitido o con errores.
•
Otra estrategia.
Ejemplo: 1,6m = 8 baldosas
2,4m = 12 baldosas; 12 + 8 = 20
24
Respuesta correcta sin mostrar el procedimiento.
11
Procedimientos asociados al cálculo de perímetros o suma de datos.
Ejemplo 1: 2,4 + 1,6 = 4
Ejemplo 2: 2,4 + 1,6 + 20 = 24
12
Otras respuestas.
13
Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la
tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
113
J.
Código DM6.B4.IT 14
ÍTEM 30 del Cuadernillo 2 – ÍTEM 14 del Cuadernillo 5
Juana vive en Batovia y en ese país la moneda se llama bat.
Juana compró 2,5 kg de carne y pagó 222,50 bats. ¿Cuánto cuesta el kilogramo de carne
en Batovia?
•
•
•
Dominio de contenidos: Numérico.
Dominio cognitivo: Solución de problemas simples.
El ítem requiere que el alumno resuelva un problema. Para ello debe seleccionar la operación correcta y resolverla. Dicha operación es entre dos números decimales o entre un número decimal y un núme-
ro natural
114
89 bats ó 89, mostrando un procedimiento válido.
Crédito total:
Código 3
Crédito
parcial:
Código 2
Sin crédito:
Código 1
31
222,50 ÷ 2,5 = 89
32
222,50 ÷ 5 = 44,5 ;
33
222,50 ÷ = 89
34
89 bats con otros procedimientos.
Ejemplo:
222,5 ÷ 5 = 44,5
222,5 – 44,5 = 178
178 ÷ 2= 89
44,5 x 2 = 89
21 Planteo correcto de la división o de un procedimiento correcto, pero con errores en el cálculo,
con resolución incompleta del mismo o sin resolución.
Ejemplo 1: 222,5 ÷ 2,5 = 8,9
Ejemplo 2: 222,5 ÷ 2,5 =
22
Procedimiento y cálculos correctos, muestra error en la respuesta.
Ejemplo: 222,5 ÷ 2,5 = 89 y responde 222,5
23
Respuesta correcta sin mostrar el procedimiento que la justifique.
12
Otras respuestas.
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la
tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
115
K.
Código DM6.B4.IT 15
ÍTEM 31 del Cuadernillo 2 – ÍTEM 15 del Cuadernillo 5
La tercera parte de las mesas de la escuela de Antonio son verdes y el resto son azules.
Si la escuela tiene en total 360 mesas, ¿cuántas hay de cada color?
•
•
•
Dominio de contenidos: Numérico.
Dominio cognitivo: Solución de problemas simples.
El ítem requiere que el alumno resuelva un problema que implica calcular un fracción de un entero y operar.
Crédito total:
Código 3
31
120 mesas verdes y 240 azules , mostrando un procedimiento válido.
•
•
•
Ejemplos:
1/3 de 360 = 120 verdes
1/3 de 360 = 120 verdes
360 ÷ 3 = 120 verdes
32
360 – 120 = 240 azules
2/3 de 360 = 240 azules
360 – 120 = 240 azules
Respuesta correcta sin mostrar el procedimiento.
21 Procedimiento adecuado con error en los cálculos.
360 ÷ 3 = 130 ; 360 – 130 = 230
Crédito
parcial:
Código 2
Sin crédito:
Código 1
22 Procedimiento adecuado con error al interpretar la respuesta: 120 mesas azules y 240 verdes.
23
•
•
•
Procedimiento incompleto (sólo calcula el número de mesas de un color).
Ejemplos:
120 de cada color
120 verdes
120
11
Divide 360÷ 2= 180
12
Otras respuestas.
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la
tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
116
L.
Código DM6.B4.IT 16
ÍTEM 32 del Cuadernillo 2 – ÍTEM 16 del Cuadernillo 5
•
•
•
Dominio de contenidos: De la Medida.
Dominio cognitivo: Solución de problemas simples.
El ítem requiere que el resuelva un problema que involucre el concepto y el cálculo del
volumen de un prisma.
6 cubos ó 6, mostrando o no un procedimiento válido.
Crédito total:
Código 3
31
6 cubos con un procedimiento basado en el cálculo del volumen de las dos cajas y la división
entre ellos.
Ejemplo: 2 x 4x6=48; 2 x 2 x 2=8 ; 48 ÷ 8=6 y responde 6 cubos.
32
6 cubos con un procedimiento basado en el dibujo de los cubos pequeños dentro de la caja.
33
Otros procedimientos válidos.
Ejemplo: 2 ÷ 2=1; 4 ÷ 2=2; 6 ÷ 2=3; 3 x2 x 1=6
34
Respuesta correcta sin mostrar un procedimiento.
Ejemplo: 6 cubos ó 6 sin procedimiento.
21
El alumno elige los procedimientos matemáticos adecuados, pero llega a un resultado incorrecto por errores en los cálculos.
Crédito
parcial:
Código 2
22
Calcula los volúmenes de ambos cuerpos pero no divide.
Ejemplo: 6 x 4 x 2=48 ; 2 x 2 x 2=8
23
Dibuja los 6 cubos pequeños dentro de la caja acompañado de un procedimiento inadecuado y
responde 6.
Ejemplo:
Dibuja 6 cubos dentro de la caja grande, hace 6 + 4 + 2=12; 12÷2=6 y responde 6 cubos.
117
Sin crédito:
Código 1
11
Procedimiento basado en la suma de las aristas.
Ejemplo 1: 6 + 4+2=12 y divide 12 ÷ 2=6 y responde 6.
Ejemplo 2: 6 + 4 + 2 + 2=14
12
Otras respuestas.
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relación con la
tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
M.
Código DM6.B6.IT 14
ÍTEM 30 del Cuadernillo 3 – ÍTEM 14 del Cuadernillo 6
Don Luis tiene en su jardín un depósito con 21 litros de agua. Ha utilizado 3,8 litros
para regar las flores y 6,25 litros para regar los tomates.
¿Cuántos litros quedan en el depósito de don Luis?
•
•
•
Dominio de contenidos: Numérico.
Dominio cognitivo: Solución de problemas simples.
El ítem requiere que el alumno resuelva un problema que implica seleccionar y resolver dos
operaciones: una adición y una sustracción o dos sustracciones entre números naturales y decimales.
118
10,95 litros ó 10,95, mostrando un procedimiento válido.
Crédito total:
Código 3
31
Procedimiento basado en suma y sustracción.
3,8 + 6,25 = 10,05 litros
21 – 10,05 = 10,95 litros
32
Procedimiento basado en dos sustracciones.
21 – 3,8 = 17,2
17,2 – 6, 25= 10,95 litros
21
Procedimiento correcto con errores operativos en la suma y/o en las restas
Ejemplo 1: 3,8 + 6,25= 6,63 ; 21 – 6,63= 14,37
Ejemplo 2: 3,8 + 6,25= 10,05 ; 10,05 – 21 = 11,05
Nota: Si el alumno encolumna incorrectamente los números decimales para operar con ellos,
asignarle código 11.
22
Procedimiento y cálculos correctos, pero muestra una respuesta incorrecta.
Ejemplo: 3,8 + 6,25=10,05 ; 21 – 10,05 =10,95 y responde 10,05 litros.
Crédito
parcial:
Código 2
23
Parte del procedimiento está correctamente planteado (con o sin error en el algoritmo) y el
resto del procedimiento es incorrecto u omitido.
Ejemplo 1: Hace sólo la suma (con o sin error operativo) y el siguiente paso es incorrecto u omitido.
3,8 + 6,25 =10,05
Ejemplo 2: Hace sólo una resta (con o sin error operativo) y el siguiente paso es incorrecto u
omitido.
21 - 3,8 = 17,2; 17,2 + 6,25=23,45
24
Respuesta correcta sin mostrar el procedimiento.
Ejemplo : 10,95 litros sin procedimiento.
Sin crédito:
Código 1
11 El alumno hace un procedimiento correcto, total o parcial, con error
al encolumnar los números decimales.
Ejemplo 1: 6,25
Ejemplo 2: 6,25
3,8
3,8
66,3
6,63
12
Otras respuestas incorrectas y respuestas correctas con procedimientos
inconsistentes.
13
Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen
relación con la tarea propuesta.
14
No sé, no lo entiendo.
15
El alumno hace un procedimiento incorrecto y además con error
al encolumnar los números decimales.
119
N.
Código DM6.B6.IT 15
ÍTEM 31 del Cuadernillo 3 – ÍTEM 15 del Cuadernillo 6
Una botella que contiene 1,5 litros de refresco de limón se cae y pierde el 40%
de su contenido. ¿Queda menos o más de 1 litro de refresco en la botella?
•
•
•
Dominio de contenidos: Variacional.
Dominio cognitivo: Solución de problemas complejos.
El ítem requiere que el alumno resuelva un problema. Para ello tiene que calcular un porcentaje, com
parar dos medidas y dar una respuesta que se justifica con el procedimiento elegido.
120
Queda menos de 1 litro, mostrando un procedimiento correcto y completo.
Crédito total:
Código 3
31
Queda menos de 1 litro. Respuesta basada en el 60% de 1,5 l = 0,9 litros.
32 Queda menos de 1 litro.
Respuesta basada en el 40% de 1,5 l= 0,6 litros y luego hace la diferencia 1,5 l – 0,6 l = 0,9 litros.
21
Procedimiento correcto y completo con error en algún cálculo.
Ejemplo: 1500 x 40 = 60000; 60000 ÷ 100=600; 1500 – 600= 800
Queda menos de 1 litro, quedaron 800 cm3
22
Procedimiento y cálculos correctos y responde equivocadamente o no responde.
Ejemplo 1: Calcula el 60% de 1,5 litros = 0,9litros y responde “Conservó 0,9 litros”.
Ejemplo 2: Calcula sólo el 60% de 1,5 litros = 0,9 litros y no da la respuesta.
Crédito
parcial:
Código 2
23 Procedimiento que apunta a hallar sólo una submeta del problema: el líquido perdido. Respuesta basada en el cálculo del 40% de 1,5 litros = 0,6 litros (con o sin error operativo) sin efectuar la
resta.
Ejemplo 1: 40% de 1,5 litros = 0,6 litro y responde “Queda menos de 1 litro,porque perdió 0,600 l”.
Ejemplo 2: 1,5 ÷ 100=0,015 ; 0,015 x 40=0,6 y responde “Queda menos de 1 litro”.
Ejemplo 3: 40% de 1,5 litros =600 ml y responde “La botella perdió menos que la mitad”.
Sin crédito:
Código 1
11
Respuesta correcta sin mostrar el procedimiento.
Ejemplo 1: Queda menos de un litro.
Ejemplo 2: Queda menos.
Ejemplo 3: Menos.
12
Otras respuestas.
Ejemplo: 40x1,5=60 y responde ”Más porque pierde 600 cm3.
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen
relación con la tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
121
O.
Código DM6.B6.IT 16
ÍTEM 32 del Cuadernillo 3 – ÍTEM 16 del Cuadernillo 6
O.
Código DM6.B6.IT 16
ÍTEM 32 del Cuadernillo 3 – ÍTEM 16 del Cuadernillo 6
Batovia es un país cuya moneda es el bat. Pablo vive en Batovia y allí compró los artículos que
es auncontinuación.
país cuya moneda es el bat. Pablo vive en Batovia y allí compró los
estánBatovia
detallados
artículos que están detallados a continuación.
¿Cuánto gastó en total?
¿Cuánto gastó en total?
•
•
•
Dominio de contenidos: Numérico.
Dominio cognitivo: Solución de problemas complejos.
El ítem requiere que el alumno resuelva un problema que implica interpretar información presentada en un cuadro y operar con números naturales.
Nota: No se considera una respuesta equivocada si hay error de transcripción.
122
Crédito total:
Código 3
31
236 bats ó 236, mostrando un procedimiento válido.
21 Procedimiento correcto con error en los cálculos:
Crédito
parcial:
Código 2
•
Hace las multiplicaciones correctamente, pero comete error al sumar.
Ejemplo: 180 + 6 + 50=290
•
Se equivoca en las multiplicaciones, pero no en la suma.
Ejemplo: 18 + 6 + 50= 74
22 Procedimiento y cálculos correctos, pero da una respuesta equivocada.
23 Realiza correctamente un procedimiento parcial para resolver el problema.
•
Omite solamente un paso.
Ejemplo 1: 30 x 6=180; 3x2=6; 25x2= 50
Ejemplo 2: 180 + 50 = 230
.
•
Hace por lo menos una multiplicación y luego efectúa la suma de los 3 artículos.
Ejemplo 30 x 6=180; 180 + 2 + 25= 207
24
Respuesta correcta sin mostrar el procedimiento.
Ejemplo: 236 bats ó 236.
123
Sin crédito:
Código 1
11
Suma los precios con o sin error de algoritmos.
Ejemplo: 57 bats (30 + 2 + 25).
12
Otras respuestas.
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen
relación con la tarea propuesta.
14
No sé, no lo entiendo.
15
Respuesta correcta con procedimiento evidentemente inconsistente.
CAPÍTULO V:
MANUAL PARA LA EVALUACIÓN
DE LAS PRUEBAS DE ESCRITURA
El presente documento fue escrito con dos intenciones. La primera, a largo plazo, es ofrecer algunos criterios,
basados en las actuales investigaciones sobre la escritura, que orienten una más ajustada construcción y evaluación de las instrucciones de producción escrita como parte esencial de la socialización de conocimientos, no
sólo en el marco de los sistemas de evaluación masivos, sino también en el ámbito del aula, al que se dirigen, en
última instancia, nuestras acciones.
La segunda, inmediata, se vincula a la necesidad de acordar los aspectos que los países pondrán en juego al evaluar la escritura; para esto, dejaremos sentado el enfoque teórico en el que se sustentan las pruebas de Escritura
del SERCE, así como su manera de evaluarlas.
El documento se organiza en partes que expresan dichas intenciones. En la primera, sintetizamos los aportes de
los modelos que explican la escritura, pues en ellos nos apoyamos para elaborar las pruebas del SERCE. Además, mostramos cómo se inscriben en ellos dichas pruebas, y justificamos cada uno de los aspectos que hemos
decidido evaluar. Inscribimos, finalmente, esta decisión en el marco de una serie de opciones de evaluación de
la escritura.
En la segunda, presentamos un glosario de los conceptos que es necesario poner en juego al evaluar. No se
trata, por tanto, de una revisión teórica de las diversas posiciones sobre, por ejemplo, la coherencia textual, sino
de la presentación de una definición entre muchas: la que juzgamos más operativa para una tarea de evaluación
externa, lo más objetiva posible.
En las partes tercera y cuarta, reproducimos las planillas que utilizará el evaluador de las pruebas de escritura.
La marcación de cada ítem se explica mediante una instrucción seguida de ejemplos adecuados e inadecuados,
es decir, de casos en los que corresponde marcar “Sí” o “No”.
En la cuarta y última parte, ofrecemos algunas recomendaciones para evitar los sesgos y los errores al evaluar.
Este manual fue redactado por Ana Atorresi, responsable de la coordinación de las áreas de Lectura y Escritura
del SERCE/LLECE. El proceso de redacción contó con los valiosos aportes críticos de Andrea Baronzini,
de Argentina; Ivanna Centanino, de Uruguay; Giuliana Espinosa, del LLECE; Fabio Jurado Valencia, de Colombia; María Mitsuko Okuda, de Brasil y Jéssica Tapia, de Perú. Los ajustes efectuados a la versión realizada
para la aplicación piloto son deudores de los aportes de Ricardo Martínez, de Chile, y María Mitsuko Okuda,
de Brasil, así como de los análisis estadísticos efectuados por Carlos Pardo, de Colombia, y Mauricio Castro y
Giuliana Espinosa, del LLECE.
124
Primera parte
1. La escritura
Como sabemos, dominar la escritura no es, simplemente, conocer y manipular las unidades lingüísticas mínimas
–grafemas, sílabas, palabras, oraciones–, sino poner en juego una multiplicidad de microhabilidades y actitudes
al servicio de la construcción de un texto con significado (Braslavsky, 2005). Como ejemplo de microhabilidades, podríamos mencionar, entre otras, el dominio de aspectos cognitivos (el planteo de un propósito, la concepción de ideas, la revisión), de conceptos (tipo textual, situación comunicativa, género discursivo, coherencia,
cohesión, norma) y de convenciones (ortográficas, gramaticales y de presentación). Las actitudes implicadas en
la escritura, por su parte, incluyen las concepciones sobre la cultura impresa y el acto de escribir, las motivaciones y los intereses, y la percepción de uno como escritor (Tolchinsky, 1993). Para explicar lo que sucede al
escribir, algunos investigadores comparan escritores expertos con escritores novatos. Toman como modelo a
los primeros y coinciden, en general, en que proceden más o menos del siguiente modo:
• piensan antes de escribir, y mientras escriben, en el tema que quieren o deben desarrollar, en la información
con que cuentan al respecto, en cómo es mejor expresarla, en el receptor a quien destinan el escrito, en la finalidad o propósito de la escritura, en sus posibles efectos y demás;
• esquematizan la organización del texto, es decir, trazan mentalmente y, luego, en borradores, un proyecto de
texto y/o sucesivas versiones;
• releen el escrito para verificar si se ajusta a los objetivos planteados; corrigen lo que juzgan inadecuado
(Flower y Hayes, 1996).
La investigación sobre el acto de escribir es relativamente reciente. En consecuencia, la idea de enseñar a construir sentidos en un texto y de evaluar ese proceso de construcción, para guiar el aprendizaje, es más reciente
aún, tanto en el currículum de la formación docente como en las prácticas escolares. Efectivamente, la tradición
escolar le ha dado prioridad a los aspectos formales (letra bonita, buena ortografía, oraciones impecables...) y
no a la construcción de sentido en escritos genuinos (cfr. Lerner, 2001). En los siguientes puntos, expondremos
brevemente cada uno de los aspectos mencionados.
1.1.
La planificación de la escritura
Concebir al receptor o destinatario: Como la comunicación escrita es diferida –a diferencia de la interacción
oral, en la que la emisión y la recepción son simultáneas–, el escritor debe hacer una estimación previa del receptor para adecuar el texto a su comprensión. Esto lo obliga, en primer lugar, a evaluar el grado de información
que tienen los receptores sobre el tema que va a desarrollar y, en segundo lugar, a considerar la necesidad de
expurgar el texto de ambigüedades y ausencias en la información –a menos que busque lo contrario, como en el
género poético–, ya que él no va a estar presente en el momento de la interpretación para rectificar o completar
los datos.
Concebir la relación tema – estructura - estilo: Además, como en el caso de la comunicación oral, el escritor
debe tener presente que ciertos temas determinan el uso de ciertas estructuras o tipos textuales (véase el Glosario...) –e impiden el de otras– y que las diversas situaciones comunicativas exigen el empleo de distintos estilos(1)*. Por ejemplo, el desarrollo del tema “evaluación de la escritura”, que se está efectuando en este manual,
demanda, en general, una estructura descriptiva o explicativa, además del empleo de un registro formal y un
tecnolecto. Por el contrario, excluye formas textuales como el mensaje de recepción del contestador automático
del teléfono y la receta de cocina, así como el uso de un registro íntimo.
*Referencias desde el (1) al (12) al final del capítulo).
125
Considerar el contexto en el que circulará el escrito: Los textos escritos circulan en muy variados contextos:
el hogar (es el caso de las esquelas o mensajes que dejamos a alguien), una institución en particular (los afiches
informativos, las notificaciones o las citaciones a reuniones de una escuela), la sociedad en general (los textos
de los medios masivos de comunicación, como los periodísticos). El contexto de circulación al que apunta cada
escrito determina muchos de sus rasgos temáticos, estructurales y esti-lísticos: para reconocer las imposiciones
del contexto de circulación, basta comparar lo crípticos que pueden resultarnos una agenda o un diario íntimo
de alguien a quien no conocemos con lo sencillo que puede resultarnos comprender, por su carácter público,
una crónica periodística.
Plantearse el propósito: Por otra parte, es necesario plantearse con qué objeto se escribe. Hacer claro algo
que suponemos confuso para el receptor, persuadirlo de la conveniencia de realizar determinada acción, demostrarle nuestro conocimiento sobre un tema y entretenerlo son algunas de las muy diversas finalidades que
puede tener un escrito. Como es evidente, la finalidad impone ciertas estrategias discursivas: por ejemplo, para
aclarar algo supuestamente confuso, se apela al uso de paráfrasis de lo dicho, de ejemplos, de gráficos, de recapitulaciones; de la misma manera, para demostrar el conocimiento sobre un tema, se recurre a la cita de fuentes
socialmente indiscutidas o legitimadas, al empleo de tecnicismos, etcétera.
Buscar y seleccionar información: Además de la representación del destinatario (para quién se escribe), del
tema (qué es lo que se pretende tratar al escribir) y la finalidad (con qué objeto se escribe), la planificación implica actividades de búsqueda, selección y organización de las informaciones pertinentes para la resolución de la
tarea, que están archivadas en la memoria o provienen de otras fuentes (otros textos, otros sujetos, etcétera).
Planificar recursivamente: Finalmente, debe señalarse que el acto de planificar el texto –desarrollar objetivos, recuperar y organizar ideas– no se encuentra circunscripto a una etapa previa a la escritura propiamente
dicha –a una “pre-escritura”–, sino que se pone en juego a lo largo de todo el proceso de composición. De la
misma manera, la conversión de ideas en lenguaje escrito no debe entenderse como un proceso posterior a la
planifi-cación y anterior a la revisión y los ajustes: se trata de una actividad que se produce recurrente y simultáneamente. Los buenos escritores constantemente planean (“pre-escriben”) y revisan (“re-escriben”) mientras
componen (“escriben”), en etapas no claramente identificables.
1.2.
La puesta en texto
Traducir lo planificado: La puesta en texto es, básicamente, el proceso de convertir las ideas en lenguaje escrito; algunos autores prefieren denominarlo “traducción” para subrayar el hecho de que la información que
se produce durante la etapa de planificación puede representarse a partir de diversos sistemas de signos, tales
como los lingüísticos y los icónicos o visuales (Flower y Hayes: 1996).
Dominar convenciones globales y locales: El proceso de puesta en texto requiere del escritor el dominio de
todas las exigencias especiales de la lengua escrita, que se adquiere progresivamente. Se trata de un espectro de
convenciones que abarcan dimensiones globales y locales; sintácticas o estructurales, semánticas o vinculadas al
significado y pragmáticas o dependientes del contexto. Entre las más globales se encuentran la adscripción del
texto a un esquema discursivo establecido y la determinación del receptor y el propósito del escrito. Entre las
más locales, se halla el otorgamiento de legibilidad al texto verbal, el empleo adecuado de la normativa gramatical y ortográfica, del léxico, etcétera (cfr. Tusón, 2005).
Concentrarse, primero, en los aspectos globales: Los escritores principiantes destinarían buena parte de su
atención al despliegue de microhabilidades que el escritor experto ha automatizado –la legibilidad, las normas
ortográficas, las reglas de cohesión entre oraciones y de construcción oracional, el establecimiento de párrafos–
lo cual interferiría con el propósito más general de la escritura (Krashen: 1981). Desde el ámbito de la didáctica
126
de la escritura, se recomienda, entonces, postergar la corrección superfi-cial del texto hasta el final del proceso
de composición, para privilegiar el sentido. De esta forma, habría menos posibilidades de que la memoria a corto plazo se sobrecargue de informaciones locales y pierda otras relacionadas con la estructura o el significado
globales.
Releer: Durante la puesta en texto, los escritores competentes se detienen y releen los fragmentos que ya han
redactado. La relectura, subproceso de la puesta en texto, ayuda al escritor a mantener el sentido global, a evaluar si lo dicho corresponde a lo que quiere comunicar y, en consecuencia, al plan trazado. Además, permite
establecer enlaces coherentes entre las secuencias ya elaboradas y las que se escribirán.
Volver a la planificación: Por otra parte, se cree que existe una correspondencia entre el desarrollo de la competencia escritora y la cantidad y la calidad de correcciones que se realizan al texto. Aunque nos ocuparemos en
detalle de estos aspectos en el punto siguiente, señalaremos aquí que, estrechamente ligada con los procesos de
planificación y corrección, la puesta en texto es, muchas veces, un proceso inacabado. Es decir, el proceso puede
interrumpirse en cualquier momento y reenviar a la planificación para apuntar la necesidad de agregar o quitar
una idea, por ejemplo, o dar lugar a la revisión que marca la conveniencia de ajustar un párrafo o un subtítulo,
y esta acción es permanentemente recursiva.
Recurrir a estrategias de apoyo: Finalmente, cabe hacer referencia al papel que, durante la puesta en discurso,
cumplen las denominadas “estrategias de apoyo” (Cassany: 1987). Consisten en la puesta en juego de microhabilidades tales como la búsqueda y la selección bibliográfica y la consulta de diccionarios, enciclopedias y fichas.
Sirven para salvar ciertas fallas de memoria, que pueden abarcar desde la norma ortográfica aplicable a una
palabra hasta la falta de una cita que apoye un argumento o un dato concreto, como la fecha de una publicación. Estas estrategias son fundamentales tanto para los escritores expertos -que, en general, construyen textos
en diálogo con otros textos a los que citan, refutan, etc. — como para los escritores novatos o en proceso de
formación. Estos últimos, necesitan contar con guías que les recuerden la estructura de los textos, los pasos que
deben seguir al escribirlos, qué aspectos revisar en ellos y cómo, entre otras estrategias.
1.3. La revisión y el ajuste
Verificar la adecuación a la situación comunicativa: La revisión y el ajuste son procesos fundamentales en
la composición del texto escrito para otros. El escritor verifica si las ideas que ha desarrollado se ajustan a los
objetivos y las consideraciones que se planteó inicialmente acerca de la situación de comunicación: quién es
el receptor, en qué marco circulará el escrito y demás; en general, para esto, revisa su escrito poniéndose en el
lugar del receptor; además, suele compartir su escrito con otros lectores que asuman también el papel del lector
modelo inscripto en el texto.
Controlar la coherencia y el estilo: El escritor debe constatar, por otra parte, si la organización que ha dado
a las ideas es adecuada, si todas éstas se encuentran claramente vinculadas y no presentan desconexiones, si ha
aplicado reglas de economía y eficacia a las frases, si ha evitado los lugares comunes, las ambigüedades, etcétera.
Es muy común hacer esta constatación, que conduce a nuevos ajustes, en un tiempo posterior, cuando se puede
decir que la escritura ha estado en reposo (un día después, una semana después...).
Controlar los aspectos superficiales: Quien escribe textos para otros controla, finalmente, la adecuación
de la gramática, la ortografía, los signos de puntuación, la legibilidad y la presentación (hoy los programas de
computación le proporcionan señales al escritor sobre algunas de las anomalías ortográficas y sintácticas). La
relectura crítica del escrito que selecciona y presta atención especial a cada uno de los aspectos parciales es el
procedimiento que suelen poner en juego los escritores competentes para auto-corregir su producción.
127
1.4. Particularidades de la escritura en las pruebas del SERCE
La mayoría de los aspectos de la escritura que acabamos de puntualizar se contemplan en las pruebas del SERCE, si bien nos encontramos con dos limitaciones: en primer lugar, las que impone una instancia de evaluación
masiva; en segundo lugar, las que devienen del hecho de que ésta se dirige a escritores en proceso de formación,
lo que supone plantear sólo algunas de las exigencias a las que responden los escritores expertos.
Básicamente, para los propósitos del SERCE:
• se demanda la escritura de un texto completo y no de una serie de oraciones aisladas;
• se da lugar a la producción de dos versiones: un borrador y una versión final;
• se orienta la producción de ambas versiones mediante las instrucciones y el diseño gráfico;
• se orienta, asimismo, la autocorrección, desde el nivel más global hasta el más superficial;
• se indica a quién debe dirigirse el texto, en qué ámbito circulará y qué estructura y qué género debe
presentar, es decir, se proporciona la información necesaria para encarar la tarea de escritura y para evaluar, luego, aspectos que se han explicitado;
• se proporciona un tiempo para la escritura, adecuado al tipo de producción pedida y al nivel de desarrollo
de los estudiantes;
• se propone el desarrollo de un tema conocido y significativo, de modo que no sea necesario recurrir a
estrategias de apoyo y que pueda ser representada la finalidad del escrito.
2.
Aspectos para evaluar: producto y proceso
Independientemente de los diversos tipos de evaluación de la escritura y de los objetivos con que ésta se pueda
efectuar, la valoración de la capacidad de expresión escrita implica la consideración de dos aspectos generales,
complementarios y relacionados:
• el producto escrito o los discursos que un estudiante es capaz de redactar;
• el proceso de escritura o los procedimientos de trabajo y las estrategias que el estudiante utiliza para
producir esos discursos.
Cabe aquí aclarar que nos estamos refiriendo a aspectos de la escritura que pueden evaluarse y no a tipos de
evaluación; esto es, podemos efectuar una evaluación del producto de la escritura (de escritos considerados definitivos) a lo largo de todo un proceso —lo que llamaríamos una evaluación procesual— o podemos efectuar
una evaluación del proceso de escritura una sola vez —lo que llamaríamos una evaluación puntual. En el aula,
es posible, por ejemplo, plantear una evaluación procesual del producto de la escritura demandando a los niños
que, a lo largo de un período, nos entre-guen una tras otra las versiones definitivas de distintos cuentos, para
considerar si, a la luz de lo que se les señala, mejoran o no. Para adelantar un ejemplo del otro tipo, las pruebas
del SERCE evalúan puntualmente —una sola vez— algunos aspectos del proceso de escritura, como ciertas
diferencias entre el borrador y la versión definitiva.
La tradición escolar se ha centrado casi exclusivamente en el producto (y no, precisamente, siguiendo un enfoque evaluativo procesual); sin embargo, el segundo no es menos importante, por lo que, si bien las evaluaciones
que se emplean en el SERCE son, sobre todo, evaluaciones del producto, haremos una breve referencia a las
evaluaciones del proceso.
128
2.1. Evaluación del proceso
La evaluación del proceso de escritura consiste en la observación de las estrategias de análisis de la información
y del método de redacción del estudiante. Lógicamente, la observación no tiene una finalidad punitiva, sino
interlocutiva.
Es un tipo de evaluación realmente poco usual en el sistema educativo. Como en lugar de medir un producto
estático se trata de explorar el comportamiento de un sujeto —el proceso dinámico que lleva a cabo—, esta evaluación resulta más cualitativa que cuantitativa. Antes que la adjudicación de puntaje a cada estudiante, interesa
analizar —mediante técnicas de observación y recolección de información— estilos de trabajo y, eventualmente, si se decide seguir un enfoque evaluativo procesual, avances en el proceso de producción. Básicamente, se
busca determinar si el estudiante:
• traza mentalmente un plan, activando en su memoria sus conocimientos sobre el tema por el que se lo
interroga, así como sobre los tipos de texto (Adam, 1992; Calsamiglia y Tusón, 1999) y los géneros
discursivos (Bajtin, 1982);
• redacta borradores; cuántos, qué características tienen (son textos escritos para sí mismo o para otro;
incluyen palabras clave u oraciones completas, que implican poca economía de procesamiento; dependen
del contexto, que no es expresado, o conforman, en realidad, un texto autónomo; tienen una estructura que refleja el proceso de descubri-miento del tema o se organizan atendiendo a la meta que se busca alcanzar);
• recupera ideas del plan y, posteriormente, del borrador; las reformula, las reubica, las expande;
• recurre a fuentes de información y a apoyos tales como los libros de texto, las carpetas de ejercicios,
los diccionarios, las gramáticas, etc;
• realiza correcciones en forma recursiva, privilegiando aspectos globales, o se centra exclusivamente en
cuestiones de superficie manteniendo la planificación inicial, o no corrige nada;
• trabaja a gusto, motivado, concentrado en la tarea, o se dispersa.
Evaluar si estas tareas se realizan o no y, en el primer caso, observar de qué modo son efectuadas resultan actividades que permiten reorientar al estudiante atendiendo al momento del proceso en que se produce la falla.
El análisis introspectivo a posteriori de la tarea de escritura (“¿Qué hizo usted antes de escribir?, ¿Revisó el
texto?, ¿Lo revisó mientras escribía o dejó la revisión para el final?, ¿Qué correcciones introdujo?”, etcétera) es
un modo usual de evaluar el proceso. Si bien es más rápido y menos trabajoso que otros métodos, no resulta absolutamente confiable, ya que las respuestas dadas por el estudiante escritor se ven casi siempre interferidas por
lo que él cree que el evaluador piensa que debería haber hecho. Para asentar los datos que obtiene, el evaluador
suele confeccionar un cuadro en el que figuran la fecha del análisis, la lista de estudiantes y sus respuestas a los
diversos aspectos indagados. Si se adopta un enfoque procesual, el análisis puede repetirse periódicamente para
registrar los avances en el estilo de trabajo y el cuadro puede adaptarse a estos fines.
Una de las metodologías de análisis del proceso de respuesta por escrito que ha resultado particularmente
exitosa en el campo de la investigación del proceso de escritura es el análisis de protocolos. El protocolo es el
registro detallado de todos los razonamientos de quien realiza una tarea por escrito, desde el momento en que
ésta se le plantea hasta que la concluye; se le solicita que no deje de formular en voz alta sus reflexiones, sean del
tenor que sean y que, por lo demás, trabaje normalmente (que tome notas, esboce cuadros y esquemas, escriba,
etcétera). El protocolo que obtiene un investigador, cuya trascripción puede alcanzar unas veinte páginas por
cada hora de sesión, es muy rico en datos y, conjuntamente con las notas y la versión que el escritor experto
entrega como final, permite observar no sólo el desarrollo del producto escrito, sino muchos de los procesos
intelectuales que lo produjeron. La tipificación de esos procesos permite construir un modelo que da cuenta de
los procedimientos involucrados en la escritura de los expertos.
129
En cuanto a aprendices, aplicado al mismo sujeto en diferentes instancias de evaluación, el análisis de protocolos permite advertir modificaciones en el tipo de proceso de escritura que se realiza; para consignar estas
modificaciones, el investigador lleva un registro en el que vuelca la información recogida respecto de cada sujeto
en las diferentes instancias de evaluación.
Ahora bien, la exploración de estos aspectos mediante el análisis de protocolos supone un intérprete capacitado,
además de un aparato grabador por sujeto; si a esto se suma que la trascripción fiel de la grabación es en general dificultosa, se entiende que su implementación sea poco frecuente en el marco del sistema educativo. Cabe
agregar un inconveniente más para la aplicación de los análisis de protocolos en la escuela para observar las modificaciones en el proceso de escritura de los aprendices: los cambios de hábitos de trabajo en este campo son
muy lentos y, en general, se aprecian a lo largo de períodos de unos tres años y no en períodos más breves.
Lo que importa resaltar, en suma, en relación con la evaluación del proceso, es la intención investigativa del
docente frente a un asunto tan complejo como el aprendizaje progresivo de la escritura.
Señaladas estas virtudes y estos inconvenientes del análisis del proceso de la escritura, veamos qué aspecto específico hemos pretendido relevar en las pruebas del SERCE y cómo hemos planteado su evaluación.
2.1.1. Evaluación del proceso de Escritura en el SERCE
Las pruebas de escritura del SERCE están estructuradas en tres “pasos” que se corresponden, en términos
generales, con las etapas de planificación, revisión y puesta en texto descritas más arriba.
Como el objetivo final de las pruebas es identificar, describir, explicar y correlacionar aspectos de la escritura
—es decir, como no se pretende puntuarlos para adjudicar finalmente un puntaje total a la prueba, sino informar separadamente sobre ellos—, ofrecer datos sobre el modo en que los niños actúan en esos tres “pasos” es
pertinente y muy valioso para las prácticas docentes y la toma de decisiones pedagógicas.
Un análisis cualitativo del borrador como tal y de su diferencia con el texto definitivo permite hacer relevante si
el niño concibe la escritura como la producción de versiones sucesivas que se van mejorando.
El análisis de estos aspectos puede partir de preguntas como las siguientes:
• ¿Cuántos estudiantes ignoraron el borrador como etapa primera de la escritura?
• ¿Cuántos se limitaron a escribir el borrador y dejaron en blanco el texto definitivo, etapa última de la
escritura?
• ¿Cuántos dejaron en blanco el borrador y pasaron directamente a escribir el texto?
• ¿Cuántos emplearon el espacio asignado al borrador escribiendo un texto con características de borrador,
es decir, para sí?
• De los que completaron el borrador y redactaron el texto, ¿cuántos recuperaron ideas del borrador?,
¿Cuántas ideas recuperaron?, ¿En qué medida las ajustaron o las dejaron sin efectuar ningún tipo de
modificación?
• De los que no hicieron el borrador, ¿cuántos lograron producir un texto coherente?
Por ejemplo, si se observara que los estudiantes que produjeron textos con errores de organización y desarrollo
de la información no habían escrito previamente borradores ni expandido palabras clave ni, en consecuencia,
habían producido modificaciones entre el borrador y el texto definitivo, podría concluirse que uno de los aspectos que resulta más problemático para los estudiantes es el reconocimiento de que un texto no se escribe
“de un tirón”, sino que implica un ir y venir sobre las ideas iniciales para expandirlas, suprimirlas, rectificarlas,
reubicarlas, por lo tanto, habría que reforzar el trabajo en ese sentido.
130
La evaluación de la escritura que se centra en el proceso resulta siempre formativa. Esto es, tiene como propósito mejorar el desarrollo de las tareas durante su transcurso y no está destinada a determinar el grado de éxito del
resultado final. Es formativa, evidentemente, porque se adecua a la individualidad del proceso de aprendizaje.
Si aceptamos que quien aprende es un individuo con características particulares, la evaluación del proceso de
escritura será formativa en la medida en que actúe para que cada aprendiz vaya recibiendo la ayuda adecuada
a las necesidades comunicativas que se le presenten. Sabemos que las condiciones del trabajo escolar y de las
evaluaciones masivas no colaboran en este sentido. Agreguemos, pues, esta salvedad: que cada aprendiz vaya
recibiendo la ayuda adecuada en la medida de lo posible.
2.2.
Evaluación del producto
La tradición escolar consideraba que el docente, único poseedor de las competencias para corregir, debía estar
exclusivamente a cargo de esta tarea; como demostración de su capacidad y su dedicación, debía producir la
versión perfecta del texto o, al menos, señalar explícita y pormenorizadamente la solución adecuada para alcanzarla; finalmente, lo que se corregía era lo que el estudiante consideraba versión definitiva, la cual, en general, no
difería de la primera versión más que en aspectos vinculados a la presentación. Esto provocaba que el estudiante
esperara ser corregido y que no se percibiera como el protagonista del trabajo de producción; es decir, no podía
asumir su responsabilidad ante el error y en el aprendizaje ni desarrollar autonomía (Cassany, 2000; Cassany,
Luna y Sanz, 1994).
Actualmente, se sabe que la revisión y la autocorrección son procesos fundamentales en la composición del
texto. En efecto, si son convenientemente orientados, los estudiantes resultan capaces de autocorregirse de la
misma manera que de generar ideas. Los trabajos actuales han comprobado que la autocorrección da resultados
positivos entre los estudiantes sobre todo cuando, previamente, éstos, los aprendices o “novatos”, han sido
formados en la habilidad de corregirse por un docente, el escritor “experto”. El docente debe mostrar errores
y formas de corregirlos en las primeras etapas de la producción del escrito, porque rehacer un trabajo avanzado
o terminado es desmotivador y porque de este modo se adquieren habilidades de reflexión que pueden ponerse
en juego para seguir escribiendo(2). A esta forma de corregir, la didáctica de la escritura suma otra: la corrección
entre pares (Calkins, 1992, 1998).
2.2.1. Los objetivos
Toda evaluación tiene el objetivo principal y general de permitir la toma fundamentada de decisiones. Estas
decisiones pueden ir desde determinar el resultado total y final de una unidad de aprendizaje o del curso y traducirlo en un sistema de calificaciones, hasta mejorar el desarrollo de las tareas durante el curso, adecuando el
dispositivo de enseñanza a las capacidades del grupo (Perrenoud, 1999).
Específicamente en el terreno de la elaboración de pruebas, los objetivos determinan qué aspectos concretos
se evaluarán. Situándonos en nuestro tema, la expresión escrita, se trata de una competencia que supone una
serie de macrohabilidades cognitivas generales y de microhabilidades —procedimientos, conceptos y actitudes— que, aunque puedan manifestarse todas y lo hagan al mismo tiempo, no pueden evaluarse siempre en su
to-talidad ni de modo superpuesto, si queremos que la evaluación resulte confiable.
Además, debemos considerar que no es posible evaluar todos los aspectos mediante una prueba de producto:
las actitudes y los procedimientos de revisión puestos en juego, por ejemplo, pueden evaluarse solamente en una
prueba del proceso, mediante un análisis retrospectivo (“¿Estuvo concentrado en la tarea?, ¿Le resultó motivadora?, ¿Para qué pensaba que servía lo que estaba escribiendo?”).
131
2.2.2.Las instrucciones
Una vez escogidos los objetivos, debe seleccionarse la consigna o instrucción adecuada para valorarlos; la técnica más válida —por ser la más global— para evaluar conocimientos específicos vinculados a las habilidades
de pensamiento que se manifiestan mediante la escritura es la indicación de redacción de un texto completo de
acuerdo con características definidas. Ahora bien, sobre todo en las asignaturas cuyo discurso no es predominantemente verbal —como Matemática, Química, Física y demás— la escritura que predomina no es la de un
texto completo sino la del par consigna-respuesta, que constituye un género propio del mundo educativo. El
par consigna-respuesta es un texto coproducido por un docente, que propone la consigna con el fin de orientar
o reforzar la interiorización de un saber, de relevar ideas sobre un tema, de evaluar conocimientos adquiridos,
etcétera, y por un estudiante, que elabora la respuesta para alcanzar nuevos conocimientos, dar cuenta de ellos
ante el docente y demás.
Habitualmente, este género impone al estudiante el juego de suponer momentáneamente que el destinatario
final de la respuesta (el docente) no conoce el tema sobre el cual él escribe. En efecto, sobre todo en las situaciones de evaluación, suele establecerse un “contrato” por el cual el estudiante, que reconoce que el docente
conoce el tema (y que por eso está socialmente habilitado para evaluar su desempeño), debe suponer lo contrario para obligarse a dar la mayor cantidad de información posible –dentro de los límites de lo exigido por la
instrucción– sobre el asunto en cuestión.
En cuanto a la escritura de textos completos, la forma más difundida de apreciación preceptiva del producto de
la escritura se conoce bajo el nombre de “composición” o “redacción” y exige al estudiante redactar un texto
que, por lo general, no tiene destinatario y contexto de circulación determinados, lo que constituye una limitación insalvable si queremos formar escritores genuinos.
La “composición” es una prueba que sirve “para la escuela”, ya que, en tanto texto, no tiene circulación posible
fuera de ella; se realiza con poca preparación por parte de los evaluadores y suele restringirse a la formulación
de una instrucción del tipo: “Escribe un texto en el que relates qué hiciste durante las vacaciones”, que no
especifica los diversos parámetros de la situación comunicativa que acercarían la producción a la de un escrito
efectuado en circunstancias auténticas (como sucedería en: “Cuenta algo divertido que hiciste durante tus vacaciones a un amigo que vive lejos, siguiendo el formato de la carta o el del e-mail, con la intención de responder
a su interés por ti”, etcétera).
Las propuestas más influenciadas por las modernas teorías lingüísticas amplían la formulación a instrucciones
del tipo “Escribe una carta a un amigo en la que relates qué hiciste durante tus vacaciones”, que incluyen consideraciones acerca de la situación de comunicación (amistosa) y, en algunos casos, del género (carta). Sin embargo, a veces, suelen emplearse para evaluar el producto escrito en dos o tres de sus aspectos más superficiales:
la caligrafía, la ortografía y, en menor medida, la puntuación. En estos ca-sos, se dejan de lado las cuestiones
globales pedidas, como la adscripción del texto a un género discursivo, y la determinación del receptor y el
propósito del escrito. Entonces, si se considera lo finalmente evaluado, ¿por qué no se pidió al estudiante que
redactara una serie de oraciones?
Cuando las cuestiones que hacen al texto como tal están ausentes en la instrucción y no se las evalúa, aunque
la tarea no responda al enfoque de competencias para la vida que se recomienda, la evaluación resulta justa en
la medida en que no las califica. Si, en cambio, la instrucción indica la redacción de un escrito sin especificar el
propósito de la tarea, el portador en el que circulará, el lector al que dirigirse, el prototipo textual y el género con
los que el texto debe corresponderse, etcétera y, luego, estos aspectos se evalúan, se incurre en una situación de
arbitrariedad para con el estudiante.
132
Lo adecuado, entonces, es incluir en la formulación de la consigna instrucciones que incluyan consideraciones
acerca del propósito, el tema, la situación de comunicación, el tipo de texto y, posteriormente, durante la evaluación, no limitarse a señalar errores de superficie (como la ortografía o la repetición de palabras), sino atender
a la totalidad de los aspectos pedidos, que, por otra parte, no necesariamente deben ser todos los involucrados
en la redacción de un texto.
Aunque las consignas pueden ser muy variadas, deben garantizar que la tarea realizada por los estudiantes sea,
efectivamente, la que se esperaba. Es decir, una instrucción que pida una redacción con parámetros excesivamente abiertos -que no especifique, por ejemplo, si el escrito debe destinarse a alguien con quien se tiene una
relación simétrica o asimétrica- no dará lugar a la evaluación de la representación adecuada del receptor en el
texto.
Esta observación pesa aún más cuando se pretende evaluar distintos aspectos de la producción para adjudicarles un puntaje, ya que, en este caso, la instrucción debería incluir en forma explícita todos los puntos que
serán contemplados si no quiere incurrir en situaciones arbitrarias al calificar. “Escribe un relato de más de diez
renglones”, por ejemplo, da lugar a diferentes tipos de relatos (biografías, crónicas, cuentos, anécdotas) –con
las consecuentes variaciones de tema, estilo, organización–, de muy variadas extensiones, con un uso irregularmente libre de los signos de puntuación, el vocabulario, etcétera. Por otra parte, el acento puesto en la extensión
del escrito (“más de diez renglones”) provoca con frecuencia que el niño introduzca información no pertinente
para llenar el espacio o, en el caso inverso (“menos de diez renglones”), que no desarrolle información necesaria
para dar coherencia al texto.
Además, es necesario tener en cuenta que, por más que a partir de un escrito puedan observarse múltiples aspectos, estos están, de alguna manera, limitados por la instrucción misma. Así, no puede evaluarse la creatividad
de un escritor si el género en el que debe inscribir su texto permite pocas variaciones de estructura, tema y estilo.
La descripción “científica” o enciclopédica, por ejemplo, como la pedida en la prueba del SERCE de sex-to año,
exige un estilo formal, una estructura de “división” jerárquica del tema y los subtemas en sub-subtemas y el
tratamiento del tema dado; es, entonces, un escrito de antemano rígido, que no permite evaluar la “creatividad”,
en el sentido en que es entendida en los textos de ficción.
Como consecuencia de lo apuntado, en el momento de realizar el análisis de los resultados, sólo se podrán extraer conclusiones respecto del desempeño en relación con la instrucción que lo suscitó y con el contexto de
la evaluación.
En suma, en el caso de las pruebas para valorar el producto de escritura, una de cuyas materias es la habilidad
de manejar el código de la lengua en diferentes circunstancias y para diversos fines, ha de buscarse proporcionar
en la consigna toda la información necesaria para facilitar, y hasta justificar, la ulterior evaluación. Veámoslo en
un esquema (Atorresi y otros, 2000):
Consigna clara, justa, generadora de escritos comparables indica [por ejemplo, para evaluar si el estudiante aprendió las características de la descripción enciclopédica en relación con un tema de ciencias
naturales enseñado]:
• los “pasos” que deben seguirse [planificación, revisión, puesta en texto];
• el propósito de la tarea de producción [recordar, en tercer año; in-formar, en sexto]
• el contexto de utilización o el marco en el que circulará el escrito [la familia, en tercer año; una enciclopedia, en sexto]
133
• el lector al que debe dirigirse el texto [uno mismo o la familia, en tercer año; un lector sin información
previa sobre el tema, en sexto] • el prototipo textual y el género a los que el texto debe corresponder [descripción con estructura jerárquica
de 2 subtemas, lista, en tercer año; descripción con estructura jerárquica de 4 subtemas, entrada de
enciclopedia, en sexto]
• el tema que debe tratarse (y con qué detalle) [una serie de cosas o actividades cotidianas; un ser del mundo animal o un alimento](3).
2.2.3. Los criterios de éxito y las escalas de calificación
Habitualmente, se considera que los criterios de éxito son el conjunto de los aspectos comunicativos generales
y/o específicos que debe alcanzar el escrito para ser apreciado como aceptable; la escala de calificación o baremo de puntuación, por su parte, es el valor numérico que se da a cada aspecto, a cada respuesta o al escrito en
total.
Como se ha dicho, cualquier evaluación debe tener en cuenta y determinar los objetivos o aspectos concretos
que se pretende evaluar, la consigna o instrucción adecuada para valorarlos y los criterios de éxito o conjunto
de los aspectos comunicativos generales y/o específicos que debe alcanzar el escrito.
La asignación a priori del puntaje que va a merecer cada instrucción de una prueba e, internamente, la determinación de los aspectos que serán ponderados para asignarle una puntuación a cada instrucción deben ser
cuidadosamente meditadas por el evaluador. Además de facilitarle la tarea ulterior de la evaluación, éste estará
en condiciones de explicitar ante sus evaluados los criterios a partir de los cuales han obtenido un resultado
que, de otro modo, percibirán como un escarmiento o una dádiva arbitrarios y, por lo tanto, no merecedor de
ningún análisis. Por supuesto, cada asignatura exige criterios y parámetros específicos, fuertemente anclados en
los códigos que le son propios; las decisiones tienen, dentro de ese marco, un margen idiosincrásico amplio.
A continuación, presentamos como ejemplo un modelo de baremo que asigna diferentes puntajes numéricos a
diferentes aspectos de un escrito para el área de Lenguaje (adaptado de Cassany, Luna y Sanz, 1996):
Adecuación (5 puntos)
La presentación del texto es clara y correcta:
Se emplea el registro adecuado:
El propósito queda claro:
Coherencia (5 puntos)
El texto contiene la información necesaria:
El texto tiene la estructura adecuada:
Los párrafos están bien estructurados:
Cohesión (5 puntos)
Las comas y los puntos están bien usados:
Se usa, adecuadamente, los conectores:
Los pronombres cohesivos están bien empleados:
Corrección gramatical, ortográfica y léxica:
Variación en las estructuras sintácticas, el léxico y los recursos estilísticos:
1 punto
2 puntos
2 puntos
1 punto
2 puntos
2 puntos
2 puntos
1 punto
2 puntos
5-0 puntos
5-0 puntos
134
Una escala de calificación como la anterior, que valora en distintos aspectos la calidad del escrito y que reparte
el puntaje total de la prueba entre diversas propiedades del texto, es útil para el docente que desea evaluar en
forma pormenorizada aspectos que van más allá de la mera adecuación a la normativa, así como para el estudiante que espera reparar en su escrito elementos defectuosos determinados.
Debe cuidarse, sin embargo, el hecho de que todos los aspectos consignados puedan evaluarse a partir de la instrucción dada y, en consecuencia, en el texto producido. En efecto, si se ha pedido la redacción de una noticia,
difícilmente podrá observarse variedad en las marcas de la subjetividad, porque la clase de texto “noticia” tiende
a producir ilusión de objetividad evitando, entre otros procedimientos, la inclusión de términos que expresen
subjetividad. Las escalas, entonces, deben ser adaptadas a la consigna.
Por otra parte, la escala anterior es de aplicación compleja en sistemas de evaluación masivos, en los que intervienen numerosos calificadores. Si bien éstos podrían acercarse a un acuerdo cuando se trata de adjuntar el
puntaje mínimo o el máximo, podrán concordar difícilmente cuando deba optarse entre adjudicar 3 ó 4 puntos
sobre 5.
De la misma manera, al construir escalas analíticas, debe prestarse atención a que los aspectos señalados resulten sistemáticos y no se superpongan, ya que en este último caso algunas cuestiones se evaluarían en forma
doble. En escalas para la evaluación de pruebas de aplicación masiva, por ejemplo, encontramos puntos como
“Adecuación al tipo de texto” y “Adecuación a la consigna”, cuya diferencia no es en absoluto clara.
Además de las escalas analíticas, que valoran según distintos aspectos la calidad del escrito, pueden emplearse
escalas globales o sintéticas, que consideran el texto íntegramente y lo ubican en grados de calidad: sobresaliente, muy bueno, bueno, regular y demás; a cada calidad se le adjudica un puntaje. Véase el siguiente fragmento
de un ejemplo:
Guía de puntaje para el texto informativo
Excelente (25 a 20)
• Se desarrolla y estructura información con detalles bien escogidos a través de todo el escrito.
• El texto está bien organizado: presenta transiciones marcadas.
• Tiene variedad de estructuras en las frases y una buena selección de palabras.
• Los errores de gramática, silabeo y puntuación son pocos y no interfieren en la comprensión
del escrito o están ausentes.
Hábil (19 a 17)
• En partes de la contestación se desarrolla y estructura información bien escogida.
• El texto está claramente organizado, pero faltan algunas transiciones y/o hay faltas de continuidad
ocasionales.
• Exhibe alguna variedad en la estructura de las frases y algunas elecciones de palabras acertadas.
• Los errores de gramática, silabeo y puntuación no interfieren en la comprensión.
135
Suficiente (16 a 14)
• Se desarrolla información con algún detalle.
• El texto está organizado con ideas generalmente relacionadas, pero que tienen poca o ninguna
transición.
• Exhibe un control de los límites y la estructura de la frase, pero las oraciones y las palabras
elegidas son simples y poco variadas.
• Los errores de gramática, silabeo y puntuación no interfieren en la comprensión.
Regular (13 a 10)
• Presenta alguna información clara, pero en forma de lista carente de desarrollo o repetida
o limitada a un
buen comienzo.
• Está irregularmente organizado; puede estar desmembrado.
• Exhibe un control desigual de los límites y la estructura de la frase; puede tener algunas
elecciones de palabras inexactas.
• Los errores de gramática, silabeo y puntuación suelen interferir en la comprensión.
(...)
La aplicación de escalas de evaluación sintéticas —generalizada en nuestros países— en sistemas de evaluación
masivos o en evaluaciones institucionales presenta el inconveniente de no permitir devolver resultados en función de cada uno de los problemas detectados; por el contrario, sólo se llega a saber que los escritos de los estudiantes fueron calificados, por ejemplo, como regulares, pero no sobre qué temas volver para subsanar aquellas
fallas que dieron como resultado tal calificación. La escala de evaluación sintética asume cierta unidimensionalidad de la competencia evaluada, en el caso que nos ocupa: la producción escrita. Sin embargo, involucra la
evaluación de microhabilidades o componentes que necesariamente tienen un comportamiento disímil entre sí
(la coherencia puede estar presente y la gramática ser algo defectuosa). Por otra parte, estas grillas suelen apelar
a categorías muy subjetivas, del tipo “la estructura de las frases es variada”, “los detalles están bien escogidos”,
“el léxico es rico”, “la información es clara”. Por estas razones, es difícil arribar a niveles generales con sentido
claro.
Las escalas de calificación mostradas hasta aquí pueden ser útiles por permitir evaluar en forma pormenorizada
o global aspectos que trascienden los rasgos más superficiales del texto; también lo son porque, aplicadas por
una misma persona, responden a criterios de evaluación en principio semejantes para todos los destinatarios.
Así, por ejemplo, cada docente podría emplear en el aula una escala sintética porque, si él pone en juego siempre
el mismo criterio, los estudiantes resultan claramente calificados.
Hemos introducido una condición —“si él pone en juego siempre el mismo criterio”— que merece ser comentada. En efecto, se constataron una cantidad de efectos sistemáticos que influyen o sesgan la ponderación
de la información que dan las pruebas de los estudiantes. Por un lado, parece existir entre los profesores una
tendencia a distribuir las notas según una curva normal, esto es, a establecer siempre una proporción más o
menos pareja de notas buenas, regulares y malas, sean cuales fueren las características de los exámenes. También
parece influir el orden en el que se corrigen los exámenes: los primeros suelen obtener mejores notas que los últimos en ser corregidos. Está bastante comprobada la existencia de un efecto de “contraste”. Por este efecto, la
calificación otorgada a un trabajo depende, en alguna medida, de la impresión acerca de los trabajos anteriores.
136
Un trabajo que obtendría una nota mediana en un lote de trabajos de calidad superior, puede obtener una nota
buena si es corregido junto con trabajos de calidad inferior (Amiguens y Zerbato-Poudou, 1999).
Lo anterior debe llamarnos la atención sobre el hecho de que la evaluación del trabajo de los estudiantes debe
realizarse no sobre la base de un modelo de referencia que el profesor desarrolla, sino mediante la comparación
genérica entre conjuntos de información y criterios explícitos. Esto significa que debemos volver al primer
punto considerado, los criterios, y tener presentes los sesgos introducidos en la apreciación del evaluador como
efecto de diferentes factores: serie de corrección, tendencia a la normalización, propósitos, creencias. Una forma posible de evitar estos sesgos es la elaboración de glosarios de referencia que habrán de consultarse durante
la evaluación, como se propone más adelante.
Las escalas analíticas amplias y las sintéticas no son tan adecuadas, en cambio, en evaluaciones en las que intervienen necesariamente diferentes apreciaciones sobre las propiedades de la calidad del escrito. En efecto,
los sistemas de evaluación y las instituciones en las que se desempeñan grupos numerosos de docentes, incluyen muchos evaluadores que difícilmente pueden acordar en cuanto a la extensión de conceptos tales como
“adecuada utilización de las comas y los puntos”, “empleo correcto de los términos científicos” o “precisión y
riqueza del léxico”.
Por otra parte, si va a darse un puntaje al texto, el conteo de la cantidad de errores debería realizarse sobre la
base de un parámetro que permita calificar de modo equitativo textos de extensión diferente e igualmente adecuados a la consigna dada. Las escalas de evaluación de la escritura propuestas para el SERCE, como se verá,
permiten efectuar esas operaciones(4). En la aplicación de estas escalas, los glosarios de referencia, que permiten que los evaluadores lleguen a un acuerdo, son absolutamente imprescindibles. Por esta razón, presentamos
en la próxima parte el glosario de los conceptos involucrados en la evaluación de las pruebas del SERCE.
Segunda parte
1. Glosario de conceptos involucrados en la evaluación(5)
Las definiciones que siguen no tienen otro objeto que el de establecer las convenciones necesarias para uniformar la evaluación de las pruebas de escritura del SERCE. Por esta razón, se han excluido de ellas los diferentes
puntos de vista en los que se posicionan distintos lingüistas para dar respuesta a los problemas que plantean la
descripción del sistema lingüístico, la diversidad textual, los procesos de comprensión y producción de enunciados, etcétera(6).
Los criterios que han regido la adopción de una u otra teoría o de tal o cual concepto han sido, por un lado y
precisamente, el hecho de que resultaran más o menos familiares a los destinatarios de este documento(7); por
otra parte, que en conjunto las definiciones permitieran dar cuenta en forma pormenorizada de las posibilidades y las dificultades de los estudiantes al escribir; finalmente, que esas definiciones fueran lo suficientemente
claras y distintas como para permitir la identificación precisa del error o la inadecuación.(8)
En el glosario se incluyen ejemplos tomados de las pruebas del SERCE. Se los transcribe textualmente, por lo
que podrán verse en ellos errores e inadecuaciones de diverso tipo. Sin embargo, nos centraremos en señalar
el error o la inadecuación -o el aspecto adecuado- que nos interesa para ejemplificar el punto que estamos tratando.
137
1.1.
Coherencia
Se denomina coherencia semántica a la organización subyacente que establecen entre sí las partes de un texto
tanto desde el punto de vista del significado como desde el punto de vista referencial. La semántica del significado textual se ocupa de los significados atribuidos a palabras, frases u oraciones para dar cuenta de las relaciones
que se establecen entre ellas; la semántica referencial del texto se ocupa, por su parte, de los vínculos entre las
expresiones y lo que ellas designan, es decir, sus referentes.
Junto con las de cohesión, estas relaciones hacen que un texto pueda ser interpretado como tal y no como una
suma de oraciones y/o párrafos “sueltos”.
La coherencia estructura el contenido del texto y sus partes de un modo determinado (por ejemplo, presentando en una introducción contenidos propios de una introducción) y distribuye la información según su grado de
importancia (disponiendo equilibradamente la información más y menos relevante).
A la organización del contenido textual se la suele llamar macroestructura. La macroestructura de un texto es
un tipo de esquema semántico que contiene las informaciones clasificadas como importantes y que explicita
sus interrelaciones. Representación abstracta, la macroestructura puede expresar sintéticamente desde el tema
más general (por ejemplo, el tema de un capítulo) hasta los temas particulares (el tema de cada apartado de ese
capítulo, los temas de cada uno de los párrafos que componen ese apartado y demás) del texto. El nivel macroestructural más global, en muchos casos, está expresado en el título.
Si cada nivel “superior” (más global) de proposiciones(9) puede representar una macroestructura de un nivel
inferior, entonces existen distintos niveles posibles de la macroestructura en un texto. Nótese que, desde este
punto de vista, a los estudiantes se les ha dado, en forma de lista o de cuadro, la macroestructura del texto que
debían escribir.
En las pruebas del SERCE de tercer año, el texto producido debería tener como tema global tareas/recomendaciones sobre el cuidado de la salud, y deberían poder reconocerse, en los distintos aspectos, proposiciones
más particulares: escolares y familiares/ para la salud bucal, contra la gripe, contra la diarrea. En sexto, el
texto producido debería tener como tema global el perro, el pan y deberían poder reconocerse en los distintos
párrafos proposiciones relacionadas con las siguientes macroestructuras: características físicas, alimentación,
costumbres, relación con las personas, para el primer caso, y aspecto, componentes, preparación, consumo, en
el último.
A la vez, la coherencia es pragmática, es decir, está definida por la organización de los distintos actos de habla
producidos al emitir un texto en una situación comunicativa adecuada (por ejemplo, en el contexto de una
clase de aula, el desarrollo contendrá, seguramente, los actos de habla “preguntar”, “ejemplificar”, “explicar”,
“reformular”).
Como contraparte de la asignación de coherencia al texto por parte del productor, se ubica la interpretación
que de ese texto hace el lector u oyente; en efecto, un texto conversacional como: “A— Teléfono. ¿Qué hago?
/ B— Vuelvo en una hora”, sólo podrá ser interpretado como coherente por un receptor que reconozca, entre
otros factores, que B pretende negar su presencia y que expresa esto a A “económicamente”.
Las principales reglas constitutivas de la coherencia textual son las siguientes:
• Regla de repetición: la mayor parte de las proposiciones deben encadenarse a partir de la repetición de
algunos elementos.
138
• Regla de progresión: debe producirse un desarrollo del texto, a partir del aporte constante de nueva
información.
• Regla de no contradicción: no puede introducirse información que contradiga un contenido previamente
establecido (explícita o implícitamente).
• Regla de relación: los hechos referidos deben estar relacionados en el mundo (real o imaginario) que el
texto representa.
La coherencia se manifiesta en dos niveles: local o lineal y global.
El nivel local o lineal atañe a las relaciones entre las proposiciones, que pueden ser temporales (simultaneidad,
posterioridad, anterioridad) o lógicas (causa-efecto, condición-consecuencia, medio-meta, oposición, afirmación-ejemplo, resultado-razón, afirmación-paráfrasis, etcétera). Estas relaciones pueden quedar implícitas y requerir del lector su reposición por inferencia o pueden aparecer marcadas en la superficie del texto por diversos
conectores; solo en el primer caso se las considerará de coherencia; por el contrario, cuando la relación se
explicita a través de un conector, se las toma como relaciones de cohesión.
El nivel global concierne a la organización de las proposiciones en la totalidad que constituye el texto. Es decir
que, además de establecerse linealmente, las proposiciones deben organizarse jerárquica y comunicativamente.
La organización jerárquica, que varía según el tipo de texto, determina que, en el caso de la descripción (que
hemos solicitado en las pruebas del SERCE), el tema —la proposición más global— se incluya por lo ge-neral
al principio del texto y que se lo descomponga en sucesivos subtemas y subsubtemas o proposiciones más específicas.
La organización comunicativa de las proposiciones, por su parte, determina la progresión temática: la información se despliega en un cierto orden, sin contradicciones ni redundancias, equilibrando el juego entre datos ya
dados y datos nuevos.
En las pruebas del SERCE, hemos decido evaluar discriminadamente aspectos que hacen a la coherencia, tanto
en los textos adecuados a la consigna como en los no adecuados. Las particularidades de la coherencia en los
tipos de texto observados en la fase piloto se encuentran en los apartados Estructura descriptiva, Estructura
narrativa y Estructura instructiva.
1.2. Estructura textual descriptiva
El tipo textual descriptivo, propuesto en todas las pruebas de escritura del SERCE, revela de un modo singular
un ordenamiento jerárquico y vertical de las proposiciones. Los procedimientos descriptivos básicos son cuatro:
anclaje, aspectualización, puesta en relación, encaje por subtematización.
Por medio de la operación de anclaje la descripción denomina su objeto; en otros términos, señala, a través de
un sustantivo común o propio, el tema o título. Este puede aparecer:
• en posición inicial, para indicar de quién/qué se va a hablar;
• al final de la secuencia, para explicitar de quién/qué se acaba de hablar.
Estos dos procedimientos pueden, por su parte, combinarse para retomar y modificar el tema-título inicial u
otras unidades aparecidas en el curso de la descripción (por ejemplo, para reformular una propiedad o la designación de una parte del objeto considerado).
139
Cuando el tema-título se presenta al inicio de la secuencia, el lector puede evocar sus conocimientos enciclopédicos y confrontar sus expectativas con lo que lee. La operación inversa, de colocación del tema-título en el final
de la secuencia, retarda el proceso referencial y cognitivo: el lector solo puede emitir hipótesis que verificará al
término de la secuencia, cuando el tema-título le sea dado.
La operación de aspectualización es la que más comúnmente se considera como base de la descripción. Si la operación de anclaje es responsable de la puesta en evidencia de un todo (“Tareas que debo hacer” / “Es mi perro”),
la de aspectualización se ocupa de la descomposición de ese todo en partes (“tareas para la escuela/ tareas para
mi casa / “tiene una cabeza, dos ojos, una nariz”), cualidades (“es bueno, sociable, compañero”) o propiedades
(“es alto, fuerte, peludo”). Se trata, entonces, de la división y clasificación de los elementos que componen el o
los objetos denominados.
La puesta en relación consiste en asimilar, por comparación, metáfora o metonimia, el objeto que se describe
con otro objeto. La puesta en relación es típica en la descripción poética; en la descripción científica, se procede
de este modo cuando es necesario describir formas complejas y desconocidas hasta el momento. Los estudiantes que describen el perro como “morocho” o “rubio” y la araña como “articulada” operan relacionando el
cuerpo de estos animales con el del ser humano y el de ciertos muñecos, respectivamente.
La operación de encaje de una secuencia descriptiva en otra constituye la fuente de la expansión de la descripción. Una parte seleccionada por aspectualización (por ejemplo, las tareas de la escuela o la cabeza del perro)
puede ser elegida como base de una nueva secuencia, tomada como nuevo tema-título y, a su vez, ser considerada según diferentes aspectos: propiedades eventuales y subpartes (“forrar cuadernos, sacar punta a los lápices de colores”) “Los ojos son...; la boca es...”). A través de una nueva temati-zación, una subparte puede ser
mostrada en sus propiedades y partes y esto, hipotéticamente, hasta el infinito. Al estudiante, en las pruebas del
SERCE, se le ha solicitado que proceda por subtematización teniendo en cuenta sus posibilidades cognitivas:
en sexto año, los subtemas se duplican respecto de tercero (Adam, 1991; 1992).
1.3. Estructura textual narrativa
Consideraremos que un texto presenta una estructura narrativa cuando relate algo que sucede o sucedió, en
forma real o imaginaria.
Una narración puede resumirse en un hecho o acontecimiento general, que responde a la pregunta ¿Qué ocurrió?, pero sólo se desarrolla cuando descompone tal hecho en una serie de acciones principales o núcleos, que
constituyen el esquema básico de una narración. Por tanto, para diferenciar enunciados del tipo “yo tuve un
perro que un día se murió” de textos que expanden su resumen, diremos que hay narración cuando se observe
expandido al menos uno de los núcleos de la historia.
Además de núcleos, una narración presenta acciones menores; por ejemplo, los diversos e inútiles esfuerzos
por salvar al perro enfermo. Las acciones menores no integran el esquema básico de la narración y se las puede
suprimir y expandir sin modificar el esquema. Por esa razón, dejaremos de lado su presencia y su calidad (en los
buenos relatos se incluyen para demorar el paso de un núcleo a otro con la finalidad de crear interés o suspenso)
a la hora de decidir si el texto presenta una estructura narrativa.
El esquema básico de una narración puede expandirse también mediante la inclusión de secuencias, más o
menos extensas, en las que se describe, se explica (se señala por qué ocurrió algo), se argumenta (se formulan
evaluaciones de los hechos) o se dialoga. Al igual que las acciones menores, estas inclusiones pueden frecuentemente suprimirse o alterarse sin que se modifiquen los núcleos de la historia: hacen, en verdad, a su relato.
Ahora bien, esas secuencias deben estar subordinadas a la narración. En el caso contrario, el relato se abandona
140
y el texto pasa a constituir lo que aquí llamamos “un híbrido”, es decir, un texto que no se corresponde con un
género definido, que no es ni cuento ni retrato, por ejemplo, sino la suma de un cuento y un retrato truncos.
Los núcleos y las acciones menores se organizan temporalmente (a una acción le sigue otra) y lógicamente (una
acción es la causa de otra posterior o la consecuencia de una anterior). A esta relación temporal y lógica que
se establece entre las acciones se la denomina secuencia narrativa. Las narraciones que escriben los estudiantes
presentan con frecuencia alteraciones en la secuencia narrativa, lo que introduce problemas de coherencia de
distinto orden: hay información que no puede reponerse porque se han omitido ciertos hechos de la cadena
causal, las acciones aparecen desordenadas sin que se explicite que se trata de un caso de retrospección o ida
hacia atrás en el tiempo, por ejemplo. Sin embargo, por estas fallas, que se evaluarán en los puntos de la Planilla
relativos a la coherencia, el texto no deja de ser narrativo.
Las relaciones temporales y lógicas pueden explicitarse a través de conectores, cuya función es expresar o hacer
evidente la relación existente y no establecerla. Por eso, la corrección en el uso de estas partículas tampoco será
condición para adscribir el texto a la categoría de narración.
Los hechos narrados se desarrollan en un tiempo y en un lugar que no necesariamente deben ser explícitos y
precisos: sólo deben cumplir la condición de mantener una consistencia en el universo representado, de modo
que no se introduzcan errores de coherencia (como, por ejemplo, cuando la situación inicial se sitúa en un
tiempo vago y remoto, y el conflicto, sorpresivamente en la actualidad). Por otra parte, los hechos son protagonizados por participantes que llevan adelante las acciones que el relato desarrolla. Cuando el participante no se
mantiene o aparece repentina e injustifica-damente, el texto sigue siendo narrativo, aunque presenta un problema de coherencia. Lo mismo sucede cuando el objeto que persigue el participante varía caprichosamente, sin
determinación ninguna.
El protagonista encuentra a otros participantes, elementos o fuerzas que colaboran con su proyecto, y se enfrenta con quienes desempeñan la función de oponentes y le obstaculizan obtener lo que busca o se lo impiden. En las relaciones que se establecen entre protagonistas, ayudantes, oponentes y objetos, se expresan los
conflictos. Diversos autores señalan que el conflicto es el rasgo definitorio de la narración: puede obviarse la
situación inicial, puede velarse la resolución, pero el conflicto no puede faltar ni estar poco desarrollado. Sin
embargo, en los niveles educativos con los que trabajamos no exigiremos tal condición para adscribir el texto a
la categoría de narración: diremos que hay un problema de coherencia narrativa, originado en la incompletitud
del principal núcleo narrativo.
Toda historia es relatada por un narrador. Como se sabe, el narrador puede relatar como un participante o como
un testigo. Este último puede presentar una perspectiva o punto de vista particular a partir del cual cuenta su
historia: interna, cuando asume el punto de vista de un personaje; externa, cuando no asume el punto de vista de
ningún personaje o cero, cuando relata los hechos dando a conocer la perspectiva (los deseos, los intereses y las
ideas) de todos los participantes. En los relatos extensos, sobre todo ficcionales, el narrador puede combinar los
puntos de vista, pero no sucede lo mismo, en general, en los relatos breves como los que pueden presentarse en
las pruebas del SERCE. En la mayoría de los casos, el cambio de punto de vista, que no podrá ser acompañado
de señales que den cuenta de él, constituirá un error de coherencia.
Entre los géneros narrativos que desarrollan los estudiantes cuando no se adecuan a la instrucción de escribir
un texto descriptivo, sobresale, en primer lugar, la anécdota.
La anécdota es un subgénero de la narración oral que tiene como tema algún suceso relacionado con el enunciador o, en otra de sus variantes, con un conocido del enunciador(10). Tal suceso tiene la cualidad de ser módicamente excepcional, es decir, de constituir respecto de lo normal o esperable un desvío no demasiado grave
141
ni en cuanto a los trances mismos que lo conformen ni en cuanto a sus consecuencias. En concordancia con
su relativa importancia, su extensión es idealmente breve, y lo mismo puede decirse de los rasgos estilísticos; es
común, entre estos últimos, la inscripción de diálogos centrales o periféricos a lo narrado.
Estructuralmente, la anécdota suele estar construida a la manera de un pequeño enigma (por eso, la introducción tiene frecuentemente como fin inducir al enunciatario a la ansiedad mediante frases como: “A que no
sabés lo que...”, o “¿no te conté nunca...?”). Así, un final inesperado o absurdo viene a satisfacer, y justificar, la
promesa implícita de la sorpresa. Este punto —el estructural— es el que menos desarrollado se observa en las
producciones estudiantiles, que suelen comenzar con una fórmula del tipo “Un día yo...”.
Por su modo de funcionamiento, la anécdota es bastante refractaria a la fijación en la escritura. En efecto, su
pertinencia es altamente ocasional.
Los estudiantes que aún no han interiorizado los géneros discursivos propios de la escritura y que no interpretan adecuadamente la consigna, suelen producir anécdotas, influidos tal vez también porque las actividades
de producción escrita de estos textos son frecuentes en la clase de Lengua o porque la anécdota es uno de los
géneros narrativos que se aprende más allá de la escuela y que les resulta más conocido.
Transcribimos dos ejemplos, tomado de las pruebas de pilotaje, en el que podrán observarse las características
mencionadas:
Mi perro y yo
El viernes a la noche mi perro y yo salimos a pacear, yo como siempre lo llevaba con la correa verde claro: el color preferido de él y
el mío. Tichi, mi perro siempre llevó buenos modales conmigo, pero ese año “no”.
Al día siguiente fuimos de campamento y llevamos: una carpa, su tachito para hacer sus necesidades, comida, lámpara, algunas
ropas, ollas chicas, utensilios para mi y también gas. Mi perro de costumbre siempre se acostaba en su manta verde. Sus necesidades
no las hacía en cualquier lugar.
A la noche pasó un guardabosque que pasaba por todo el campamento, mi perro escuchó ruidos y salió a ladrar, nunca le molestó
ningún ruido pero este si, el guardabosque se asusto y salió corriendo. Nos echaron.
El dueño del lugar nos preguntó que pasó y yo le expliqué y mi perro con carino le dio un beso.
Y nunca más le molestó ni un solo ruido.
Yo y el delicioso pan
El pan es muy delicioso. Este se hace en la panadería. Para mí el pan es la vida, porque sin el no puedo estar. Todas las noches me
acompaña junto con el yogur. Este pan es una de las vidas de todos nosotros.
Un día fue feriado y no había escuela, y mi madre me mandó a buscar el pan. Cuando llego a la tienda las demás personas me
dijeron: niño que tú vienes a buscar y yo le dije: yo vine a comprar mis deliciosos panes, y ellos me dijeron: hoy no hay pan. Cuando
llegue a mi casa empecé a llorar y mi mamá me preguntó: que te pasa niño mío, y yo le dije yo lloro porque hoy como era feriado la
tienda no trabajo, y no pude comprar mis delicias ¡Qué panes más sabrosos estos!
142
En menor medida que anécdotas, los estudiantes escriben cuentos. La definición de cuento ha sido materia de
polémicas y controversias que no han terminado de saldarse y cuya mera descripción sería dificultosa y extensa.
Dejando de lado de tales desacuerdos, se considera en general como cuento a toda pieza narrativa ficcional relativamente breve, cuya macroestructura prescribe, según la rígida definición canónica, el encadenamiento causal
entre las acciones que corresponden al comienzo (o introducción), al medio (o nudo) y al fin (o desenlace). La
falta o el menor desarrollo de una de estas partes no impedirá que clasifiquemos el texto como cuento, tanto por
el hecho de que la definición es canónica y no se corresponde con formas más modernas como por el hecho de
que estamos trabajando con textos de escritores aprendices.
Típicamente, las acciones son ubicadas en el pasado y narradas en tercera persona. Existen, por supuesto, narraciones en primera y, en grado mucho menor, en segunda persona. Sin embargo, en el pilotaje se ha verificado
que los relatos en primera persona son, mayoritariamente, anécdotas. A diferencia de estas, en los cuentos que
aparecieron en lugar de la descripción pedida por la consigna, el protagonismo de las acciones no es asumido
por el alumno redactor, sino que se lo asigna a agentes ficticios.
Aún cuando la tripartición de la macroestructura sea respetada, es común que los cuentos producidos por los
alumnos adolezcan de inconsistencias en cuanto a las relaciones entre cada una de las partes (es común, por
ejemplo, que el final sea absolutamente arbitrario, es decir, no justificado causalmente por las acciones del desarrollo). En estos casos, hablaremos de errores de coherencia.
Entre las diversas clasificaciones que el análisis del género ha suscitado, conviene mencionar la que opone las
variedades realista (de temática verosímil y cotidiana) y maravillosa (que presenta sucesos fabulosos y sobrenaturales como realmente acaecidos); probablemente interferidos por los géneros a los que se hallan más frecuentemente expuestos, los alumnos ensayan, generalmente, los subgéneros realistas “policial”, “de aventuras”
y “melodrama amoroso” y los maravillosos “relato de terror” y “de ciencia ficción”.
Véanse los ejemplos; el primero de ellos, reescritura de un cuento del argentino Anderson Imbert, podría encuadrarse en la categoría “relato de terror” y el segundo en la de “relato maravilloso”:
El tren y Federico
Federico Tomó el tren y volvió a su casa en Belgrano, era de noche y su mujer y sus hijos estarían esperando Vio el letrero de la
estación BELGRANO Bajo del tren, se largo a caminar y de repente desconoció las calles Todo se había mudado: calles, edificios,
jardines, todo menos la estación, en la esquina donde debía estar su casa había otras, antes blanqueada con cal, ahora era de ladrillos
rojos, antes tenia un árbol enfrente, ahora se levantaba allí un buzón pintado como la bandera NORTEAMERICANA.
FIN
Comer y comer
Había un perro, que no paraba de comer nunca.
Un día se escapó, de su casa, y de tanto caminar se encontró en un campo yeno de golosinas; y como a el le gustaban las golosinas,
no dejó ni una en el campo.
En ese lugar había una montaña, y en la punta de la montaña una golosina del tamaño de un elefante; el escalo y escalo y escalo
hasta que llegó asta la golosina y se la comió toda.
El perro vio pasar un camión que iba para su casa entonces se subió y volvió.
143
1.4. Estructura textual instructiva
En algunos casos, ya sea por contaminación entre el tema del texto pedido (el pan, en una de las pruebas de
sexto año) y la receta de cocina, ya sea por confusión entre la instrucción para escribir y la escritura de una instrucción misma, los estudiantes escriben textos instruccionales.
Consideraremos instrucciones los textos que indican cómo hacer algo sin limitarse a enunciar la acción final
que se va a realizar (por ejemplo, “para hacer el pan hay que usar harina”), sino dando cuenta de cómo concretar
la actividad paso a paso. Además, en general, la instrucción enumera los elementos, herramientas u objetos que
se deben utilizar para realizar dicha actividad.
Frecuentemente, para cumplir con la finalidad de orientar a alguien para la consecución de una meta, los textos
instruccionales presentan elementos que facilitan el reconocimiento de sus partes, así como la diferenciación
y el orden de los pasos: el título identifica la meta; los subtítulos, las partes (lista y procedimientos), y los marcadores gráficos (viñetas) o números, el orden de la secuencia. En los textos instruccionales que son recetas,
la lista de ingredientes (como la lista de materiales en las instrucciones para fabricar un objeto) constituye una
descripción inserta en la instrucción; es decir, si bien se observa un segmento descriptivo, este depende del
marco general de la instrucción y no la domina. En cambio, los textos que describen cómo es un alimento, no
presentan secuencias intruccionales; a lo sumo, transforman las intrucciones en afirmaciones con “se” impersonal: “Para hacer pan, se mezclan agua y harina”.
La secuencia de los textos instruccionales se ordena temporal y lógicamente. La más habitual dispone los procedimientos de manera sucesiva, aunque los pasos también pueden presentarse en secuencias simultáneas (dos
acciones deben realizarse al mismo tiempo), alternativas (se da la posibilidad de realizar una acción u otra) o
repetidas (la misma acción debe ejecutarse más de una vez).
Predominantemente, los textos instruccionales presentan los procedimientos como órdenes o prescripciones
expresadas mediante verbos en modo imperativo o en infinitivo. También existen actividades que admiten
diferentes formas de ejecución o que, en todo caso, no requieren pasos obligatorios, sino recomendaciones,
sugerencias o consejos. Hay otra variedad de textos instruccionales que no prescriben ni recomiendan acciones,
sino hábitos o conductas: cómo comportarse en un lugar público, permanecer en una biblioteca y demás. Estos
textos instruccionales no señalan cómo se debe o se puede hacer algo, sino que indican cómo se debe o puede
actuar en determinadas situaciones. En lugar de una serie de acciones, presentan una serie de pautas o reglas
formuladas como permisos y prohibiciones. Son producidos, por lo común, por instituciones. Finalmente, en
la vida escolar, entre los diferentes textos orales y escritos, se encuentra todo el conjunto de actividades que
propone el docente o el libro de texto con el objeto de que el estudiante realice una actividad concreta relacionada con el aprendizaje: las consignas o instrucciones de trabajo. Las consignas escolares se expresan como
una prescripción o como una serie de prescripciones, aunque pueden incluir sugerencias. También pueden estar
formuladas como preguntas.
En el marco de la evaluación de las pruebas del SERCE, específicamente en el caso de la consigna 2 de sexto
año, es fundamental tener en cuenta lo planteado aquí respecto de la instrucción para diferenciar dos tipos de
textos. Por un lado, los textos predominantemente descriptivos que incluyen una secuencia instruccional y los
textos descriptivos que hacen referencia a cómo se hace el pan sin dar instrucciones. Por el otro lado, los textos
francamente instruccionales.
El siguiente fragmento tomado de las pruebas de pilotaje es descriptivo y no instruccional, lo que puede apreciarse en el uso de la primera persona plural y el modo indicativo:
144
El pan esta rodeado de muchas cosas. Debemos echarle varios ingredientes. Despues lo cocinamos y lo comemos.
En este caso, en cambio, el texto es una instrucción, porque predominan el uso de recomendaciones, la segunda
persona y el “se” impersonal:
Para hacer dulce de toronja debes utilizar varios ingredientes. Si vas a hacer una buena cantidad de dulce debes echarle la cantidad
de azúcar que lleva. Si deseas echarle canela se la echas. Debes de pelarla, después picarla, lavarla, enseguida sacarle esa agua,
después se le echa la azúcar pero para darle buen sabor se le echa algo que desees.
1.5. Géneros discursivos
El uso de la lengua se lleva a cabo mediante conjuntos más o menos estables de enunciados a los que se denomina géneros discursivos. Los géneros constituyen tipos temáticos, composicionales y estilísticos y están
determinados por las prácticas socio-culturales y discursivas (cfr. Bajtin, 1982; Voloshinov, 1992); en este sentido, podría ubicárselos en la intersección de las dimensiones sintáctica, semántica y pragmática del texto. Los
hablantes aprenden el uso de los géneros en la medida en que participan de tales prácticas; es por esto que, en
general, puede decirse de un texto o discurso verbal en particular —o de un film, o de un programa televisivo—
que “pertenece” a tal o cual género (“es un policial”). El receptor orienta su interpretación de acuerdo con las
expectativas creadas por el hecho de reconocer, en primer lugar, el género, por lo cual no juzga una “película
de amor” según los tiroteos que presente ni una “policial” en términos de la calidad y la cantidad de las escenas
amorosas.
El repertorio genérico, que es tan variado como lo son las prácticas, es fijado y modificado a lo largo de la historia de cada sociedad. Por esta razón se dice que los géneros son sólo relativamente estables. Es frecuente que
dos o más géneros que devienen de prácticas socio-culturales y discursivas cercanas compartan ciertos rasgos
(el folletín, el radioteatro, la telenovela, por ejemplo, configuran receptores comunes, emplean canales análogos,
suponen todos una circulación masiva, tratan los mismas temas, se estructuran episódicamente, etcétera; entre
la divulgación científica y el discurso didáctico también es posible hallar aspectos comunes). De esto resulta que
es tan difícil componer una lista finita de los géneros existentes como aislar las características de cada género en
particular. Desde este punto de vista, es operativo definir los géneros relacionalmente: así, por ejemplo, considerando el canal —escrito, oral, audiovisual— podrán diferenciarse entre sí el folletín, el radioteatro, la telenovela;
o, a partir de las categorías “narrador”, “acciones centrales y periféricas”, “diálogos centrales y periféricos” y
“registro”, podrá distinguirse el cuento de la anécdota.
Los géneros para uno mismo o para los más allegados, como las esquelas, las agendas, los diarios íntimos y
aquellos a los que corresponden los textos pedidos en tercer año (las listas), comparten, entre otros, los rasgos
de aceptar un registro informal y una presentación no necesariamente “limpia”, y de cumplir una función de
“ayuda-memoria”. Esta función es la función primitiva de la escritura (Cardona, 1999), por lo que cabe afirmar
que los textos pedidos se corresponden con el nivel de desarrollo -incipiente- de la escritura de los niños (Chartier y Hébrard, 2000).
En cuanto a los propuestos en las pruebas del SERCE de sexto, se trata de géneros de divulgación de propósito
informativo. En la prensa diaria, las revistas de divulgación científica y demás, las descripciones “puras” —es
decir, no insertas en otros géneros a modo de secuencia— suelen aparecer en recuadros y funcionan, tanto gráfica como semánticamente, a modo de complemento de un texto central: una crónica o una nota; sin embargo,
son semántica y sintácticamente autosuficientes, es decir, su significado y su estructura cierran en sí, con independencia del texto central. En la divulgación científica, como la que se pide a los niños, sin embargo, también
es común hallar descripciones “puras” que no se relacionan con un texto principal.
145
Las descripciones de divulgación, además de presentar la superestructura típica de la descripción, se caracterizan, básicamente, por estar redactadas sobre la base de la función referencial del lenguaje —marcada por el uso
de la tercera persona gramatical y el modo indicativo— (Jakobson, 1973), seleccionar el léxico a partir de la búsqueda de un “efecto de objetividad” (Barthes, 1970) y emplear un registro escrito y formal (Halliday, 1984).
1.6. Legibilidad
En términos generales, se denomina legibilidad a la cualidad de tener suficiente claridad un escrito —fundamentalmente, un manuscrito— como para que pueda leerse. La legibilidad atañe a las letras y las palabras: básicamente, a la distinción de los grafemas a través del trazo.
Un escrito puede resultar totalmente ilegible (por su forma, los grafemas no se oponen entre sí o se observan
signos que no se corresponden con ninguna forma asociada a un grafema) o puede presentar problemas de
desciframiento: no puede saberse si el escritor conoce el uso ortográfico de las mayúsculas porque sólo emplea
ese tipo de letra o solo puede inferirse que la “o” final de un adjetivo es tal a partir de la concordancia con el
sustantivo pero no por su forma. En cambio, el emplear cursivas o imprentas intercaladas no constituye un problema de desciframiento; de hecho, los escritores expertos tienden a simplificar la escritura manuscrita a partir
de la combinación sistemática de grafemas propios de las formas cursiva e imprenta sin actuar en desmedro de
la legibilidad. Como se ve, entonces, un texto puede ser perfectamente legible aunque no tenga una excelente
caligrafía, entendida como letra bella y correctamente formada, según estilos predeterminados.
Como se indica en cada Instructivo, para las pruebas del SERCE, se considerará ilegible el texto cuyo desciframiento resulte imposible. Por otra parte, se considerará que el texto tiene problemas de legibilidad (y no de ortografía) si el niño mezcla sistemáticamente mayúsculas y minúsculas (“la-Piz”, “hojas de PaPel cuadriculado”)
o si usa sólo mayúsculas.
1.7. Léxico
El léxico es el conjunto de las palabras de un idioma, de una región, de una actividad determinada, de un campo semántico dado, etcétera. Esto significa que, aunque pueda ser a menudo comparado con un diccionario, el
léxico excede necesariamente tal modelo, dado que hay lexemas que, una vez presentes en la sociedad, tardan
en ser registrados como palabras en los diccionarios. El léxico, entonces, es el repertorio de todos los vocablos
de una lengua recopilado en la memoria de los hablantes.
Todo lexema o unidad del léxico está asociado, por un lado, a un significado (que correspondería a la/s definición/es del diccionario o a las que los usuarios del lenguaje le atribuyen) y, por el otro, a casi siempre más de
una forma. De tal manera, el lexema “niño”, cuyo significado es “persona no adulta”, tiene, entre otras, las formas “niño”, “niña”, “niñita”, “niñito”, “niñote”, etcétera; asimismo, el lexema “bailar”, que significa “danzar al
ritmo de la música”, tiene las formas “bailo”, “bailé”, “bailaba”, “he bailado”, “había bailado”, “bailaría”, “bailamos”, “bailábamos”, y todo el paradigma de conjugación del verbo. En un diccionario solo aparece “niño” y
“bailar” porque las demás son formas de estos lexemas.
Es frecuente el empleo de un lexema por otro a partir de cierta afinidad entre algunas de sus formas: “tiene
un aro en el glóbulo de la oreja (por lóbulo)”, “el barco sufragó debido al peso (por naufragó)”, “ella es una
mu-jer muy clamorosa (por glamorosa)”. Además, puede ocurrir que se reemplace un lexema por otro que es
su sinónimo en otro contexto: “ese tipo es un subconsciente (por inconsciente)”, “es necesario mirar todas las
posibilidades (por contemplar)”, “el tránsito está muy constipado (por congestionado)”.
146
Mientras los casos anteriores consisten en sustituciones o permutaciones incorrectas entre dos lexemas, otros
errores se relacionan, en cambio, con la forma de un lexema. Esto ocurre de cuatro maneras posibles:
-Por un lado, por el desconocimiento llano de alguna de sus formas (“amnilbar” por “almíbar”; “anali” por
“análisis”, etcétera)(11).
En segundo lugar, por el desconocimiento de las reglas productivas de lexemas a partir de lexemas más simples(12) (“descomprensión” por “incomprensión”; “deshumano por inhumano”; “inconocimiento” por “desconocimiento”; “tigra” por “tigresa”, etcétera).
En tercer lugar, por la no identificación de los límites de las palabras, muy común en tercer año (“hazique” por
“así que”, “abeces” por “a veces”, “voy haber” por “voy a ver”, “osea” por “o sea”) (Lyons, J.: 1997).
Finalmente, es también posible sobre todo en tercer año que los niños no hayan adquirido plenamente la escritura alfabética y muestren, en el léxico, una escritura silábica: “Lpiz d color”, “cuadrno”, etc. (Ferreiro, 1991).
1.8. Ortografía
La ortografía es la parte de la gramática de una lengua que se encarga de la manera correcta de escribir las palabras. El diccionario de una lengua es en sí mismo una guía ortográfica de la misma.
La ortografía no constituye, en sí misma, un aspecto central de la evaluación de la escritura. Lo interesante es
correlacionarla con otros aspectos, como la coherencia, e indagar, por ejemplo, si los estudiantes se detienen en
aspectos superficiales del texto y no en su organización profunda, o si ya tienen automatizadas ciertas normas
y pueden estructurar la información sin necesidad de prestar atención a ellas.
Los errores de puntuación no se considerarán aquí como ortográficos en la medida en que se relacionan, más
bien, con la jerarquización de la información. Se procede igualmente respecto de los errores de léxico, que
surgen del desconocimiento de una palabra, y que se evalúan, como se ha visto, aparte.
1.9. Registro
Por un criterio de estandarización, cuando se dice que diferentes personas “hablan (escriben) el castellano/
español” se hace abstracción de toda suerte de diferencias en sus respectivos comportamientos lingüísticos.
Estas diferencias son de registro cuando están relacionadas con el grado de formalidad de la situación comunicativa y/o el medio de comunicación que se emplee.
Toda situación comunicativa requiere un grado particular de formalidad: protocolar, formal, consultivo, casual
o informal, íntimo. El grado de formalidad que se establezca puede depender de la edad y el sexo de los interlocutores, del grado de parentesco que los una, del oficio que desempeñen, de su relación social, del lugar en el
cual se encuentren, del tema del cual estén hablando y del tipo de discurso del que se trate. Dado este último
fac-tor, en las pruebas del SERCE hemos decidido evaluar el registro solo en los textos de sexto año adecuados
a la consigna. En efecto, los tipos de discurso pedidos en tercer año admiten una variedad de registros, de la
misma manera que los cuentos, las anécdotas y todos los otros textos no adecuados a la consigna que podrían
presentarse en sexto año. Como determinar, por ejemplo, qué registro es adecuado al cuento consistiría en una
decisión totalmente arbitraria, se ha decido evaluar solamente si los textos enciclo-pédicos presentan el registro
que sí se exige en ellos: formal y escrito.
147
Por otra parte, en el mismo medio escrito podemos distinguir, entre otros matices, textos escritos para ser leídos
por otros, textos escritos para ser leídos por uno mismo, textos escritos para ser dichos, textos escritos para
ser dichos como si no fueran escritos, etcétera. El escritor competente no confunde el medio con el canal de
ejecución de la comunicación. Por eso, al evaluar las pruebas del SERCE, consideraremos aceptable que en el
borrador de sexto año, texto para ser leído por uno mismo, aparezcan expresiones como “x q” y “+ grande”, y
no consideraremos aceptable que se las presente en la versión definitiva, texto —adecuado o no a la consigna—
para ser leído por otros.
En muchos casos es difícil —si no imposible— determinar si el error de registro procede de una inadecuada
percepción del grado de formalidad de la situación o del medio, ya que es común que estos factores funcionen
asociados. Los mensajes deben adecuarse a ambos parámetros; es erróneo, por consiguiente, tanto el uso de un
registro “coloquial” y “oral” en la redacción de, por ejemplo, una monografía académica, como el uso de un
registro “ceremonioso” o “protocolar” en el relato de una anécdota intrascendente en la peluquería.
Los errores de registro se observan en el plano del vocabulario y en el de la sintaxis. En el primer caso, es común
ver cómo los estudiantes emplean términos propios de situaciones informales en textos enciclopédicos (“el
perro es un animal doméstico que come y caga dos veces por día”). En el segundo caso, se observan construcciones propias de la oralidad, tomadas de textos orales, como las frases truncas y las preguntas de constatación
de la participación del interlocutor en el diálogo (“qué le vamos a hacer, si tiene esas costumbres, ¿no?”) o como
el uso de la segunda persona y la función apelativa (“tenga cuidado con los gatos: son enemigos del perro”).
Es necesario, finalmente, insistir en una diferencia que no siempre es contemplada en la medida de su importancia: las diferencias de registro se establecen en el interior de cada variedad dialectal. En efecto, las variedades
dialectales del castellano, es decir, el repertorio de los rasgos fonoléxico-sintácticos relacionados con la procedencia geográfica del hablante (lo propio del castellano “colombiano”, “chileno”, “ríoplatense”, “mexicano”,
etcétera.) no implican un registro menos formal que los del castellano “peninsular”(13) (que no es, además, sino
otro dialecto). En Buenos Aires, por ejemplo, “heladera” no es menos formal que “refrigerador”, de la misma
manera que “durazno” no lo es respecto de “melocotón”, “aparcar” de “estacionar”, ni el voseo en comparación con el tuteo.
La consideración de la adecuación del registro, por tanto, está en manos del conocimiento que el evaluador tiene
de lo que es formal en su variedad dialectal. El ejemplo siguiente no resulta adecuado a una situación comunicativa formal como la propuesta en sexto año, en el marco del Río de la Plata:
El perro come carne y animales muertos. Si los humanos lo joden mucho, el perro se calienta.
1.10. Texto
En las pruebas de escritura del SERCE, se considera texto al objeto lingüístico empírico y descriptible producido en una situación comunicativa determinada bajo el efecto de una red de determinaciones lingüísticas (macro
y micro semánticas, macro y micro sintácticas, etcétera) y extralinguísticas (culturales, ideológicas, psicologógicas, situacionales).
En teoría, para ser tal, un texto debe cumplir con ciertas normas: ser coherente, explicitar su coherencia mediante la cohesión, tener un propósito, resultar aceptable para el receptor, transmitir cierta información, ser
relevante en la situación en que se produce, entre otros aspectos. En los hechos, los escritores aprendices elaboran textos que tienen fallas en uno o más de esos planos y que, sin embargo, aquí consideraremos textos por
oposición al enunciado sin sentido o a la serie de enunciados sin ligazón entre sí.
148
Entonces, a los fines de nuestra investigación, se dice que hay un no texto cuando se observan, como respuesta
a la consigna, un solo enunciado, varios enunciados sin ningún tipo de relación temática entre sí, o una serie de
enunciados que, a pesar de reiterar parte del tema, parecen estar construidos como respuesta a la instrucción
“Escribí oraciones con tal palabra”, ya que no pueden ser inscriptos en ningún género, no tienen ninguna finalidad comunicativa, no son cohesivos y resultan apenas coherentes. Se trata de casos como los siguientes:
Mi mamá me pide que limpie.
La maestra nos da tareas.
En la escuela hice cuentas.
La maestra nos pide un libro.
Mi casa esta siempre sucia.
Tareas
Mi casa es linda.
Mi casa es cómoda.
Mi casa es grande.
1.11. Título
El escritor competente selecciona y elabora el título del texto teniendo en cuenta el género discursivo y el
destinatario, entre otros aspectos; así, los títulos de las obras literarias suelen apuntar al establecimiento de una
polisemia o multiplicidad de sentidos, mientras que los de los textos científicos o enciclopédicos privilegian la
univocidad y el designar el tema o contenido del texto mediante una macroestructura.
Desde el punto de vista del receptor, el título de un texto funciona como primera clave para establecer una hipótesis de lectura; apoyándose en sus conocimientos sobre el tema, los géneros, etcétera, el lector formula ciertas
conjeturas sobre el conjunto que, al leer, va rectificando o confirmando; esta operación es un buen criterio para
determinar la adecuación o inadecuación del título en tanto macroestructura: si el lector ve frustradas o con-tradichas sus expectativas en un texto de las características pedidas, el título no es adecuado (Alvarado, M.: 1996).
Véase el ejemplo:
La vida de un perro
Hay diferentes tipos de perros: pueden ser perros callejeros, domesticados y hasta entrenados para cazar.
Sus características físicas pueden ser variables. El perro es muy hábil. Eso se lo debe al estar apoyado en cuatro patas facilita su
destreza.
Su ambiente y su hábitat es según el perro si es doméstico vive en casa, si es cazador en Australia si es callejero en la calle.
Como se observa, el título no expresa el contenido global del texto.
149
Tercera parte
1. Instructivo para la evaluación de las pruebas de tercer año
En este punto, se dan las instrucciones de marcado de cada una de las opciones que componen los ítems de la
planilla para evaluar las pruebas de escritura de tercer año. Es fundamental tener en cuenta que cada pregunta
indaga un aspecto específico que se diferencia claramente de los restantes y que, por esa razón, las instrucciones
acotan con precisión el universo al que cada opción de marcado atiende.
La mayoría de los casos propuestos para ejemplificar los modos de evaluar son críticos. Esto se debe a que esos
ejemplos son los que, suponemos, pueden plantear más dudas al evaluador y no al hecho de que la mayoría de
los textos respondan a esas características.
El evaluador deberá emplear el instructivo siguiendo las sugerencias que se plantean en el punto 5 de este Manual, Recomendaciones para evitar sesgos y errores al evaluar.
En la página siguiente, se muestra un facsímil de la planilla a la que nos referiremos.
150
151
42
Encabezamiento
• Copie todos los datos que figuran en el encabezamiento de la prueba y que tengan sus correspondientes casilleros en la planilla de evaluación en blanco.
• Revise la correspondencia entre los datos originales y los copiados.
I. Borrador
1. El niño ¿escribió el borrador? (Sí/ No/ Sí, pero borró lo escrito)
• Marque “Sí” cuando el estudiante haya empleado el espacio asignado para la redacción del borrador,
es decir, aun cuando haya escrito una sola palabra clave o haya dibujado. Ignore el hecho de que lo escrito
se corresponda o no con lo pedido.
• Marque “Sí, pero borró lo escrito” cuando el borrado de lo escrito sea total.
• Marque “No” cuando el borrador no haya sido utilizado en absoluto.
Si responde “Sí”, debe pasar a las preguntas 2 y 3. Y si marca “Sí, pero lo borró” o “No”, al ítem 4, después de marcar “N.C.” (“No corresponde”) en los ítems 2 y 3.
2. ¿Siguió, en general, la consigna? (Sí / No / N.C.)
• Marque “Sí” en el caso en que el estudiante haya consignado en el borrador al menos una palabra clave y/o idea que se corresponda con lo solicitado en la consigna y no se observe un predominio de otras ideas, es decir, aunque haya ignorado una o más de las ideas pedidas pero siempre y cuando la mayoría sean adecuadas.
• Marque “No” si el estudiante no consignó en el borrador predominantemente palabras-clave y/o ideas que
se correspondan con lo solicitado, es decir, si:
1) interpretó erróneamente el tema y, por ejemplo:
-en el cuadernillo 1, enumeró cosas y no acciones, o acciones que no son tareas o más tareas no pedidas que
tareas pedidas en la consigna;
-en el cuadernillo 2, nombró enfermedades o copió partes de la instrucción (“para no tener diarrea, para tener
dientes sanos”) y no esbozó o planteó recomendaciones para evitarlas;
2) interpretó erróneamente el tipo de texto y, en vez de enumerar, por ejemplo, relató, o redactó
oraciones o palabras sin un sentido acorde con el texto solicitado en la instrucción.
Marque N.C. si el borrador resulta por completo ilegible y no puede evaluarse si el estudiante siguió o no la
consigna.
En el siguiente caso, por ejemplo, tomado del cuadernillo 2, corresponde marcar “No”, ya que, aunque se hace
referencia al tema enfermedad, el estudiante redactó una alusión a su vida personal y no se ajustó al tipo de
texto pedido:
Yo no menfermo nunca mi ermano senferma
Lo mismo sucede en el siguiente caso, tomado del cuadernillo 1, porque se hace referencia a tareas con una
forma predominantemente anecdótica (véase el uso de los verbos en pasado y el esbozo de una secuencia narrativa):
152
Las tareas
En La escuela me pusieron una tarea que era un robo y unas divisiones etc.
en mi casa me pusieron a ser La tarea
des pues a tender las camas
des pues de aser la tarea me fuy ajugar con mis amigas y des pues de jugar con mis amigas des colgo los cuadernos y el uniforme
En el siguiente caso, se observan esbozos de recomendaciones, en el uso de la expresión “tengo que”, fundamentalmente; a pesar del uso de la primera persona, no diremos que el texto es predominantemente anecdótico
porque no hay secuencia narrativa y porque los verbos están en presente habitual. Por lo tanto, marcaremos
“Sí”:
Yo ago para tener los dientes sanos ir al dentista.
Cuando llo tengo los dientes malos tengo que curármelos porque no los puedo tener así.
Cuando llo tengo dolor de barriga tengo que ir al baño.
Porque si no voy al baño no se me pasa el dolor.
Yo ago para no resfriarme taparme con una corcha.
Porque si no me tapo con la corcha tendré mucho frío.
También en este caso, tomado del cuadernillo 2, corresponde marcar “Sí”, porque es posible considerar que el
niño ha escrito una expresión clave (aunque sea la única) para, en el texto definitivo, redactar una instrucción:
cepillo de dientes
Si marca “Sí”, pase a la pregunta siguiente.
Si marca “No” o “N.C.”, pase a la pregunta 4, después de marcar “N.C.” en la 3 y en la 5.
3.a. En el cuadernillo 1, de las 10 ideas pedidas, ¿cuántas planteó? (Casi-llero/ N.C.)
b. En el cuadernillo 2, de las 6 ideas pedidas, ¿cuántas planteó? (Casille-ro- N.C.)
• Sitúese en el punto a. o b. de la pregunta 3, según corresponda al cuadernillo. El máximo de ideas pedidas es, en el cuadernillos 1, 10 y, en el cuadernillo 2, 6.
• Numere las ideas planteadas por el estudiante en el borrador de la prueba, una por una, en una hoja aparte.
• Consigne en el espacio en blanco de la planilla la cantidad de ideas que planteó el estudiante en el borrador respecto de las pedidas en la instrucción. Las ideas pedidas son:
1) en el cuadernillo 1, diez tareas escolares (por ejemplo, escribir un cuento, leer un cuento, redactar un
texto, completar oraciones, resolver cuentas, recortar palabras, dibujar, etcétera) y/u hogareñas (hacer compras,
ordenar juguetes, ayudar a algún familiar en su trabajo, poner la mesa, etcétera), que no deben estar necesariamente ni organizadas en dos subtemas ni ser cinco de cada tipo ni ser de los dos tipos;
2) en el cuadernillo 2, seis menciones de formas de cuidar la salud, incluso cuando ya se está enfermo,
independientemente de que tengan la estructura o el fraseo típicos de la recomendación (abrigarse, hervir el
agua, lavarse los dientes, no andar descalzo, tomar leche, lavar los utensilios de cocina, usar una planta a la que
la comunidad adjudica propiedades benéficas y demás);
Cuente como “ideas” desde palabras clave hasta párrafos.
153
No cuente las ideas que no se refieran y circunscriban a uno de los 6 ó 10 puntos enumerados. Es decir, excluya
de la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes:
1) en el cuadernillo 1, “jugar con mis amigos”;
2) en el cuadernillo 2, “hacer los deberes”.
Tampoco cuente en forma doble las ideas repetidas, como “hacer cuentas de sumar y restar” y “hacer sumas y
restas”.
Tenga en cuenta que usted puede inferir información ausente en la superficie del texto mientras esté presente
en su estructura profunda y que, en cambio, no puede “inventar” información inexistente. Por ejemplo, si en el
borrador del cuadernillo 1 el alumno escribe:
Matemática
Lenguaje
Recolectar hojas de árboles
puede inferirse o reponerse que se trata de “estudiar Matemática” y “estudiar Lenguaje” o de “hacer las tareas
de Matemática” y “hacer las tareas de Lenguaje”. En efecto, es normal ante las preguntas “¿Qué tenés que estudiar” o “¿Qué tenés que hacer”?, responder simplemente: “Matemática”. En cambio, si el alumno consigna:
Tijera
Témperas
Hacer una carta
no puede inferirse, en el caso de las dos primeras ideas, ninguna tarea: habría que “inventar” y poner información (en vez de reponerla); por ejemplo, la idea de que al alumno le pidieron que recortara alguna cosa o pintara
otra, con la certeza de que confunde la noción de “tareas” con la de “materiales para realizarlas”.
Vea el siguiente ejemplo, tomado de un borrador de cuadernillo 1; los corchetes, que encierran las ideas, y los
números, que las cuentan, son nuestros; los números repetidos indican ideas repetidas; hemos considerado, porque la inferencia es simple y porque ante la duda siempre debe beneficiarse al estudiante, que “Un borrador”,
“cuatro palabras agudas”, “siete palabras llanas”, “Una carta”, “muchas palabras esdrújulas” y “diez palabras
con h” son tareas cuyo sentido se completa a partir de la mención anterior del verbo “hacer”; además, hemos
considerado que “hacer la tarea” es una idea que repite a las anteriores y a las posteriores:
[Hacer un plan]1
[Un borrador]2
[cuatro palabras agudas]3
[siete palabras llanas]4
[Una carta]5
[Muchas palabras esdrújulas]6
[Leer mucho]7
[Repasar matemática]8
[Hacer la tarea] 1 a 8 y 9
[Diez palabras con h]9
En este caso, por tanto, corresponde consignar 9 (de 10).
154
Vea este otro ejemplo, tomado de un borrador de cuadernillo 2. Los corchetes y los números cumplen la misma
función que en el ejemplo anterior; el 0 expresa ideas no pertinentes o no pedidas:
[A mi aula fueron un grupo de médicos para enseñarme a ciudar la salud.]0 Para no resfriarme [no mojarme los pies],1 [no lloviarme]2 y [no andar descalza]3. Para la diarrea [no tomar agua contaminada y]4 [hervirla cuando sea necesario]5. Para manter
los dientes sanos, [no comer mucho dulce,]6 [labarme los dientes cuando almuerze, cuando desayune y cuando coma.]7 [Después
cuando llegue a mi casa contarle a mis padres lo que me dijo el médico]0.
En este caso, entonces, corresponde consignar 6. Como se ve, la idea 7 no se consigna, porque el límite es 6.
Además, las ideas que se cuentan son las que se encuentran en el nivel del subsubtema: el tema recomendaciones, es subclasificado por el niño en los subtemas 1) recomendaciones para no resfriarme, 2) recomendaciones
para no tener diarrea y 3) recomendaciones para mantener los dientes sanos; el primer subtema se sub-clasifica
en tres subsubtemas: 1) no mojarse los pies, 2) no “lloviarse” y 3) no andar descalzo; el segundo subtema, se
subclasifica en dos subsubtemas: 1) no tomar agua contaminada y 2) hervir el agua si parece necesario; finalmente, el tercer subtema, se despliega en un solo subsubtema: lavarse los dientes tres veces por día; esto es, la
mención de las veces del día en que los dientes deben lavarse no constituye un nuevo nivel de tematización, porque la acción sigue siendo una, a diferencia de lo que ocurre con no mojarse los pies y no caminar bajo la lluvia.
Con este mismo criterio, “no comer muchas cosas dulces como caramelos, chicles y chocolates” constituye un
solo subsubtema (una misma recomendación para tener dientes sanos), mientras que “recortar 10 palabras agudas”, “recortar 10 palabras esdrújulas” y “recortar 10 palabras llanas” constituyen tres subsubtemas diferentes,
porque designan tres acciones (tres tareas escolares) diferentes del subtema tareas escolares y del tema tareas.
II. Texto definitivo
4. El niño ¿escribió el texto definitivo? (Sí/ No/ Sí, pero lo borró)
• Marque “Sí” en el caso en que el estudiante haya escrito en el espacio asignado a la versión definitiva,
aunque haya borrado parcialmente lo que escribió, ignorando el hecho de que el texto sea correcto o
incorrecto, adecuado a lo pedido o inadecuado.
• Marque “Sí, pero lo borró” en el caso en que el estudiante haya borrado o tachado por completo algo
escrito en el espacio asignado a la escritura del texto definitivo.
• Marque “No” si el estudiante dejó totalmente en blanco el espacio asignado a la escritura del texto definitivo.
Si marca “Sí”, pase a la pregunta siguiente.
Si indica “Sí, pero lo borró” o “No”, marque “N.C.” en todos los ítems restantes de la planilla.
5. Si lo hizo, ¿mejoró la presentación respecto del borrador? (Sí/ No / N.C.)
Responda a esta pregunta sólo si marcó “Sí” en las preguntas 1 y 2. Si marcó “No”, indique “N.C.”.
• Compare la superficie del borrador con la del texto.
• Marque “Sí” cuando observe que son más los elementos mejorados que los que se mantuvieron con
la misma presentación. Considere como elementos para ser mejorados los siguientes:
1) la caligrafía;
2) la horizontalidad en la escritura de las palabras;
155
3) la linealidad en la disposición de las palabras y las frases (si ya no se observan o se observan menos
palabras o construcciones agregadas en medio de otras ya escritas, o flechas que indiquen dónde colocar
una idea);
4) los dibujos que ilustran las ideas, siempre y cuando no interfieran con la disposición del texto en forma
de lista (cuadernillo 1) o lista o enumeración (cuadernillo 2).
Asimismo, son expresiones de mejoría:
5) la supresión de tachaduras;
6) la eliminación de dibujos innecesarios o la transformación de dibujos en texto;
7) la introducción de elementos gráficos, como las viñetas ( • u otro), que suelen encabezar las listas,
o títulos jerarquizados;
8) la disposición en forma de lista de elementos que en el borrador no lo estaban.
En el siguiente caso, se observa un avance notable entre el borrador y el texto:
156
• Marque “No” cuando observe o bien que entre el borrador y el texto definitivo no hay diferencias de presentación, es decir, cuando aparezcan o bien las mismas u otras características propias de un texto para sí o para
otros, o bien cuando el texto definitivo resulte “peor” que el borrador. Las marcas persistentes y/o predominantes que deberán observarse para marcar “No” son las siguientes:
1) una caligrafía no esforzada,
2) palabras escritas sin cuidar la línea horizontal,
3) palabras o construcciones agregadas en medio de otras ya escritas,
4) palabras abreviadas,
5) flechas u otros signos dibujados para indicar reordenamientos de la información,
6) tachaduras.
También podrá observarse la pérdida de:
7) información,
8) formato.
En el siguiente caso tomado del cuadernillo 1, por ejemplo, corresponde marcar “No”, ya que el estudianteabandonó el formato de lista, la división en subtemas y dejó de lado importante cantidad de información.
Borrador
157
Texto definitivo
En este otro caso, si bien en el borrador se observa un elemento propio de un texto para otros (el estudiante
traza líneas para escribir de modo “bien horizontal”), predominan los rasgos propios del texto para sí: tachaduras, agregado, etc. Como en el texto definitivo esos rasgos desaparecen, diremos que se observa una mejora
entre el borrador y el texto:
158
6. ¿El texto puede ser en general leído? (Sí/ No/ N.C.)
Céntrese en el texto definitivo. Marque “No” solo en el caso en que las palabras no puedan descifrarse al punto
que resulte imposible contarlas o que no puedan leerse porque no se ha presionado lo suficiente el lápiz contra
el papel. Asimismo, si la cantidad de palabras que no es posible descifrar es tal que no puede reponerse el sentido de la frase. Puede ocurrir que sea posible reconocer y contar espacios que corresponden a palabras, pero
que éstas no puedan leerse de todos modos. También, que se lean grafemas que, sin embargo, no constituyen en
conjunto una palabra descifrable. También marque “No” en estos casos. Absténgase de reconstruir las palabras
que no pueden leerse.
Vea el ejemplo:
Aunque, con esfuerzo, podría interpretarse que en la línea 4 el niño quiso expresar “no andar descalzo” y en
la 5, “no mojarse”, el hecho es que se lee “no el dadecaso” y “no mo cor”, y que eso resulta indescifrable si
entendemos por “cifrar” transcribir en letras un mensaje.
• Marque “Sí” en el caso en que todas las palabras puedan ser leídas, aunque el escrito no tenga un sentido claro.
Asimismo, si hay unas pocas palabras indescifrables que, sin embargo, permiten adjudicar un significado general
a las frases o al texto.
Si marca “No”, complete “N.C.” en todos los puntos restantes de la planilla.
7. Si puede ser leído, ¿excluye los problemas puntuales de desciframiento? (Sí/ No /N.C.)
• Marque “Sí” cuando la escritura resulta clara por la forma de las letras, por las distinciones entre el
cuerpo de la letra y el enlace, porque se dejan espacios evidentes entre palabras y porque se diferencian
mayúsculas de minúsculas.
• Marque “No” cuando la forma de las letras resulte ambigua, cuando no se distingan con claridad el cuerpo
de la letra y el enlace, cuando no se dejen espacios suficientes entre palabras, cuando no se diferencien
mayúsculas de minúsculas o se usen solamente mayúsculas o solamente minúsculas.
En el siguiente caso, se observan problemas de desciframiento; sin embargo, no impiden la lectura del texto
como totalidad; por eso, lo habremos calificado, en el punto 6, como legible y en este, como con problemas de
desciframiento:
159
Vea este otro ejemplo, en el que se indicará también “No” porque el estudiante no distingue mayúsculas de
minúsculas y no pone, en algunos casos, espacios suficientes entre las palabras (como este último problema es
sistemático, no se considera que hay errores de léxico, es decir, no se dirá que para el estudiante existen palabras
como “unperro”, “loengorde”, “leempese”, etc.
En suma, la utilización de solo mayúsculas suele producir problemas sistemáticos en el plano de la separación
de las palabras entre sí, además de no permitir expresar el uso ortográfico; cuando se observe esta situación, se
dirá que el texto no excluye los problemas de desciframiento y no se dirá que el alumno no conoce los límites
de la mayoría de las palabras que escribe y que por ello las junta todas, lo que constituiría un gravísimo problema
de léxico, ni que cree que todas las palabras son sustantivos propios y que por ello las pone con mayúscula, lo
que constituiría un gravísimo error ortográfico. Ante textos como el último, lo único que puede afirmarse con
certeza es que la caligrafía acarrea al lector dificultades para descodificar palabras y frases.
160
8. El niño ¿mantuvo los subtemas y la estructura planteados en el borra-dor? (Sí/ No /N.C.)
• En tercer año, marque “Sí” en el caso en que el estudiante haya retomado el 60% o más de los subtemas o
subsubtemas y la estructura plasmados en el borrador, independientemente del hecho de que se adecuen —en
el borrador y en el texto— a lo propuesto por la instrucción.
Por ejemplo, deberá indicarse “Sí” en el cuadernillo 1 si en el borrador el estudiante relató ciertas acciones en
vez de enumerar elementos y en el texto definitivo vuelve a relatarlas todas, y, en el cuadernillo 2, si en el borrador enumeró las 6 recomendaciones exigidas y en el texto enumera, de esas 6, 4. Asimismo, si en el borrador
enumera 3 expresio-es clave y en el texto definitivo las retoma para construir una anécdota.
Es decir, lo que ha de considerarse en tercer año para determinar si el niño utiliza el borrador para construir su
texto es el sostenimiento temático y estructural con total independencia de que la estructura sea la pedida en
la consigna —lista clasificada en dos sublistas, en el cuadernillo 1, y recomendaciones, en el cuadernillo 2— y
con total independencia de que el tema sea el pedido en la consigna: —tareas de la escuela y de la casa, en el
cuadernillo 1 y recomendaciones para cuidar la salud, en el 2.
Además, como se ha pedido desarrollar borradores y textos elementales en cuanto a su estructura, las expresiones clave del borrador pueden constituir la protoestructura de textos definitivos igualmente simples o más
elaborados. Por esta razón, cuando en el borrador se observe una lista de palabras claves y en el texto, una anécdota, un cuento u otra clase de texto que las retome, se indicará también “Sí”. En otras palabras, si la simpleza
estructural del borrador no permite afirmar con certeza, al analizar el texto definitivo, que la estructura original
ha sido abandonada, se indicará “Sí” porque esas ideas elementales han sido retomadas. (En sexto, en cambio,
como veremos, la estructura descriptiva de tres niveles de tematización y el 75% o más de los subtemas deberán
ser claramente coincidentes entre el borrador y el texto para que se indique “Sí”).
En el siguiente caso, por ejemplo, el alumno plantea una anécdota en el borrador a partir de interpretar erróneamente el tema dado en la instrucción, y la sostiene en el texto definitivo, por lo que corresponde marcar “Sí”.
161
Del mismo modo, debe procederse en el ejemplo que citamos a continuación, pues en el texto definitivo aparecen desplegados todos los subtemas clave, planteados del modo más elemental, en el borrador:
Borrador:
Recomendaciones
Para no resfriarse
Para no tener diarrea
Para tener dientes sanos
Texto definitivo:
“Recomendaciones”
Habia una bes un niño que se resfrio y tubo que hir al medico. El medico le dijo que no puede estar descarso y el niño tubo diarea
y se volvió a enfermar. El niño tenia dientes sanos y se curo de la enfermeda
• Marque “No” si el estudiante no hizo el tránsito del borrador al texto definitivo y no conservó ni la estructura
ni la protoestructura, ni el tema, es decir, si en el borrador nombró ciertos subtemas o subsubtemas y en el texto, otros; si en el borrador elaboró una enumeración y en el texto definitivo, un cuento que no incluye el 60% o
más de las cosas enumeradas, si en el borrador relató una anécdota y en el texto definitivo una lista de acciones
no relatadas en la anécdota, si en el borrador anunció los campos en que deben darse las recomendaciones para
cuidar la salud y en el texto relata un cuento sobre en-fermedades que no hace referencia al 60% o más de esos
campos, etc.
En el siguiente caso, tomado del cuadernillo 2, corresponde marcar “No”, ya que en el borrador y en el texto
definitivo se plantearon dos textos sin relación entre sí:
162
Borrador:
Tomá leche y la sopa
Comer naranja
Qul agua este limpa
Texto definitivo:
Mi amigo
Mi amigo pedro es mui bueno juega siempre con migo
• Si en la pregunta 1 indicó que el niño no hizo o borró el borrador, no marque “N.C.”, sino “No”. “N.C.”
se reserva para el caso en que el texto no haya sido escrito (pregunta 4 de la planilla) o resulte ilegible
(pregunta 6 de la planilla).
9. Independientemente de lo que haya hecho en el borrador, ¿se refirió en general a lo propuesto?
(Sí/ No / N.C.)
• Marque “Sí” cuando el estudiante haya escrito un texto que se corresponda con la situación comunicativa,
el tema y la macroestructura propuestos por la instrucción, es decir, si:
1) en el cuadernillo 1, enumera al menos una tarea que pueda realizar en el hogar o para colaborar con
los quehaceres familiares y otra para la escuela, y si no son más las ideas no pertinentes que esas pertinentes;
2) en el cuadernillo 2, desarrolla al menos dos recomendaciones para evitar una enfermedad o dos recomendaciones para sendas enfermedades, y si no son más las ideas no pertinentes que esas pertinentes;
Si observa errores puntuales, es decir, si observa ideas no pertinentes cuando la mayoría son pertinentes, marque también “Sí”, como en este caso (se subraya el error puntual, que consistió en insertar, en la lista de tareas
y actividades del cuadernillo 1, un objeto):
Forar cuaderno tigera
Cuentas Vicicleta Pegar palabras
Lavar ropa
Nótese que hemos considerado que “cuentas” y “bicicleta” son tareas y que no lo es “tijera”, a pesar de que
en los tres casos nos encontramos frente a un sustantivo común. La razón es la siguiente: la lista es un género
informal y, por tanto, admite supresiones. Puede afirmarse que el estudiante ha suprimido el verbo “hacer” en
“hacer cuentas” y “hacer bicicleta” (al menos en el dialecto del Uruguay, de la Argentina y de Colombia). No
puede decirse lo mismo respecto de “tigera”: ni “hacer la tijera” ni “usar la tigera” parecen reposiciones con
sentido. Entonces, inferimos que se ha usado erróneamente “tigera” en vez de “recortar”, que sí es una tarea
posible.
163
Lo mismo se aplica, en el siguiente ejemplo, a “Matemática” y “Lengua Espanola”: puede suponerse o inferirse
sin necesidad de “inventar” información la supresión de “hacer lo de Matemática/ Lengua Española”, “estudiar/ practicar Matemática/ Lengua Española”, etc.
¡Qué bien me siento cumpliendo las tareas!
Matemática
Lengua Espanola
barrer
limpiar
fregar
tender
buscar el pan
el llogur
buscar el petroleo
y buscar el agua
Deje de lado el hecho de que el texto aparezca o no titulado, pues se lo evalúa luego.
Deje de lado también el hecho de que el texto aparezca presentado gráficamente conforme a la clase textual
“lista”, ya que el formato se evalúa más adelante. En el primer ejemplo de este punto, consideramos que el texto responde en general a la instrucción aunque los elementos no hayan sido dispuestos uno debajo del otro y
aunque la actividad no escolar aparezca inserta entre las escolares y no ubicada separadamente.
• Marque “No” si los aspectos del tema, la situación comunicativa y la clase textual pedidos no se observan
en general; por ejemplo, si el estudiante
1) en el cuadernillo 1, enumeró predominantemente o solo cosas y no acciones, o acciones que no son
tareas escolares u hogareñas;
2) en el cuadernillo 2, nombró predominantemente o solo medicamentos o enfermedades y no recomendaciones para evitarlas;
Asimismo, en todos los casos, si interpretó erróneamente el tipo de texto y, en vez de enumerar, por ejemplo,
predominantemente relató o solo redactó oraciones sin sentido, con palabras tomadas o no de la instrucción.
En el siguiente caso, por ejemplo, tomado del cuadernillo 1, corresponde marcar “No”, ya que el estudiante no
redactó una lista de cosas:
La maestra no pide muha cosas
mi mama pide mucha cosas.
164
Lo mismo ocurre en el siguiente caso, tomado del cuadernillo 2, en el que no se observa una enumeración de
recomendaciones:
Qeno hace frio qno se laba.
Analicemos este problemático caso, tomado del cuadernillo 1:
El Lunes la maestra mando a Estudiar
El martes mi mama me mando a Estudiar
El dia miércoles la maestra iso el trabajo
El dia Jueves me mando mi mama a Estudiar.
El Viernes yo me fui a Estudiar.
El sabado se fue mi mamá a la Reunión de nosotro
Yo me porte bien en la Escuela
En la escuela yo ise un trabajo.
Veamos, en primer lugar, la cantidad de referencias a lo que se pidió en la escuela y en la casa en relación con las
referencias no pertinentes: si consideramos que en diferentes días se realizan diferentes tareas y tomamos los
enunciados en los que claramente se hace alusión al encargo de una tarea, las pertinentes son 3 y las no pertinentes, 5 (“El día miércoles la maestra hizo el trabajo”, “El viernes yo me fui a estudiar”, “El sábado se fue mi
mamá a la reunión de nosotro”, “Yo me porté bien en la escuela”, “En la escuela yo ise un trabajo). En segundo
lugar, veamos si el texto tiene la forma de una enumeración: en realidad, es una enumeración contaminada con
la anécdota (la mención de diferentes días produce un efecto de representación del transcurso del tiempo, y hay
un sujeto coincidente con el alumno que aparece como ejecutor o receptor de las acciones) y con repeticiones
que analizaremos en el punto coherencia, pero enumeración al fin. Finalmente, consideremos la situación comunicativa: en este plano, el texto no presenta la finalidad de una lista, recordar lo que hay que hacer, sino que
presenta hechos ya ocurridos. Por lo tanto, de los tres aspectos considerados, dos nos indican que debemos
marcar “No” y uno, que debemos marcar “Sí”, por lo que consignaremos “No”.
Si marca “No”, pase a la pregunta 10.
Si marca “Sí”, pase a la pregunta 11, después de marcar “N.C.” en la 10.
10. Si no escribió un texto acorde con la instrucción, ¿qué clase de texto escribió?
Una copia completa o parcial, textual o parafraseada, de la instrucción / Un cuento / Una anécdota
/ Otra descripción / Otro / Un no-texto / N.C.
Responda a esta pregunta sólo si marcó “No” en la 9.
• Marque “Una copia completa o parcial, textual o parafraseada, de la instrucción” si el niño produce un
texto que copia parte de la consigna o que responde a los planteos para el mejoramiento del borrador
dados en el paso 2. Vea el siguiente, en relación con el cuadernillo 2:
Escribi las palabras en forma completa.
Le podría poner un titulo.
165
Asimismo, en este caso, tomado del cuadernillo 1:
• Marque “Un cuento” si el niño redactó una narración ficcional sobre un tema que no aparece en la
consigna, aunque sea breve y no tenga plenamente desarrolladas sus partes constitutivas, tal como se
plantea en el Glosario. Por ejemplo, en este caso, tomado del cuadernillo 1 (consideramos que se trata de
una narración y no de un no-texto porque es posible reconocer, al menos, dos enunciados):
Habia un rey muy malo no queria que su hija se case, pero al final se casaron, / la rescató un prinsipe.
Asimismo, en este otro caso, también del cuadernillo 1:
El barco se unde
Habia una ves que existia un barco que se llamaba el tiburó el tiburo era un barco muy fuerte y grande su dueño era el capitan
barba negra era un pero que luchaba por su patria en una gerraiba el tiburón y le tiraro una bomba y murio el tiburón su dueño
barba negra
También, si el niño toma algún aspecto de la consigna para elaborar un relato ficcional, aunque sea breve y no
tenga plenamente desarrolladas sus partes constitutivas. Por ejemplo:
Un chico se enfermo mucho. Qucieron salbarle la vida, pero no pudieron curarlo y murio
En cambio, si solo se observa un enunciado que podría desplegarse narrativamente pero se encuentra plasmado
en una sola proposición, se indicará “Un no-texto”. Por ejemplo, en este caso:
Los niños hicieron muchas tareas.
• Marque “Una anécdota” si el niño redacta un relato personal realista que, si está enteramente desarrollado,
en vez del nudo propio de un cuento, incluye una ligera complicación, como se indica en el Glosario.
Por ejemplo, en el cuadernillo 1, se observan estas anécdotas o protoanécdotas, que no toman ningún
elemento de la consigna y no presentan un hecho ligeramente conflictivo:
166
Mis mejores amigas son YESICA y ROSARIO. a la tarde vamos aser deberes y gugamos con muniecas.
Hoy estu vemolestando hoy estuve jugando hoy estu ve corriendo hoy estu ve ayudando
En el primer caso, el texto parece constituir el comienzo o la situación inicial de una anécdota trunca: la presentación de los personajes y de las acciones habituales que realizan. En el segundo caso, decimos que hay una
anécdota, aunque la complicación esté ausente, porque hay presencia de hechos narrados, porque esos hechos
están en pasado y son posibles en la realidad, porque están atribuidos a una primera persona y porque esa primera persona es la misma, es decir, porque hay unidad de personaje.
También, se marcará “Una anécdota” si el estudiante redacta un relato personal tomando un elemento mencionado en la instrucción. Por ejemplo, en el cuadernillo 1:
Mi maestra no quiere que borre el cuaderno. Un dia cuando borre mucho el cuaderno arranco la oja y dijo hay que escribir denuebo
todo.
• Marque “Otra descripción” si el niño se refiere, a través de más de un enunciado, a cómo es un objeto, un
ser o un fenómeno no mencionados ni central ni lateralmente en la instrucción. Por ejemplo, en este caso:
Charli es el unico ninio pobre y bueno. Los demás son egoístas.
Asimismo, si el niño se refiere, por ejemplo, a cómo es un borrador o goma de borrar, a cómo es un útil escolar,
cómo es la gripe, en qué consiste la diarrea, etc.
Un borrador sirbe para borrar cuando nos equibocamos es de goma y se pone susio y ensusia la oja.
También en este otro caso:
La regla
Es un instrumento que sirve para hacer cosas rectas es larga y delgada y nos ayuda a dibujar cosas rectas es un utile que se usa
para hacer triangulos, cuadrados, rectángulos etc.
Y en este otro:
La diarea es cuando tienes dolor de bariga. La gripe es cuando tienes fiebre.
Y, finalmente, en este, extraído de un cuadernillo 1, en el que se listan cosas y no tareas, ya que la lista es un
texto descriptivo:
Las cosas de la escuela y de la casa
casa
cocina
maletin
mesa
carpeta
pizarra
silla
ventana
estante
cuaderno
167
• Marque “Otro” si el estudiante escribió un texto que no puede clasificarse de acuerdo con ninguna de las
categorías anteriores, como en el siguiente caso, tomado del cuadernillo 2, en el que se pasa de un
relato tradicional en pasado, trunco, a una descripción subjetiva en presente y, finalmente, a un relato
anecdótico nuevamente en pasado:
“El gato”
Havia una vez un gato muy bonito y bien cuidado le gustaba tomar leche y comer croquetas el gato era muy latoso y enfadoso se subia
a las piernas de las personas y se dejaba acariciar. Es un gato muy inteligente le usta comer de todo y tomar de lo que sea le gusta
bañarse, ir al parque salir a odas partes es bonito Duerme dia, tarde y noche es muy dormilon come a las 2:00 desayuna a las 8:30
y cena a las 10:30 es bien comelón le gustan los niños Un dia el se subio a un arbo y le llame a los bomberos y los rescataron Fin
• Marque “Otro” también si el estudiante escribió un texto que, inscripto en un género discursivo
definido, no puede, sin embargo, atribuirse a ninguna de las categorías desagregadas: copia de la
instrucción, anécdota, cuento u otra descripción. Por ejemplo, una noticia o un afiche para prevenir
determinada enfermedad.
• Marque “Un no-texto” si el estudiante no escribió un texto, sino una oración sin o con sentido, o una
serie de oraciones sin enlaces, del tipo: “mi mamá es buena, mi papá trabaja, mi tio es alegre”.
Asimismo, como se indica en el Glosario, si observa series de oraciones como “mi mamá me pidió ayuda,
mi tía me pidio ayuda, mi papá me pidió ayuda”. En este último caso, si bien se mantiene el tema “pedir
ayuda”, todo indica que el estudiante escribe como si hubiera recibido la consigna “escribí oraciones con
‘pedir ayuda’, y no con el criterio de desplegar un tema con una finalidad comunicativa determinada.
• Recuerde que, cuando se observe un solo enunciado —narrativo, descriptivo, instruccional, etc.—
se marcará “Un no-texto”, incluso si hay un título, como en el caso siguiente:
168
Los libros perdidos
Un día mi hermana se le había quedado unos libros debajo de su carpeta y no los encontró
• Marque “N.C.” si marcó “Sí” en la pregunta 9.
• Si marcó “Un no-texto”, pase a la pregunta 14, después de marcar “NC” en las preguntas 11 a 13.
II.1. Adecuado o no a la consigna
11. ¿Escribió un título que exprese globalmente el tema del texto que redactó? (Sí/ No / N.C.)
Responda a esta pregunta si marcó “Sí” en la 4 y en la 6, y si no marcó “Un no-texto” en la 10.
Si marcó “Un no-texto” en la pregunta 10, pase a la 14, después de marcar “N.C.” en ésta, en la 12 y en la 13.
• Marque “Sí” en el caso en que el título designe el tema o contenido del texto (“Tareas”,
“Para cuidar la salud”, etcétera, en el caso de textos adecuados a la consigna) y/o indique el género
(“Lista”, “Lista de tareas” “Recomendaciones”, “Recomendaciones para cuidar la salud”, “Cuadro
de cosas para hacer”, etcétera, también en el caso de textos adecuados).
• En textos adecuados a la consigna, marque “No” cuando el estudiante no haya incluido un título o
cuando éste no presente ninguna de las características anteriormente mencionadas. En este caso,
el título no designa el tema global:
¡Qué bien me siento cumpliendo las tareas!
Matemática
Lengua Espanola
barrer
limpiar
fregar
tender
buscar el pan
el llogur
buscar el petroleo
y buscar el agua
Lo mismo ocurre en este título paródico, que encabeza una serie adecuada de recomendaciones para la salud:
“Sanoman”.
Por otra parte, el título puede presentar problemas gramaticales y, sin embargo, expresar el tema; es el caso de
“Lista tarea”, para un texto del cuadernillo 1, en el que se indicará “Sí”.
Para determinar la adecuación del título en textos no adecuados a la consigna, es conveniente recurrir a lo señalado en la pregunta 10 respecto del género. Es decir, si usted ha marcado en esa pregunta “Una anécdota”,
podrá dar por buenos títulos del tipo “Lo que me pasó”, “El día que...”, “Mi doctor”, etc., que remiten al género. Tenga en cuenta que, si el alumno redactó un cuento, puede darse el caso en que el título agregue nuevos
significados al texto y exija al lector realizar una inferencia de alto nivel.
Veamos el siguiente caso:
Los pajaritos
Una vez abia un pajarito que tenia muchos sueño I le en con tro una ave que ria comelo al pajarito I el pajarito como es muy Ave
vuela a la rama de man nana el pajaro como es un sonso parese una culebra.
I lo dise a lo amigo
tuve que en con trarte en el campo.
169
En el punto 10 habremos indicado que el texto es un cuento, porque, a pesar de los serios baches que presenta
en el plano de la coherencia, muestra una secuencia y elementos propios del género. En cuanto a la adecuación
del título, considerando entonces que se trata de un cuento, evaluamos si se hace referencia, como se anticipa,
a los personajes; el protagonista del relato es un pajarito; en el cuento se mencionan, además, un ave, en tanto
personaje antagonista, y los amigos. La situación es ambigua, ya que el ave no parece ser del todo un pájaro y
ya que los amigos no juegan un papel que justifique su mención en el título; sin embargo, quedan dudas y, en
última instancia, el título puede aludir a los pajaritos en general, como si el relato fuera el caso que presenta un
atributo de la especie. Por tanto, consignaremos “Sí”.
Revisemos este caso de “Otra descripción”, tomado del cuadernillo 1. El título es perfectamente adecuado:
Las cosas de la escuela y de la casa
casa
cocina
maletin
mesa
carpeta
pizarra
silla
ventana
estante
cuaderno
Es importante recordar que, cuando en la pregunta 10 se marcó “Un no- texto”, en esta debe consignarse
“N.C.”. En efecto, el no-texto se caracteriza por no presentar, entre otros rasgos, ni un tema ni un género ni
una situación comunicativa, por lo que no es posible asignar un título. Véase el siguiente ejemplo, en el que
corresponde indicar “N.C.”: aunque el alumno redactó un enunciado en posición de título y aunque podría decirse que las oraciones presentan entre sí la ligazón de estar todas referidas a partes y cosas de la casa, no puede
ser inscripto en un género ni puede determinarse en qué contexto sería comunicativo; además, las oraciones
presentan la típica estructura surgida de la consigna escolar “haz oraciones con cosas de tu casa”:
Mi televisión es muy bonita.
Mi radió es color rojo.
Mi cama es comodo.
Mi sillas están nueva.
Mi mesa es blanca.
Mi mueble está linda.
Mi cocina está limpia.
Este lavadero no sirve.
Mi escoba barre muy bien.
Mi recogerdor está bonita.
Mi cuaderno está linda.
170
12. ¿Distribuyó adecuadamente toda la información? (Sí/ No / N.C.)
Responda a esta pregunta si marcó “Sí” en la 4 y en la 6, y si no marcó “Un no-texto” en la 10.
Si marcó “Un no-texto” en la pregunta 10, pase a la 14, después de marcar “N.C.” en ésta y en la 13.
• En el caso de los textos adecuados a la consigna, marque “Sí” cuando el estudiante:
1) en el cuadernillo 1, se haya referido a tareas escolares, por un lado, y tareas hogareñas, por el otro; el
orden tareas escolares/ tareas hogareñas es igualmente correcto que el orden tareas hogareñas/ tareas escolares;
2) en el cuadernillo 2, se haya referido a más de una recomendación para evitar una misma enfermedad
en el mismo bloque de información; por ejemplo, cuando a “para no resfriarse” siguen al menos dos recomendaciones para no resfriarse y en el medio no aparece ninguna otra para evitar otra enfermedad; si el estudiante
da una sola recomendación para cada enfermedad, responda también “Sí”.
• En los textos descriptivos, adecuados o no a la consigna, marque “No” si el estudiante, insertó una idea englobadora en medio de ideas específicas, y no como su anuncio (en posición inicial) o su cierre (en posición final).
En el siguiente ejemplo, ponemos en negrita la idea mal ubicada:
Las ordenacione que me dio mi medico
Que me labe los diente después de comer
Que me cuide la garganta
Me dijo que seque el pelo despues de vaniarme
Que me dijo que me cuide para no enfermarme
Me dijo que no coma muchas cosas de chocolate
Y me dijo que me cuide cuando me lastime
• En los textos descriptivos no adecuados a la consigna (categorizados en el punto 10 como “Otra descripción”), marque “Sí” cuando el estudiante haya desarrollado el tema en un solo subtema (por ejemplo, si se
refirió solamente a tareas escolares o solamente a tareas de la casa) o en dos o más subtemas pero sin entremezclarlos. Marque “No” si el estudiante entremezcla el despliegue de los subtemas o el de los subsubtemas.
En el siguiente caso, que debe clasificarse como “Otra descripción” porque no se refiere a las tareas y, sin embargo, constituye una lista con sentido, hay dos subtemas: cosas de la escuela y cosas de la casa, cuyos subsubtemas aparecen entremezclados; además, uno de los subtemas englobadores (en negrita) aparece en el mismo
nivel que los subsubtemas englobados; por lo tanto, corresponde marcar “No”.
Las cosas de la escuela y de la casa
casa
cocina
maletin
mesa
carpeta
pizarra
silla
ventana
estante
cuaderno
171
• En los textos narrativos (anécdotas y cuentos), marque “No” si el texto presenta al menos un problema en
el nivel de la secuencia. En el siguiente ejemplo, citado ya más arriba, los problemas de secuencia son varios: el
sueño no funciona como causa de ningún hecho; el hecho de ser sonso no funciona como causa suficiente de
parecer una culebra; lo que sucede entre la mimetización del pajarito y el encuentro con sus amigos está injustificadamente omitido; la aparición del pajarito en el campo no tiene antecedente (¿dónde estaba antes?). Por
tanto, sin completar nosotros las secuencias que el estudiante no ha completado, consignaremos “No”:
Los pajaritos
Una vez abia un pajarito que tenia muchos sueño I le en con tro una ave que ria comelo al pajarito I el pajarito como es muy Ave
vuela a la rama de man nana el pajaro como es un sonso parese una culebra.
I lo dise a lo amigo
tuve que en con trarte en el campo.
En este otro ejemplo, una anécdota, se observa la falta de, al menos, dos hechos (qué hizo el grupo de médicos
inicialmente y cuándo constató que todos los amigos del narrador estaban enfermos) por lo que, siempre evitando construir algo que el estudiante no ha construido, se marcará “No”:
Llendo a mi colegio los doctores
Me imagine que un grupo de medicos y como todos mis amigos estaban enfermos pero una niña Nebía estaba vien enferma pero los
medicos vinieron y nos curarón.
Tenga en cuenta que todos los textos híbridos, por definición, presentan problemas de integración de las secuencias entre sí: la secuencia descriptiva, por ejemplo, es paralela a la narrativa y no está incluida dentro de ella,
como sucedería si se tratara de un cuento. Como precisamente por este rasgo ya se los clasificó como híbridos,
ahora no debe reclasificárselos en el mismo sentido, sino que deben analizarse los problemas de distribución
de la información dentro de cada secuencia. Esto es, por ejemplo, si dentro de la secuencia descriptiva misma
hay subsubtemas entremezclados, si dentro de la secuencia narrativa misma hay hechos injustificadamente desordenados, etc.
Recuerde que la pregunta 12 no se aplica en el caso de los no-textos, ya que en ellos no es posible observar una
distribución de la información.
Ignore en este punto las reiteraciones de información que no se corresponden con ubicar mal las ideas englobadoras de anticipación o cierre de la información, ya que se evalúan en el siguiente.
13. ¿Evitó las reiteraciones de información? (Sí/ No / N.C.)
Responda a esta pregunta si marcó “Sí” en la 4 y en la 6, y si no marcó “Un no-texto” en la 10.
Si marcó “Un no-texto” en la pregunta 10, pase a la 14, después de marcar “N.C.” en ésta.
• En el caso de los textos adecuados a la consigna, marque “Sí” cuando el estudiante,
1) en el cuadernillo 1, se haya referido siempre a diferentes tareas escolares y/u hogareñas, e incluso a
algún otro tipo de tarea que no entre en estas categorías, porque esto ya fue evaluado;
2) en el cuadernillo 2, haya planteado siempre recomendaciones diferentes para evitar una misma enfermedad, incluso aunque desde el punto de vista de la salud haya un mismo trasfondo; por ejemplo, cuando a
“para no resfriarse” siguen “comer naranja” y “tomar jugo de limón”; también marque “Sí” cuando las mismas
recomendaciones aparecen hasta para una enfermedad más; por ejemplo, si al caso anterior sigue “comer naran-
172
ja y tomar jugo de limón para no tener gripe”; asimismo, marque “Sí” cuando lo recomendado no sea correcto,
pero sí razonable, desde el punto de vista del niño o de su cultura, ya que no evaluamos aquí saberes de las
ciencias naturales; por ejemplo, si aparece “lavarse con querosene para no tener piojos”; igualmente, si no queda
clara la diferencia entre lo preventivo y lo curativo, como en “para el dolor de estomago tomar al-calselser”.
• También en el caso de los textos adecuados a la consigna, marque “No” si el estudiante,
1) en el cuadernillo 1, repitió tareas escolares y/u hogareñas, incluso usando sinónimos que no dejan
lugar a dudas (“hacer lo del colegio”, “hacer lo que me pidió la maestra”);
2) en el cuadernillo 2, repitió la misma recomendación para la misma enfermedad o para más de dos
enfermedades.
• En el caso de los textos no adecuados y categorizados como “Otra descripción”, marque “No” cuando
observe que en el texto hay un punto en que la información no avanza porque se predican los mismos atributos
de un objeto, ser o fenómeno, o de algunos de los aspectos en los que se lo ha subtematizado. Por ejemplo, en
este caso (la repetición aparece en negrita):
La regla
Es un instrumento que sirve para hacer cosas rectas es larga y delgada y nos ayuda a dibujar cosas rectas es un utile que se
usa para hacer triangulos, cuadrados, rectángulos etc.
En el siguiente caso, marcaremos “No” porque, a pesar de aparecer en posición inicial, “hacer 5 cuentas” no
engloba las otras cosas para hacer y se reitera en “hacer 5 sumas” bajo la forma de la hiponimia:
Las recomendaciones
hacer 5 cuentas
hacer 6 caratulas
hacer 5 sumas
hacer 2 canciones
hacer 20 oraciones
• En el caso de los textos no adecuados y narrativos, marque “No” cuando observe que hay uno o más puntos
en los que la información no avanza porque se relata el mismo hecho sin adoptar un nuevo punto de vista, o
porque se predican los mismos atributos de un hecho o de un personaje. Por ejemplo, en este caso, la primera
visita al médico no es igual que la segunda, y tampoco lo es el primer acceso de tos que el segundo. Por lo tanto,
no hay repetición de información y consignaremos “Sí”:
Yo un dia tenia catarro y mi mama me llevo al medico. El medico me mando a tomar imeparma para la tos. Se me mejoro y fui al
medico y me mando a tomar jarabe de fresa. Despue me volvio a dar tos pero fue un poco de polbo que habia olido.
• Tenga en cuenta en todos los casos que reiterar palabras no es lo mismo que reiterar información: “completar
el cuaderno lenguaje” y “completar el cuaderno de matemática” no constituyen una reiteración de información.
De la misma manera, en la anécdota de arriba, la repetición de “el médico” es una expresión de coherencia
narrativa (y no de incoherencia dada por la falta de avance en la información): se sostiene el sujeto.
173
14. ¿Cuántas palabras escribió? N.C.
Responda a esta pregunta si marcó “Sí” en la 4 y en la 6. Si Marcó “No”, consigne en esta “N.C.”.
Cuente las palabras que escribió el estudiante en el texto definitivo y consigne el número en el casillero.
Considere las distintas ocurrencias de un lexema como palabras diferentes (“hacer”, “hago”, “hace”, entonces,
serán tres palabras). Ignore las clasificaciones que consideran que los artículos, las preposiciones y otras palabras existentes en el diccionario no son palabras.
Cuente los números y las abreviaturas (en “30 cm” hay dos palabras).
Cuente las palabras ignorando y/o supliendo los errores de léxico; es decir, si el estudiante escribe “nisiquiera”
y “con migo”, cuente 2 y 1 respectivamente. En textos más extensos de lo normal, es recomendable, para no
perder la cuenta, colocar el número de palabras contadas en cada oración o cada dos oraciones en un papel
aparte, y luego sumar esos números hasta llegar al total.
No olvide sumar las palabras que conforman el título o la firma.
En el siguiente ejemplo, hemos contado 35 palabras:
174
15. ¿Cuántos errores de léxico tuvo? N.C.
Responda a esta pregunta si marcó “Sí” en la 4 y en la 6. Si Marcó “No”, consigne en esta “N.C.”.
Cuente como errores de léxico todos los casos —aun los repetidos— que queden comprendidos en alguna de
las siguientes categorías:
1) empleo de un lexema por otro dada cierta afinidad entre sus formas: “tener más lóbulos rojos”, “darse un baño de inversión” (en cada uno de estos casos, hay un error);
2) reemplazo de un lexema por otro que es su sinónimo en otro contexto o que, sin existir en el sistema
de la lengua, está emparentado semánticamente con él: “tener engripe”, por asociación con “estar engripado”;
compasador por compás, por afinidad con transportador; “conservar limpio el ninodoro”, por sinonimia con
“mantener”, en otros contextos; “erbir la leche y y tomarla antes de su consumición” (por vencimiento);
3) desconocimiento llano de la forma de un lexema: “un útile”, “hirba el agua”, “tener dolor de estógamo”, “conservar limpio el ninodoro” (en este último caso hay dos errores: se usa conservar en vez de mantener,
sinónimos en otro contexto, y se desconoce la forma correcta inodoro), “despué”, “depué”, “usté”, “enfermeda”;
4) no identificación de los límites de las palabras: “tirar el agua a dentro”, “forar elcuaderno”; “re cortar
figuras”; “avrigarse por que el frio”, “me mandaron hatrapiar el piso” (en hatrapiar hay dos errores: la unión de
la preposición al verbo y el uso de i por e; se considera que el uso de h es un error de tipo ortográfico);
5) escritura silábica y no alfabética: “Lpiz d color”, “cuadrno”.
Tenga en cuenta que los errores de léxico se diferencian de los de ortografía, que no se evalúan en este nivel, y
también de los de desciframiento, que se evaluaron aparte, más arriba.
Es decir, no considere el uso de mayúsculas, el uso incorrecto de nexos coordinantes o artículos antes de vocal
similar, la incorrecta separación en sílabas, los grupos “mp”, “mb”, “-aba”, “-sión”, “-ción”, las tildes y, en general, cualquier empleo erróneo de la escritura de palabras que no corresponda al léxico. Ni considere tampoco
los errores sistemáticos en el uso de algunas mayúsculas (por ejemplo, porque el niño siempre escribe con mayúscula la hache), porque corresponde categorizarlos como errores de desciframiento.
Asimismo, deje de lado la repetición de palabras, que constituye una cuestión estilística que no se evalúa.
No considere los casos en los que se produzca alguna distracción. La distracción es tal cuando una contrastación con otros términos del texto mismo lo muestra: ella aparece ocasionalmente mientras que predomina, en el
resto, la escritura correcta desde el punto de vista léxico. Es lo que ocurre en el siguiente ejemplo con “icimo”
(distracción)/ “icimos”:
“Escrbe plabras/ Hay que bañarles/ icimos cuetas/icimos oraciones/icimos numeros/icimo Diviciones/ buscamos Palabras/
Adibinano Palabra/buscamos Palabras en el diccionario”
Si se observan una escritura incorrecta (“en fermo”) y otra correcta (“enfermo”) desde el punto de vista léxico,
no cuente ningún error: como siempre, ante situaciones de paridad, se cuenta en beneficio del texto.
Si se observa una sola escritura incorrecta (“nisiquiera”), cuente esa escritura como error.
Consigne el número de errores en el casillero. Para el siguiente caso, tomado de un cuadernillo 1, corresponde
marcar diez errores (se considera que el uso de h y rr es ortográfico y no léxico):
Mi pro fesora mepone haestudir y aler y escribir a prederme las tablas
Mi mama mepone hatrapiar la casa y la bare
Los errores son: 1) separación de “profesora”, 2) unión de “me pone”, 3) unión de “a estudiar”, 4) “estudir” por
“estudiar”, 5) unión de “a leer”, 6) “ler” por “leer”, 7) “prederme” por “aprenderme”, 8) unión de “me pone”,
9) unión de “a trapear” y 10) “trapiar” por “trapear”.
16. ¿Cuántos errores de concordancia? N.C.
Responda a esta pregunta si marcó “Sí” en la 4 y en la 6. Si Marcó “No”, consigne en esta “N.C.”.
Cuente los casos de:
1) no-concordancia sujeto-verbo (“La diarrea se evitan con el agua hirbiendo”);
2) no-concordancia sustantivo-adjetivo (“lapice ngros”, “regla cortito”);
3) no-concordancia nombre-pronombre (“le dijo a todos”, “ponerla a las verduras en labandina”);
4) empleo incorrecto de nexos coordinantes en el interior de la oración (“cuaderno tapa dura y rojo,
pero rayado”).
5) repeticiones de sujetos u objetos en el interior de la oración (“Al cuaderno yo le tengo que hacer la
carátula al cuaderno”).
175
No cuente los siguientes casos de error de construcción gramatical, que son muy altos para el nivel o que pueden aparecer con más frecuencia en uno de los cuadernillos que en otros:
-ausencia de correlación verbal en el marco de la oración (“Para no resfrairme nos abrigaríamos”);
-incorrecta inserción de suboraciones (“lapiz con los que subrayar”);
-errores de régimen (“libro forrado en plástico”);
-alteraciones del orden normal de la frase (“de comunicados un cuaderno”);
-empleo inadecuado de gerundios (“me curé enfermándome de gripe”).
No cuente tampoco los casos de error de construcción gramatical que excedan el marco de la oración (y que
aquí hemos llamado “de cohesión interoracional”);
por ejemplo:
Ponerse abrigo. No andamos descalzos en inbierno.
En textos no adecuados a la consigna, probablemente deba recurrir al concepto de oración para determinar
si el problema de concordancia se encuentra dentro de su marco o si la excede y concierne a dos oraciones.
Para esto, considere las oraciones tal como corresponderían a una puntuación correcta y no guiándose por los
signos de puntuación y/o las mayúsculas que haya colocado el alumno. Hágalo apoyándose en la figura tonal o
extensión comprendida en el habla entre el silencio inicial y la entonación terminal de la frase (descendente en
las afirmaciones).
Vea el siguiente ejemplo: el uso no concordante de “los” en la última oración no se cuenta porque el antecedente “gato” se encuentra en una oración anterior; el único error aparece subrayado:
“El gato”
Havia una vez un gato muy bonito y bien cuidado le gustaba tomar leche y comer croquetas el gato era muy latoso y enfadoso se subia
a las piernas de las personas y se dejaba acariciar. Es un gato muy inteligente le usta comer de todo y tomar de lo que sea le gusta
bañarse, ir al parque salir a odas partes es bonito Duerme dia, tarde y noche es muy dormilon come a las 2:00 desayuna a las 8:30
y cena a las 10:30 es bien comelón le gustan los niños Un dia el se subio a un arbo y le llame a los bomberos y los rescataron Fin
II.2. Solo adecuado a la consigna
17 a. En el cuadernillo 1, de las 10 ideas pedidas, ¿cuántas planteó? Casillero- N.C.
b. En el cuadernillo 2, de las 6 ideas pedidas, ¿cuántas planteó? Casillero- N.C.
Responda a esta pregunta sólo si ha marcado “Sí” en la 9, es decir, si el texto es adecuado a la consigna. Si marcó
“No”, indique en esta “N.C.”.
• En primer lugar, ubique el punto al que debe responder, a. o b. según el cuadernillo que esté evaluando.
• Numere las ideas del estudiante, una por una, en el margen de la prueba, empleando un lápiz o en una
hoja aparte.
• Consigne en el espacio en blanco de la planilla la cantidad de ideas que planteó el estudiante en el texto
definitivo respecto de las pedidas en la instrucción. Las ideas pedidas son:
1) en el cuadernillo 1, 10 menciones de tareas escolares y hogareñas, adoptando el punto de vista del
niño (“bañarse” puede ser una tarea) y con independencia de que las menciones sean cohesivas (“hacer deberes” y “tengo que lavar platos”, en este orden o en el inverso, constituyen dos menciones);
2) en el cuadernillo 2, 6 menciones de formas de cuidar la salud, incluso cuando ya se está enfermo,
independientemente de que tengan la estructura correcta de la recomendación;
176
No cuente el título como idea.
No cuente como ideas nuevas las que engloban aspectos particulares ya mencionados o que van a mencionarse:
Las ordenacione que me dio mi medico
[Que me labe los diente después de comer]1
[Que me cuide la garganta]2
[Me dijo que seque el pelo despues de vaniarme]3
[Que me dijo que me cuide para no enfermarme] 0: Englobadora
[Me dijo que no coma muchas cosas de chocolate]4
[Y me dijo que me cuide cuando me lastime]5
No cuente las ideas que no se refieran y circunscriban a uno de los 6 ó 10 puntos enumerados. Es decir, excluya
de la cuenta las menciones no pertinentes.
Tampoco cuente en forma doble las ideas repetidas.
Vea el siguiente ejemplo, tomado de un texto definitivo de cuadernillo 1; los corchetes, que encierran las ideas,
y los números, que las cuentan, son nuestros; los números repetidos indican ideas repetidas:
[aga calculos]1 [lava la verdura]2 [dibujar un dibujo]3 [bañarse]4
En este caso, por tanto, corresponde consignar 4.
Recuerde que el máximo de ideas que puede ponerse en relación con el cuadernillo 1 es 10 y, en relación con
el cuadernillo 2, 6. Si el niño redacta más de 10 ó 6 ideas respectivamente pertinentes, se colocará, de todos
modos, el número fijado como máximo.
18. Si desarrolló al menos la mitad de las ideas, ¿lo hizo en el formato textual pedido? Sí- No- N.C.
Responda a esta pregunta si en la anterior:
1) en el punto a. indicó 5 o más;
2) en el punto b. indicó 3 o más.
Si marcó menos de 5 y 3 respectivamente, marque “N.C.” y pase a la pregunta siguiente.
• Marque “Sí” cuando el estudiante haya estructurado el texto definitivo en forma de lista, es decir, colocando
o bien cinco o más o bien tres o más -según el cuadernillo- elementos de los solicitados uno debajo del otro;
separándolos mediante guiones o comas o, en el caso de usarse comas dentro del elemento, mediante punto y
coma; en el cuadernillo 1, también, poniendo mayúscula inicial y punto para separar tareas escolares de tareas
hogareñas, o bien constituyendo dos períodos de enumeración, uno para un tipo de tareas y otro para el otro
tipo. Tenga en cuenta que basta con que el alumno haya tomado uno de los criterios mencionados.
En el siguiente caso, aunque faltan comas dentro de uno de los términos de la enumeración y aunque hay puntos en vez de comas, corresponde marcar “sí”, porque el estudiante dispuso los elementos uno debajo del otro
y usó mayúsculas y cambio de sujeto para separar las dos enumeraciones:
Mi mamá me dice que varra.
que aregle la piezza.
que arrege las plantas.
que limpie la mesa.
que ponga los platos los cubierto cuchillos.
que limpie el vaño.
Mi maestra me dice que aga la tarea
y completar las cosas
177
En el siguiente caso, también corresponde marcar “Sí”, ya que el estudiante emplea los guiones para separar los
términos de la enumeración, salvo en un caso, en el que los usa también para separar los elementos que integran
esos términos:
Cosas de casa yescuela
Estudio-Matematica-Lengua-Practico las tablas-Ago la cama-Cocino-Pongo la mesa-Ayudo a mis hermanas- Guardo la ropa
• Marque “No” si el estudiante no estructuró el texto en forma de lista, es decir, si no separó gráficamente o
mediante una puntuación correcta los elementos enumerados.
En este caso, corresponde marcar “No”, porque el estudiante no se-para elementos:
Medieron de tarea una oración recortar 10 sustantivos con las palabras que te di ace oraciones recorta vervos mi papá me dijo que
aga 10 oraciones y ordena la pieza
19 a. En el cuadernillo 1, ¿el niño menciona, entre las tareas que le piden en el hogar, una o más propias de los adultos?
b. En el cuadernillo 2, ¿el niño menciona recomendaciones médicas que no se corresponden con
la práctica de la medicina occidental?
Responda a esta pregunta sólo si ha marcado “Sí” en la 9, es decir, si el texto es adecuado a la consigna. Si marcó
“No”, indique en esta “N.C.”.
• En primer lugar, ubique el punto al que debe responder, a. o b. según el cuadernillo que esté evaluando.
• En el caso del cuadernillo 1, marque “Sí” cuando observe que el estudiante dice realizar él mismo una o más
tareas, actividades o trabajos propios del mundo de los adultos, que demandan un tiempo que podría atentar
contra el estudio o un esfuerzo no adecuado al desarrollo físico, esporádicas o regulares, asalariadas o no, por
propinas o no, surgidas de la pobreza o la falta de recursos o, incluso, de una eventual situación de explotación.
Son tareas de este tipo, por ejemplo, “alimentar a los animales”, “lavar los corrales”, “trapear los pisos”, “cosechar”, “cuidar a mis hermanos”, “pedir dinero”, “salir a limpiar vidrios de los coches”, “juntar cartones”, etc.
• Marque “No” si el estudiante dice realizar tareas o actividades que demandan un tiempo breve y un esfuerzo
adecuado al desarrollo físico del niño de 8 a 10 años, que se presentan como colaboración con el adulto, o que
el adulto pide para estimular ciertos aprendizajes o para motivar. Son tareas de este tipo: “poner la mesa”, “lavar
los platos”, “ordenar mi pieza”, “guardar la ropa”, “ayudarla a vigilar a mi hermano”, “regar las plantas”, “hacer
compras”, “buscar el pan”, “alimentar al perro”, etc.
• En el caso del cuadernillo 2, marque “Sí” cuando el estudiante mencione una o más prácticas de salud curativas
o preventivas que no se corresponden con las de la medicina tradicional occidental o que, por su formulación,
pueden llevar a pensar que no se corresponden. Son prácticas de este tipo: “tomar té de nogal/ de hierbabuena/
de coca/ de laurel”, “tomar leche caliente con licor”, “frotarse crema de eucaliptos”, “mascar hojas de coca”,
“comer carbón”, “frotarse los dientes con ceniza”, etc.
• Marque “No” cuando el estudiante mencione prácticas de salud curativas o preventivas que se corresponden
claramente con las de la medicina tradicional occidental. Incluya, entre estas prácticas, las que transmiten los
propios padres: “no mojarse en la lluvia”, “dormir abrigado”, “no andar descalzo en invierno”, etc.
En caso de duda, en cualquiera de los dos cuadernillos, marque “Sí”, ya que el objetivo es detectar posibles
casos para un nuevo análisis no lingüístico y fundado en categorías sociológicas bien delimitadas, que apoye el
estudio de factores asociados al rendimiento, y habrá otra instancia para descartarlos.
178
Cuarta parte
1. Instructivo para la evaluación de las pruebas de sexto año
A continuación, se dan las instrucciones de marcado de cada una de las opciones que componen los ítems de la
planilla para evaluar las pruebas de escritura de sexto año. Como en tercer año, cada pregunta indaga un aspecto
específico de la escritura, que se diferencia claramente de los restantes y, por esa razón, las instrucciones acotan
el universo al que cada opción de marcado atiende.
Nuevamente, la mayoría de los ejemplos incluidos son críticos, porque ellos son los que le plantearán más dudas
al evaluador.
A continuación, reproducimos un facsímil de la planilla a la que pasaremos a referirnos.
179
Encabezamiento
• Copie todos los datos que figuran en el encabezamiento de la prueba y que tengan sus correspondientes
casilleros en la planilla de evaluación en blanco.
• Revise la correspondencia entre los datos originales y los copiados.
I. Borrador
1. El niño ¿escribió el borrador? (Sí/ No/ Sí, pero borró lo escrito/ N.C.)
• Marque “Sí” cuando el estudiante haya empleado el espacio asignado para la redacción del borrador, es decir,
aun cuando haya escrito una sola palabra-clave o haya dibujado. Ignore el hecho de que lo escrito se corresponda o no con lo pedido.
• Marque “Sí, pero borró lo escrito” cuando el borrado de lo escrito sea total.
• Marque “No” cuando el borrador no haya sido utilizado en absoluto.
Si responde “Sí”, debe pasar a las preguntas 2 a 4. Y si marca “Sí, pero lo borró” o “No”, al ítem 5, después de
marcar “N.C.” (“No corresponde”) en los ítems 2 a 4.
2. Si lo hizo, ¿lo redactó como un texto para sí? (Sí / No / N.C.)
• Marque “Sí” cuando el estudiante haya empleado el espacio asignado para la redacción del borrador sin dejar
marcas de la intención de hacer un texto para otros, es decir, si observa el predominio de los siguientes aspectos
por sobre los que se listan en “Marque ‘No’”:
1) una caligrafía no esforzada,
2) palabras escritas sin cuidar la línea horizontal,
3) palabras clave y no oraciones completas o que completan, como si fuera una pregunta, el título
de la columna;
4) palabras o construcciones agregadas en medio de otras ya escritas,
5) palabras abreviadas,
6) flechas u otros signos dibujados para indicar reordenamientos de la información,
7) tachaduras,
8) dibujos o esquemas sin intención estética.
Deje de lado el hecho de que las palabras, las frases y/o los dibujos respondan al tema propuesto.
Para determinar si la caligrafía y la presentación son cuidadas o no, prescinda de comparar el borrador con el
texto final: la comparación se demanda más adelante.
En el siguiente caso, por ejemplo, corresponde marcar “Sí”, ya que, aunque las dos últimas columnas aparecen
redactadas como respuestas, se observan dos columnas con palabras clave, una caligrafía no cuidada, una disposición algo oblicua de las palabras y remarcaciones, es decir, un predominio de rasgos de texto para sí:
180
• Marque “No” cuando observe el predominio de los siguientes aspectos en relación con los enumerados en
“Marque ‘Sí’”:
1) oraciones completas o que completan el título de la columna como si fuera una pregunta y que no
incluyen correcciones visibles (tachaduras, agregados, etc.);
2) una caligrafía evidentemente cuidada;
3) el uso de una regla para “apoyar” la escritura de las palabras;
4) el trazado de líneas como renglones;
5) el borrado total o parcial (y no el tachado) de palabras, frases o dibujos;
6) la corrección total o parcial de palabras, frases, esquemas y dibujos para volverlos más claros o más
“bonitos”.
En el siguiente caso, por ejemplo, corresponde marcar “No”, ya que el estudiante predominantemente redacta
oraciones completas en tres de las cuatro columnas, con mayúscula y signos de puntuación, sin economizar
esfuerzos.
181
3. ¿Siguió, en general, la consigna? (Sí/ No / N.C.)
• Marque “Sí” en el caso en que el estudiante haya consignado en el borrador al menos una palabra-clave y/o
idea (subsubtema) que se corresponda con lo solicitado en la consigna y no se observe un predominio, en el nivel de los subtemas, de otras ideas, es decir, aunque haya ignorado una o más de las 4 ideas pedidas pero siempre
y cuando la mayoría sean adecuadas.
• Marque “No” si el estudiante no consignó en el borrador predominantemente palabras-clave y/o ideas que se
correspondan con lo solicitado, es decir, si:
1) interpretó erróneamente el tema y, por ejemplo:
- en el cuadernillo 1, hizo referencia a su propio perro o a otro animal en más de dos de las
columnas;
- en el cuadernillo 2, se refirió a una comida diferente del pan o se centró en los panaderos, o
se refirió a lo que le gusta comer o a cómo se come otro alimento, o listó en más de dos columnas subsubtemas
no pertinentes;
2) interpretó erróneamente el tipo de texto y, en vez de describir, por ejemplo, relató, o redactó oraciones o
palabras sin un sentido acorde a lo solicitado en la instrucción.
En el borrador que mostramos a continuación, se observan un sub-subtema no pertinente en la columna Características físicas, uno pertinente y otro no pertinente (se habla de la sopa que toma un perro en particular)
en la columna Alimentación, dos pertinentes en Costumbres y tres no pertinentes (por su referencia personal
y no objetiva) en la columna Relación con las personas. Como dos de los subtemas, entonces, presentan ideas
adecuadas, indicaremos “Sí”, ya que, ante la situación de paridad, se obra en beneficio del texto.
182
Marque “N.C.” si el borrador resulta por completo ilegible y no puede evaluarse si el estudiante siguió o no la
consigna.
Si marca “Sí”, pase a la pregunta siguiente.
Si marca “No” o “N.C.”, pase a la pregunta 5, después de marcar “N.C.” en la 4 y en la 9.
4. De las 4 ideas pedidas, ¿cuántas planteó? N.C.
• Numere las ideas del estudiante, una por una, en una hoja aparte.
• Consigne en el espacio en blanco de la planilla la cantidad de ideas o subtemas que tomó el estudiante en el
borrador respecto de las pedidas en la instrucción. Las ideas pedidas son, en los dos cuadernillos, 4; si el estudiante consignó más de cuatro (es decir, si hizo referencia a otro aspecto no pedido, como el hábitat del perro
o la historia del pan), se colocará de todos modos este número:
1) en el cuadernillo 1, al menos una idea referida a las características físicas del perro (y no sólo la mención de una o más partes del cuerpo), al menos otra sobre su alimentación, al menos otra sobre sus costumbres
y al menos otra sobre su relación con las personas;
2) en el cuadernillo 2, al menos una idea referida al aspecto exterior del pan, al menos otra sobre los
ingredientes que lo componen, al menos otra sobre el modo en que se lo cocina y al menos otra sobre el modo
en que se lo come.
Cuente como “ideas” desde palabras-clave hasta párrafos. Son expresiones-clave posibles, por ejemplo:
1) en el cuadernillo 1, columna Características físicas, “limpio”; “uñoso”, “chico”, “peludo”, “ajil”,
“cuatro patas”, “cuadrúpedo”, “2 orejas” y columna Relación con las personas “fiel” o “el perro tiene cuatro
patas mientras que las personas dos” (en efecto, como se ve en el último ejemplo, algunos estudiantes desarrollan la idea de “relación” en términos de comparación).
2) en el cuadernillo 2, columna Ingredientes, además de los típicos, “carn”, “tosino”, “qeso”, “leche”;
y, en la columna Cómo se come, además de las referencias a los modos de acompañarlo, “cortando pedazos”,
“masticándolo”, etc.
No cuente las ideas que no se refieran y circunscriban a uno de los 4 puntos enumerados. Es decir, excluya de
la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes:
1) en el cuadernillo 1, columna Características físicas, “es muy bueno”, “cariñoso”, “juguetón”;
2) en el cuadernillo 2, columna Ingredientes, “horno”, “los ingredientes se amasan”.
Tampoco cuente en forma doble las ideas repetidas, como [El perro], Relación con las personas: “les ladra” y
Costumbres: “ladrar”.
No deben sumarse tampoco los subsubtemas en el interior de cada subtema: si el niño colocó 4 características
físicas del perro y luego dejó en blanco las otras tres columnas o las completó con ideas no pertinentes, se colocará 1.
En el siguiente ejemplo, tomado de un borrador de cuadernillo 1, corresponde consignar 3 de las 4 ideas pedidas, porque se considera, dejando de lado cuestiones científicas y con el criterio de inclinarse por “Sí” cuando
se tienen dudas, que el ser mamífero es una característica del animal que se manifiesta en sus características
externas.
183
Características
físicas
Alimentación
El perro cuida la casa, es Se alimenta de huesos,
mamífero, juguetón, etc. de comida, etc.
1
2
Costumbres
Relación con las
personas
El perro se a costumbre a Su dueño le pone un
ladrar, cuidar, jugar, pelear nombre.
con unos animalitos.
3
0
II. Texto definitivo
5. El niño ¿escribió el texto definitivo? (Sí/ No/ Sí, pero lo borró)
• Marque “Sí” en el caso en que el estudiante haya escrito en el espacio asignado a la versión definitiva,
aunque haya borrado parcialmente lo que escribió, ignorando el hecho de que el texto sea correcto
o incorrecto, adecuado a lo pedido o inadecuado.
• Marque “Sí, pero lo borró” en el caso en que el estudiante haya borrado o tachado por completo algo
escrito en el espacio asignado a la escritura del texto definitivo.
• Marque “No” si el estudiante dejó totalmente en blanco el espacio asignado a la escritura del texto definitivo.
Si marca “Sí”, pase a la pregunta siguiente.
Si indica “Sí, pero lo borró” o “No”, marque “N.C.” en todos los ítems restantes de la planilla.
6. Si lo hizo, ¿mejoró la presentación respecto del borrador? (Sí/ No / N.C.)
Responda a esta pregunta sólo si marcó “Sí” en la pregunta 1.
• Compare la superficie del borrador con la del texto.
• Marque “Sí” cuando observe que son más los elementos mejorados que los que se mantuvieron con la
misma presentación. Considere como elementos para ser mejorados los siguientes:
1) la caligrafía;
2) la horizontalidad en la escritura de las palabras;
3) la linealidad en la disposición de las palabras y las frases (si ya no se observan o se observan menos
palabras o construcciones agregadas en medio de otras ya escritas, o flechas que indiquen dónde colocar una
idea);
4) los dibujos que ilustran las ideas, siempre y cuando no interfieran con la disposición del texto en
forma de lista (cuadernillo 1) o lista o enumeración (cuadernillo 2).
Asimismo, son expresiones de mejoría:
5) la supresión de tachaduras;
6) la eliminación de dibujos innecesarios o la transformación de dibujos en texto;
7) la introducción de elementos gráficos, como las viñetas (• u otro), que suelen encabezar las listas, o
títulos jerarquizados;
8) la disposición en forma de cuadro sinóptico de elementos que en el borrador lo estaban.
9) la colocación de un título con jerarquía de tal;
184
10) la transformación de palabras-clave en oraciones, o la de construcciones incompletas en oraciones
completas;
11) el reemplazo de palabras repetidas por sinónimos o la eliminación de palabras repetidas por falta de
atención (“es blanco y y crocante” —> (“es blanco y crocante”).
En el siguiente caso, por ejemplo, de la comparación se infiere que corresponde marcar “Sí”:
185
• Marque “No” cuando observe que entre el borrador y el texto definitivo no hay diferencias de presentación,
es decir, cuando aparezcan las mismas u otras características propias de un texto para sí. Las marcas persistentes
y/o predominantes que deberán observarse para marcar “No” son las siguientes:
1) una caligrafía no esforzada,
2) palabras escritas sin cuidar la línea horizontal,
3) palabras o construcciones agregadas en medio de otras ya escritas,
4) palabras abreviadas,
5) flechas u otros signos dibujados para indicar reordenamientos de la información,
6) tachaduras;
7) disposición del texto en columnas;
8) pérdida de información pertinente.
7. ¿El texto puede ser en general leído? (Sí/ No/ N.C.)
• Céntrese en el texto definitivo. Marque “Sí” en el caso en que todas las palabras puedan ser leídas, aunque el
escrito no tenga un sentido claro. Asimismo, si hay unas pocas palabras indescifrables que, sin embargo, permiten adjudicar un significado general a las frases o al texto.
• Marque “No” solo en el caso en que las palabras no puedan descifrarse al punto de que resulte imposible contarlas. Asimismo, si la cantidad de palabras que no pueden descifrarse es tal que no puede reponerse el sentido
de la frase. Puede ocurrir que sea posible reconocer y contar espacios que corresponden a palabras, pero que
éstas no puedan leerse de todos modos. También, que se lean grafemas que, sin embargo, no constituyen en
conjunto una palabra descifrable. También marque “No” en estos casos. Vea el ejemplo:
186
Si marca “No”, complete “N.C.” en todos los puntos restantes de la planilla.
8. Si puede ser leído, ¿excluye los problemas puntuales de desciframiento? (Sí/ No /N.C.)
• Marque “Sí” cuando la escritura resulta clara por la forma de las letras, por las distinciones entre el cuerpo
de la letra y el enlace, porque se dejan espacios evidentes entre palabras y porque se diferencian mayúsculas de
minúsculas.
• Marque “No” cuando la forma de las letras resulte ambigua, cuando no se distingan con claridad el cuerpo de
la letra y el enlace, cuando no se dejen espacios suficientes entre palabras, cuando no se diferencien mayúsculas
de minúsculas o se usen solamente mayúsculas o solamente minúsculas.
En el siguiente caso, se observan problemas de desciframiento: la “p” y la “t” siempre son dibujadas en su forma mayúscula; sin embargo, ese problema no impide la lectura del texto como totalidad; por eso, en el punto
7, habremos calificado el texto como legible y en este, lo calificaremos como “texto con problemas de desciframiento”. Nótese, además, que, una vez constatado este problema, no podremos consignar como errores de
ortografía todos los usos de “P” y “T”: evidentemente, se trata de que el alumno no sabe dibujar estas letras
en minúscula. No puede afirmarse lo mismo del uso de “r” y “R”; en consecuencia, en el punto ortografía, se
contará como error el uso de “R” en “RomPer”:
En suma, la caligrafía que mezcla mayúsculas y minúsculas, o la que emplea solo mayúsculas, a diferencia de la
que combina cursivas e imprentas, no permite expresar el uso ortográfico y, algunas veces, implica una incorrecta separación de palabras. Cuando se observe alguna de estas situaciones, se dirá que el texto no excluye los
problemas de desciframiento y no se dirá que el alumno no conoce los límites de la mayoría de las palabras que
escribe y que por ello las junta todas, lo que constituiría un gravísimo problema de léxico, ni que cree que todas
las palabras son sustantivos propios y que por ello las pone con mayúscula, ni que cree que todas las palabras
con “p” deben llevar “P”, lo que constituiría un gravísimo ortográfico. Lo único que puede afirmarse con certeza es que la caligrafía acarrea al lector dificultades para descodificar palabras y frases.
9. El niño ¿mantuvo los subsubtemas y la estructura planteados en el borrador? (Sí/ No / N.C.)
• Responda a esta pregunta sólo si marcó “Sí” en la pregunta 1. Si en la pregunta 1 indicó que el niño no hizo
o borró el borrador, no marque “N.C.”, sino “No”. N.C. se reserva para el caso en que el texto resulte ilegible
(pregunta 7 de la planilla).
• Marque “Sí” en el caso en que el estudiante haya retomado, a la vez, la estructura descriptiva y el 75% o más
de los subsubtemas plasmados en el borrador e inscriptos en el tema dado.
Hablar de cantidad subsubtemas implica considerar la cantidad de unidades de sentido textual que aparecen
en cada columna del borrador -con independencia de que sean adecuadas al subtema -aspecto que se evalúa
luego- y que son retomadas en la construcción del texto definitivo. Por ejemplo, si el alumno escribe en el
borrador dos subsubtemas en el subtema Características físicas (“jugar” -no pertinente- y “tiene cuatro patas”
-pertinente-, tres en Alimentación (“carne”, “vegetales”, “basura”, “comida balanceada”, “huesos”) cinco en
Costumbres (“dormir”, “comer”, “orinar”, “romper cosas”, “comer huesos”) y cinco en Relación con las personas (“buena”, “excelente”, “amigo”, “cuidador”, “mala con desconocidos”) basta con que retome 12 de esos
subsubtemas haciendo referencia al tema global perro para que el aspecto temático se considere recuperado;
también, por supuesto, puede retomarlos todos.
187
Ahora bien, además hay que considerar la estructura. Como la estructura del borrador de sexto año es forzosamente descriptiva —porque así lo condiciona el borrador en que se entregan el tema y los subtemas—, el
estudiante deberá mantenerla para que corresponda marcar “Sí”.
De este modo, quedarán bajo la categoría de textos que mantienen los subsubtemas y la estructura dos clases
de textos:
-Los adecuados en general a la consigna que recuperan el 75% o más de los subsubtemas;
-Los que en el punto 11 clasificaremos como “Otra descripción” por, a la vez, referirse al propio perro
o al pan de la propia comunidad y por reutilizar el 75% o más de los subsubtemas planteados en el borrador.
Si, en cambio, el estudiante retoma todos los subsubtemas de Características físicas, Alimentación, Costumbres
y Relación con las personas para escribir, en el texto definitivo, una narración (cuento o anécdota), diremos
“No”: se han conservado aspectos temáticos, pero no la estructura.
De la misma manera, si el estudiante retoma todos los subsubtemas de Características físicas, Alimentación,
Costumbres y Relación con las personas para escribir, en el texto definitivo, una descripción sobre el gato, el
caballo u otro animal, diremos “No”: se han conservado la estructura y los susbsubtemas pero éstos se refieren
a otro tema global.
Además diremos “no”, por supuesto, si entre el borrador y el texto no hay relación ni temática ni estructural y,
por ejemplo, en el borrador se listan subsubtemas correspondientes al tema pan y a los subsubtemas Aspecto
exterior, Ingredientes, Cómo se prepara y Cómo se lo come y, en el texto definitivo se redacta una publicidad
de mermeladas.
En el siguiente caso, tomado del cuadernillo 2, corresponde marcar “No”, ya que, a pesar de lo expresado en
el título, el texto definitivo retoma del borrador sólo un subsubtema y resulta, a diferencia de éste, un híbrido
(mezcla de descripción y recomendación) y no una descripción; es decir, no se recuperan ni los subsubtemas
en un 75% o más ni la estructura:
Borrador
Aspecto exterior
Aspero
Ingredientes
Arina
Agua
Sal
Levadura
Texto definitivo
El Pan
El pan es muy bueno y muy rico, pero aspero
Podes tomar la leche y acompañarla con el rico pan
Cómo se cocina
Cómo se lo come
Se pone en el horno
Cortado
Refuerzo
188
En este caso, también corresponde marcar “No”, porque en el borrador y en el texto definitivo se plantearon
dos textos sin relación subsubtemática y estructural entre sí:
Borrador
Texto definitivo
189
10. Independientemente de lo que haya hecho en el borrador, ¿se refirió en general a lo pedido?
(Sí/ No / N.C.)
• Marque “Sí” cuando el estudiante haya escrito un texto que se corresponda predominantemente con la situación comunicativa, el tema y la macroestructura propuestos por la instrucción, es decir, si, respondiendo
básicamente a la pregunta “¿cómo es?” y empleando, en general, un tono de objetividad:
1) en el cuadernillo 1, describe al menos a una característica física del perro o una de sus costumbres o
su alimentación o un aspecto de su relación con las personas, y si no son más las ideas no pertinentes que esas
pertinentes;
2) en el cuadernillo 2, describe al menos a un rasgo externo del pan o hace referencia a dos de sus ingredientes o a uno de los modos en que se lo cocina o a uno de los modos en que se lo come, y si no son más
las ideas no pertinentes que esas pertinentes.
Si observa errores puntuales, es decir, si observa ideas no pertinentes cuando la mayoría son pertinentes, marque también “Sí”, como en este caso, que consistió en insertar una instrucción dentro de la descripción enciclopédica):
Los perros comen carne, vejetales y comida que venden especialmente para ellos. Es un animal cuadrúpedo. No dejarles gatitos cerca
(tenga cuidado). Acostumbra desde chico comer adecuadamente, adaptarse a animales más chicos, no morder. Son obedientes a las
personas. Les gusta correr y jugar con la pelota
En este otro caso, también se observa un error puntual: se incluye un término subjetivo, inadecuado en una
descripción de tipo enciclopédico:
El perro es un animal guardián y compañero, etc se alimentan de carne, pan, leche, comida para perros. Las costumbres son simpaticas.
Deje de lado el hecho de que el texto aparezca o no titulado, pues se lo evalúa luego.
• Marque “No” si los aspectos del tema, la situación comunicativa y la clase textual pedidos no se observan en
forma predominante; por ejemplo, si el estudiante:
1) interpretó erróneamente el tema y
- en el cuadernillo 1, hizo referencia predominantemente a su propio perro o a otro animal;
- en el cuadernillo 2, se refirió predominantemente a una comida diferente del pan, o a aspectos
del pan no requeridos en la consigna, o se centró en las panaderías, o se refirió a lo que le gusta comer o a cómo
se come otro alimento;
2) interpretó erróneamente el tipo de texto y, en vez de describir, relató un cuento o una anécdota, o
redactó una receta (aún cuando tenga la lista de ingredientes pedida en la instrucción) u oraciones o palabras sin
un sentido acorde con lo solicitado en la instrucción.
En el siguiente caso, por ejemplo, tomado del cuadernillo 1, corresponde marcar “No”, ya que el estudiante, a
pesar de haber elaborado una descripción, no se refirió al tema pedido:
El mundo animal es agradable. Es preistorico, es de un continente llamado Africa. Es hermoso, y para terminar decimos que
fue reconocido
Lo mismo ocurre en el siguiente caso, tomado del cuadernillo 1; si bien hay una descripción e, incluso, una
referencia a los subtemas pedidos, el objeto descripto es singular (un perro en particular) y no general, y la descripción aparece enmarcada en una suerte de relato trunco y formulada por ende en pasado:
El perro habil
Un día en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro
se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que
vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los
perros.
FIN
190
En el caso siguiente, si bien aparecen nuevamente ciertos elementos temáticos adecuados, también corresponde
marcar “No” porque las frases sueltas no llegan a constituir un texto descriptivo:
El pan branco
Como es es branco y de leche
Ingredientes de la arina elevadura
Conque se come
Si marca “Sí”, pase a la pregunta 12 después de marcar “N.C.” en la 11.
Si marca “No”, pase a la pregunta 11.
11. Si no escribió un texto acorde con la instrucción, ¿qué clase de texto escribió? Una copia completa
o parcial, textual o parafraseada, de la instrucción / Un cuento / Una anécdota / Otra descripción /
Otro / Un no-texto / N.C.
Responda a esta pregunta sólo si marcó “No” en la 10.
• Marque “Una copia completa o parcial, textual o parafraseada, de la instrucción” si el niño copia parte de la
consigna o responde a los planteos para el mejoramiento del borrador dados en el paso 2 de la prueba:
Transformar tus ideas en borrador.
Los niños leeran la enciclopedia.
• Marque “Un cuento” si el niño redactó una narración ficcional sobre un tema que no aparece en la consigna,
aunque sea breve y no tenga plenamente desarrolladas sus partes constitutivas, tal como se plantea en el Glosario. Por ejemplo, este caso ya citado será considerado una narración y no una descripción porque la descripción
se estructura como introducción o situación inicial de un relato; además, será considerado cuento y no anécdota
porque rige la tercera persona y aparece un giro propio del primer género: “Un día”.
El perro habil
Un día en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro
se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que
vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los
perros.
FIN
• Marque “Una anécdota” si el niño redacta un relato personal realista que, si está enteramente desarrollado,
en vez del nudo propio de un cuento, incluye una ligera complicación, como se indica en el Glosario. Tenga en
cuenta que una narración personal o de hechos protagonizados por el autor del texto no es lo mismo que una
narración en primera persona: ésta puede ser ficcional, como la del ejemplo siguiente, que será clasificado como
cuento y no como anécdota:
El perro
Era un domingo soleado, lo recuerdo muy vien. Mi dueño me enseño una cadena, y cuando lo bi averigue que hivamos a salir, pero
no fue asi. Me llevaba a la perrera donde habían un señor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron
a una jaula donde habían perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y
de pronto habrieron me cojieron por el coyar y me entregaron a otro dueño, me sentí feliz, libre pero aquel dueño nunca me podre
olvidar de el porque el me iso todo lo que tube cuando vivi con el.
191
• Marque “Otra descripción” si el niño se refiere a cómo es un objeto, un ser o un fenómeno no mencionados
ni central ni lateralmente en la instrucción. También, si el tema de la descripción aparece singularizado, como
en el caso siguiente:
El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se
orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no
hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a
el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaña
siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a
nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo.
• Marque “Otro” si el alumno escribió un texto que no puede clasificarse de acuerdo con ninguna de las categorías anteriores, como en el siguiente caso, una especie de receta incluida en la sección Cocina de una publicación
mediática:
Gerp.com
Para hacer Pan deven laverse las manos despacio.
Poner los Ingredientes conforme a la reseta.
Coser bien el Pan Para que no les haga mal Lo pueden comer con mermelada, con Pollo con lo que deseen Si necesitan mas Informacion visiten mi pagina de Internet que aconti-nuacion les doy
www.GERP.COM
Se les agradece por su colaboración en este numero de cosina Grasias.
A continuación transcribimos otro ejemplo, una especie de texto publicitario, en el que corresponde marcar
“Otro”:
“Pan”
Usted Podra saboriar un delicioso Pan. Producto elaborada bajo altas normas higiene.
Solo colóquelo al orno y Listo.
Podra compartirlo con toda la familia. Con leche y canele como usted lo dese.
Usted Podra elaborar barias clases de Pan. intentelo usted y bera que posible.
Marque también “Otro” si el texto es un híbrido, es decir, una combinación de dos o más secuencias de diferentes géneros e igual predominio y que no constituyen, como totalidad, un texto que pueda adscribirse a un
género en particular. En el siguiente caso, la descripción y la anécdota se encuentran en el mismo nivel, por lo
que se marcará “Otro”:
Mi Perro y yo
Yo vivo en una casa con mis padres y un perra que se llama pequeña Ella es mi mejor amiga y compañera yo la quiero mucho
siempre salimos a jugar a la plaza yo le digo CHECHU y ella me ladra y salta corr mos mucho jugamos tambien cuando la baño
es muy divertido porque se sacude y me moja un dia ella estaba sentada en la puerta y iva pasando una mujer distraida y ella le
enpeso a aladrar y la señora se asusto mucho y dijo “hay perra que te hice para que me ladraras si paso todos los dias por aca” esta
es un poco de mi vida y de mi perra. espero que les halla gustado.
• Marque “Un no-texto” si el estudiante no escribió un texto, sino una oración sin o con sentido, o una serie
de oraciones sin enlaces, del tipo: “un perro está rabioso, “el perro es negro o blanco”, “yo tengo un perro”.
Recuerde que, cuando se observe un solo enunciado -narrativo, descriptivo, instruccional, etc.- se marcará “Un
no-texto”, incluso, cuando se observe un título, como en el caso siguiente:
192
El pan
El pan es comida de cada dia
A continuación transcribimos otro ejemplo de no texto:
El alimento de nuestra vida
El alimento es necesario como el pan es buen para la vida moderna. El pan tien muchas vitaminas que nos trae en nuestro cuerpo
diaria. No usamos los que puede usarlo en nuestra vida como el carne nos trae una buena salud. Las verduras es tiene muchísimas
element
• Marque “N.C.” si marcó “Sí” en la pregunta 10.
Adecuado o no a la consigna
12. ¿Escribió un título que exprese globalmente el tema del texto que redactó? Sí- No- N.C
Responda a esta pregunta si marcó “Sí” en la 5 y en la 7, y si no marcó “Un no-texto” en la 11.
Si marcó “Un no-texto” en la pregunta 11, pase a la 15, después de marcar “N.C.” en esta y en las preguntas 13
y 14.
• En el caso de los textos adecuados a la consigna, marque “Sí” en el caso en que el título, ajustándose a la situación comunicativa, designe el tema o contenido del texto (“El perro”, “Cómo es el perro”, “El pan”, “Una
comida básica”, “Así es el perro”, etcétera) y/o indique el género (“Descripción del perro”, etcétera).
• Marque “No”, en el caso de los textos adecuados, cuando el estudiante no haya incluido un título o cuando
éste no presente una de las características anteriormente mencionadas. En estos casos, tomados de textos adecuados, el título no designa el tema global (la falla se encuentra en el nivel de la situación comunicativa y no del
tema):
Mi animal favorito
La elaboración del pan según yo
Por otra parte, el título puede presentar problemas gramaticales y, sin embargo, expresar el tema; es el caso de
“Panes de mucho tipo”.
Para determinar la adecuación del título en textos no adecuados a la consigna, es conveniente recurrir a lo señalado en la pregunta 10 respecto del género. Es decir, si usted ha marcado en esa pregunta “Una anécdota”,
podrá dar por buenos títulos del tipo “Lo que me pasó”, “El día que...”, “Mi pan doradito”, etc., que remiten al
género. Tenga en cuenta que, si el alumno redactó un cuento, puede darse el caso en que el título agregue nuevos
significados al texto y exija al lector realizar una inferencia de alto nivel. En efecto, los títulos de los textos ficcionales suelen formularse en lenguaje figurado o connotativo, por lo que resulta casi imposible determinar su
adecuación. En este cuento narrado en primera persona y ya citado más arriba, por ejemplo, el título en tercera
debe considerarse adecuado, pues podría tratarse de un caso de polisemia, de generación de expectativas para
“frustrarlas”, etc.
193
El perro
Era un domingo soleado, lo recuerdo muy vien. Mi dueño me enseño una cadena, y cuando lo bi averigue que hivamos a salir, pero
no fue asi. Me llevaba a la perrera donde habían un señor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron
a una jaula donde habían perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y
de pronto habrieron me cojieron por el coyar y me entregaron a otro dueño, me sentí feliz, libre pero aquel dueño nunca me podre
olvidar de el porque el me iso todo lo que tube cuando vivi con el.
Los textos que fueron clasificados como híbridos merecen una consideración particular: como por definición
no están adscriptos a una estructura definida, el único criterio que queda para considerar la adecuación del título
es el temático. En el siguiente texto híbrido, el título no resultaría adecuado porque plantea como tema del texto
algo que en él constituye una información lateral, condicional:
Gerp.com
Para hacer Pan deven laverse las manos despacio.
Poner los Ingredientes conforme a la reseta.
Coser bien el Pan Para que no les haga mal Lo pueden comer con mermelada, con Pollo con lo que deseen Si necesitan mas Informacion visiten mi pagina de Internet que aconti-nuacion les doy
www.GERP.COM
Se les agradece por su colaboración en este numero de cosina Grasias.
En cambio, en este otro texto híbrido, el título sí expresa el tema:
Mi Perro y yo
Yo vivo en una casa con mis padres y un perra que se llama pequeña Ella es mi mejor amiga y compañera yo la quiero mucho
siempre salimos a jugar a la plaza yo le digo CHECHU y ella me ladra y salta corr mos mucho jugamos tambien cuando la baño
es muy divertido porque se sacude y me moja un dia ella estaba sentada en la puerta y iva pasando una mujer distraida y ella le
enpeso a aladrar y la señora se asusto mucho y dijo “hay perra que te hice para que me ladraras si paso todos los dias por aca” esta
es un poco de mi vida y de mi perra. es-pero que les halla gustado.
Es importante recordar que, cuando en la pregunta 10 se marcó “Un no- texto”, en esta debe consignarse
“N.C.”. En efecto, como se ha indicado en la entrada “Texto” del Glosario, el no-texto se caracteriza por no
presentar ni un género ni un tema ni una situación comunicativa, por lo que no es posible asignar un título. Véase el siguiente ejemplo, en el que corresponde indicar “N.C.” aunque el alumno haya redactado un enunciado
en posición de título:
Mi perro es juguetón
Me gusta el perro de mi casa
Finalmente, es necesario recordar también que en este punto se está evaluando la distribución de la información
en el texto definitivo y no comparando la distribución en el borrador y en el texto. Por tanto, el evaluador debe
olvidar, por ejemplo, que en Características físicas el niño consignó costumbres y que lo hizo nuevamente en
Costumbres: ahora en el texto definitivo, lo que cuenta es si todo lo que corresponde a costumbres se encuentra
agrupado. Vea el siguiente ejemplo:
194
Borrador
Características físicas
correr
caminar
salta
Alimentación
carne
alimentos
Costumbres
Relación con
las personas
hacer sus necesidades
cariñosos
mimosos
buenos
cuidadores
Texto definitivo
EL Perro el mejor AMIgo del HOMBRE
El perro generalmente corre, camina, salta. En su alimentación sus dueños utilizan, carne o alimentos,
En relación con las personas saben ser cariñosos, mimosos, buenos, cuidadores y en sus costumbres hacen sus necesidades.
En el borrador, se consignan costumbres en vez de características físicas. Luego, en el texto definitivo, se mantiene el orden de las ideas del borrador, lo que genera que el los subsubtemas referidos a costumbres se encuentren separados entre sí. Por tanto, corresponde indicar “No”.
13. ¿Distribuyó adecuadamente toda la información? Sí- No- N.C.
Responda a esta pregunta si marcó “Sí” en la 5 y en la 7, y si no marcó “Un no-texto” en la 11.
Si marcó “Un no-texto” en la pregunta 11, pase a la 15, después de marcar “N.C.” en esta y en la 14.
• En el caso de los textos adecuados a la consigna, marque “Sí”, dejando de lado las reiteraciones de información, cuando el estudiante, no importa en qué orden,
1) en el cuadernillo 1, haya agrupado, por un lado, todo lo referido a las características físicas del perro;
por otro, todo lo referido a sus costumbres; por otro, todo lo referido a su alimentación y, por otro, todo lo
referido a su relación con las personas, sin que importe el orden en que cada uno de estos subtemas se presenta.
2) en el cuadernillo 2, haya agrupado, por un lado, todo lo referido al aspecto exterior del pan; por otro,
todo lo referido a sus ingredientes; por otro, todo lo referido a su cocción y, por otro, todo lo referido al modo
en que se lo come, sin que importe el orden en que cada uno de estos subtemas se presenta.
Tenga en cuenta que lo que se evalúa es la agrupación de proposiciones o subsubtemas referidos a un
mismo subtema; por tanto, debe dejarse de lado el hecho de que todos los subtemas pedidos se desarrollen o
no: basta con que se hayan desarrollado más de uno.
• En los textos descriptivos, adecuados o no a la consigna, marque “No” si el estudiante no agrupa ideas temáticamente relacionadas, como en este caso:
El pan es importante porque nos ayuda a tener energia. El pan se hace con harina. Es amarillento y crocante por fuera y blando
por dentro. También se le pone lebadura. Se come con diferentes mermeladas dulces queso y todo lo que te guste.
También, si observa que las ideas englobadoras no se encuentran antes de las englobadas, como ocurre con el
párrafo subrayado en el siguiente texto:
195
El Perro
El perro es un animal muy cariñoso hay perros de cualquier rasa y su alimentación es de huesos del pollo y de la carne, la costumbre
del perro es jugar con la persona que más le agrade es juguetón es el mejor amigo del hombre
El Perro pettrel es bravo y su alimentación es comida de bolsa es poco amigo de las personas.
Hay perros cariñosos, jugueton y algunos que son bravos que se desconocen de sus mismos dueños.
Eso es todo del Perro.
• En los textos descriptivos no adecuados a la consigna (categorizados en el punto 11 como “Otra descripción”), marque “Sí” cuando el estudiante haya desarrollado el tema en un subtema o en dos o más subtemas
pero sin entremezclarlos. Marque “No” si el estudiante entremezcla el despliegue de los subtemas.
En el siguiente caso, los subtemas son cómo es el perro (del que se deriva por qué ha sido creado), cómo se
comporta y por qué se lo quiere, que parecen entremezclados; por lo tanto, corresponde marcar “No”.
El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se
orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no
hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a
el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaña
siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a
nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo.
• En los textos narrativos (anécdotas y cuentos), marque “No” si el texto presenta al menos un problema en el
nivel de la secuencia. En el siguiente ejemplo, citado ya más arriba, no se observan problemas de secuencia, por
lo que se marcará “Sí”:
El perro
Era un domingo soleado, lo recuerdo muy vien. Mi dueño me enseño una cadena, y cuando lo bi averigue que hivamos a salir, pero
no fue asi. Me llevaba a la perrera donde habían un señor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron
a una jaula donde habían perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y
de pronto habrieron me cojieron por el coyar y me entregaron a otro dueño, me sentí feliz, libre pero aquel dueño nunca me podre
olvidar de el porque el me iso todo lo que tube cuando vivi con el.
• En cambio, en este otro caso, los problemas de secuencia son varios: falta la acción inicial realizada por el
perro y el conejo; el perro parece correrse a sí mismo, el zorro se va y, sin regresar, habla a los personajes que
dejó, entre muchos otros. Por tanto, sin completar nosotros las secuencias que el estudiante no ha completado
y que el texto no permite inferir dadas sus marcas, marcaremos “No”:
El Perro, el conejo y El zorro
Un Dia Muy alegre un Perro y el conejo que eran muy buenos amigos. Depronto se aparece un zorro queriendose comer a un conejo,
Pero como estaba contra el perro no le hacia nada al conejo Depronto el zorro hizo una trampa para que se separen . el zorro le
dijo al Pero que no iba a salir el conejo que ya no queria hacer su amigo y el Perro dijo esmentira y el Perro se fue y salio a buscar
al Perro y se le aparecio el zorro el corria y corria de pronto secontro con si amigo Perro y su amigo lo ayudo y el zorro se fue, el
Perro le dijo no quiero hacer mi amigo dijo el zorro, mentira bamos a Jugar y a que sea una trampa para que no ben-ga el zorro
nunca más si a que sea un ollo y que no nos y la hicieron ara conejo tu trailo hasta trampa y el zorro cayo y haci el Perro y conejo
bivieron felices.
• En los textos de tipo instruccional, marque “Sí” cuando el estudiante enumere en un orden lógico los pasos
para alcanzar la meta, teniendo en cuenta, como se ha dicho en el Glosario, que las acciones pueden ser tanto
sucesivas como simultáneas o repetidas, según el tema. Marque “No” cuando observe alteraciones en la secuencia de pasos.
196
Tenga en cuenta que todos los textos híbridos, por definición, presentan problemas de integración de las secuencias entre sí: la secuencia descriptiva, por ejemplo, es paralela a la narrativa y no está incluida dentro de ella,
como sucedería si se tratara de un cuento. Como precisamente por este rasgo ya se los clasificó como híbridos,
ahora no debe reclasificárselos en el mismo sentido, sino que deben analizarse los problemas de distribución
de la información dentro de cada secuencia. Esto es, por ejemplo, si dentro de la secuencia descriptiva misma
hay subsubtemas entremezclados, si dentro de la secuencia narrativa misma hay hechos injustificadamente desordenados, etc.
14. ¿Evitó las reiteraciones de información? Sí- No- N.C.
Responda a esta pregunta si marcó “Sí” en la 5 y en la 7, y si no marcó “Un no-texto” en la 11.
Si marcó “Un no-texto” en la pregunta 11, pase a la 15, después de marcar “N.C.” en esta.
• En el caso de los textos adecuados a la consigna, marque “Sí” cuando el estudiante no haya reiterado datos y:
1) en el cuadernillo 1, se haya referido o bien solo a una característica física del perro o bien a diferentes
características; o bien a solo un alimento o bien a diferentes alimentos; o bien a solo una costumbre, o bien a
diferentes costumbres; o bien a sólo un rasgo de la relación del perro con las personas o bien a diferentes rasgos, e incluso a algún otro tipo de aspecto que no entra en estas categorías, porque esto ya fue evaluado.
2) en el cuadernillo 2, se haya referido o bien solo a un rasgo del aspecto exterior del pan o bien a diferentes rasgos; o bien a solo dos ingredientes o bien a otros, diferentes; o bien a solo una forma de cocerlo, o
bien a diferentes formas; o bien a sólo uno de los modos en que lo come, o bien a diferentes modos, e incluso
a algún otro tipo de aspecto que no entra en estas categorías, porque esto ya fue evaluado.
En el siguiente caso, corresponde marcar “Sí”:
La elaboración del pan según yo
El pan tiene un color medio amarillento tirando a marrón pero no muy oscuro sino de color más claro si lo tocas recien sacado del
horno te bas a quemar pero es justo en el momento en el que el pan esta más rico que nunca.
Los ingredientes son la cantidad que quieras según la cantidad que quieras elaborar.
Primero tomo lista: trigo, harina, agua, clara de huevo.
Para llevar a cabo la elaboración primero se hase una especie de masa esponjosa con los ingredientes que dicte anteriormente se
buelca la preparacion en un molde y se cocina para comerlo podes utilizar diferentes dulces, manteca, queso y todo lo que te guste.
• En el caso de los textos descriptivos, adecuados o no a la consigna, marque “No” si el estudiante, reiteró datos,
incluso usando sinónimos o paráfrasis que no dejan lugar a dudas de que se trata de la misma información. Vea
estos ejemplos, en los que corresponde marcar “No” (las informaciones repetidas están subrayadas):
Los perros son los megores amigos del hombre. Los perros son aproximadamente de 60 cm de largo y unos 30 cm de altos. Poseen
cabellos muy largos o cortos y oregas. Tienen rabo. Sus colores pueden ser: negro, marrones (distintos tonos), blancos, grises. También
pueden tener una combinación de esos colores, ej. que sea blanco y negro el mismo perro.
Se alimentan de cualquier cosa. Pero se recomienda darle alimentos balanceados.
Los perros muy juguetones, que corren mucho por todos lados y le ladran a cualquier cosa. No sirven de guardianes, no custodian
la casa. Otros custodian la casa.
Los perros tienen una ecselente relacion con las personas. Son los mejores amigos de las personas.
197
El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se
orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no
hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a
el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaña
siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a
nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo.
El pan que preparan en monsefu es muy rico hecho por los panaderos en la ciudad de las flores.
Por ejemplo el pan frances, italiano el de manteca las micas y las kolisas
A la gente le gusta el pan que preparan en las monsefu llamada la ciudad de las flores
• En el caso de los textos no adecuados y narrativos, marque “No” cuando observe que hay uno o más puntos
en los que la información no avanza porque se relata el mismo hecho sin adoptar un nuevo punto de vista (es
decir, cuando observe una reiteración que no se inscribe en el llamado “relato iterativo”), o porque se predican
los mismos atributos de un hecho o de un personaje. Esto último es lo que se observa en este texto ya citado:
El perro habil
Un día en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro
se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que
vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los
perros.
FIN
En el caso de los textos no adecuados e instruccionales, marque “No” cuando observe que uno o más de los
pasos de la instrucción se repiten innecesariamente.
15. ¿Cuántas oraciones escribió? Casillero
Responda a esta pregunta si marcó “Sí” en la 5 y en la 7. Si Marcó “No”, consigne en esta “N.C.”.
• Cuente las oraciones simples y complejas construidas por el alumno y consigne el número en el casillero.
Considere las oraciones tal como corresponderían a una puntuación correcta y no guiándose por los signos de
puntuación y/o las mayúsculas que haya colocado el alumno. Para esto, apóyese en la figura tonal o extensión
comprendida en el habla entre el silencio inicial y la entonación terminal de la frase (descendente en las afirmaciones). En el siguiente texto, cada barra indica una oración y las oraciones suman 4:
Cuando sali de la casa de mi amiga cruse por un callejor y vi un gato como moustro que tenía un cartel con su nombre / era medio
loco / además era deformado, gordo, cabezón, orejón / vive en un tacho, come basura y su constumbre es asustar.
El concepto de figura tonal le permitirá, además de suponer el signo ausente, dirimir si ese signo debería haber
sido un punto o, en cambio, una coma; si, por ejemplo, se enumeran acciones —o acciones y atributos— muy
ligados semánticamente y lo suficientemente breves como para constituir en conjunto una única figura tonal,
corresponderá contar 1 oración (“le gusta comer las plantas de mamá y le gusta jugar mucho”; “vive en un
tacho, come basura y su constumbre es asustar”). Si, en cambio, las estructuras vinculadas son más extensas y
menos cercanas semánticamente, deberá considerarse como 1 oración a cada una de ellas (“además era deformado, gordo, cabezón, orejón / vive en un tacho, come basura y su constumbre es asustar”).
198
Cuando la relación entre dos unidades que el alumno no separa con punto es débil o confusa, se contarán 2 oraciones. Así, en: “Mi perro es un animal muy pequeño: tiene cuatro patas”, se vinculan el ser pequeño y el tener
cuatro patas por medio de dos puntos, como si la segunda unidad constituyera la explicación de la primera, lo
cual no ocurre. Entonces, como las unidades no resultan sintáctica y semánticamente asociadas, se cuentan dos
oraciones (la coherencia ya se ha evaluado).
Con el mismo criterio —juntar lo que está más asociado semánticamente y separar lo menos asociado— se
procederá en el caso de los textos en los que varias proposiciones seguidas hayan sido ligadas por el alumno
mediante “y”:
El Perro, el conejo y El zorro/
Un Dia Muy alegre un Perro y el conejo que eran muy buenos amigos. Depronto se aparece un zorro queriendose comer a un conejo
/, Pero como estaba contra el perro no le hacia nada al conejo / Depronto el zorro hizo una trampa para que se separen ./ el
zorro le dijo al Pero que no iba a salir el conejo que ya no queria hacer su amigo / y el Perro dijo esmentira y el Perro se fue y salio
a buscar al Perro / y se le aparecio el zorro / el corria y corria / de pronto secontro con si amigo Perro y su amigo lo ayudo/ y el
zorro se fue, / el Perro le dijo no quiero hacer mi amigo dijo el zorro, / mentira bamos a Jugar y a que sea una trampa para que
no benga el zorro nunca más/ si a que sea un ollo y que no nos / y la hicieron / ara conejo tu trailo hasta trampa / y el zorro
cayo y haci el Perro y conejo bivieron felices.
Cuente también como oraciones el título, la palabra “fin” o las expresiones similares, las firmas o las fechas que
pueden aparecer al pie del texto y las iniciales (“A—“) que indican cambio de hablante en un diálogo.
16. ¿Cuántas palabras escribió? Casillero
Responda a esta pregunta si marcó “Sí” en la 5 y en la 7. Si Marcó “No”, consigne en esta “N.C.”.
• Cuente las palabras que escribió el estudiante en el texto definitivo y consigne el número en el casillero.
Considere las distintas ocurrencias de un lexema como palabras diferentes (“hacer”, “hago”, “hace”, entonces,
serán tres palabras).
Cuente los números y las abreviaturas (en “30 cm” hay dos palabras).
Cuente las palabras ignorando y/o supliendo los errores de léxico; es decir, si el estudiante escribe “nisiquiera”
y “con migo”, cuente 2 y 1 respectivamente. Es recomendable, para no perder la cuenta, anotar al final de cada
línea y en una hoja aparte la cantidad palabras escritas por el estudiante y, finalmente, sumar todos los números
de todas las líneas.
No olvide sumar las palabras que conforman el título o la firma.
17. ¿Cuántos errores de léxico tuvo? Casillero
Responda a esta pregunta si marcó “Sí” en la 5 y en la 7. Si Marcó “No”, consigne en esta “N.C.”.
• Cuente como errores de léxico todos los casos —aun los repetidos— que queden comprendidos en alguna
de las siguientes categorías:
1) Empleo de un lexema por otro dada cierta afinidad entre sus formas: (“se revuelve en el barro después de bañarse”, “mis padres adaptaron un gato”) (en cada uno de estos casos, hay un error).
2) Reemplazo de un lexema por otro que es su sinónimo en otro contexto o que está emparentado
semánticamente con él: (“acostumbra vivir en el ámbito terrestre”, “tiene costumbres parejas a nosotros”, “su
clase de ser es muy buena”; “es un animal domesticado”.
199
3) Desconocimiento llano de la forma de un lexema: “Tiene la constumbre”, “es ognívoro”, “es ovnívoro”, “le dan comidas balanciadas”, “tiene sarma”, “arania”, “se pone en un reciviente”.
4) No identificación de los límites de las palabras “que no estuviera triste por que el perro”, “para a ser
pan”, “la leche seprepara”, “se hace con larina”.
5) Escritura silábica y no alfabética: “prro”, “lche”, etcétera.
No cuente como palabras erróneas desde el punto de vista léxico aquellas que usted no haya podido leer por
sus problemas caligráficos.
Tenga en cuenta que los errores de léxico se diferencian de los de ortografía, que no se evalúan en este punto.
Es decir, no considere el uso de mayúsculas, el uso incorrecto de nexos coordinantes o artículos antes de vocal
similar, la incorrecta separación en sílabas, los grupos “mp”, “mb”, “-aba”, “-sión”, “-ción”, las tildes y, en general, cualquier empleo erróneo de la escritura de palabras que no corresponda al léxico.
No considere tampoco los problemas de legibilidad, que no se evalúan en este año (Vea el punto en el Instructivo para la evaluación de las pruebas de tercer año); por ejemplo, los errores sistemáticos en el uso de algunas
mayúsculas (porque siempre se dibuja una misma letra en mayúscula).
Asimismo, deje de lado la repetición de palabras que constituye una cuestión estilística que, como se dijo, no
se evalúa, y también la repetición de palabras (“es bueno y y fiel”), que responde, en general, a un problema de
atención.
Consigne el número de errores en el casillero.
18. ¿Cuántos errores de ortografía? Casillero
Responda a esta pregunta si marcó “Sí” en la 5 y en la 7. Si Marcó “No”, consigne en esta “N.C.”.
• Cuente los errores de ortografía, excluyendo de esta categoría los de léxico, ya evaluados y los de legibilidad,
que no se evalúan.
Considere el uso normado de mayúsculas (en nombres propios, al comienzo de oración), el uso incorrecto de
contracciones, nexos coordinantes antes de vocal similar, separación en sílabas, tildes, grupos “mp”, “mb”,
“-aba”, “-sión”, “-ción” y, en general, cualquier empleo erróneo de la escritura que no corresponda al léxico o
a la legibilidad.
Así, no serán contados los casos en los que la forma de las letras resulta ambigua, no se distinguen con claridad
el cuerpo de la letra y el enlace, no se dejen espacios suficientes entre palabras, no se diferencien mayúsculas de
minúsculas o se usen solamente mayúsculas o solamente minúsculas, ya que no puede determinarse si hay un
error ortográfico habiendo, previamente, un problema de desciframiento.
No cuente como error la ausencia de mayúscula al comienzo de las oraciones que usted –y no el alumno– reconstruyó.
No cuente como erróneos los usos de los pronombres demostrativos en función sustantiva que no resulten ambiguos (se dirá que el texto “Tengo un perro. Este es policía” no contiene errores de tildación, como tampoco
“Tengo un perro. Éste es policía”).
Con el mismo criterio, no considere erróneo el uso de “solo” como equivalente de “solamente” (“No juega:
solo duerme” se considerará igualmente correcto que “No juega: sólo duerme”); sí considere erróneo el uso de
“sólo” como adjetivo (“un perro sólo es cayegero”).
No evalúe la ortografía de las palabras que corresponden a otro idioma y la de los nombres propios del español (“Cusco”, “Cuzco”, “Viviana”, Biviana”, “Bibiana”); sí evalúe en los nombres propios el uso de mayúscula
inicial.
200
No evalúe en esta categoría los errores de puntuación, que pueden ser explicados tomando en cuenta a veces a
la coherencia, a veces a la cohesión y otras veces a la ortografía, por lo que se ha decidido no evaluarlos.
No cuente como palabras erróneas desde el punto de vista ortográfico aquellas que usted no haya podido leer
por sus problemas caligráficos.
Contabilice todas las veces en que aparezca un mismo error.
Consigne el número en el casillero.
Sólo adecuado a la consigna
19. De las 4 ideas pedidas, ¿cuántas planteó? Casillero- N.C.
Responda a esta pregunta sólo si ha marcado “Sí” en la 10, es decir, si el texto es adecuado a la consigna. Si
marcó “No”, indique en esta “N.C.”.
• Numere las ideas del estudiante, una por una, en el margen de la prueba, empleando un lápiz, o en una hoja
aparte. Es conveniente usar el número 1 para hacer referencia a la primera idea pedida en el borrador; el 2, para
la segunda y así sucesivamente; así podrán localizarse luego más simplemente los problemas de reiteración de
ideas y de ideas no pertinentes (0).
• Consigne en el espacio en blanco de la planilla la cantidad de ideas que planteó el estudiante en el texto definitivo respecto de las pedidas en la instrucción. Las ideas pedidas son, en ambos cuadernillos, 4; si el estudiante
consignó más de cuatro (es decir, si hizo referencia a otro aspecto no pedido y pertinente), se colocará de todos
modos este número:
1) en el cuadernillo 1, al menos una idea referida a las características físicas del perro, al menos otra
sobre su alimentación, al menos otra a sus costumbres y al menos otra a su relación con las personas;
2) en el cuadernillo 2, al menos una idea referida al aspecto exterior del pan, al menos otra sobre los
ingredientes que lo componen, al menos otra sobre el modo en que se lo cocina y al menos otra sobre el modo
en que se lo come, incluido el acto de deglución.
Cuente como “ideas” las proposiciones, oraciones y párrafos que se refieran a los subtemas pedidos, sea cual sea
el orden en el que se presenten, ya que la descripción admite comenzar por cualquiera de los subtemas dados.
No cuente las ideas que no se refieran y circunscriban a uno de los 4 puntos enumerados. Es decir, excluya de
la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes:
1) en el cuadernillo 1, “es doméstico”;
2) en el cuadernillo 2, “es vlandito y salado”.
Tampoco cuente en forma doble las ideas repetidas, como [El pan], “es alimentisio”, “es nutitivo”.
Vea este ejemplo, tomado del cuadernillo 1; los corchetes, que encierran las ideas, y los números, que las cuentan, son nuestros; los números, que se corresponden con el orden dado a los subtemas en el borrador, repetidos
indican ideas repetidas; el 0 indica una idea no pertinente:
[El perro es chiquito o largo] 1 [su costumbres son dormir y comer dogi con carne] 3 [duerme todo el día] 3 [se acuesta todo el
día en el sillón] 3 [y caga en el patio de atrás] 3 [duerme no se dispierta nisiquiera para moberse]3 [(lo tengo que mover yo)] 0
En este caso, por lo tanto, corresponde consignar 2.
201
Vea este otro ejemplo:
El Perro
[El Perro es un animal común y corriente como todos los Perros del mundo]0 [y hace caca y Piz como los gatos y también se tira
pedos.]3 [Y siempre tiene la mania de RomPer los colchones almuadas las hojas que hay en los muebles.]3
En este caso, por tanto, corresponde también consignar 2.
El texto que transcribimos a continuación, en cambio, presenta las cuatro ideas; nótese que ser juguetón puede
entenderse tanto como un predicado referido a las costumbres como referido a la relación con las personas: en
estos casos se optará siempre por contar ideas de un modo que beneficie al estudiante; así, si luego aparece una
clara alusión a la relación con las personas, ser juguetón se interpretará como costumbre.
[Los perros son los megores amigos del hombre.]4 [Los perros son aproximadamente de 60 cm de largo y unos 30 cm de altos.]1
[Poseen cabellos muy largos o cortos y oregas.]1 [Tienen rabo.]1 [Sus colores pueden ser: negro, marrones (distintos tonos), blancos,
grises.]1 [También pueden tener una combinación de esos colores, ej. que sea blanco y negro el mismo perro.]1
[Se alimentan de cualquier cosa. Pero se recomienda darle alimentos balanceados.]2
[Los perros muy juguetones, que corren mucho por todos lados y le ladran a cualquier cosa. No sirven de guardianes, no custdian
la casa. Otros custodian la casa.]3
[Los perros tienen una ecselente relacion con las personas. Son los mejores amigos de las personas.]4
20. ¿Cuántos casos de registro oral y/o informal introdujo en el vocabulario?
Responda a esta pregunta sólo si ha marcado “Sí” en la 10, es decir, si el texto es adecuado a la consigna. Si
marcó “No”, indique en esta “N.C.”.
• Cuente los errores producto de emplear palabras propias de una situación informal y/o de un medio oral.
Vea el siguiente ejemplo, tomado de un escrito producido en la Argentina; el error -un vocablo en lunfardo que
significa, en español estándar, “tomar” o “coger”- está subrayado:
El perro puede ser peligroso si lo entrenan para casar y para ser guardian. Persigue a su presa hasta que la alcansa y la chapa del
cueyo.
En este ejemplo guatemalteco, el error de registro surge por el uso de una palabra informal:
La perra tiene leche en las chiches.
En el siguiente caso, los errores se producen por el uso de diminutivos con matiz afectivo (también hubiera
sido erróneo el uso de aumentativos) y de adverbios que implican juicios de valor, los cuales no son propios del
registro escrito y formal:
EL PERRO
El perro es un animal comun entre las personas
El perro es un aminal muy bonito que tiene ojos café o negritos.
Su nariz es bastante bonito como si fuera una manzana.
Sus orejitas son como de obejas que tienen adentro adentro parece algodón.
202
En el ejemplo anterior, no se consideran erróneas desde el punto de vista del registro las comparaciones porque
éstas son propias de la divulgación enciclopédica.
En este caso ya citado, los errores de selección de vocabulario en función del registro aparecen subrayados:
El Perro
El Perro es un animal común y corriente como todos los Perros del mundo y hace caca y Piz como los gatos y también se tira pedos.
Y siempre tiene la mania de RomPer los colchones almuadas las hojas que hay en los muebles.
En textos como el pedido, el uso de números y unidades de medida abreviadas (“40 cm”) es frecuente y no
constituye un error. Sí constituyen errores de registro en el plano del vocabulario, en cambio, el uso de “q´”, “x
q´” y otras abreviaturas informales:
Los perros es un tesoro de Dios asi como a nosotros mismo. A ellos les gusta comer carne y cuidar la casa Hay beses q’ se aburren
de comer las mismas cosas No les gusta q’ les jales lacola. Esas son las características de los perros. Asi son asi seran por siempre
Este es el paso #3. Estas son mi palabras y q’ Dios los vendiga.
21. ¿Cuántos otros casos de registro oral y/o informal introdujo?
Responda a esta pregunta sólo si ha marcado “Sí” en la 10, es decir, si el texto es adecuado a la consigna. Si
marcó “No”, indique en esta “N.C.”.
Como se ha visto en el Glosario, además de inadecuaciones por el uso de palabras informales o propias de la comunicación oral, el texto adecuado a la consigna puede presentar errores de registro en el plano de su sintaxis y
su estructura global, por desvíos respecto de la intención informativa y/o del género descriptivo enciclopédico.
Los errores surgen, por ejemplo, del empleo puntual o menos frecuente que el correcto de la primera o la segunda persona (designarse a sí mismo en tanto enunciador y apelar al receptor es introducir la oralidad en el texto),
de la incorporación de dibujos (perros “sonrientes”, por ejemplo) que no son propios de las enciclopedias, de
la inclusión de saludos u otras expresiones propias de géneros de intención no objetiva y, en general, coloquial.
Vea este ejemplo; contiene un error por uso de la segunda persona:
El perro es un animal fiel. Pero también es un animal muy delicado. Para alimentarlo bien dale comida valanciada.
Este otro texto tiene cuatro errores: uso de la primera persona plural, uso de la segunda singular, uso de la primera singular y uso de la segunda plural:
Los perros es un tesoro de Dios asi como a nosotros mismo. A ellos les gusta comer carne y cuidar la casa Hay beses q’ se aburren
de comer las mismas cosas No les gusta q’ les jales lacola. Esas son las características de los perros. Asi son asi seran por siempre
Este es el paso #3. Estas son mi palabras y q’ Dios los vendiga.
Tenga en cuenta, dado que el sostenimiento de la persona y el número es normal, que, si el estudiante hubiera
sostenido una de esas personas -siempre menos que la tercera, ya que en el caso contrario el texto habría resultado no adecuado- a lo largo de toda la secuencia, el error habría sido uno; en este caso hay dos errores: uso de
primera y segunda persona singular:
203
La elaboración del pan según yo
El pan tiene un color medio amarillento tirando a marrón pero no muy oscuro sino de color más claro si lo tocas recien sacado del
horno te bas a quemar pero es justo en el momento en el que el pan esta más rico que nunca.
Los ingredientes son la cantidad que quieras según la cantidad que quieras elaborar.
Primero tomo lista: trigo, harina, agua, clara de huevo.
Para llevar a cabo la elaboración primero se hase una especie de masa esponjosa con los ingredientes que dicte anteriormente se
buelca la preparacion en un molde y se cocina para comerlo podes utilizar diferentes dulces, manteca, queso y todo lo que te guste.
En este ejemplo, además de un error de registro en el plano del vocabulario (“caga”), se observan un error por
suponer una situación oral presencial de la que el receptor es partícipe activo (por eso, se alude a un sillón determinado y al patio de atrás (como si se estuviera “adelante”) y otro error por inclusión de una primera persona
(“yo”).
El perro es chiquito o largo su costumbres son dormir y comer dogi con carne duerme todo el día se acuesta todo el día en el sillón
y caga en el patio de atrás duerme no se dispierta nisiquiera para moberse (lo tengo que mover yo)
22. ¿Describió características o fenómenos con una perspectiva errónea desde el punto de vista
de las ciencias naturales?
Responda a esta pregunta sólo si ha marcado “Sí” en la 10, es decir, si el texto es adecuado a la consigna. Si
marcó “No”, indique en esta “N.C.”.
• En primer lugar, ubique el punto al que debe responder, a. o b. según el cuadernillo que esté evaluando.
• Marque sí cuando considere que el alumno describe el perro o el pan o un fenómeno asociado a ellos mediante
conceptos erróneos desde el punto de vista de las ciencias naturales. No considere cuestiones de vocabulario
sino conceptuales: “la perra tiene leche en las chiches” no constituye un problema conceptual, sino de selección
del vocabulario, y ya se lo ha evaluado. En caso de duda, en cualquiera de los dos cuadernillos, marque “Sí”, ya
que el objetivo es detectar casos para un nuevo análisis no lingüístico, a cargo de especialistas en Ciencias, y que
habrá otra instancia para descartarlos.
Son, por ejemplo, errores conceptuales, los siguientes: “El perro es un animal mamífero porque vive en casas”,
“el perro nunca duerme”, “todos los perros son domésticos”, “hay diferentes especies de perros”, “los perros
pueden ser perros salvajes, perros caseros y perros carnívoros”, “todo perro tiene un dueño”, “el perro tiene
la costumbre de dormir/comer/caminar y caminar”, “el pan se hace con trigo y harina”, “el pan debe ser pasteurizado”, “el pan se pone duro si no le ponen levadura”, “el pan se pone verde porque no lo cocinan bien”,
entre otros.
204
Quinta parte
1. Recomendaciones para evitar sesgos y errores al evaluar
En este punto, y a partir de los resultados obtenidos en el pilotaje, se plantean una serie de recomendaciones
tendientes a evitar los sesgos y los errores al evaluar. Constituyen sesgos, por ejemplo, la corrección excesivamente exigente de los textos de sexto año en relación con los de tercero, y lo contrario o la corrección excesivamente indulgente de los textos más problemáticos. Los sesgos pueden deberse al orden en que se corrigen los
trabajos, a las características generales del lote de textos, a las implicaciones de evaluar textos de estudiantes del
propio país, entre otras razones.
En cuanto a los errores, tienen, en general dos causas: no se apela al Manual o a la consulta técnica para resolver
un caso o, específicamente, no se sigue el “itinerario de corrección”, esto es, se evalúan aspectos que, dado el
caso, no deberían evaluarse (como el título de los no-textos).
Las recomendaciones son las siguientes:
• No escribir sobre el borrador o el texto del niño, que constituyen un documento que debe preservarse intacto,
sino en una hoja aparte o en los márgenes; en este último caso, con lápiz negro. Lo escrito en los márgenes
deberá borrarse antes de entregar la prueba a otro evaluador, ya se trate de uno del propio país o del supervisor
del LLECE, ya que es necesario evitar las mutuas influencias.
• El evaluador deberá consultar el Manual hasta tanto automatice las pautas de evaluación; además, una vez que
se haya familiarizado con él, deberá revisarlo cada vez que termine de evaluar unas veinte pruebas, para verificar
si se sigue ajustando a él y su evaluación no se ha sesgado. Es importante revisarlo en forma completa, para no
dejar de evaluar en cada punto sólo lo que concierne a ese punto. También lo consultará cada vez que dude ante
un caso concreto de marcación en la planilla de evaluación.
• Si el Manual no le ofrece una respuesta, el evaluador planteará una consulta técnica al responsable de la evaluación en su país; si el responsable no pudiera saldar la duda, enviará una consulta, con copia a su coordinador
en el país, a la coordinación técnica de Lectura y Escritura del LLECE, Ana Atorresi: anaatorresi@uolsinectis.
com.ar. Idealmente, el coordinador del Área de Escritura en el país reunirá semanalmente la serie de consultas a
las que no ha podido dar res-puesta y las enviará todas juntas, a la Coordinadora técnica de Lectura y Escritura
del LLECE y a todos los otros coordinadores de escritura en los países, dando a cada una de ellas el siguiente
formato:
Número de caso:......
Borrador: (tipeado si la consulta no comprende cuestiones gráficas o caligráficas y, de lo contrario, escaneado)
Texto definitivo: (tipeado si la consulta no comprende cuestiones gráficas o caligráficas y, de lo contrario, escaneado)
Consulta 1:.......................................................................
Respuesta 1: (espacio que llenará la Coordinadora de Área del LLECE)
Consulta 2: (si la hubiera) .................................................
Respuesta 2: (espacio que llenará la Coordinadora de Área del LLECE)
Por otra parte, cada veinte pruebas, el evaluador habrá de verificar la consistencia de las planillas que ha llenado.
Si, por ejemplo, marcó que el texto no puede leerse, no podrán aparecer marcaciones referidas a la coherencia
del texto.
205
• Para evitar el efecto de la evaluación de las pruebas de un año sobre la evaluación de las pruebas del otro, el
evaluador intercalará pruebas de ambos años: 20 de tercero y 20 de sexto o viceversa. Tendrá mucho cuidado
para impedir que las pruebas y las planillas se mezclen.
• El evaluador evitará el ordenamiento de pruebas de acuerdo con una característica diferente del número de
cuadernillo, como el hecho de tener o no texto definitivo o como el hecho de ser éste más o menos extenso,
para evitar la influencia del tipo de trabajos en la evaluación.
• Al concluir la evaluación de 20 pruebas, el evaluador revisará también que los datos del encabezado de cada
cuadernillo coincidan con los que ha consignado en la planilla de evaluación; sólo entonces separará pruebas
de planillas.
Referencias
(1) En sentido general, se denomina “estilo” al conjunto de los rasgos discursivos que funcio-nan como indicadores del contexto social y personal del hablante; más específicamente, son rasgos de estilo el dialecto (lecto o
variedad determinada por la región de la que el hablante es oriundo); el cronolecto (variedad determinada por el
momento histórico en que el hablan-te se incorpora en la masa de hablantes), el sociolecto (determinado por el
grupo social al que el hablante pertenece), el tecnolecto (determinado por la esfera de ocupación del hablante),
el registro (determinado por el grado de formalidad –desde íntimo hasta solemne– de la situación comunicativa
y/o el medio de comunicación –oral o escrito– que se emplee) y el idiolecto (determinado por rasgos individuales). En esta definición se encuentra implícita la suposición de que hay una lengua estándar, oficial o neutra, de
la cual se desprenden las diferencias mencionadas; con frecuencia, sin embargo, esa lengua es un habla regional
o dialecto extendida autoritariamente al conjunto de una nación. Los conceptos se amplían en el Glosario.
(2) En la revisión y en la autocorrección, se ponen en juego diversas estrategias metacogniti-vas, vale decir,
operaciones mentales de las que se es consciente y que se sabe cómo, cuán-do y para qué usar. La reflexión
metacognitiva sistemática parece ser un proceso imprescin-dible para adquirir habilidades mentales duraderas,
que pueden transferirse a la solución de nuevos interrogantes.
(3) Como se habrá ido notando, el “éxito” de una consigna depende también, en gran parte, de los verbos que
empleamos para formular la instrucción. Compartir con nuestros estudiantes, a comienzo del año, a qué llamaremos “describir”, “argumentar”, “resumir”, “justificar” y demás allana en buena medida la tarea posterior
de ambas partes. El uso de este tipo de definiciones es fundamental cuando se trata de emprender una tarea de
corrección compar-tida; a esto responde el glosario que presentamos más adelante.
(4) Las planillas propuestas para la corrección de la escritura del SERCE cuentan con el antece-dente de las
empleadas por el Sistema de Evaluación de la Calidad Educativa de la Provincia de Buenos Aires, cuyo prototipo se diseñó en 1998 con la dirección del LLECE, y que se apli-caron en diversas tomas a partir de ese año.
(5) Parte de este glosario se basa en Atorresi y otros (2000).
(6) Al final de cada definición, se remite, mediante nota, a la referencia bibliográfica de la obra o las obras que
se han tomado como base —en general, de amplia difusión.
(7) El criterio de lo familiar deviene del análisis de los currículos nacionales, los libros de textos y los instrumentos de evaluación efectuado al comienzo del SRCE por el ICFES.
206
(8) En el cuerpo de las definiciones, las palabras y/o frases en negrita remiten a otro concepto incluido en el
propio glosario.
(9) Se habla de proposiciones en lugar de oraciones con el fin de diferenciar objetos sintácticos y semánticos.
La proposición debe entenderse como el significado que subyace en una ora-ción simple. “Juan no vio esa
película”, “Esa película Juan no la vio” y “Esa película no fue vista por Juan” son tres oraciones diferentes; sin
embargo, todas expresan la misma propo-sición: Juan + negación +ver + esa película. Al leer un texto, se procesa la información de tal manera que no se retienen las formas superficiales (las oraciones) sino su contenido
pro-posicional, lo cual está directamente relacionado con la limitada capacidad de la memoria a corto plazo.
(10) Existe, por último, la anécdota “de celebridad”, atribuida a una figura histórica (Bolívar, Colón, El Che) o
pública (Gardel, Maradona, Pelé). No se la considera relevante aquí, porque no es esperable su ocurrencia en las
pruebas. Por lo demás, participa de las características comunes a las otras dos.
(11) No se consideran errores de este tipo los de ortografía.
(12) En efecto, la formación de lexemas obedece a ciertas reglas productivas en numerosas lenguas. Por ejemplo, los lexemas ‘niñada’, ‘niñera’, ‘niñería’, ‘niñez’, ‘aniñado’, etc. fueron construidos a partir del lexema ‘niño’,
más simple léxicamente, gracias a reglas productivas del español. Aunque muchos diccionarios registran de hecho ‘niñería’ como una unidad de vocabulario, sería innecesario hacerlo si se considera que tanto su significado
como sus pro-piedades gramaticales (lo mismo que su pronunciación) son predecibles por medio de la misma
regla que interviene en los casos de ‘tontería’, ‘alcahuetería’, ‘porquería’, etc.
(13) El que así se lo haya razonado y el que se lo siga haciendo obedecen a una particular con-cepción ideológica
de la relación entre las diversas variedades “periféricas” de una lengua impuesta durante un proceso de colonización, y le conceden a la otrora metrópoli la continui-dad de una supremacía lingüística sobre sus ex colonias.
207
CAPÍTULO VI: MANUAL PARA LA CODIFICACIÓN
DE LOS ÍTEMS DE CIENCIAS NATURALES
A.
Código C.b1.it15
ÍTEM 15 del Cuadernillo 1 – ÍTEM 30 del Cuadernillo 6
La dureza de un mineral es la resistencia que ofrece a ser rayado.
Felipe tiene que ordenar algunos minerales del más duro al más blando.
Los minerales son: cuarzo, diamante, yeso y calcita.
Él descubre que el diamante raya a todos los demás y que la calcita raya al yeso pero no al cuarzo.
Según estas evidencias, ¿cuál sería la lista de Felipe?
Escríbela en las líneas en blanco.
_____________________________________________________________
_____________________________________________________________
_____________________________________________________________
•
Contenido: Materia y energía
•
Desempeño: Solución situaciones problemáticas
•
Objetivo: Este ítem pretende evaluar la competencia del alumno para inferir la dureza de distintos
minerales relacionando información dada.
208
3.1
Ordena todos los minerales desde el más duro al menos duro.
Ejemplos:
Crédito
completo: 3
A)
1.
2.
3.
4.
diamante
cuarzo
calcita
yeso
B)
1. diamante, cuarzo
2. calcita, yeso.
3.
4.
2.1 Ubica correctamente en la lista al menos dos minerales, estableciendo, al menos
para estos minerales, la relación correcta en cuanto a dureza de cada uno con los tres
restantes.
Ejemplos:
A) 1.
2.
3.
4.
Crédito
parcial: 2
B)
1.
2.
3.
4.
C)
1.
2.
3.
4.
Ubica correctamente el diamante y el yeso (relación correcta en cuanto
a dureza, del diamante con los otros tres minerales y del yeso con los
otros tres minerales).
diamante
calcita
cuarzo
yeso
Ubica correctamente el diamante y el cuarzo (relación correcta en cuanto a
dureza, del diamante con los otros tres minerales y del cuarzo con los otros tres
minerales).
diamante
cuarzo
yeso
calcita
Ubica correctamente la calcita y el yeso (relación correcta, en cuanto a dureza,
de la calcita con los otros tres minerales y del yeso con los otros tres minerales).
cuarzo
diamante
calcita
yeso
209
1.1
1.2
1.3
No sé
Respuestas borradas, tachadas, groseras, dibujos que no corresponden.
Ubica correctamente en la lista solamente un mineral. Este código
se asigna a respuestas que establecen de manera correcta la relación
de un mineral con los otros tres.
Ejemplos:
Sin
Crédito: 1
A)
1.
2.
3.
4.
diamante
yeso
cuarzo
calcita
B)
1.
2.
3.
4.
calcita
diamante
cuarzo
yeso
1.4
Otras respuestas.
Ejemplo:
1.
yeso
2.
diamante
3.
cuarzo
4.
calcita
W
Ítem mal impreso, cortado, invertido, ilegible por el alumno.
Z
Omisión o missing.
210
B. Código: C.b2.it15
ÍTEM 30 del Cuadernillo 1 – ÍTEM 15 del Cuadernillo 4
Existen varios dichos sobre la lluvia. Uno de ellos es: “Siempre que llovió,
Paró. Otro dice: “Siempre que paró, volvió a llover”.
Primero, describe cómo se forma la lluvia. A continuación, explica por qué el agua que compone la lluvia
nunca se agota y siempre vuelve a llover.
_____________________________________________________________
_____________________________________________________________
_____________________________________________________________
•
Contenido: Tierra y ambiente
•
Desempeño: Solución de situaciones problemáticas
•
Objetivo: En este ítem se pretende evaluar la capacidad del alumno de describir los procesos de evaporación y condensación, y de explicar basándose en carácter cíclico de estos procesos, por qué el agua que
compone la lluvia no se agota.
211
4.1 El alumno hace referencia a la evaporación ( “el agua se evapora”, “pasa de
líquido a gas”, “el vapor sube”, etc) y su condensación (“el vapor se condensa”,
“cambia de gas a líquido”, “el vapor se hace agua y después llueve”, etc) y a la
repetición de los procesos en forma sucesiva.
Crédito
completo:
4
Nota: No es necesario que el alumno responda utilizando los nombres de los cambios
de estado, pero debe describirlos en forma explícita. No se entenderá que el alumno
describe la condensación cuando solo señala que “el vapor se transforma en nubes”,
dado que no se podría establecer si el alumno sabe que se produjo un cambio de gas a
líquido.
Ejemplos:
•
“El vapor se hace agua cuando hace frío y el agua líquida cae como lluvia. La lluvia que cae se
evapora, después se transforma en líquido, vuelve a caer y así se repiten estos cambios”.
•
“Es porque el sol evapora el agua y se forman las nuves cargadas de agua. Después llueve y al terminar el sol evapora el agua y vuelbe a llover. El agua nunca se agota por que esa evaporación se vuelve líquida y
se forma en las nubes el agua de lluvia.”
•
“El vapor sube y las nuves avsorben el vapor y el vapor produce el agua de la lluvia. El agua nunca
se agota por que después que llueve sale el sol y ase que aga vapor.”
3.1 El alumno hace referencia a la evaporación o a la condensación del agua y a la
repetición de los procesos en forma sucesiva.
Ejemplo:
•
“La lluvia baja de las nuves. El agua de la lluvia nunca se agota porque cuando deja de llover el
agua se vapora y esta regresa a las nuves para que buelba a llober”
Crédito parcial:
3
3.2
El alumno hace referencia a la evaporación y la condensación, pero no a la
repetición de los procesos en forma sucesiva.
Ejemplo:
•
“El agua se evapora y suve hacia las nuves y en las nuves se condensa y vuelve a llover”
•
“El agua se ebapora por el calor del sol y se hacen nubes y luego se ase agua y después llueve y se va
al mar”.
2.1
El alumno solo hace referencia a la evaporación o a la condensación.
Ejemplo:
Crédito parcial:
2
•
“Llueve porque suve el vapor entonces las nuves se inchan y se larga a llover”
•
“La lluvia se forma por el bapor de agua. Cuando lluebe el piso queda mojado y al calor. El agua
del piso se forma en bapor”
2.2
El alumno hace referencia a la repetición de procesos en forma sucesiva, sin
describir la evaporación ni la condensación de manera correcta. Si el alumno hace
referencia al ciclo considerando a las nubes como objetos animados que se trasladan
llevando agua, codifique 1.3.
212
1.1
No sé.
1.2
Respuestas borradas, tachadas, groseras, dibujos que no corresponden.
1.3 El alumno hace referencia a las nubes como objetos animados que se trasladan
llevando agua.
Ejemplo:
•
“Las nubes bagan asorben el agua y se ban cargando. El agua nunca se agota por que cuando se
acaba una nube baja por más”
Sin Crédito: 1
1.4 El alumno atribuye la formación de lluvia al humo que proviene de la contaminación o confunde con la formación de lluvia ácida.
Ejemplo:
•
“La lluvia se forma por humo de los autos. Así llegan a las nubes donde se acumula y forma la
lluvia y por eso la lluvia contiene muchas sustancias”
1.5. Otras respuestas.
W
Item ilegible por el alumno (mal impreso, cortado, invertido).
Z
Omisión o missing.
213
C. Código: C.b3.it10
ÍTEM 10 del Cuadernillo 2 – ÍTEM 25 del Cuadernillo 4
¿Hacia qué dirección puede ser incómodo manejar un coche al atardecer?
A. Hacia el sur.
B. Hacia el este.
C. Hacia el oeste.
D. Hacia el norte.
Explica por qué: _____________________________________________________________
_____________________________________________________________
_____________________________________________________________
•
Contenido: Tierra y ambiente
•
Desempeño: Solución de situaciones problemáticas
•
Objetivo: En este ítem se pretende evaluar si el alumno es capaz de aplicar conocimientos sobre las
posiciones relativas del Sol y la Tierra para explicar una situación cotidiana.
214
3.1
El alumno marca la opción C y señala que el Sol se oculta por el oeste y
que por lo tanto al conductor, la luz le llegaría de frente.
Ejemplo:
“C. Por que como el sol se marcha por el oeste, te encandila”.
3.2
Crédito
completo:
3
El alumno marca la opción C y señala que el Sol se oculta por el oeste.
Ejemplo:
“C. Porque hacia el occidente se oculta el Sol y el conductor no tiene una guía
para ver por donde maneja”
3.3
El alumno marca la opción C y solo señala que a la persona que conduce la luz del sol le llegaría de frente.
Ejemplo:
“C. Por que te daría el Sol en la cara.”
Crédito parcial:
2
2.1
El alumno marca la opción C y no da ninguna explicación.
215
Sin Crédito: 1
1.1
No sé.
1.2
Respuestas borradas, tachadas, groseras, dibujos que no corresponden.
1.3
El alumno marca A, B o D, señalando que a la persona que conduce la
luz sol le llegaría de frente.
1.4
1.5
El alumno marca C, pero da una explicación incorrecta.
Otras respuestas
W
Item ilegible por el alumno (mal impreso, cortado, invertido).
Z
Omisión o missing.
D. Código: C.b3.it15
ÍTEM 15 del Cuadernillo 2 – ÍTEM 30 del Cuadernillo 4
216
•
Contenido: Seres vivos / Salud
•
Desempeño: Interpretación y aplicación de conceptos
•
Objetivo: Este ítem pretende evaluar si el alumno es capaz de seleccionar un criterio objetivo de clasificación y utilizarlo para agrupar animales.
El alumno se refiere explícita o implícitamente (solo hace mención a las categorías) a un criterio que permite clasificar los seres vivos presentados en dos
grupos y clasifica los seis animales correctamente de acuerdo con dicho criterio.
3.1 Clasifica por modo de reproducción (ovíparos – vivíparos). Se considerará también la clasificación por exclusión “ponen huevos – no ponen huevos”.
Crédito
completo:
3
3.2
Clasifica por presencia de columna vertebral (vertebrados – invertebrados).
3.3 Clasifica por otro criterio objetivo (por ejemplo: terrestres – aéreos). Si
el alumno señala un criterio y clasifica correctamente los seis animales en tres
grupos asignar el código 3.3.
Nota: No es necesario que el alumno responda utilizando nombres técnicos
para las categorías.
El alumno se refiere explícita o implícitamente (solo hace mención a las categorías) a un criterio que permite clasificar los seres vivos presentados en dos
grupos y clasifica cuatro o cinco de los seis animales (4 ó 5) correctamente de
acuerdo con este criterio.
Crédito parcial:
2
2.1 Clasifica por modo de reproducción (ovíparos – vivíparos) Se considerará también la clasificación por exclusión “ponen huevos – no ponen huevos”.
2.2
Clasifica por presencia de columna vertebral (vertebrados – invertebrados).
2.3 Clasifica por otro criterio objetivo. Si el alumno señala un criterio y clasifica correctamente cuatro o cinco de los seis animales en tres grupos asignar
el código 2.3 (Por ejemplo: omnívoros, herbívoros y carnívoros).
217
1.1
No sé.
1.2
Respuestas borradas, tachadas, groseras, dibujos que no corresponden.
1.3
Señala un criterio que permite clasificar los seres vivos presentados en
dos grupos, pero clasifica 3 o menos de los seis animales correctamente de
acuerdo con este criterio.
Sin Crédito: 1
1.4
Señala un criterio que no permite clasificar los seres vivos presentados
en dos grupos (por ejemplo: color y tipo de alimentación o insectos y mamíferos o carnívoros y omnívoros).
1.5
Propone una agrupación de todos los animales, pero no señala el criterio de clasificación utilizado.
1.6
Clasifica por exclusión. Por ejemplo: mamíferos y no mamíferos; vuelan
y no vuelan.
1.7
Señala dos criterios diferentes. Por ejemplo: mamíferos y voladores.
1.8
Otras respuestas.
W
Item ilegible por el alumno (mal impreso, cortado, invertido).
Z
Omisión o missing.
218
E. Código: C.b4.it15
ÍTEM 30 del Cuadernillo 2 – ÍTEM 15 del Cuadernillo 5
¿Por qué todos los seres vivos dependen de las plantas para obtener energía?
Escribe tu respuesta a continuación.
_____________________________________________________________
_____________________________________________________________
_____________________________________________________________
•
Contenido: Tierra y ambiente
•
Desempeño: Interpretación y aplicación de conceptos
•
Objetivo: Este ítem pretende evaluar la capacidad del alumno para aplicar sus conocimientos sobre
las relaciones tróficas y el flujo de la energía a la explicación de la dependencia que los animales tienen, de las
plantas.
219
3.1. El alumno hace referencia al papel de las plantas como primer eslabón
de las cadenas alimentarias, haciendo evidente la noción de flujo de energía
entre plantas y animales.
Ejemplos:
- “Todos los seres vivos dependen de las plantas para obtener alimentos porque la planta es la única
Crédito completo: en la cadena de alimentación que elabora sus propios alimentos por lo que ella se nombra en producto3
res y el ser humano pasa a hacer consumidor”.
- “Porque las plantas producen su propio alimento usando la energía del sol y los animales necesitan
alimentarse de otros seres vivos.”
-
“Porque solo las plantas reciben directamente la energía del Sol; por ello todo ser vivo extrae
la energía que reciben las plantas”
- “Por que las plantas son la base de la cadena alimentaria y si no hay plantas se terminan todos los
depredadores”.
2.1. El alumno hace referencia a que las plantas son los únicos seres vivos que
pueden producir sus propios alimentos a partir de la energía del Sol.
Ejemplos:
Crédito parcial:
2
- “Porque las plantas son los únicos seres vivos que elaboran su propio alimento. De este modo, con el
proceso de fotosíntesis, las plantas absorben el dióxido de carbono expulsa el oxigeno
(que es el gas que nosotros utilizamos para respirar y de este modo vivir)”.
- “Por que las plantas son productoras”.
220
1.1 No sé
1.2 Respuestas borradas, tachadas, groseras, dibujos que no corresponden.
1.3 El alumno señala que las plantas sirven de alimento para algunos animales.
Ejemplo:
- “Por que las plantas nos provee de alimentos por sus frutos, sus vitaminas, etc.”
1.4 El alumno señala la importancia de las plantas en la producción de oxígeno o que posibilitan la respiración.
Sin Crédito: 1
Ejemplo:
- “Porque las plantas realizan la fotosíntesis que es cuando las plantas largan el oxígeno”
1.5
El alumno señala que las plantas sirven de alimento para algunos animales y la importancia de las plantas en la producción de oxígeno o que posibilitan la respiración.
1.6
Otras respuestas.
W
Item ilegible por el alumno (mal impreso, cortado, invertido).
Z
Omisión o missing.
221
F. Código: C.b5.it15
ÍTEM 15 del Cuadernillo 3 – ÍTEM 30 del Cuadernillo 5
¿Por qué el carbón, el petróleo y el gas son combustibles fósiles?
Escribe tu respuesta a continuación.
_____________________________________________________________
_____________________________________________________________
_____________________________________________________________
•
Contenido: Tierra y ambiente
•
Desempeño: Interpretación y aplicación de conceptos
•
Objetivo: Este ítem pretende evaluar la capacidad del alumno para relacionar el proceso de formación
del carbón, el petróleo y el gas con el nombre que se le da a este conjunto de combustibles.
222
4.1 El alumno señala el origen de los combustibles como un evento que ocurrió hace mucho tiempo atrás y a partir de seres vivos.
Ejemplos:
Crédito
completo:
4
Crédito parcial:
3
-
“Porque se formaron hace millones de años de plantas enterradas.”
-
“Porque en ciertos lugares del mundo se enterraron organismos
muertos en gran cantidad y en muchos miles de años se forma todo eso”
-
“Por parte unos dinosaurios que murieron se enterraron y fue
dando vuelta el mundo y así se fue creando el carbón el petróleo
y muchas cosas más”
3.1 El alumno sólo señala el origen de los combustibles fósiles a partir de seres
vivos, pero no menciona que el evento ocurrió en el pasado.
Ejemplos:
-
-
“Porque los que murieron se transformaron en combustibles fósiles”
“Porque se formaron por plantas.”
2.1 El alumno sólo señala que el evento ocurrió hace mucho tiempo atrás, pero
no menciona el origen de los combustibles fósiles a partir de seres vivos.
Crédito parcial:
2
Ejemplos:
- “Porque se formaron hace muchísimo tiempo.”
- “Porque se hicieron hace miles de años.”
223
1.1
No sé.
1.2 Respuestas borradas, tachadas, groseras, dibujos que no corresponden.
1.3 El alumno se refiere al uso de los combustibles, por ejemplo “se usan para
cocinar” o para “andar los carros”.
1.4 El alumno se refiere a que provienen de la tierra o de fósiles de seres vivos.
Ejemplo:
Sin Crédito: 1
“Porque cuando un animal se muere se hace fósil.”
“Porque son los fósiles de los dinosaurios.”
1.5
El alumno se refiere a que los combustibles fósiles como recursos no
renovables.
1.6 Otras respuestas.
Ejemplo:
“Por los huesos de los humanos después que se descomponen los cuerpos que en unos mil años se
convirtieron en estos combustibles que serán hallados por los humanos”
W
Item ilegible por el alumno (mal impreso, cortado, invertido).
Z
Omisión o missing.
224
CAPÍTULO VII: MANUAL PARA EL PROCESAMIENTO
Y ANÁLISIS DE DATOS APLICACIÓN PILOTO
El presente Manual de Procesamiento de datos y Análisis de Items para el SERCE, es un documento guía para
el procesamiento de datos provenientes de la aplicación piloto del estudio, que presenta indicadores estadísticos
que orienten la toma de decisiones en relación con la aceptación o rechazo de ítems para conformar los instrumentos que se aplicarán en el estudio definitivo, decisiones que, por supuesto, también estarán sustentadas
en un análisis cualitativo, basado en los marcos teóricos de las pruebas, el contexto y propósitos del estudio,
las características de la población evaluada, etc. Su alcance no cobija el procesamiento de datos de la aplicación
definitiva.
Para efectos prácticos, esos indicadores estadísticos se toman de la Teoría de Respuesta al Item (TRI), cuyos
supuestos son fuertes y apropiados para los propósitos de la evaluación del SERCE; algunos de estos indicadores permiten reconocer la calidad de cada uno de los ítems y otros describen al grupo o grupos de evaluados a
quienes se aplica dichos ítems. Todos estos indicadores pueden ser interpretados desde los supuestos de la TRI
en general y desde los diferentes modelos de esta teoría. Además, son apropiados para los objetivos del estudio
piloto.
Es prudente mencionar que algunos de los objetivos del estudio piloto son la verificación de la calidad de los
ítems aplicados y de los procedimientos implementados. No se pretende, a partir de esta aplicación piloto, realizar comparaciones de resultados entre países, entre otras razones, debido a que las muestras no son representativas. Sin embargo, para efectos del análisis de ítems, sí es necesario conocer el comportamiento de los ítems en
los diferentes países participantes, por lo cual se incluye la producción de reportes por país. El procesamiento
de datos planteado para la aplicación piloto incluye el análisis de ítems de selección múltiple con única respuesta
e ítems con respuesta abierta de crédito parcial; no se incluyen las preguntas de la prueba de escritura.
Para el análisis de ítems del estudio piloto, además del reporte internacional y de los reportes por país, se hará
uso de los informes de la aplicación piloto entregados por los Coordinadores Nacionales.
1. FUNDAMENTACIÓN TEÓRICA DEL
MODELO DE ANÁLISIS
1.1. LAS TEORÍAS DE MEDICIÓN
En la construcción de pruebas, dos teorías psicométricas han tenido trascendencia: la teoría clásica de las pruebas (TCP) y la teoría de respuesta al ítem (TRI).
El modelo lineal de la TCP describe la influencia de los errores de medida en las puntuaciones observadas y sus
relaciones con las puntuaciones verdaderas27 . La TCP presenta varias limitaciones; la más importante de ellas es
que no permite separar las características del examinado de las características del test. La dificultad de un ítem
se define, en este contexto, como la proporción de examinados en un grupo determinado que contesta el ítem
correctamente. Las características métricas del test (tales como confiabilidad y validez) se definen en términos
de un grupo determinado de examinados con el cual se ha construido el baremo o norma de interpretación de
las puntuaciones; esto hace difícil comparar examinados que tomaron distintos tests, e imposibilita el análisis de
interpretaciones de resultados con referencia a criterio28 .
27 Martínez, R. (1996). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis. 28
ardo, C. (2001). Revista ACTA Colombiana de Psicología. No. 5. Bogotá: Universidad Católica de Colombia.
225
Otra debilidad de la TCP es que no proporciona información precisa acerca de la habilidad de cada una de las
personas; presume que la varianza del error de medida es igual para todos los examinados. Además, la construcción de formas paralelas de una prueba, requisito para establecer la confiabilidad, se dificulta en la práctica.
El modelo de la teoría de respuesta al ítem, (TRI), intenta dar una fundamentación probabilística al problema
de la medición de rasgos y constructos no observables, y considera al ítem como unidad básica de medición.
La TRI no contradice ni los supuestos ni las conclusiones fundamentales de la TCP, sino que hace asunciones
adicionales que permiten superar las debilidades de esta última29 . Mientras en la TCP la medición del atributo se
asume como la sumatoria de respuestas a ítem individuales, en la TRI se estima el nivel de un atributo medido
utilizando el patrón de respuesta del evaluado30 .
1.2. LA TEORÍA DE RESPUESTA AL ITEM (TRI)
1.2.1. Supuestos de la TRI
Los planteamientos de la TRI se fundamentan en el postulado de que la ejecución de una persona en una prueba puede predecirse y explicarse por un conjunto de factores personales llamados, en conjunto, “habilidad” y
en el hecho de que la relación entre la ejecución del examinado y la habilidad que la soporta puede describirse
por una función monotónicamente creciente.
Como todo modelo matemático, la TRI incluye un conjunto de supuestos acerca de los datos en los cuales se
aplica, y especifica las relaciones entre los constructos descritos en el modelo3132 . En términos generales, la TRI
considera 3 supuestos básicos:
1)
Dimensionalidad. En la TRI se asume que cuando se diseña una prueba, ésta deberá medir, preferiblemente, una dimensión, una habilidad. Se reconoce que cuando una persona responde a un ítem en una
prueba, confluyen múltiples habilidades, pero los ítems deben diseñarse haciendo énfasis en una de ellas o en
una combinación particular predefinida.
2)
Independencia Local. Se espera que un evaluado responda a un ítem en particular sin que recurra
a información de otros ítems para hacerlo correctamente. En otras palabras, la ejecución en un ítem no debe
afectar sus respuestas en otro. En las pruebas en donde los ítems dependen de un mismo contexto (texto), se
aplica la independencia local entre los ítems y no entre ellos y el contexto.
3)
Curvas Características de Ítems (CCI). La CCI es una función matemática que relaciona la probabilidad de éxito en una pregunta con la habilidad, medida por el conjunto de ítems que la contienen33 34. Los
diferentes modelos de la TRI se diferencian en la forma particular que adquiere la función de probabilidad, la
cual incluye el número específico de parámetros del modelo. Todo ítem puede describirse por su CCI y es esta
curva la unidad conceptual básica de la TRI.
29
30
31
Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates.
Nunnally, A. (1987). Teoría Psicométrica. México: Trillas.
Hambleton, R. y Swaminathan, H. 1985. Item Response Theory: principles and applications. Kluwer. Boston.
32
Weiss, D. y Yoes, M. 1994. Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and
psychological testing. Boston.
33
7 Hambleton, R. y Swaminathan, H. 1985. Op. Cit.
Thorndike, R. 1999. IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. 1999. The New
34
Rules of Measurement. New Jersey. University of Kansas.
226
1.2.2. Modelos en la TRI
Bajo el nombre genérico de la TRI se presentan diferentes modelos que, aunque se diferencian en algunos
rasgos, tienen en común una serie de aspectos básicos, especialmente el de ser modelos estructurales que establecen una relación matemática formalizada entre la respuesta a un ítem concreto y el nivel de habilidad de una
persona.
Los primeros modelos de TRI seguían la ojiva normal, en la actualidad los modelos de uso común siguen la
ojiva logística o función de distribución logística, que define toda una familia de curvas de forma similar en
apariencia a la ojiva normal; La forma general de la función logística es:
Ó
θ e f (θ ) = θ 1 + e (1)
θ do­nde
e valor o función.
es la base de los logaritmos neperianos, xf y(θ cualquier
) = θ 1 + e Existen diversas funciones que cumplen la propiedad
de la monotonía creciente de la curva que describe la
probabilidad como función de la habilidad. Las diferencias entre ellas pueden darse por la forma y por los
parámetros que la describen. Para definir las curvas son utilizadas hasta tres parámetros denominados a, b y c,
que representan el índice de discriminación, el índice de dificultad y la probabilidad de seleccionar la respuesta
correcta al azar, respectivamente.
Modelo De Rasch
El modelo de Rasch, establece la probabilidad de respuesta de una persona ante un estímulo dado, en términos
de la diferencia entre la medida del rasgo de la persona y la medida del estímulo utilizado35.
El modelo considera que la respuesta a un ítem
θ sólo depende de la interacción entre la habilidad del sujeto y de
e
la dificultad del ítem, es decir, de
viene dada por la función logística, y el único parámetro de
f (θ )y =de b. La CCI
θ +
los ítems que se tiene
1 e en cuenta es b, el índice de dificultad.
No
se hacen hipótesis globales sobre el patrón de respuestas de un grupo,
ni sobre la adivinación sistemática. Por el contrario, plantea que la adivinación es un patrón personal y puede
ser detectada en función del ajuste o desajuste de las respuestas de una persona al modelo. Esta misma hipótesis
aplica para los ítems. La medida de una persona es independiente de la prueba empleada y la calibración del ítem
es independiente de la población que lo aborda.
35
Tristán, A. (2001). Rasch para Todos. México: Ceneval.
227
La función del modelo se expresa de la siguiente forma:
(2)
donde,
θ θ e
e
Pif ((θ )) es
el
item
i
en
determinado
nivel
la
probabilidad
de
responder
correctamente
θ
=
= θ f ( ) θ θ e1 los
+
1
+ e son
valores
de
la
variable
medida
θ
=
e
f ( ) θ 1es +el eíndice
b i
de dificultad del ítem i
es
la
base
de
los
logaritmos
neperianos
Modelo de Dos Parámetros
En 1952, Frederic Lord propuso un modelo de Respuesta al Ítem en el que las ICCs tomaban la forma de
una ojiva normal de dos parámetros. En este modelo se tienen en cuenta los parámetros de dificultad (b) y
discriminación (a). Estos se definen teóricamente en una escala que oscila entre (- ,+ ). No obstante, en la
práctica, los valores de dificultad generalmente varían entre –3.5 y +3.5, correspondiendo el valor de –3.5 a
ítems muy sencillos y el valor +3.5 a ítems muy difíciles. En cuanto al parámetro a, los valores negativos se
descartan en los test de aptitud y en la práctica sus valores oscilan entre 0 y 2. Valores muy bajos en poder
discriminante dan lugar a ICCs, que crecen lenta y gradualmente al aumentar el nivel de habilidad. La función
del modelo se expresa de la siguiente forma:
228
donde,
θ θ e
e
Pif ((θ )) es
la
probabilidad
de
acertar
el
item
i
para
un
valor
θ
=
= θ f ( ) θ evalores
+ θde
1
+ e son
los
la
variable
medida
θ
=
1
e
f ( ) θ + e de dificultad del ítem i
bi es el1índice
ai es el índice de discriminación del ítem i
es la base de los logaritmos neperianos
D es un factor de escalamiento = 1.7 (su uso asegura una variabilidad inferior a 0.01 en los valores estimados
Tristán, A. (2001). Rasch para Todos. México: Ceneval. de habilidad, cuando se usa la ojiva normal o la ojiva
logística de dos parámetros).
Modelo de Tres Parámetros
Este modelo fue originado y desarrollado por Allan Birnbaum. Además de los supuestos básicos de la TRI, el
modelo de Tres Parámetros usa directamente los valores a, b y c, para encontrar una curva que mejor aproxime los puntos observados.
El modelo se expresa en la siguiente función:
θ − i
e Da ( b ) θ
=
+
−
Pi ( ) c i (1 ci ) θ − 1 + e Da ( b ) i
i
(3)
i
donde,
θ θ e la
probabilidad
de responder correctamente el ítem i para un valor
Pif ((θ ))es
θ ) = e θ θ
=
f
(
e θ valores
1 + e de la variable medida
+
e f (θ ) = son1los
θ 1es +el eíndice
ai de discriminación del ítem i
bi
es el índice de dificultad del ítem i
ci
es la probabilidad de responder en forma correcta el ítem cuando no se conoce la respuesta (por azar)
es la base de los logaritmos neperianos
es una constante = 1.7 (valor introducido para que la función logística sea ajustada a la ojiva normal
con una exactitud de 0,01)
D
Distintos estudios que han puesto a prueba este modelo han encontrado que el parámetro c, por lo regular,
asume valores más pequeños que el valor que resultaría si los examinados de baja habilidad seleccionaran al azar
la respuesta; este fenómeno se ha explicado por el hecho de que en realidad los examinados de baja habilidad
regularmente no eligen al azar –a ciegas-la respuesta a un ítem que no pueden responder, sino que responden
opciones que se presentan ante ellos como plausibles. Por lo anterior se ha sugerido evitar la denominación de
“adivinación” para el parámetro c y se ha optado por llamarlo “nivel de seudoprobabilidad”.
2. INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
El análisis de ítems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los ítems
de un instrumento, en relación con los propósitos para los cuales fueron elaborados. Su realización implica
un saber profundo sobre el objeto de evaluación, la población evaluada, los propósitos de la evaluación y se
requiere, además, conocer debidamente las técnicas de procesamiento de datos para hacer una adecuada interpretación de los indicadores estadísticos disponibles. El proceso de análisis de ítems debe conducir a la toma de
decisiones en relación con la inclusión, exclusión o modificación de ítems, a partir de la identificación clara de
las posibles problemáticas de los mismos.
A continuación se describe cada uno de los indicadores sugeridos para el procesamiento de datos del SERCE,
con miras a proveer información cuantitativa necesaria para adelantar el análisis de ítems.
2.1. DIFICULTAD
Definición: indica la posición de la curva del ítem a lo largo de la escala de habilidad; entre más difícil es un
ítem su curva estará localizada más a la derecha en la escala de habilidad.
229
Justificación de uso: es uno de los parámetros fundamentales en los Modelos de la TRI. Es indicador base
para la conformación de pruebas y de bancos de ítems, así como para establecer comparabilidad de escalas. Se
requiere para obtener otros indicadores de ítems (curvas características, función de información).
Interpretación: los valores de dificultad oscilan entre menos infinito y más infinito en la escala logit, aunque
en términos prácticos los ítems asumen valores entre –3.5 y +3.5, cuando el promedio de dificultades del grupo
de ítems se centra en cero. Valores positivos y altos indican alta dificultad y los valores negativos indican baja
dificultad.
Criterio de aceptación: regularmente se analiza la distribución de valores de dificultad del instrumento en relación con los valores de habilidad de la población evaluada para conceptuar sobre lo apropiado de la medición
de dicho instrumento, de acuerdo con los propósitos que lo inspiraron. Un aspecto importante de análisis está
dado por la densidad de ítems en un punto de la escala de habilidad en particular; así, se espera que no haya más
de dos ítems de un mismo componente o contenido que midan con la misma dificultad. No se establecen de
antemano valores de rechazo para este indicador; no obstante, ítems que sean respondidos correctamente por
la totalidad de la muestra o que no sean respondidos correctamente por ninguno de los evaluados serán objeto
de un reporte especial.
2.2. DISCRIMINACIÓN
Definición: corresponde al “poder de un ítem para diferenciar a los evaluados en distintos niveles de habilidad
frente a un constructo medido”36 Grado en el cual las respuestas a un ítem varían en relación con el nivel de
habilidad. Se conoce también como la pendiente de la curva en el punto de máxima inflexión.
Justificación de uso: es, junto con la dificultad, parámetro fundamental de los ítems dentro del Modelo de
Dos Parámetros. Indica en qué grado el ítem es respondido correctamente por las personas de alta habilidad e
incorrectamente por las personas de baja habilidad.
Interpretación: los valores de discriminación oscilan, teóricamente, entre menos infinito y más infinito, aunque, en la práctica, los ítems presentan valores de discriminación entre 0 y +2. Valores que se aproximan a más
infinito se corresponden con un patrón de Guttman (discriminación perfecta).
Criterio de aceptación: son aceptables los ítems con valores de discriminación superiores o iguales a 0.7. No
obstante, en caso de tener un mayor número de ítems que los necesarios, la aceptabilidad se haría en orden del
valor de la discriminación.
2.3. CORRELACIÓN PRODUCTO MOMENTO PUNTO MEDIDA
Definición: relación entre la respuesta correcta a un ítem de una prueba y el valor de habilidad obtenido en
dicha prueba. Este indicador supera las dificultades de la correlación punto biserial tradicional en tanto no es
afectada por valores missing. Se calculará para la clave así como para las demás opciones de cada ítem.
Justificación de uso: permite inferir validez de los ítems en cuanto éstos se comporten como partes del instrumento.
Interpretación: puede tomar valores entre –1 y 1. Los valores positivos indican que la respuesta correcta al
ítem está asociada a altos puntajes en la prueba; valores negativos indican que dicha asociación se da de manera
inversa, es decir, altos puntajes en la prueba se asocian a una respuesta incorrecta al ítem.
36
ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.
230
Criterio de aceptación: son aceptables ítems con valores superiores a 0.25. Es deseable que la distribución de
valores de correlaciones biseriales de los ítems de la prueba incluya valores superiores al criterio de aceptación.
Igualmente, se debe seguir el orden del valor de la correlación punto biserial para la aceptación de los ítems.
2.4. FUNCIONAMIENTO DIFERENCIAL DE ÍTEMS -DIF37
Definición: grado en el cual un ítem presenta propiedades estadísticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos.
Justificación de uso: es un indicador de equidad en cuanto permite reconocer ítems que presenten comportamiento estadístico diferente en los distintos países participantes en el estudio, bien sea para proceder a ajustar
dichos ítems –si se encuentra que el DIF se debe a fallas de construcción-o para reconocer necesidades particulares de ajuste o cualificación de procesos educativos –si se descartan problemas de construcción del ítem-.
En cualquier caso, debe garantizarse que la calificación final en el estudio se realice a partir de ítems que no
presenten DIF.
Interpretación: se interpreta el test t de significancia estadística para aceptación o rechazo de la hipótesis de
funcionamiento diferencial que es equivalente al test de significancia Mantel – Haenszel.
Criterio de aceptación: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96
de la prueba t con (n1+n2-2) grados de libertad.
Cálculo: el análisis de DIF se realiza con todos los ítems (o todos los grupos poblacionales), excepto con el que
está siendo analizado, anclando sus dificultades (habilidades) a los valores de las dificultades (habilidades) para
la totalidad de los ítems (o grupos poblacionales) incluyendo el que está siendo analizado. Se calcula un DIF de
contraste que corresponde a la diferencia entre los tamaños de DIF de los ítems (o grupos poblacionales) en
estudio, que es equivalente a la medida de DIF con procedimiento Mantel-Haenszel.
2.5. CURVA CARACTERÍSTICA DEL ITEM – ICC38
Definición: función matemática que relaciona la probabilidad de éxito en un ítem con la habilidad medida por
el ítem. Se debe calcular, para cada ítem, la ICC y la Curva Empírica del Ítem39 , tanto para la clave como para
las demás opciones de respuesta. Se presentarán cuatro gráficas por prueba, por grado, en el Informe Internacional, solamente.
Justificación de uso: permite verificar el grado en el cual el modelo da cuenta de los resultados
de la evaluación40 .
Interpretación: la curva característica del ítem para el Modelo de Dos Parámetros toma la forma de una ojiva
logística. La interpretación consiste en verificar la correspondencia entre la curva empírica del ítem y la curva
característica.
Criterio de aceptación: curvas empíricas (ECC) que se comportan de acuerdo con la curva característica del
modelo.
37
DIF, en inglés: Differential Item Functioning.
38
Item Caracteristic Curve
39
La curva basada en los puntajes observados se puede llamar Función Empírica de Respuesta al Ítem o Curva Empírica del Item
(en inglés: Empirical Caracteristic Curve, ECC).
40
Se sugiere obtener las ICC para el modelo de dos parámetros y para el modelo de Rasch con el propósito de establecer el mejor
ajuste de los datos.
231
2.6. AJUSTE PRÓXIMO Y LEJANO (INFIT Y OUTFIT)
Definición: indica la correspondencia entre un grupo de datos y el modelo estadístico utilizado para representarlos. El ajuste próximo (infit) se refiere a la relación entre los datos que se encuentran cerca del valor de
dificultad del ítem y el valor de dificultad; el ajuste lejano (outfit) se refiere a la relación de los datos que se
encuentran lejos de dicho valor de dificultad y esa dificultad. Ambos indicadores deben ser calculados para la
clave. Para las demás opciones de respuesta debe calcularse el ajuste lejano.
Justificación de uso: la utilización de un modelo para representar datos debe fundamentarse en la verificación
de que dicho modelo en verdad representa el comportamiento de los datos y, por ende, puede inferirse el cumplimiento de los supuestos de dicho modelo para los datos analizados.
Interpretación: los valores posibles se encuentran entre cero (0) e infinito positivo. El valor que determina el
ajuste perfecto entre los datos y el modelo es 1. Los valores muy inferiores a 1 indican dependencia de los datos
(paradoja de atenuación); valores superiores a 1 indican ruido en la información; valores superiores a 2 indican
que el ruido es mayor que la información útil.
Criterio de aceptación: valores de ajuste entre 0.8 y 1.2.
Cálculo: se basa en la suma de los cuadrados de los residuos estandarizados. Esta suma se aproxima a una
distribución chi cuadrado. Dividiendo esta suma por sus grados de libertad se obtiene un valor esperado de 1 y
rango entre cero e infinito.
2.7. PROMEDIO DE HABILIDAD POR OPCIÓN
Definición: promedio de las habilidades de quienes eligen cada opción de respuesta de un ítem. Se debe incluir,
adicionalmente, la proporción de respuestas para cada opción. Esta información se presenta para el informe
internacional de la aplicación piloto solamente e incluye los datos de todos los evaluados.
Justificación de uso: permite reconocer la proporción de personas que seleccionan una opción como respuesta correcta y su habilidad promedio. La combinación de estos dos datos proporciona información útil para
determinar la validez de cada ítem en relación con los marcos conceptuales de las pruebas y valorar la calidad
de cada opción.
Interpretación: los valores posibles de habilidad promedio se encuentran entre infinito negativo hasta infinito positivo. Se espera que el promedio de habilidad para la opción considerada clave sea el mayor de todos.
El mapa de distribuciones de los promedios de habilidad de las opciones de todos los ítems indica el funcionamiento relativo de todas las opciones y puede ser interpretado con base en los marcos conceptuales de las
pruebas. El orden de los promedios de habilidades permite comprender las complejidades de las opciones para
la población evaluada. Las proporciones de respuesta para cada opción dan una idea de su atracción en una
población particular.
Criterio de aceptación: el mayor promedio de habilidad debe ser el de la clave.
232
2.8. MAPA DE DISTRIBUCIÓN DE HABILIDADES Y DIFICULTADES
Definición: Relación gráfica, en una misma escala, entre la distribución de las dificultades de los ítems y la distribución de las habilidades de los evaluados. Esta gráfica se presenta sólo en el informe internacional. Aunque
no es un indicador estadístico en sí mismo, utiliza indicadores de personas y de ítems que ofrecen información
pertinente para el análisis de los bloques y de los ítems que los conforman.
Justificación de uso: permite contrastar la dificultad de los ítems en una población particular y determinar
si éstos se ajustan a la población; igualmente, es posible observar el cubrimiento de las habilidades por parte
de los ítems. Permite identificar grupos de ítems o de personas que por su nivel de dificultad o habilidad, respectivamente, merezcan una atención especial en el análisis. Pueden ser contrastadas las expectativas de los
constructores de ítems, en relación con el nivel de dificultad de los ítems, así como si la muestra seleccionada se
comporta de acuerdo con los propósitos del diseño muestral.
Interpretación: las habilidades y las dificultades se presentan en una escala que oscila entre menos infinito
y más infinito. Si la distribución de habilidades tiene valores inferiores a la distribución de dificultades, quiere
decir que para ese grupo poblacional los ítems resultaron difíciles. Por el contrario, si la distribución de habilidades tiene valores superiores a la distribución de dificultades, signfica que para ese grupo poblacional los ítems
resultaron fáciles.
Criterio de aceptación: se espera que las distribuciones de habilidades y dificultades tengan posición y dispersión semejantes entre sí. De esta manera se entiende que el grupo de preguntas analizado cubre la totalidad de
las habilidades dela población. Si las distribuciones no son semejantes, las diferencias deben ser interpretadas a
la luz de los marcos teóricos de las pruebas y del propósito del estudio SERCE.
2.9. CORRELACIONES INTER – ÍTEM
Definición: correlaciones entre los ítems de un mismo bloque. Este indicador se presenta sólo en el Informe
Internacional.
Justificación de uso: indica el grado de relación entre dos ítems de un mismo bloque, indicando si miden lo
mismo (dimensionalidad del constructo). Se utiliza en análisis de la confiabilidad de un grupo de ítems.
Interpretación: Si el valor de las correlaciones es positivo y alto indica que los ítems miden el mismo objeto;
si, por el contrario, los valores son negativos, indica que los ítems miden objetos diferentes.
Criterio de aceptación: las correlaciones deben ser positivas y altas.
2.10. ERROR ESTÁNDAR DE MEDICIÓN
Definición: corresponde a la desviación estándar de una distribución imaginaria de errores que representan la
posible distribución de valores observados alrededor del valor teórico verdadero. Es un indicador de la confiabilidad.
Justificación de uso: si se calcula el error de medición de cada habilidad estimada o dificultad estimada (o
conjunto de habilidades o dificultades), se conoce la precisión de la medida o la estimación, orientando la toma
de decisiones para la depuración de bases de datos y para el análisis de ítems.
233
Interpretación: como en cualquier proceso de medición, se espera que el error sea cercano a cero. Errores
demasiado grandes restan confianza en las estimaciones del parámetro. La escala de valores en la cual se reportan los errores está asociada a la escala de medición utilizada, por lo cual no es posible establecer, de manera
universal y de antemano, un valor mínimo aceptable de error.
Criterio de aceptación: por lo general, diferentes autores coinciden en que la decisión de cuál sería un valor de
error aceptable y cuál no, debe derivarse de un juicio profesional experto de quienes conocen procedimientos
psicométricos, el instrumento de medida y su marco de fundamentación41.
3. INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS
En consideración a que el diseño del estudio contempla que los instrumentos (pruebas) estén conformados de
acuerdo con agrupaciones de ítems en bloques, aplicados de manera sistemática en cuadernillos editados con
arreglos distintos de dichos bloques, el análisis de ítems debe incluir una fase de análisis de indicadores estadísticos que den cuenta del comportamiento de tales agrupaciones.
En tal sentido, a continuación se describen los indicadores propuestos para el análisis de bloques; es de notar
que dado que la aceptación o rechazo de ítems se hace con base en sus indicadores individuales, para los indicadores de grupos de ítems no se define un criterio de aceptación.
3.1. PROMEDIO
Se requiere obtener promedio de habilidades, promedio de dificultades y porcentaje de respuestas correctas.
Definición: promedio de las dificultades de los ítems del bloque y de las habilidades de las personas que abordan el bloque.
Justificación de uso: permite conocer el comportamiento del bloque en diferentes grupos poblacionales, en
relación con la posición de dicho bloque en distintos cuadernillos. También permite observar el comportamiento relativo de los distintos grupos poblacionales, de acuerdo con el diseño muestral.
Interpretación: si el bloque se encuentra ajustado a la población, el promedio de habilidades debe ser aproximadamente igual al promedio de dificultades. Si el promedio de habilidades es superior, significa que el bloque
fue relativamente fácil para ese grupo poblacional; si por el contrario el promedio de habilidades es inferior al
promedio de dificultades, significa que el bloque fue relativamente difícil para ese grupo poblacional. El porcentaje de respuestas correctas aporta al análisis intrabloque en cuanto constituye un indicador general de la manera
en que los evaluados abordaron cada bloque.
3.2. DESVIACIÓN ESTÁNDAR
Se requiere obtener la desviación estándar de habilidades y de dificultades.
Definición: medida de la dispersión de la distribución de las dificultades de los ítems de un bloque y de la distribución de las habilidades de las personas que abordan dicho bloque.
Justificación de uso: permite valorar la homogeneidad/heterogeneidad de los valores de dificultad del grupo
de ítems de un bloque, así como de los valores de habilidad del grupo poblacional que aborda dicho bloque.
41
AERA, APA, NCME. (1999) Standards ford educational and psychological testing. Washington: AERA.
234
Interpretación: desviaciones estándar altas (superiores a 1 en valores logit) indican heterogeneidad del grupo
de datos; desviaciones estándar bajas (inferiores a 1 en valores logit) indican homogeneidad del grupo de datos.
Esta información se contrasta con el respectivo valor del promedio para comprender el desempeño de una
población particular.
3.3. PUNTUACIÓN MÁXIMA Y PUNTUACIÓN MÍNIMA
Definición: puntuaciones logit más alta y más baja alcanzadas por una población particular.
Justificación de uso: permite reconocer los extremos de la distribución de habilidades en una población particular y contrastarlos con las expectativas de los evaluadores.
Interpretación: si el valor máximo en logits alcanzado por una población es inferior al valor de habilidad
equivalente a n-1 ítems correctos, indica que el grupo de ítems resultó complejo para las personas de más alta
habilidad. Si el valor mínimo, en logits, alcanzado por una población es superior al valor de habilidad equivalente a 1 ítem correcto, indica que el grupo de ítems resultó fácil para las personas de más baja habilidad. Se
espera que los valores mínimos y máximos correspondan a 1 respuesta correcta y a n-1 respuestas correctas,
respectivamente.
3.4. CONFIABILIDAD
Definición: indica el grado de precisión en la medición. En la TRI se utiliza la Función de Información como
indicador de la confiabilidad.
Justificación de uso: es importante conocer la precisión de la medición en cada punto de la escala de habilidad,
para cada uno de los bloques, en las distintas poblaciones.
Interpretación: a mayor valor de la función de información es mayor la precisión en la medida.
4. SOFTWARE PARA PROCESAMIENTO
El procesamiento de datos para el estudio SERCE debe ofrecer información suficiente para efectuar el análisis
de ítems con los indicadores sugeridos en los apartados 2 y 3.
En el mercado se cuenta con oferta considerable de software que opera con los supuestos de la Teoría de Respuesta al Item y que implementa las funciones matemáticas de sus diferentes modelos, enunciadas en el apartado 1 de este documento. La diferencia entre un software y otro, ya sea que estén o no inspirados en un mismo
modelo, radica principalmente en aspectos como el tamaño poblacional y la longitud de los instrumentos que
les es posible procesar, en la formulación matemática particular que implementan y, quizás lo más importante,
desde el punto de vista de un proceso de evaluación, en la confiabilidad (precisión) de los datos que arroja.
Se revisaron distintas características técnicas (la cantidad de indicadores que reporta el software y la precisión
en las estimaciones de los mismos; la cantidad de datos que tiene capacidad de analizar; los requerimientos de
conformación de bases de datos; la convergencia en las estimaciones y la interfase gráfica) de programas de
software disponibles en el mercado, tales como Bilog MG, Multilog, Parscale, Rascal y Winsteps y se llegó a la
conclusión que este último ofrece las mayores ventajas para el procesamiento de datos en la aplicación piloto
del proyecto SERCE.
235
Winsteps es un software que opera en plataforma windows y que implementa los principios de la Teoría de Respuesta al Ítem para construir mediciones objetivas a partir de una base de datos sencilla en la cual se especifican
personas (evaluados) y sus respuestas a un grupo de ítems.
Puede trabajar de manera simultánea con varios formatos de ítems (dicótomos, de selección múltiple con única
y con múltiple respuesta y de crédito parcial); ofrece gran variedad de reportes tabulares y con interfases gráficas, en los cuales se presenta de manera detallada y también resumida, el comportamiento de las poblaciones y
de los ítems analizados. Una característica importante es que el software señala con claridad los datos que presentan comportamientos por fuera de lo esperado. Los datos missing no son un problema para las estimaciones
que realiza este software.
La generación de escalas de calificación usando Winsteps constituye un proceso relativamente simple toda vez
que el software permite el procesamiento de datos, agrupados según variables de interés, sin requerir modificaciones en la estructura de la base de datos original. Winsteps también permite prefijar valores (anclar) de los
parámetros para facilitar procesos de comparabilidad (equating).
Winsteps puede procesar hasta 10.000.000 de personas y 30.000 ítems y cada ítem puede contemplar hasta
255 categorías de calificación (el de mayor capacidad, para ítems y categorías, en el mercado). El software
tiene un manual detallado para orientar su uso y la interpretación de la información que arroja; la firma
Winsteps ofrece apoyo técnico en línea, oportuno y eficaz, para solventar inquietudes tanto de procesamiento
como de interpretación de datos.
5. BASE DE DATOS
Son dos las bases de datos necesarias: la de entrada o base de datos inicial y la base de datos de salida, cada
una compuesta por varias tablas.
5.1. BASE DE DATOS DE ENTRADA
Esta base de datos debe contener la siguiente información de los evaluados:
· Código de país
· Grado
· Código del centro educativo
· Aula
· Nombre del cuadernillo
· Respuestas a las preguntas
Esta información puede encontrarse en diferentes tablas que tengan algún campo
común para obtener el archivo de datos que se utilizará en el procesamiento de
datos para el análisis de ítems.
En total se requieren 5 archivos de datos, que tendrán la siguiente información y
deben estar en formato txt:
236
Archivo 1. Lenguaje tercer grado
· Código de país
· Código de centro educativo
·Código de grado
· Aula
· Código estudiante
· Nombre del cuadernillo de lenguaje
· Respuestas a Bloque 1 de lenguaje (si aplica)
· Respuestas a Bloque 2 de lenguaje (si aplica)
· Respuestas a Bloque 3 de lenguaje (si aplica)
· Respuestas a Bloque 4 de lenguaje (si aplica)
· Respuestas a Bloque 5 de lenguaje (si aplica)
· Respuestas a Bloque 6 de lenguaje (si aplica)
· Respuestas a Bloque 7 de lenguaje (si aplica)
· Respuestas a Bloque 8 de lenguaje (si aplica)
Archivo 2. Lenguaje sexto grado
· Código de país
· Código de centro educativo
· Código de grado
· Aula
· Código estudiante
· Nombre del cuadernillo de lenguaje
· Respuestas a Bloque 1 de lenguaje (si aplica)
· Respuestas a Bloque 2 de lenguaje (si aplica)
· Respuestas a Bloque 3 de lenguaje (si aplica)
· Respuestas a Bloque 4 de lenguaje (si aplica)
· Respuestas a Bloque 5 de lenguaje (si aplica)
· Respuestas a Bloque 6 de lenguaje (si aplica)
· Respuestas a Bloque 7 de lenguaje (si aplica)
· Respuestas a Bloque 8 de lenguaje (si aplica)
Archivo 3. Matemática tercer grado
· Código de país
· Código de centro educativo
· Código de grado
· Aula
· Código estudiante
· Nombre del cuadernillo de matemática
· Respuestas a Bloque 1 de matemática (si aplica)
· Respuestas a Bloque 2 de matemática (si aplica)
· Respuestas a Bloque 3 de matemática (si aplica)
· Respuestas a Bloque 4 de matemática (si aplica)
· Respuestas a Bloque 5 de matemática (si aplica)
· Respuestas a Bloque 6 de matemática (si aplica)
· Respuestas a Bloque 7 de matemática (si aplica)
237
· Respuestas a Bloque 8 de matemática (si aplica)
Archivo 4. Matemática sexto grado
· Código de país
· Código de centro educativo
· Código de grado
· Aula
· Código estudiante
· Nombre del cuadernillo de matemática
· Respuestas a Bloque 1 de matemática (si aplica)
· Respuestas a Bloque 2 de matemática (si aplica)
· Respuestas a Bloque 3 de matemática (si aplica)
· Respuestas a Bloque 4 de matemática (si aplica)
· Respuestas a Bloque 5 de matemática (si aplica)
· Respuestas a Bloque 6 de matemática (si aplica)
· Respuestas a Bloque 7 de matemática (si aplica)
· Respuestas a Bloque 8 de matemática (si aplica)
Archivo 5. Ciencias sexto grado
· Código de país
· Código de centro educativo
· Código de grado
· Aula
· Código estudiante
· Nombre del cuadernillo de ciencias
· Respuestas a Bloque 1 de ciencias (si aplica)
· Respuestas a Bloque 2 de ciencias (si aplica)
· Respuestas a Bloque 3 de ciencias (si aplica)
· Respuestas a Bloque 4 de ciencias (si aplica)
· Respuestas a Bloque 5 de ciencias (si aplica)
· Respuestas a Bloque 6 de ciencias (si aplica)
Además, se requieren tablas con las claves o respuestas correctas a cada ítem de cada bloque, de acuerdo con
el orden de los bloques establecido en los archivos anteriores, con los códigos de identificación de cada ítem,
según bloque, cuadernillo y prueba.Estos archivos contienen toda la información necesaria para realizar el
procesamiento de datos con Winsteps.
238
5.2. ARCHIVOS DE COMANDOS
Para procesar los datos y obtener los indicadores para el análisis de ítems es necesario generar un archivo de
comandos para cada bloque cuyos ítems se van a analizar. Debe contener los comandos necesarios para producir los indicadores mencionados en los puntos 2 y 3 de este documento y debe generar los siguientes archivos:
· Estudiantes
· Ítems
· Correlaciones Inter Ítem
Es necesario mencionar que debido a que cada ítem de un mismo bloque aparece un dos cuadernillos distintos,
en diferente posición, (por ejemplo el bloque 1 de matemática aparece en el cuadernillo 1 (en primer lugar) y en
el 8 (en segundo lugar), se recomienda procesar información para cada bloque por separado (bloque 1 cuadernillo 1 y bloque 1 cuadernillo 8) según la posición del bloque en el cuadernillo y procesar de manera conjunta el
bloque sin tener en cuenta si se encuentra en diferentes cuadernillos; es decir, cada pregunta tendrá tres reportes
de indicadores. Es necesario tener en cuenta este aspecto para el tema de los archivos de comandos y las bases
de datos de salida.
5.3 BASE DE DATOS DE SALIDA
Esta base de datos, en Access, estará conformada por los archivos que contienen la información producida por
el Winsteps y que se utilizará para el análisis de ítem.
Adicionalmente, se debe crear un archivo, en Word, que contenga las gráficas de las curvas características de los
ítems seleccionados y el mapa de distribuciones de habilidades y dificultades por bloque.
239
6. REPORTES
Agunos reportes son para la muestra total y otros para los resultados de cada país y serán de dos clases: tablas
y gráficas.
6.1. REPORTES EN TABLAS PARA EL INFORME INTERNACIONAL
Reporte 1. Indicadores por bloque.
Se producirán 3 reportes: uno cuando los bloques se encuentran en primera posición en un cuadernillo; otro
cuando se encuentran en segunda posición en un cuadernillo y un tercer reporte con la información consolidada de los dos cuadernillos.
Reporte 1. Indicadores por Bloque. Matemática 3er grado. Posición en el cuadernillo: Primera
Bloque
Promedio
Dificultad
Desviación
Estándar
M3_1
M3_2
M3_3
M3_4
M3_5
M3_6
M3_7
M3_8
-0.002
-0.120
-0.125
0.121
0.004
0.001
0.005
-0.006
0.930
0.980
1.050
1.020
0.890
1.100
0.710
0.836
Proporc.
Puntuac.
Máxima
Puntuac.
0.19
0.15
0.20
0.40
0.30
0.29
0.31
0.18
1.980
1.360
2.150
2.980
1.890
2.100
1.560
1.836
3.035
2.980
2.895
2.980
3.000
2.890
3.152
2.836
Respuest.
n-1
Puntuac.
Puntuac.
-1.980
-1.360
-2.150
-2.980
-1.890
-2.100
-1.560
-2.980
-3.035
-2.980
-2.895
-2.980
-3.000
-2.890
-3.152
-2.836
Mínima
1
Los valores de promedio, desviación estándar, puntuación máxima y puntuación mínima se reportan en logits.
Se incluye también una columna que indica la proporción de respuestas correctas. Las columnas denominadas
Puntuación n-1 y Puntuación 1 indican el valor, en logits, para la totalidad menos unas respuestas correctas y
para una respuesta correcta, respectivamente. De esta forma se puede contrastar la puntuación máxima real con
el máximo posible y la puntuación mínima real con el mínimo posible, a partir de los datos de promedio en cada
país. La desviación estándar indica la variabilidad de las dificultades de los ítems utilizados en el bloque. Este
reporte se relaciona con el reporte 5.
240
Reporte 2. Indicadores por ítem.
Presenta 6 indicadores para cada ítem. Como para el reporte 1, también se producirán tres reportes por bloque.
Reporte 2A. Indicadores por Item Bloque: M3_1 Posición en el cuadernillo: Primera
Ítem
Dificultad
M3B1IT01
M3B1IT02
M3B1IT03
M3B1IT04
M3B1IT05
M3B1IT06
M3B1IT07
M3B1IT08
M3B1IT09
M3B1IT10
M3B1IT11
M3B1IT12
M3B1IT13
M3B1IT14
-0.120
-0.111
-0.120
-0.190
-0.250
-0.040
-0.080
-0.180
-0.215
-0.230
-0.240
-0.100
-0.110
-0.180
Error
de
Medición
0.12
0.15
0.08
0.07
0.12
0.11
0.11
0.15
0.09
0.10
0.08
0.09
0.08
0.10
Discrim
Correlac.
punto
biserial
Ajuste
Próximo
(Infit)
Ajuste
Lejano
(Outfit)
N
1.00
0.99
0.95
0.93
1.00
1.01
1.03
1.00
0.69
0.98
1.00
0.97
1.01
0.98
0.33
0.31
0.35
0.37
0.12
0.48
0.55
0.48
0.19
0.32
0.30
0.35
0.39
0.18
1.00
0.95
1.05
1.03
1.00
0.85
0.97
0.75
0.83
0.97
1.01
1.03
0.98
0.94
1.05
0.98
1.08
1.10
1.08
0.87
0.90
0.70
0.79
0.99
1.00
1.05
1.00
0.98
30418
30418
30418
30418
30418
30418
30418
30418
30418
30418
30418
30418
30418
30418
Los valores sombreados corresponden a indicadores que están por fuera del criterio de aceptación. La última
columna hace referencia a la totalidad de estudiantes que se incluyeron para el análisis de este ítem.
241
Reporte 2B. DIF por Item. Bloque: M3_1 Posición en el cuadernillo: Primera
ITEMS
País
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
M3B1IT01 M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08
1.20
1.80
2.16
1.90
0.90
1.10
1.15
1.18
1.50
1.70
2.10
9.00
1.10
1.40
1.00
0.99
0.95
0.93
1.00
1.01
1.00
0.99
0.95
0.93
1.00
1.01
1.03
1.00
2.69
0.98
1.00
0.97
1.01
0.98
1.03
1.00
0.85
0.97
4.75
0.83
1.00
0.95
1.05
1.03
1.00
0.85
0.97
3.75
0.83
0.97
1.01
1.03
0.98
0.94
1.03
1.00
7.69
0.98
1.00
0.97
0.99
0.95
0.93
1.00
0.99
0.95
0.93
1.00
1.01
1.03
1.00
6.69
0.98
1.00
0.97
1.01
0.98
4.75
1.10
1.40
1.00
0.99
0.95
0.93
1.00
1.01
1.03
1.00
2.69
0.98
1.00
0.97
1.01
0.98
5.75
0.83
0.97
1.01
1.03
0.98
1.03
1.00
0.69
0.98
1.00
0.97
1.01
0.98
1.90
0.90
1.10
1.15
1.18
1.50
1.70
2.10
9.00
1.10
1.40
2.81
1.03
1.00
0.99
0.95
0.93
1.00
1.01
0.98
1.05
1.03
1.00
0.85
0.97
3.75
0.83
0.97
1.01
1.03
0.98
0.94
1.00
0.99
0.95
0.93
1.00
1.01
1.03
1.00
4.69
0.98
1.00
0.97
1.01
0.98
0.90
1.10
1.15
1.18
1.50
1.70
Los valores sombreados corresponden a indicadores que están por fuera del criterio de aceptación.
242
Reporte 3. Indicadores por opción.
Indicadores por opción de cada ítem. Igualmente, se producirán 3 reportes por ítem.
Reporte 3. Indicadores por Opción. Bloque: M3_1 Posición en el cuadernillo: Primera
Item
M3B1IT01
M3B1IT02
.
.
.
M3B1IT16
Opción
Correcta
2
4
.
.
.
3
Promedio
de
habilidad
Error
Estándar
de
Medición
Ajuste
(Outfit)
Correlación
Porcentaje
de
Respuesta
.
.
.
-0.140
-0.050
-0.110
-0.175
-0.250
-0.110
-0.240
-0.080
-0.160
-0.080
-0.190
-0.200
.
.
.
0.11
0.11
0.15
0.09
0.08
0.12
0.15
0.08
0.07
0.12
0.11
0.11
.
.
.
1.05
0.98
1.08
1.10
1.08
0.87
0.90
0.70
0.79
0.99
1.00
1.05
.
.
.
-0.33
0.31
-0.35
-0.37
-0.32
-0.48
-0.55
-0.48
-0.19
0.32
-0.30
-0.35
.
.
.
6
56
11
16
5
6
13
24
20
42
0
1
.
.
.
1
2
3
4
Omisión
Multimarca
-0.120
-0.140
0.056
-0.110
-0.150
-0.250
0.09
0.10
0.08
0.09
0.08
0.10
0.98
0.87
0.90
0.70
0.79
0.99
-0.18
-0.23
0.31
-0.35
-0.37
-0.12
20
25
35
15
3
2
Opciones
1
2
3
4
Omisión
Multimarca
1
2
3
4
Omisión
Multimarca
243
Reporte 4. Correlaciones Inter-Ítem.
Listado con las correlaciones entre todos los ítems de un mismo bloque.
Reporte 4. Correlaciones Inter-item Bloque: M3_1 Posición en el cuadernillo: Primera
Item
M3B1IT01
M3B1IT01
M3B1IT01
M3B1IT01
M3B1IT01
M3B1IT01
M3B1IT01
Item
M3B1IT02
M3B1IT03
M3B1IT04
M3B1IT05
M3B1IT06
M3B1IT07
M3B1IT08
correlación
0.15
0.08
0.25
0.21
0.04
0.00
0.12
244
6.2. REPORTES GRÁFICOS PARA EL INFORME INTERNACIONAL
Reporte 5. Mapa de distribución de habilidades y dificultades.
Posición en el Cuadernillo: Primera.
Este reporte se produce para cada bloque de la prueba. Como se ha mencionado anteriormente, se producen
3 mapas por bloque.
Reporte 5. Mapa de distribución de habilidades y dificultades. Bloque 1 Matemática 3er grado.
245
En este mapa la letra M en cada costado de la escala central, indica el promedio; la s y la t indican la primera
y la segunda desviación estándar, respectivamente. Se observa que la distribución de dificultades de los ítems
se encuentra más alta en la escala que la distribución de habilidades, lo que indica que el bloque resultó difícil
para el grupo de personas evaluadas, en general. No obstante, algunas personas logran buenos desempeños
y alcanzan valores altos de habilidad. Los valores de dificultad de los ítems se encuentran entre 1 y –1 logit,
aproximadamente; se esperaría una distribución más amplia.
Reporte 6. Promedio, desviación estándar, valores máximo y mínimo de dificultades de ítems,
por bloque.
Para cada bloque se relaciona el promedio de dificultades de los ítems con la desviación estándar para cada
bloque y se muestran líneas que indican la longitud de la medida efectiva en cada uno y en la muestra total, es
decir, desde el valor de dificultad mínimo hasta el valor máximo.
Reporte 6. Promedio, desviación estándar, valores máximo y mínimo de dificultades de ítems,
por bloque.
Posición en el Cuadernillo: Primera.
246
Reporte 7. Función de Información.
Esta gráfica la produce directamente el Winsteps e indica el grado de precisión en la medida para cada punto de
habilidad, para un bloque en particular.
Reporte 7. Función de Información. Bloque M3_1 Posición en el Cuadernillo: Primera.
247
ESCALA DE HABILIDAD
El eje Y indica la cantidad de información para el bloque total. El valor máximo alcanzado depende de la cantidad de ítems en el bloque y de la habilidad particular donde el ítem mide con mayor información.
Reporte 8. Curva Característica del Ítem y Curva Empírica del Ítem.
Se produce una gráfica para cada ítem de cada bloque.
Reporte 8A. Curvas Característica y Empírica del Ítem para la clave. Ítem M3B1IT01
248
ESCALA DE HABILIDAD
El eje Y indica la probabilidad de respuesta. La línea roja representa la Curva Característica del Ítem y la línea
azul la Curva Empírica del Ítem. Las líneas verde y gris indican el límite de aceptación dado el error de medición
en cada punto de habilidad.
Reporte 8B. Curva Empírica del Ítem por opción. Ítem M3B1IT01
El eje Y indica la probabilidad de respuesta y el eje X la escala de habilidad. Cada opción está representada
por una Curva Característica. Este reporte incluye 4 gráficas para un mismo número de ítems, por prueba, por
grado.
249
País: Colombia
N país: 1472
N MT: 33420
Bloque: M3_ 1
6.3. REPORTES EN TABLAS POR PAÍS
Reporte A. Indicadores por ítem.
Ítem
M3B1IT01
M3B1IT02
M3B1IT03
M3B1IT04
M3B1IT05
M3B1IT06
M3B1IT07
M3B1IT08
M3B1IT09
M3B1IT10
M3B1IT11
M3B1IT12
M3B1IT13
M3B1IT14
M3B1IT01
M3B1IT02
Dificultad
Error
Discriminación
r pbis
DIF
Ajuste Próximo
(Infit)
Ajuste
Lejano
(outfit)
MT
País
MT
País
MT
País
MT
País
MT
País
MT
País
MT
País
0.362
-0.253
-0.134
0.103
-0.312
0.105
-0.676
-0.198
-0.897
0.216
-0.155
0.159
0.884
-0.313
0.665
0.434
0.50
-0.15
-0.08
-0.08
-0.77
-0.08
-0.08
-0.35
-1.00
0.32
-0.21
0.41
0.71
-0.47
0.82
0.50
0.13
0.11
0.12
0.12
0.11
0.12
0.11
0.12
0.11
0.13
0.12
0.12
0.15
0.11
0.12
0.06
0.13
0.11
0.12
0.12
0.11
0.12
0.11
0.12
0.11
0.13
0.12
0.12
0.15
0.11
0.05
0.11
0.97
0.96
1.11
1.05
1.09
0.99
0.83
1.08
0.78
1.08
1.02
0.95
1.01
0.89
0.94
1.05
0.95
0.81
1.20
1.08
1.02
1.04
1.05
1.16
0.38
1.05
0.96
0.96
0.99
0.99
1.00
1.03
0.20
0.25
0.34
0.29
0.32
0.24
0.25
0.32
0.26
0.31
0.28
0.21
0.20
0.22
0.13
0.28
0.16
0.14
0.39
0.31
0.31
0.28
0.29
0.35
0.18
0.27
0.24
0.18
0.19
0.28
0.19
0.25
0.47
0.42
0.23
-0.63
-1.87
-0.63
2.25
-0.56
-0.39
0.39
-0.19
0.88
-0.51
-0.60
0.48
0.25
1.01
1.02
0.95
0.98
0.97
1.01
1.04
0.97
1.04
0.95
0.99
1.03
0.99
1.04
1.05
0.97
1.02
1.09
0.90
0.94
1.00
0.98
0.98
0.94
1.10
0.98
1.02
1.04
1.01
1.01
1.02
0.99
1.07
1.01
0.90
0.92
0.94
1.00
1.06
0.94
1.06
0.92
0.97
1.05
1.03
1.06
1.11
0.89
1.23
1.12
0.84
1.02
0.99
0.96
0.92
0.91
1.16
0.88
1.01
0.98
0.98
0.99
0.88
0.89
1.13
1.11
1.12
1.12
1.11
1.12
1.11
0.92
0.91
0.97
0.98
1.12
1.15
1.11
1.14
1.13
MT = Muestra Total
País = Colombia
250
Reporte B. Indicadores por opción.
Reporte B. Indicadores por Opción. Bloque: M3_3 Posición en el cuadernillo: TerceraPaís: Colombia
Item
M3B1IT01
M3B1IT02
.
.
.
M3B1IT16
Opción
Correcta
2
4
.
.
.
3
3
Promedio
de
habilidad
Error
Estándar
de
Medición
1
2
3
4
Omisión
MT
País
MT País
MT
-0.140
-0.050
0.11
0.13
-0.050
-0.110
0.11
-0.110
-0.150
-0.175
-0.250
1
2
3
4
Omisión
-0.240
.
.
.
.
.
.
1
-0.120
-0.02
0.09
3
0.056
-0.09
0.08
Porcentaje
de
Respuesta
País
MT
País
MT País
1.05
1.13
-0.33
-0.16
6
11
0.11
0.98
1.11
0.31
0.14
56
60
0.15
0.12
1.08
1.12
-0.35
-0.39
11
9
-0.250
0.09
0.12
1.10
1.12
-0.37
-0.31
15
9
-0.110
0.08
0.11
1.08
1.11
-0.32
-0.31
5
4
Multimarca -0.110 -0.140
0.12
0.12
0.87
1.12
-0.48
-0.28
6
7
-0.080
0.15
0.11
0.90
1.11
-0.55
-0.29
13
15
-0.080
-0.160
0.08
0.02
0.70
0.92
-0.48
-0.35
24
30
-0.160
-0.080
0.07
0.10
0.79
0.91
-0.19
-0.18
20
12
-0.080
-0.190
0.12
0.13
0.99
0.97
0.32
0.27
42
38
-0.190
-0.02
0.11
0.03
1.00
0.98
-0.30
-0.24
0
2
-0.03
0.11
0.10
1.05
1.12
-0.35
-0.18
1
3
Multimarca -0.200
2
4
Omisión
Multimarca
MT = Muestra Total
País = Colombia
Ajuste
(Outfit)
Correlación
Opciones
-0.140
-0.110
-0.150
-0.250
.
.
.
-0.15
-0.05
-0.13
0.02
.
.
.
.
.
.
0.11
0.98
0.12
0.90
0.10
0.13
0.09
0.12
0.08
0.10
.
.
.
0.15
0.13
.
.
.
.
.
.
.
.
.
-0.18
-0.28
20
18
1.13
0.31
0.25
35
30
1.14
0.70
0.92
0.79
.
.
.
1.11
0.87
0.99
.
.
.
0.91
0.97
-0.23
-0.35
-0.37
-0.12
-0.19
-0.27
-0.24
-0.18
25
15
3
2
27
20
2
3
251
6.4. REPORTES GRÁFICOS POR PAÍS
Reporte C. Promedio, desviación estándar y valores máximo y mínimo de dificultad de ítems,
por bloque.
Reporte C. Promedio, desviación estándar y valores máximo y mínimo de dificultad de ítems, por bloque.
252
7. FASES DEL PROCESAMIENTO
Para obtener la información mencionada en este documento es necesario procesar los datos siguiendo las siguientes fases:
Preparación de archivos. A partir de la base de datos, se deben conformar los archivos para el procesamiento.
El principal es el que contiene la información de cada estudiante y sus respuestas a las preguntas que abordó,
el cual se describe en el punto 5.1 de este manual y se denomina Archivo de Datos. Los otros archivos que se
deben preparar son los denominados archivos de comandos.
Procesamiento de datos. Procesar toda la información necesaria con el software Winsteps. Se debe diseñar un
directorio de archivos para ubicar los archivos de sa lida de una manera ordenada y sistemática, de tal manera
que se facilite su manejo posterior. Se debe prestar especial atención a guardar los archivos gráficos mencionados en los reportes.
Conformación de la base de datos de resultados. A partir de los archivos de salida y de la información existente, se debe conformar una base de datos con datos individuales de cada estudiante, de cada ítem y de cada
bloque, a partir de los archivos de salida del software Winsteps.
Producción de reportes. A partir de la información de la base de datos, se producirán los distintos reportes
descritos.
Elaboración del informe final. Todos los reportes se editan, de manera ordenada, en un documento final.
253
CAPÍTULO VIII: MANUAL PARA EL
PROCESAMIENTO Y ANÁLISIS DE DATOS
APLICACIÓN DEFINITIVA
El Manual de Procesamiento de Datos Para el Análisis de ítems y la Producción de Resultados – Estudio Principal es el documento guía del procesamiento de datos provenientes de la aplicación principal del Segundo
Estudio Regional Comparativo y Explicativo, SERCE42 . Se incluye una sucinta aproximación teórica al modelo
de análisis utilizado: la Teoría de Respuesta al Ítem, TRI, y, específicamente, al modelo de Rasch, con base en el
cual se realizará el procesamiento e interpretación de los datos del Estudio.
El documento describe los indicadores estadísticos utilizados en la fase de análisis; tales indicadores, en su mayoría, provienen de la Teoría de Respuesta al Ítem (TRI), la cual provee el respaldo teórico y técnico necesario
en la generación de resultados válidos y confiables; también se incluyen indicadores de la Teoría Clásica de las
Pruebas (TCP) en consideración a que estos pueden contribuir al proceso de análisis. Algunos de estos indicadores se utilizan para confirmar la calidad de los ítems aplicados43 mientras otros describen a los estudiantes
evaluados que abordan dichos ítems; la información suministrada por estos indicadores resulta esencial en el
proceso de definición de las escalas de calificación, tanto en lo concerniente a ítems de selección de respuesta
como a los de producción de respuesta. Con la descripción de los indicadores se incluyen también los criterios
para su interpretación, con lo cual se espera facilitar el análisis de los reportes de resultados.
Se incluye la descripción de las fases del procesamiento para la generación de resultados, desde los criterios
aplicados para depurar las bases de datos enviadas por los países participantes, hasta la ejemplificación de tablas
y gráficas del Informe de resultados, que permitirán valorar el desempeño de las poblaciones de los países participantes en el Estudio, contrastando resultados nacionales entre sí y frente a los indicadores internacionales.
Finalmente, se añade una resumida descripción de las características técnicas del software utilizado para el procesamiento de datos (de análisis de ítems y de resultados), así como de las fases generales de todo el proceso.
42
El Manual de Procesamiento ha tomado algunos elementos relevantes del Manual de Procesamiento desarrollado para el Estudio
Piloto del SERCE Estudio Piloto del SERCE.
43
Si bien los ítems del Estudio Principal fueron seleccionados a partir de un juicioso proceso de análisis de ítems luego de la aplicación piloto, es necesario, desde el punto de vista técnico, corroborar, luego de la Aplicación Principal, que los indicadores que describen la
calidad de los ítems conserven su adecuación a los criterios exigidos para, de esta forma, asegurar que las escalas de calificación se generan a
partir de ítems óptimos.
254
1. FUNDAMENTACIÓN TEÓRICA DEL MODELO DE ANÁLISIS
1.1. LAS TEORÍAS DE MEDICIÓN
En la construcción de pruebas dos teorías psicométricas han tenido trascendencia: la teoría clásica de las pruebas
(TCP) y la teoría de respuesta al ítem (TRI).
El modelo lineal de la TCP describe la influencia de los errores de medida en las puntuaciones observadas y sus
relaciones con las puntuaciones verdaderas44 . La TCP presenta varias limitaciones; la más importante de ellas es
que no permite separar las características del estudiante evaluado de las características de la prueba. La dificultad
de un ítem se define, en este contexto, como la proporción de estudiantes evaluados en un grupo determinado
que contesta el ítem correctamente. Las características métricas de la prueba (tales como confiabilidad y validez)
se definen en términos de un grupo determinado de estudiantes evaluados con el cual se ha construido el baremo o norma de interpretación de las puntuaciones; esto hace difícil comparar estudiantes que toman distintas
pruebas e imposibilita el análisis de interpretaciones de resultados con referencia a criterio45 . Otra debilidad de la
TCP es que no proporciona información precisa acerca de la habilidad de cada una de las personas; presume que
la varianza del error de medida es igual para todos los estudiantes evaluados. Además, la construcción de formas
paralelas de una prueba, requisito para establecer la confiabilidad, se dificulta en la práctica.
El modelo de la teoría de respuesta al ítem (TRI) intenta dar una fundamentación probabilística al problema
de la medición de rasgos y constructos no observables, y considera al ítem como unidad básica de medición.
La TRI no contradice ni los supuestos ni las conclusiones fundamentales de la TCP, sino que hace asunciones
adicionales que permiten superar las debilidades de esta última46 . Mientras en la TCP la estimación del atributo
se toma como la sumatoria de respuestas a ítems individuales, en la TRI se estima el nivel de un atributo medido
utilizando el patrón de respuesta del estudiante evaluado47 .
255
44
Martínez, R. (1996). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis.
45
Pardo, C. (2001). Revista ACTA Colombiana de Psicología. No. 5. Bogotá: Universidad Católica
de Colombia.
46
Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey:
47
Nunnally, A. (1987). Teoría Psicométrica. México: Trillas.
Lawrence Erlbaum Associates.
1.2. LA TEORÍA DE RESPUESTA AL ÍTEM (TRI)
1.2.1. Supuestos de la TRI
Los planteamientos de la TRI se fundamentan en el postulado de que la ejecución de una persona en una prueba puede predecirse y explicarse por un conjunto de factores personales llamados, en conjunto, “habilidad” y
en el hecho de que la relación entre la ejecución del estudiante evaluado y la habilidad que la soporta puede
describirse por una función monótona creciente.
Como todo modelo matemático, la TRI incluye un conjunto de supuestos acerca de los datos en los cuales se
aplica y especifica las relaciones entre los constructos descritos en el modelo4849 . En términos generales, la TRI
considera 3 supuestos básicos:
1)Dimensionalidad. En la TRI se supone que cuando se diseña una prueba, ésta deberá medir, preferiblemente, una dimensión, una habilidad. Se reconoce que cuando una persona responde a un ítem en una prueba,
confluyen múltiples habilidades, pero los ítems deben diseñarse haciendo énfasis en una de ellas o en una combinación particular predefinida.
2)Independencia Local. Se espera que un estudiante evaluado responda a un ítem en particular sin que recurra a información de otros ítems para hacerlo correctamente. En otras palabras, la ejecución en un ítem no debe
afectar sus respuestas en otro. En las pruebas en donde los ítems dependen de un mismo contexto (texto), se
aplica la independencia local entre los ítems y no entre ellos y el contexto.
3)Curvas Características de Ítems (CCI). La CCI es una función matemática que relaciona la probabilidad
de éxito en una pregunta con la habilidad, medida por el conjunto de ítems que la contienen5051. Los diferentes
modelos de la TRI se diferencian en la forma particular que adquiere la función de probabilidad, la cual incluye
el número específico de parámetros del modelo. Todo ítem puede describirse por su CCI y es esta curva la unidad conceptual básica de la TRI.
48
Hambleton, R. y Swaminathan, H. (1985). Item Response Theory: principles and applications. Kluwer. Boston.
49
Weiss, D. y Yoes, M. (1994). Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and psychological testing. Boston.
50
Hambleton, R. y Swaminathan, H. 1985. Op. Cit.
51
Thorndike, R. (1999). IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. (1999).
The New Rules of Measurement. New Jersey: University of Kansas.
256
1.2.2. Parámetros y modelos en la TRI
Bajo el nombre genérico de la TRI se presentan diferentes modelos que, aunque se diferencian en algunos
rasgos, tienen en común una serie de aspectos básicos, especialmente el de ser modelos estructurales que establecen una relación matemática formalizada entre la respuesta a un ítem concreto y el nivel de habilidad de una
persona.
Los primeros modelos de TRI seguían la ojiva normal; en la actualidad los modelos de uso común siguen la
ojiva logística o función de distribución logística, que define toda una familia de curvas de forma similar en
apariencia a la ojiva normal. La forma general de la función logística se indica en la ecuación 1.
Ó
f (θ ) = θ e 1 + e θ 257
donde,
y función logística
e base de los logaritmos
neperianos
θ e
variable o función.
fx,
(θ
cualquier
) = 1 + e θ Existen diversas funciones que cumplen la propiedad de la monotonía creciente de la curva que describe la
probabilidad como función de la habilidad. Las diferencias entre ellas pueden darse por la forma y por los
parámetros que la describen. Para definir las curvas se utilizan hasta tres parámetros denominados a, b y c,
que representan el índice de discriminación, el índice de dificultad y la probabilidad de seleccionar la respuesta
correcta al azar, respectivamente.
Modelo de dos parámetros
En 1952, Frederic Lord propuso un modelo de Respuesta al Ítem en el que las CCIs tomaban la forma de una
ojiva normal de dos parámetros. En este modelo se tienen en cuenta los parámetros de dificultad (b) y discriminación (a), que se definen teóricamente en una escala que oscila entre menos infinito y más infinito. No obstante, en la práctica, los valores de dificultad generalmente varían entre – 3.5 y +3.5, correspondiendo el valor de
–3.5 a ítems muy sencillos y el valor +3.5 a ítems muy difíciles. En cuanto al parámetro a, los valores negativos
se descartan en las pruebas de aptitud y en la práctica sus valores oscilan entre 0 y 2. Valores muy bajos en poder
discriminante dan lugar a CCIs, que crecen lenta y gradualmente al aumentar el nivel de habilidad. La función
del modelo se expresa mediante la ecuación 2.
donde,
Pi( )
ai
bi e
D
probabilidad de responder correctamente el ítem i, para un valor
valor de la variable medida
índice de discriminación del ítem i
índice de dificultad del ítem i
base de los logaritmos neperianos
factor de escalamiento (al tomar un valor de 1.7, se asegura una
variabilidad inferior a 0.01 en los valores estimados de habilidad,
cuando se usa la ojiva normal o la ojiva logística de dos parámetros).
258
Modelo de tres parámetros
Este modelo fue originado y desarrollado por Allan Birnbaum. Además de los supuestos básicos de la TRI, el
modelo de tres parámetros usa directamente los valores a, b y c, para encontrar una curva que mejor aproxime
los puntos observados. El modelo se expresa en la función 3.
El modelo se expresa en la siguiente función:
Da i (θ − bi ) e θ
=
+
−
Pi ( ) c i (1 c i ) Da (θ − b ) 1 + e i
i
donde,
Pi ( )es la probabilidad de responder correctamente el ítem i para un valor
son los valores de la variable medida
ai
es el índice de discriminación del ítem i
bi
es el índice de dificultad del ítem i
ci
es la probabilidad de responder en forma correcta el ítem cuando no se conoce la respuesta (por azar)
e
es la base de los logaritmos neperianos
Distintos estudios que han puesto a prueba este modelo han encontrado que el parámetro c, por lo regular,
toma valores más pequeños que el valor que resultaría si los estudiantes evaluados de baja habilidad seleccionaran al azar la respuesta; este fenómeno se ha explicado por el hecho de que en realidad los estudiantes de
baja habilidad regularmente no eligen al azar la respuesta a un ítem que no pueden responder, sino que eligen
opciones que se presentan ante ellos como plausibles. Por lo anterior se ha sugerido evitar la denominación de
“adivinación” para el parámetro c y se ha optado por llamarlo “nivel de seudo-probabilidad”.
Modelo de Rasch
Este modelo establece la probabilidad de respuesta de una persona ante un estímulo dado en términos de la
diferencia entre la medida del rasgo de la persona y la medida del estímulo utilizado52 .
El modelo considera que la respuesta a un ítem sólo depende de la interacción entre la habilidad del sujeto y
la dificultad del ítem, es decir, de y de b. La CCI viene dada por la función logística y el único parámetro de
los ítems que se tiene en cuenta es b, el índice de dificultad. No se hacen hipótesis globales sobre el patrón de
respuestas de un grupo, ni sobre la adivinación sistemática. Por el contrario, se plantea que la adivinación es un
patrón personal y puede ser detectada en función del ajuste o desajuste de las respuestas de una persona al modelo. Esta misma hipótesis aplica para los ítems. La medida de una persona es independiente de la prueba empleada y la calibración del ítem es independiente de la población que lo aborda. La función 4 expresa el modelo.
donde,
Pi ( )es la probabilidad de responder correctamente el item i en determinado nivel
son los valores de la variable medida
bi
es el índice de dificultad del ítem i
e
es la base de los logaritmos neperianos
52 Tristán, A. (2001). Rasch para Todos. México: Ceneval.
259
1.3.
MODELO UTILIZADO PARA EL PROCESAMIENTO DEL ESTUDIO PRINCIPAL
Al igual que se hizo para el Estudio Piloto, se utilizará el Modelo de Rasch para el análisis de los datos del Estudio Principal. Esta decisión se tomó con base en el estudio de las características de cada uno de los modelos
mencionados en el apartado anterior. El Modelo de Rasch ofrece, frente a los demás modelos, varias ventajas
que se mencionan a continuación, las cuales son referenciadas por distintos autores53545556.
Una de las principales ventajas del Modelo de Rasch es que el puntaje bruto es una estadística suficiente para
la estimación de la habilidad de las personas y la suma de respuestas correctas para un ítem es, igualmente, una
estadística suficiente para la estimación del parámetro de dificultad, lo que implica, para ambos casos, que un
solo número contiene toda la información para la estimación de parámetros.
Este modelo tiene la propiedad conocida como “objetividad específica” que implica que los datos deben ajustarse al modelo (contrario a los modelos de dos y tres parámetros en los cuales se busca que el modelo se ajuste
a los datos), lo cual es recomendable en proceso de desarrollo de pruebas. Esta propiedad permite estimar un
valor de ajuste.
El Modelo de Rasch realiza buenas estimaciones aún cuando en la población se encuentren pocas personas
en niveles de habilidad bajos (en estos casos un modelo como el de tres parámetros no puede hacer buenas
estimaciones del parámetro c). Dadas las ecuaciones de estimación de parámetros para el Modelo de Rasch, se
garantiza la convergencia en el proceso de estimación (la ponderación que ejercen los valores de discriminación
en las estimaciones de habilidad no permiten la convergencia en los modelos 2p y 3p).
260
53
Fischer, G. y Molenaar, I. (1995). Rasch Models. Foundations, Recent Developments, and Applications. New York: Springer –
Verlag.
54
Hambleton, R. y Swaminathan, H. (1996). Item Response Theory: Principles and Applications. Pp.307-309. Boston: Kluwer Nijhoff Publishing.
55
Wright, B. (1992). IRT in the 1990’s: Which Models Work Best? Rasch Measurement Transactions. 6.1. Chicago: MESA Press.
56
Pardo, C. (2001). El Modelo de Rasch: Una alternativa para la evaluación educativa en Colombia. En Revista Acta Colombiana
de Psicología. No. 5. Bogotá: UCC.
2. FASES GENERALES DEL PROCESAMIENTO DE DATOS
Para obtener la información mencionada en este documento es necesario procesar los datos de acuerdo con las
siguientes fases:
2.1.
FASE UNO: PROCESAMIENTO PARA EL ANÁLISIS DE ÍTEMS Y DE PRUEBAS
Esta fase tiene como propósito verificar la calidad de los ítems y de las pruebas que van a ser utilizados para la
calificación de los evaluados dentro del Estudio Principal. Está constituida por los siguientes procesos:
2.1.1. Conformación y Depuración de la base de datos. Se depuran las bases de datos entregadas por los
países participantes en el Estudio Principal, las cuales deben ajustarse a la estructura diseñada por la Coordinación Técnica del LLECE. Los criterios de depuración se mencionan en el capítulo 3 de este documento. Una
vez hecha la depuración, se conforma una base de datos con toda la información para cada prueba y grado.
2.1.2. Preparación de archivos. A partir de la base de datos deben conformarse los archivos para el procesamiento. Es necesario conformar dos clases de archivos: unos que contienen la información de cada estudiante
y sus respuestas a las preguntas que abordó, que se describen en el punto 3.2. de este Manual y se denominan
Archivos de Datos, y otros, los denominados archivos de comandos.
2.1.3. Procesamiento de datos. Procesar toda la información necesaria con el software elegido.
2.1.4. Producción de Reportes para el Análisis de Ítems y de Pruebas. Con la información obtenida
del procesamiento de datos se producen los reportes necesarios para que los paneles de expertos realicen los
análisis correspondientes y tomen decisiones en relación con los ítems que deben ser eliminados antes de la
producción de resultados.
2.2.
FASE DOS: PRODUCCIÓN DE RESULTADOS
2.2.1. Conformación de la base de datos de resultados y procesamiento.
Teniendo en cuenta las decisiones de los paneles de expertos se ajustan los archivos de comandos y se calibra el
parámetro de los ítems. Los valores obtenidos del proceso de calibración se utilizan para obtener los resultados
de los estudiantes. Se conforma una base de datos con los resultados de cada estudiante.
2.2.2. Producción de reportes. A partir de la información de la base de datos se producirán los distintos
reportes descritos en este documento.
2.2.3. Elaboración del informe final. Todos los reportes se editan en un documento final.
261
3. CONFORMACIÓN DE LA BASE DE DATOS PARA ANÁLISIS DE ÍTEMS
3.1. DEPURACIÓN INICIAL
Cada país, luego de la aplicación de las pruebas, debe realizar diversos procesos que tienen como fin la conformación de la base de datos con la información de cada estudiante tanto para las pruebas de Lectura, Matemática
y Ciencias Naturales (si aplica) como para los cuestionarios de factores asociados. Esa labor ha sido diseñada en
su totalidad por el SERCE, de tal manera que se garantice información válida y confiable.
Al final debe utilizarse el módulo de captura de datos para organizar la información en las bases de datos. Este
módulo está diseñado de tal manera que no acepta registros adicionales a los ya predeterminados, es decir, de
alguna manera ya se implementa un primer control en la conformación de estas bases de datos. No obstante,
existen algunas rutinas de verificación que debe realizar la Coordinación Técnica para garantizar la calidad de
la información de acuerdo con criterios preestablecidos. Existe un tiempo prudencial para realizar las correcciones del caso, si es necesario, y, una vez verificada la información de la base de datos, se continúa con los
procesos subsiguientes.
Dado que las pruebas están organizadas por bloques, se requiere hacer posible un procesamiento de datos en el
que se obtenga información para todas las preguntas de cada una de las áreas evaluadas, al mismo tiempo. En
este sentido la base de datos debe contener la información de todos los estudiantes evaluados, pero organizada
de tal manera que sea posible procesar todas las preguntas en su conjunto y por bloque.
Esto significa que es necesario, entonces, conformar cinco bases de datos, a razón de una base de datos por
cada prueba y grado.
3.2. ESTRUCTURA DE LAS BASES DE DATOS
Las cinco bases de datos requeridas, correspondientes a las cinco pruebas aplicadas, son las siguientes:
Lectura
de
tercer grado
de
sexto grado
Lectura
tercer grado
Matemática de
sexto grado
Matemática de
de
sexto grado
Ciencias
Cada una de estas cinco bases de datos se conforma con los siguientes campos:
Código de país
Código de centro educativo
Código de grado
Código de aula
Código de estudiante en el aula
Código de cuadernillo
Bloque en primera posición
Bloque en segunda posición
Respuestas bloque 1
Respuestas bloque 2
Respuestas bloque 3
Respuestas bloque 4
Respuestas bloque 5
Respuestas bloque 6
262
Además, se requieren tablas con las claves o respuestas correctas a cada ítem de cada bloque, de acuerdo con
el orden establecido para los bloques en los archivos anteriores, con los códigos de identificación de cada ítem,
según bloque, cuadernillo y prueba.
Estos Archivos de Datos contienen toda la información necesaria para realizar el procesamiento con el software
Winsteps, cuya justificación de uso se presenta en el capítulo 11.
3.3. ARCHIVOS DE COMANDOS
Para procesar los datos y obtener los indicadores para el análisis de ítems es necesario construir archivos de
comandos con la información requerida para el análisis. Los archivos deben contener los comandos suficientes
para estimar los indicadores mencionados en este documento y para generar tres reportes principales con resultados para estudiantes, ítems y correlaciones inter-ítem.
4. DEPURACIÓN DE BASES DE DATOS PARA ANÁLISIS DE ÍTEMS
Enseguida se indican las depuraciones que se realizarán a cada una de las cinco bases de datos conformadas, de
acuerdo con lo especificado en el punto anterior.
4.1. POR INFORMACIÓN INSUFICIENTE
Se eliminarán los registros de aquellos estudiantes evaluados que respondan el 50% o menos de los ítems de
uno cualquiera de los dos bloques que conforman el cuadernillo que él aborde.
4.2. POR PREGUNTAS NO ALCANZADAS
Se eliminarán los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos últimos
ítems del bloque que ocupe la segunda posición en su cuadernillo.
4.3. POR DESAJUSTE DE LOS ESTUDIANTE EVALUADOS
Se eliminarán los registros de aquellos estudiantes evaluados cuyo valor de ajuste próximo o lejano sea inferior
a 0.7 o superior a 1.357.
Una vez aplicados los criterios de depuración, se procesarán las bases de datos para generar los indicadores
estadísticos para el análisis de ítems.
57
El rango de aceptación podrá cambiarse al intervalo comprendido entre 0.8 y 1.2, dependiendo de la calidad de los datos observados después del primer procesamiento. Es decir, si la cantidad de datos que cumple el criterio de 0.7 a 1.3 es superior al 70% del total, se
utilizaría el rango más exigente, de 0.8 a 1.2.
263
5. VERIFICACIÓN DE SUPUESTOS DEL MODELO.
Después de depurar las bases de datos se comprobará la dimensionalidad de cada una de las pruebas. Para
hacerlo se divide cada prueba en dos subpruebas, con base en los valores de carga de “eigen values” en el primer factor residual (tabla 23.3 del Winsteps), dejando los valores positivos como una subprueba y los valores
negativos como otra. Se procesa la información para todos los estudiantes en cada subprueba y se analiza la
correlación de estos datos. El valor de la correlación debe ser alto. La independencia local se analiza, por pares
de ítems, a partir de los valores de correlación (Pearson) entre los residuos lineales de todos los examinados
que los responden (archivo de correlaciones inter-ítem). El valor de estas correlaciones debe ser cercano a cero.
En relación con las ICC se calcula la probabilidad de respuesta para cada valor de habilidad para cada ítem. La
función de probabilidad debe ser monótona creciente.
6. INDICADORES ESTADÍSTICOS PARA ANÁLISIS DE ÍTEMS.
El análisis de ítems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los ítems
de un instrumento, en relación con los propósitos para los cuales fueron elaborados. Su realización implica un
saber profundo sobre el objeto de evaluación, la población evaluada, los propósitos de la evaluación y requiere,
además, conocer debidamente las técnicas de procesamiento de datos para hacer una adecuada interpretación
de los indicadores estadísticos disponibles. El proceso de análisis de ítems en el Estudio Principal debe conducir
a la toma de decisiones en relación con la inclusión o exclusión de ítems, a partir de la identificación clara de las
posibles problemáticas de los mismos.
A continuación se describe cada uno de los indicadores que se estimarán en el procesamiento de datos del
SERCE, con miras a proveer información cuantitativa necesaria para adelantar el análisis de ítems.
Los indicadores propuestos en este Manual son los más ampliamente utilizados en distintos estudios de evaluación educativa 58596061 dichos indicadores se presentan agrupados en dos categorías: en la Categoría 1 están
aquellos que permiten tomar la decisión de eliminar un ítem, en virtud de que el exceder el criterio de aceptación establecido implica o bien la violación a los supuestos del modelo de análisis o bien la contradicción de
los propósitos del estudio. En la Categoría 2 se agrupan los indicadores que proporcionan información complementaria para una mejor comprensión del desempeño del ítem en la evaluación, pero que no implican una
decisión de exclusión.
58
AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
59
Pardo, C. Rocha, M. y Barrera, L. (2005). Manual para Análisis de Ítems y Calificación pruebas ECAES. Documento de Trabajo.
Bogotá: ICFES.
60
Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: LEA.
61
Gregory, K. Martin, O. (2001). Technical Standards for IEA Studies. IEA.
264
6.1. INDICADORES DE CATEGORÍA UNO
6.1.1. AJUSTE PRÓXIMO Y LEJANO (INFIT Y OUTFIT)
Definición: indica la correspondencia entre un grupo de datos y el modelo estadístico utilizado para representarlos. El ajuste próximo (infit) se refiere a la relación entre los datos que se encuentran cerca del valor de
dificultad del ítem y el valor de dificultad; el ajuste lejano se refiere a la relación de los datos que se encuentran
lejos de dicho valor de dificultad y esa dificultad. Ambos indicadores deben ser calculados para la clave. Para las
demás opciones de respuesta debe calcularse el ajuste lejano (outfit).
Justificación de uso: la utilización de un modelo para representar datos debe fundamentarse en la verificación
de que dicho modelo en verdad representa el comportamiento de los datos y, por ende, puede inferirse el cumplimiento de los supuestos de dicho modelo para los datos analizados.
Interpretación: los valores posibles se encuentran entre cero y más infinito. El valor que determina el ajuste
perfecto entre los datos y el modelo es 1. Los valores muy inferiores a 1 indican dependencia de los datos (paradoja de atenuación); valores superiores a 1 indican ruido en la información; valores superiores a 2 indican que
el ruido es mayor que la información útil.
Criterio de aceptación: valores de ajuste entre 0.7 y 1.3.
Cálculo: se basa en la suma de los cuadrados de los residuos estandarizados. Esta suma se aproxima a una
distribución chi cuadrado. Dividiendo esta suma por sus grados de libertad se obtiene un valor esperado de 1 y
rango entre cero e infinito.
Procedimiento para la toma de decisiones: se analizan, en primer lugar, los ítems que excedan, por encima,
el valor de ajuste lejano; luego se analizan los ítems que estén por debajo del valor de ajuste lejano; posteriormente se analizan los ítems que excedan, por encima, el valor de ajuste próximo y, finalmente, los ítems que
estén por debajo del valor de ajuste próximo. Se procesa la base de datos tantas veces como sea necesario en
consideración a las decisiones del panel de expertos.
6.1.2. FUNCIONAMIENTO DIFERENCIAL DE ÍTEMS -DIF 62
Definición: grado en el cual un ítem presenta propiedades estadísticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos63. En el Estudio Principal los grupos corresponden a los
países participantes.
Justificación de uso: es un indicador de equidad en cuanto permite reconocer ítems que presenten comportamiento estadístico diferente en los distintos países participantes en el estudio, para reconocer necesidades
particulares de ajuste o cualificación de procesos educativos –si se descartan problemas de construcción del
ítem–. En cualquier caso, debe garantizarse que la calificación final en el estudio se realice a partir de ítems que
no presenten un valor significativo del DIF.
Interpretación: se interpreta el test t de significancia estadística para aceptación o rechazo de la hipótesis de
funcionamiento diferencial que es equivalente al test de significancia Mantel – Haenszel.
62
63
DIF, en inglés: Differential Item Functioning.
Holland, P. y Wainer, H. (1993). Differential Item Functioning. New Jersey: Lawrence Erlbaum
Associates.
265
Criterio de aceptación: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a
1.96 de la prueba t con (n1+n2-2) grados de libertad. Estos valores son equivalentes al test de significación
Mantel-Haenszel.
Cálculo: el análisis de DIF se realiza con todos los ítems, excepto con el que está siendo analizado, anclando
sus dificultades a los valores de las dificultades para la totalidad de los ítems, incluyendo el que está siendo analizado. Se calcula un DIF de contraste que corresponde a la diferencia entre los tamaños de DIF de los ítems en
estudio, que es una estimación log-odds, equivalente al tamaño de DIF Mantel-Haenszel64.
Procedimiento para la toma de decisiones: si un ítem presenta DIF para un país, el panel de expertos
analizará si este valor se debe a sesgo por características del proceso educativo en dicho país o si el ítem debe
eliminarse para la obtención de resultados65.
6.2. INDICADORES DE CATEGORÍA DOS
6.2.1. DIFICULTAD
Definición: indica la posición de la curva del ítem a lo largo de la escala de habilidad; entre más difícil es un
ítem, su curva estará localizada más a la derecha en la escala de habilidad.
Justificación de uso: es uno de los parámetros fundamentales en los modelos de la TRI. Es indicador base
para la conformación de pruebas y de bancos de ítems, así como para establecer comparabilidad de escalas. Se
requiere para obtener otros indicadores de ítems (curvas características, función de información).
Interpretación: los valores de dificultad oscilan entre menos infinito y más infinito en la escala logit, aunque
en términos prácticos los ítems toman valores entre –3.5 y +3.5, cuando el promedio de dificultades del grupo
de ítems se localiza en cero. Valores positivos y altos indican alta dificultad y los valores negativos indican baja
dificultad.
Criterio de análisis: regularmente se analiza la distribución de valores de dificultad del instrumento en relación con los valores de habilidad de la población evaluada para conceptuar sobre lo apropiado de la medición
de dicho instrumento, de acuerdo con los propósitos que lo inspiraron. Un aspecto importante de análisis está
dado por la densidad de ítems en un punto de la escala de habilidad en particular; así, se espera que no haya
más de dos ítems que midan un mismo componente o contenido con la misma dificultad. No se establecen de
antemano valores de rechazo para este indicador; no obstante, ítems que sean respondidos correctamente por
la totalidad de la muestra o que no sean respondidos correctamente por ninguno de los estudiantes evaluados
serán objeto de un reporte especial.
6.2.2. DISCRIMINACIÓN
Definición: corresponde al “poder de un ítem para diferenciar a los estudiantes evaluados en distintos niveles
de habilidad frente a un constructo medido”66 . Es el grado en el cual las respuestas a un ítem varían en relación
con el nivel de habilidad. Se conoce también como la pendiente de la curva característica en el punto de inflexión. El modelo de Rasch especifica que la discriminación es uniforme para todos los ítems pero el software
utilizado indica cuál sería la discriminación de un ítem cuando se parametriza este indicador.
64
Linacre, J. (2006). A User Guide’s to Winsteps 65
Los países participantes en la aplicación piloto adelantaron una primera revisión de los valores de DIF de todos los ítems, con base
en los informes de resultados de dicha aplicación y no solicitaron a la Coordinación Técnica la exclusión de ítems por razón de este criterio.
66
ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.
266
Justificación de uso: el valor empírico calculado por el Winsteps indica la distancia en la escala de habilidad
en la cual el ítem mide; información que contribuye a contrastar los resultados con lo esperado por el panel de
expertos.
Interpretación: los valores de discriminación oscilan, teóricamente, entre menos infinito y más infinito. En la
práctica, los ítems presentan valores de discriminación entre 0 y +2. Los valores que se aproximan a más infinito
se corresponden con un patrón de Guttman (discriminación perfecta).
Criterio de análisis: valores de discriminación altos indican que el ítem mide efectivamente en un intervalo
pequeño de habilidad y viceversa.
6.2.3. CORRELACIÓN PRODUCTO MOMENTO PUNTO -MEDIDA
Definición: relación entre la respuesta correcta a un ítem de una prueba y el valor de habilidad obtenido en
dicha prueba. Este indicador supera las dificultades de la correlación punto biserial tradicional en tanto no es
afectada por valores omitidos (missing). Se calculará para la opción que opera como clave y también para las
demás opciones de cada ítem.
Justificación de uso: permite inferir la validez de los ítems en cuanto éstos se comporten como partes del
instrumento.
Interpretación: puede tomar valores entre –1 y 1. Los valores positivos indican que la respuesta correcta al
ítem está asociada con altos puntajes en la prueba; valores negativos indican que dicha asociación se da de manera inversa, es decir, altos puntajes en la prueba se asocian con una respuesta incorrecta al ítem.
Criterio de análisis: es deseable que la distribución de valores de correlaciones de los ítems de la prueba incluya valores superiores 0.25. Igualmente, debe seguirse el orden del valor de la correlación para la aceptación
de los ítems. Valores negativos para la clave indican que puede haber problemas en la definición de la respuesta
correcta o en la pertinencia de alguna de las opciones.
6.2.4. CURVA CARACTERÍSTICA DEL ÍTEM – CCI67
Definición: función matemática que relaciona la probabilidad de respuesta correcta en un ítem con la habilidad
medida por el ítem. Debe calcularse para cada ítem la CCI y la Curva Empírica del Ítem68 , tanto para la clave
como para las demás opciones de respuesta. En el Informe de Análisis de Ítems se mostrarán las gráficas de
ítems que presenten problemas de ajuste; de no haber ítems con problemas, se presentarán, a lo sumo, cuatro
gráficas por prueba.
Justificación de uso: permite verificar el grado en que el modelo da cuenta de los resultados de la evaluación.
Interpretación: Consiste en verificar la correspondencia entre la curva empírica del ítem y la curva característica.
67
68
Item Caracteristic Curve.
La curva basada en los puntajes observados puede llamarse Función Empírica de Respuesta al Ítem o Curva Empírica del Ítem
(en inglés: Empirical Caracteristic Curve, ECC).
225
267
Criterio de análisis: los momentos en los cuales la curva real excede los límites de aceptación de la ICC (estos
límites aparecen señalados en color oscuro en cada gráfica) indican que para el grupo de personas de esa habilidad no se cumple la medición como la supone el modelo.
6.2.5. PROMEDIO DE HABILIDAD POR OPCIÓN
Definición: promedio de las habilidades de quienes eligen cada opción de respuesta de un ítem. Debe incluirse,
adicionalmente, la proporción de respuestas para cada opción. Esta información se presenta solamente para el
informe internacional e incluye los datos de todos los estudiantes evaluados.
Justificación de uso: permite reconocer la proporción de personas que selecciona una opción como respuesta
correcta y su habilidad promedio. La combinación de estos dos datos proporciona información útil para determinar la validez de cada ítem en relación con los marcos conceptuales de las pruebas y valorar la calidad de
cada opción.
Interpretación: los valores posibles de habilidad promedio se encuentran entre menos infinito y más infinito.
Se espera que el promedio de habilidad para la opción considerada clave sea el mayor de todos. El mapa de distribuciones de los promedios de habilidad de las opciones de todos los ítems indica el funcionamiento relativo
de todas las opciones y puede ser interpretado con base en los marcos conceptuales de las pruebas. El orden de
los promedios de habilidades permite comprender las complejidades de las opciones para la población evaluada. Las proporciones de respuesta para cada opción dan una idea de su atracción en una población particular.
Criterio de análisis: la clave debe arrojar el mayor promedio de habilidad.
6.2.6. CORRELACIONES INTER – ÍTEM
Definición: son las correlaciones de los residuos entre los ítems de un mismo bloque calculadas por el Winsteps. Los residuos son aquellas partes de las observaciones que no son explicadas por el modelo de Rasch. De
acuerdo con las especificaciones del modelo, los residuos deben ser aleatorios y no presentar estructura.
Justificación de uso: indica el grado de relación entre dos ítems de un mismo bloque, mostrando si miden lo
mismo (dimensionalidad del constructo).
Interpretación: Si el valor de las correlaciones es diferente de cero indica que los ítems miden objetos diferentes.
Criterio de análisis: los valores de las correlaciones deben ser cero.
6.2.7. ERROR ESTÁNDAR DE MEDICIÓN
Definición: corresponde a la desviación estándar de una distribución imaginaria de errores que representan la
posible distribución de valores observados alrededor del valor teórico verdadero. Es un indicador de la confiabilidad.
Justificación de uso: si se calcula el error de medición de cada habilidad estimada o dificultad estimada (o
conjunto de habilidades o dificultades), se conoce la precisión de la medida o la estimación.
268
226
Interpretación: errores demasiado grandes restan confianza en las estimaciones del parámetro. La escala de
valores en la cual se reportan los errores está asociada con la escala de medición utilizada, por lo cual no es
posible establecer, de manera universal y de antemano, un valor mínimo aceptable de error.
Análisis: observar cómo se comportan los errores de medición tanto de las personas como de los ítems (por lo
general, diferentes autores coinciden en que la decisión de cuál sería un valor de error aceptable y cuál no, debe
derivarse de un juicio profesional experto de quienes conocen procedimientos psicométricos, el instrumento
de medida y su marco de fundamentación69 ). Como en cualquier proceso de medición, se espera que el error
sea cercano a cero.
6.2.8. MAPA DE DISTRIBUCIÓN DE HABILIDADES Y DIFICULTADES
Además de los indicadores que se acaban de enunciar, en los informes de resultados para análisis de ítems se
dispondrá de una gráfica que relaciona, en una misma escala, la distribución de las dificultades de los ítems y la
distribución de las habilidades de los estudiantes evaluados. Aunque no es un indicador estadístico en sí mismo,
utiliza indicadores de personas y de ítems que ofrecen información pertinente para el análisis de las pruebas y
de los ítems que las conforman.
Esta gráfica permite contrastar la dificultad de los ítems en una población particular y determinar si éstos se
ajustan a la población; igualmente, es posible observar el cubrimiento de las habilidades por parte de los ítems;
permite identificar grupos de ítems o de personas que por su nivel de dificultad o habilidad, respectivamente,
merezcan una atención especial en el análisis. Así, pueden ser contrastadas las expectativas de los constructores
de ítems, en relación con el nivel de dificultad de los ítems y observar si la muestra seleccionada se comporta de
acuerdo con los propósitos del diseño muestral.
En esta gráfica las habilidades y las dificultades se presentan en una escala que oscila entre menos infinito y más
infinito. Si la distribución de habilidades tiene valores inferiores a la distribución de dificultades, quiere decir que
para ese grupo poblacional los ítems resultaron más difíciles de lo esperado. Por el contrario, si la distribución
de habilidades tiene valores superiores a la distribución de dificultades, significa que para ese grupo poblacional
los ítems resultaron más fáciles.
7. INDICADORES ESTADÍSTICOS PARA ANÁLISIS DE GRUPOS DE ÌTEMS
En consideración a que el diseño del estudio contempla que los instrumentos utilizados están conformados de
acuerdo con agrupaciones de ítems en bloques, aplicados de manera sistemática en cuadernillos editados con
arreglos distintos de dichos bloques, el análisis de ítems debe incluir una fase de análisis de indicadores estadísticos que den cuenta del comportamiento de tales agrupaciones y de la prueba como totalidad.
En tal sentido, a continuación se describen los indicadores propuestos para el análisis de bloques y de pruebas.
Es de anotar que dado que la aceptación o rechazo de ítems se hace con base en los indicadores de la Categoría
Uno mencionados en el anterior capítulo, para los indicadores de grupos de ítems no se define un criterio de
aceptación.
7.1. PROMEDIO
Definición: media aritmética de las dificultades de los ítems del bloque y de las habilidades de las personas que
abordan cada bloque.
69
AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
227
269
Justificación de uso: permite conocer el comportamiento de los diferentes bloques de cada prueba en relación
con la población que los aborda.
Interpretación: si el bloque se encuentra ajustado a la población, el promedio de habilidades debe ser aproximadamente igual al promedio de dificultades. Si el promedio de habilidades es superior, significa que el bloque
fue relativamente fácil para ese grupo poblacional; si por el contrario el promedio de habilidades es inferior al
promedio de dificultades, significa que el bloque fue relativamente difícil para ese grupo poblacional.
7.2. DESVIACIÓN ESTÁNDAR
Definición: medida de la dispersión de la distribución de las dificultades de los ítems de un bloque y de la distribución de las habilidades de las personas que abordan dicho bloque.
Justificación de uso: permite valorar la homogeneidad / heterogeneidad de los valores de dificultad del grupo
de ítems de un bloque, así como de los valores de habilidad del grupo poblacional que aborda dicho bloque.
Interpretación: desviaciones estándar altas (superiores a 1 en valores logit) indican heterogeneidad del grupo
de datos; desviaciones estándar bajas (inferiores a 1 en valores logit) indican homogeneidad del grupo de datos.
Esta información se contrasta con el respectivo valor del promedio para comprender el desempeño de una
población particular.
7.3. PUNTUACIÓN MÁXIMA Y MÍNIMA
Definición: puntuaciones logit más alta y más baja alcanzadas por una población particular.
Justificación de uso: permite reconocer los extremos de la distribución de habilidades en una población particular y contrastarlos con las expectativas de los evaluadores.
Interpretación: si el valor máximo en logits alcanzado por una población es inferior al valor de habilidad
equivalente a n-1 ítems correctos, indica que el grupo de ítems resultó complejo para las personas de más alta
habilidad. Si el valor mínimo, en logits, alcanzado por una población es superior al valor de habilidad equivalente a 1 ítem correcto, indica que el grupo de ítems resultó fácil para las personas de más baja habilidad. Se
espera que los valores mínimos y máximos correspondan a 1 respuesta correcta y a n-1 respuestas correctas,
respectivamente.
7.4. FUNCIÓN DE INFORMACIÓN
Definición: bajo la TRI la función de información puede ser vista como una expresión matemática de la precisión de la medida en cada nivel del objeto evaluado; indica el grado de precisión en la medición. Esta función
corresponde a la información estadística de cada ítem, basada en el modelo de Fisher 70.
Justificación de uso: la función de información es una alternativa a los índices tradicionales de precisión en la
medición y está asociada con la confiabilidad de consistencia interna71.
Interpretación: La mayor valor de la función de información.También es mayor la precisión
en la medida.
70
71
Linacre, J. (2006). A User Guide’s to Winsteps.
AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
228
270
8. DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN
DE ESCALAS DE CALIFICACIÓN.
Esta depuración se realiza en dos momentos, uno sobre las bases de datos originales enviadas por los países participantes en el Estudio Principal (que contienen información de todos los estudiantes evaluados) y dos, sobre
las bases de datos después de haber hecho el procesamiento para análisis de ítems. Ambos momentos pueden
implicar la eliminación de registros por las razones que se describen enseguida.
8.1.
DEPURACIÓN PREVIA AL PROCESAMIENTO PARA ANÁLISIS DE ITEMS
8.1.1. POR INFORMACIÓN INSUFICIENTE
Se eliminarán los registros de aquellos estudiantes evaluados que respondan el 50% o menos de los ítems de
cualquiera de los dos bloques que conforman el cuadernillo que él aborde.
8.1.2. POR PREGUNTAS NO ALCANZADAS
Se eliminarán los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos últimos
ítems del bloque que ocupe la segunda posición en su cuadernillo.
8.1.3. POR ASISTENCIA PARCIAL
Se eliminarán los registros de los estudiantes evaluados que no hayan asistido a todas las pruebas. De esta manera se evita la necesidad de calcular ponderadores independientes para cada caso.
8.2.
DEPURACIÓN POSTERIOR AL PROCESAMIENTO PARA ANÁLISIS DE ÍTEMS
8.2.1. POR DESAJUSTE DE LOS ESTUDIANTES EVALUADOS
Se eliminarán los registros de aquellos estudiantes evaluados cuyo valor de ajuste próximo o lejano sea inferior a
0.7 o superior a 1.372. Una vez hecha esta depuración se procesa de nuevo la información para proceder a aplicar
los criterios de depuración por análisis de ítems, propiamente dichos.
8.2.2. POR ANÁLISIS DE ÍTEM
Se eliminará la información de los ítems que decida el panel de expertos con base en el análisis de ítems.
8.3.
ESTRUCTURA DE LA BASE DE DATOS PARA PRODUCCIÓN DE RESULTADOS
Las cinco bases de datos requeridas, correspondientes a las cinco pruebas aplicadas, son las siguientes:
Lectura de tercer grado
Lectura de sexto grado
Matemática de tercer grado
Matemática de sexto grado
Ciencias de sexto grado
72
El rango de aceptación podrá cambiarse a 0.8 y 1.2 dependiendo de la calidad de los datos observados después del primer procesamiento.
271
229
Cada una de estas cinco bases de datos se conforma con los siguientes campos:
Código de país
Código de centro educativo
Código de grado
Código de aula
Código de estudiante en el aula
Código de cuadernillo
Bloque en primera posición
Bloque en segunda posición
Respuestas bloque 1
Respuestas bloque 2
Respuestas bloque 3
Respuestas bloque 4
Respuestas bloque 5
Respuestas bloque 6
Esta estructura implica el procesamiento de datos con base en la información de una sola matriz para obtener
resultados equiparados de los estudiantes y que se conoce como equating concurrente o de un paso. Adicionalmente se verificará este resultado utilizando el método tradicional de equating con ítems comunes, que implica
el procesamiento independiente de cada bloque73.
9. ESCALAS DE CALIFICACIÓN
9.1. PUNTUACIÓN TOTAL EN LA PRUEBA
La escala de puntuación tiene promedio 500 y desviación estándar 100 puntos. Se obtiene por una transformación lineal de la escala logit o logística (con cuatro cifras decimales) que produce directamente el software
Winsteps para cada estudiante en el archivo ESTUDIANTES*.xls74
9.2. NIVEL DE DESEMPEÑO
El propósito es describir lo que los estudiantes saben y pueden hacer al obtener resultados iguales o superiores
a varios puntos seleccionados en la escala de desempeño. El procedimiento se deriva del proceso denominado
anclaje de escalas 75 (por su nombre en inglés “scale anchoring”) y requiere que las puntuaciones de los estudiantes se encuentren en una escala común.
El procedimiento para obtener este resultado es el siguiente:
Se selecciona un grupo de ítems con el punto de anclaje más bajo (entre -2 o -1 desviación estándar de la media)
y que corresponda con el nivel de desempeño más bajo evaluado por la prueba con base en el marco conceptual.
Para todos los demás ítems de la prueba se obtiene su punto de anclaje que corresponde al punto de la escala
73
Linacre, J. (2006). A User Guide’s to Winsteps.
74
El asterisco (*) se reemplaza por el nombre de la prueba (área y grado).
75
Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and science. Technical Report. Educational Testing Service: IAEP 88. p 57.
230
272
en el cual los estudiantes tienen una probabilidad igual o superior a 0.6 de responderlo correctamente.
Para describir el segundo punto de anclaje, se seleccionan los ítems cuya probabilidad de ser respondidos correctamente es igual o superior a 0.6 en ese punto y que en el punto de anclaje anterior su probabilidad de ser
respondidos correctamente sea inferior a 0.5 y la diferencia de las probabilidades sea superior a 0.2.
Luego de establecer los ítems de cada punto de anclaje y describir estos puntos con base en el marco conceptual
de las pruebas por un panel de expertos, se obtiene el nivel de desempeño de cada estudiante. Un estudiante
queda asignado al nivel de desempeño más alto en el cual su probabilidad de responder correctamente los ítems
de ese punto es igual o superior a 0.6.
9.3.
DESEMPEÑO RELATIVO POR CATEGORÍAS DE LA ESTRUCTURA DE PRUEBA
Se obtendrán resultados del desempeño relativo por país, a partir de las respuestas de sus estudiantes a cada
una de las categorías de la estructura de prueba (dimensión disciplinar y dimensión cognitiva). Se dice que un
grupo poblacional (país) presenta un desempeño significativamente alto o bajo en una categoría específica si la
diferencia entre su desviación de la media para esa categoría y su desviación de la media general es superior al
doble del error estándar de las diferencias entre estas desviaciones76.
Para una categoría n y una población j se hace la estimación mediante la ecuación 5.
Cnj = (Xnj - Xn ) - (Xtj - Xt )
(5)
en donde,
Xn porcentaje promedio de respuestas correctas para la categoría n.
Xt porcentaje promedio de respuestas correctas para todas las poblaciones.
273
231
10. BASES DE RESULTADOS
Es la base de datos, en formato Access, que contiene los resultados y la identificación de los estudiantes. En ella
debe encontrarse toda la información de los estudiantes y sus resultados, tanto de la puntuación total en cada
una de las pruebas como el nivel de desempeño. La base comprende los siguientes campos:
Código de país
Código de centro educativo
Código de grado
Código de aula
Código de estudiante en el aula
Código de cuadernillo
Puntuación en la prueba de Lectura
Nivel de desempeño en la prueba de Lectura
Puntuación en la prueba de Matemática
Nivel de desempeño en la prueba de Matemática
Puntuación en la prueba de Ciencias Naturales
Nivel de desempeño en la prueba de Ciencias Naturales.
76
Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and science. Technical Report. Educational Testing Service: IAEP 88.
Con base en esta información podrán agruparse los resultados, con el propósito de establecer promedios desviaciones estándar y errores de distintos grupos de estudiantes, de acuerdo con el plan de análisis.
11. SOFTWARE PARA PROCESAMIENTO
El procesamiento de datos para el estudio SERCE debe ofrecer información suficiente para efectuar el análisis
de ítems con los indicadores sugeridos en los capítulos anteriores.
En el mercado se cuenta con oferta considerable de software que opera con los supuestos de la Teoría de Respuesta al Ítem y que implementa las funciones matemáticas de sus diferentes modelos, enunciadas en el capítulo
1 de este documento. La diferencia entre un software y otro, ya sea que estén o no inspirados en un mismo
modelo, radica principalmente en aspectos como el tamaño poblacional y la longitud de los instrumentos que
les es posible procesar, en la formulación matemática particular que implementan y, quizás lo más importante,
desde el punto de vista de un proceso de evaluación, en la confiabilidad (precisión) de los datos que arroja.
Se revisaron distintas características técnicas (la cantidad de indicadores que reporta el software y la precisión
en la estimaciones de los mismos; la cantidad de datos que tiene capacidad de analizar; los requerimientos de
conformación de bases de datos; la convergencia en las estimaciones y la interfase gráfica) de programas de
software disponibles en el mercado, tales como Bilog MG, Multilog, Parscale, Rascal y Winsteps y se llegó a la
conclusión que este último ofrece las mayores ventajas para el procesamiento de datos del estudio principal del
proyecto SERCE.
Winsteps es un software que opera en plataforma Windows y que implementa los principios de la Teoría de
Respuesta al Ítem para construir mediciones objetivas a partir de una base de datos sencilla en la cual se especifican personas (estudiantes evaluados) y sus respuestas a un grupo de ítems.
El método de estimación que utiliza el Winsteps es conocido como Joint Maximum Likelihood Estimation
(JMLE), también llamado UCON (Unconditional Maximum Likelihood Estimation), tiene la ventaja de producir estimaciones simétricas y ser muy flexible para trabajar con datos omitidos (missing), además de su capacidad
para analizar pruebas de gran longitud (las pruebas del Estudio Principal tienen alrededor entre 66 y 96 ítems) y
de no suponer una distribución específica de personas (las muestras en el Estudio Principal son independientes
para cada país). Es de considerar que con este método las estimaciones presentan sesgo cuando el conjunto de
datos es pequeño, caso que no corresponde con las características del Estudio Principal77.
El software puede trabajar de manera simultánea con varios formatos de ítems (dicótomos, de selección múltiple con única y con múltiple respuesta y de crédito parcial); ofrece gran variedad de reportes tabulares y con
interfases gráficas, en los cuales se presenta de manera detallada y también resumida, el comportamiento de las
poblaciones y de los ítems analizados. Una característica importante es que el software señala con claridad los
datos que presentan comportamientos por fuera de lo esperado.
La generación de escalas de calificación usando Winsteps constituye un proceso relativamente simple, toda vez
que el software permite el procesamiento de datos, agrupados según variables de interés, sin requerir modificaciones en la estructura de la base de datos original. Winsteps también permite prefijar (anclar) valores de los
parámetros para facilitar procesos de comparabilidad (equating).
Winsteps puede procesar hasta 10 millones de personas y 30 mil ítems y cada ítem puede contemplar hasta 255
categorías de calificación (el de mayor capacidad, para ítems y categorías, en el mercado). El software tiene un
manual detallado para orientar su uso y la interpretación de la información que arroja; además, la firma Winsteps ofrece apoyo técnico en línea, oportuno y eficaz, para solventar inquietudes tanto de procesamiento como
de interpretación de datos.
77
Para conocer una discusión más amplia sobre las características y ventajas del método JMLE, puede consultarse: Wright, B y Masters, G. (1982). Rating Scales Analysis.
232
274
12. REPORTES
Los reportes serán de dos clases: en forma de tablas y de gráficas y contienen información de cada prueba en
su totalidad y de cada bloque. Para ilustrar los reportes que se presentan enseguida, se han utilizado valores
hipotéticos.
12.1. REPORTES EN TABLAS POR PRUEBA
1. Indicadores por ítem
Presenta 6 indicadores para cada ítem, en cada prueba.
Reporte 1. Indicadores por Item
Item
Dificultad
Error de
Medición
Discriminación
M3B1IT02
-0.120
-0.111
-0.120
-0.190
-0.250
-0.040
-0.080
-0.180
-0.215
-0.230
-0.240
0.12
0.15
0.08
0.07
0.12
0.11
0.11
0.15
0.09
0.10
0.08
1.00
0.99
0.95
0.93
1.00
1.01
1.03
1.00
0.69
0.98
1.00
M3B1IT02
M3B1IT03
M3B1IT04
M3B1IT05
M3B1IT06
M3B1IT07
M3B1IT08
M3B1IT09
M3B1IT10
M3B1IT11
Correlación
Punto
Medida
0.33
0.31
0.35
0.37
0.12
0.48
0.55
0.48
0.19
0.32
0.30
Ajuste
Próximo
(Infit)
1.00
0.95
1.05
1.03
1.00
0.85
0.97
0.75
0.83
0.97
1.01
Ajuste
Lejano
(Outfit)
1.05
0.98
1.08
1.10
1.08
0.87
0.90
0.70
0.79
0.99
1.00
N
30418
30418
30418
30418
30418
30418
30418
30418
30418
30418
30418
Los valores sombreados corresponden a indicadores que están por fuera del criterio de aceptación.
La última columna hace referencia a la totalidad de estudiantes que se incluyeron para el análisis de este ítem.
275
233
Reporte 2. Indicadores por opción
Muestra 5 indicadores por opción de cada ítem para cada prueba.
Reporte 2. Indicadores por Opción
Item
M3B1IT01
Opción
Correcta
2
Promedio
de
habilidad
Error
Estándar
de
Medición
Ajuste
(Outfit)
Correlación
Porcentaje
de
Respuesta
1
2
3
4
Omisión
-0.140
0.11
1.05
-0.33
6
-0.050
0.11
0.98
0.31
56
-0.110
0.15
1.08
-0.35
11
-0.175
0.09
1.10
-0.37
16
-0.250
0.08
1.08
-0.32
5
1
2
3
4
Omisión
-0.110
0.12
0.87
-0.48
6
-0.240
0.15
0.90
-0.55
13
-0.080
0.08
0.70
-0.48
24
-0.160
0.07
0.79
-0.19
20
-0.080
0.12
0.99
0.32
42
-0.190
0.11
1.00
-0.30
0
.
.
.
-0.200
.
.
.
0.11
1.05
-0.35
1
Opciones
Multimarca
M3B1IT02
.
.
.
4
.
.
.
Multimarca
1
M3B1IT16
3
3
2
3
4
Omisión
Multimarca
.
.
.
.
.
.
-0.120
0.09
0.98
0.056
0.08
0.90
-0.140
-0.110
-0.150
-0.250
0.10
0.09
0.08
0.10
0.87
0.70
0.79
0.99
.
.
.
.
.
.
-0.18
20
0.31
35
-0.23
-0.35
-0.37
-0.12
25
15
3
2
234
276
Reporte 3. Correlaciones Inter-Ítem
Listado con las correlaciones entre todas las combinaciones de dos ítems de cada bloque, para cada prueba,
dado que los estudiantes responden la prueba por bloque.
Reporte 3. Correlaciones Inter-ítem
Item
M3B1IT01
M3B1IT01
M3B1IT01
M3B1IT01
M3B1IT01
M3B1IT01
M3B1IT01
Item
M3B1IT02
M3B1IT03
M3B1IT04
M3B1IT05
M3B1IT06
M3B1IT07
M3B1IT08
correlación
0.15
0.08
0.25
0.21
0.04
0.00
0.12
235
277
12.2. REPORTES GRÁFICOS POR PRUEBA Reporte 4.
Mapa de distribución de habilidades y dificultades
Este reporte se produce para cada prueba y para cada bloque.
Enseguida se ilustra un reporte para el bloque 1 de la prueba de matemática para tercer grado.
236
278
Reporte 4. Mapa de distribución de habilidades y dificultades. Bloque 1 Matemática 3
En este mapa la letra M en cada costado de la escala central, indica el promedio; la s y la t indican la primera
y la segunda desviación estándar, respectivamente. Se observa que la distribución de dificultades de los ítems
se encuentra más alta en la escala que la distribución de habilidades, lo que indica que el bloque resultó relativamente difícil para el grupo de personas evaluadas, en general. No obstante, algunas personas logran buenos
desempeños y alcanzan valores altos de habilidad. Los valores de dificultad de los ítems se encuentran entre 1
y –1 logit, aproximadamente; se esperaría una distribución más amplia.
Reporte 5. Promedio, desviación estándar, valores máximo y mínimo
de dificultades de ítems, por bloque
Para cada bloque de cada prueba se relaciona el promedio de las dificultades de los ítems con la desviación
estándar y se muestran líneas cuya longitud indica la medida efectiva en cada uno y en la muestra total, es decir
desde el valor de dificultad mínimo hasta el valor máximo.
Reporte5. Promedio, desviación estándar
y valores máximo y mínimo de dificultades de ítems, por bloque
Posición en el cuadernillo: primera
237
279
Reporte 6. Función de Información
Esta gráfica es producida directamente por el software Winsteps e indica el grado de precisión en la
medida para cada punto de habilidad, para un bloque en particular.
Reporte 6. Función de Información
Bloque 1 de la prueba de Matemática para tercer grado
Posición en el cuadernillo: primera
238
280
ESCALA DE HABILIDAD
En el eje Y se representa la cantidad de información para el bloque total. El valor máximo alcanzado
depende de la cantidad de ítems en el bloque y de la habilidad particular donde cada ítem mide con
mayor información.
Reporte 7. Curva Característica del Ítem y Curva Empírica del Ítem
Se producen dos gráficas para cada ítem de cada bloque de cada prueba. La primera para la clave (Reporte
7A) y la segunda para cada opción (Reporte 7B).
Reporte 7A. Curvas Característica y Empírica del Ítem para la clave. Ítem M3B1IT01
239
281
ESCALA DE HABILIDAD
En el eje Y se representa la probabilidad de respuesta correcta. La línea roja representa la Curva Característica
del Ítem y la línea azul la Curva Empírica del Ítem. Las líneas verde y gris indican el límite de aceptación dado
el error de medición en cada punto de habilidad.
Reporte 7B. Curva Empírica del Ítem por opción. Ítem M3B1IT01
ESCALA DE HABILIDAD
En el eje Y se muestra la probabilidad de respuesta correcta y en el eje X la escala de habilidad. Cada opción
está representada por una Curva Característica. Este reporte incluye 4 gráficas para un mismo número de ítems,
por prueba, por grado.
12.3. REPORTES EN TABLAS CON INFORMACIÓN POR PAÍS
Se producirán cinco reportes con la información de cada país para cada uno de los siguientes indicadores por
cada ítem:
Reporte A. Dificultad.
Reporte B. Ajuste próximo.
Reporte C. Ajuste lejano.
Reporte D. Discriminación.
Reporte E. Porcentaje de respuestas correctas.
282
240
A continuación se ilustra el Reporte de dificultades de los ítems del bloque 1 de la prueba de matemática para tercer grado.
Reporte A. Dificultad
Ítem
País 1
País 2
País 3
País 4
País 5
País 6
País 7
País .
M3B1IT01
M3B1IT02
M3B1IT03
M3B1IT04
M3B1IT05
M3B1IT06
M3B1IT07
M3B1IT08
M3B1IT09
M3B1IT10
M3B1IT11
0.362
-0.253
-0.134
0.103
-0.312
0.105
-0.676
-0.198
-0.897
0.216
-0.155
0.50
-0.15
-0.08
-0.08
-0.77
-0.08
-0.08
-0.35
-1.00
0.32
-0.21
0.13
0.11
0.12
0.12
0.11
0.12
0.11
0.12
0.11
0.13
0.12
0.13
0.11
0.12
0.12
0.11
0.12
0.11
0.12
0.11
0.13
0.12
0.97
0.96
1.11
1.05
1.09
0.99
0.83
1.08
0.78
1.08
1.02
0.95
0.81
1.20
1.08
1.02
1.04
1.05
1.16
0.38
1.05
0.96
0.20
0.25
0.34
0.29
0.32
0.24
0.25
0.32
0.26
0.31
0.28
.
.
.
.
.
.
.
.
.
.
.
País 12 País 13 País 14 País 15 País 16 País 17
0.47
0.42
0.23
-0.63
-1.87
-0.63
2.25
-0.56
-0.39
0.39
-0.19
1.01
1.02
0.95
0.98
0.97
1.01
1.04
0.97
1.04
0.95
0.99
1.02
1.09
0.90
0.94
1.00
0.98
0.98
0.94
1.10
0.98
1.02
1.07
1.01
0.90
0.92
0.94
1.00
1.06
0.94
1.06
0.92
0.97
1.23
1.12
0.84
1.02
0.99
0.96
0.92
0.91
1.16
0.88
1.01
1.13
1.11
1.12
1.12
1.11
1.12
1.11
0.92
0.91
0.97
0.98
241
283
12.4. REPORTES GRÁFICOS POR PAÍS
Reporte F. Promedio, desviación estándar y valores máximo y mínimo de dificultad de ítems por bloque.
Reporte F. Promedio, desviación estándar
y valores máximo y mínimo de dificultad de ítems, por bloque
242
284
BIBLIOGRAFÍA
CAPITULO I.
Muestreo, diseño y análisis. Sharon L. Lohr. Thomson Paraninfo, S.A. Año 2000.
CAPITULO II.
Elaboración Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación(LLECE).
CAPITULO III.
Elaboración Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación(LLECE).
CAPITULO IV.
Scoring Guides for the Mathematics and Science Free-Responses Items, TIMSS International Study Center,
Boston College, USA, 1999.
Mathematics Marking Guide, OECD Programme for International Student Assessment (PISA), 2000.
Polya, G, Cómo plantear y resolver problemas, Editorial Trillas, Méjico, 1989.
Parra, C y Saíz, I, (comps.),Didáctica de matemáticas, Aportes y reflexiones, Paidós, Buenos Aires, Argentina,
1994.
Callejo, M.L, Evaluación de procesos y progresos del alumnado en la resolución de problemas, Uno, Revista de
Didáctica de las Matemáticas, Nº 8, España, abril de 1996.
Chemello, G y Díaz, A, Matemática, Metodología de la enseñanza, parte II, Conicet, Buenos Aires, Argentina,
1997.
Sadovsky, P, Enseñar matemática hoy, Libros del Zorzal, Buenos Aires, Argentina, 2005.
Hernández, H, Delgado Rubí, J, Fernández, B, Cuestiones de didáctica de la matemática, Ediciones Homo
Sapiens, Argentina, 1997.
CAPITULO V.
Adam, J.M. (1989), Le texte descriptif, Paris, Ed. Nathan.
Adam, J.M. (1992), Types et prototypes: narration, argumentation, description, conversation, explication, dialogue, Paris, Ed. Nathan.
Alvarado, M. (1994), Paratexto, Buenos Aires, Oficina de Publicaciones del Ciclo Básico Común de la Universidad de Buenos Aires.
Amiguens, R. y Zerbato-Poudou, M. (1999), Las prácticas escolares de aprendizaje y evaluación, México, Fondo
de Cultura Económica.
Atorresi, A. y otros (2000), Evaluación de la escritura, La Plata, DGCyE.
Atorresi, A. (2005), Construcción y evaluación de consignas de resolución escrita, Posgrado en Materiales didácticos, Buenos Aires, FLACSO.
Atorresi, A. y Zamudio, B. (2000), La explicación, Buenos Aires, Eudeba.
Austin, J. (1971), Cómo hacer cosas con palabras, Buenos Aires, Paidós.
Bajtin, M. (1982), Estética de la creación verbal, México, Fondo de Cultura Econó-mica.
Barthes, R., (1966/1970), Análisis estructural del relato, Buenos Aires, Tiempo Contemporáneo.
Beaugrande, R.A. de y Dressler, W. (1997), Introducción a la lingüística del texto, Barcelona, Ariel.
244
286
Bernárdez, E. (1982), Introducción a la lingüística del texto, Madrid, Espasa Calpe.
Bottéro, J. y otros (1995), Cutura, pensamiento, escritura, Barcelona, Gedisa.
Braslavsky, B. (2005), Enseñar a entender lo que se lee, México, FCE:
Calkins, L. (1992), “La intervención del maestro”, en Didáctica de la escritura, Bue-nos Aires, Aique.
Calkins, L. (1992), Didáctica de la escritura, Buenos Aires, Aique.
Calsamiglia, H. y Tusón, A. (1999), Las cosas del decir, Barcelona, Ariel.
Camilloni, A. (1998) “La calidad de los programas de evaluación y de los instrumen-tos que los componen”,
en Camilloni, A., Celman, S., Litwin, E. y Palou de Maté, M., La evaluación de los aprendizajes en el debate
didáctico contem-poráneo, Buenos Aires, Paidós, pp. 76-89.
Camps, A. (1995), “Hacia un modelo de enseñanza de la composición escrita en la escuela”, en Textos, nº 5,
julio de 1995, Barcelona.
Cardona, G. R. (1999), Antropología de la escritura, Barcelona, Gedisa
Cassany, D. (1987), Describir el escribir, Barcelona, Paidós.
Cassany, D. (1999), Construir la escritura, Barcelona, Paidós.
Cassany, D. (2000), Reparar la escritura, Barcelona, Graó.
Cassany, D.; Luna, M. Y Sanz, G. (1994), Enseñar lengua, Barcelona, Graó.
Charolles, M. (1978), “Introduction aux problemes de la cohérence des textes”; París, Langue Française, 38.
Chartier, A. M. y Hébrard, J. (2000), “Saber leer y escribir: unas ‘herramientas mentales’ que tienen su historia”,
en Infancia y Aprendizaje, 89, pp. 11-24
Ciaspuscio, G. (1994), Tipos textuales, Buenos Aires, Oficina de Publicaciones del Ciclo Básico Común de la
Universidad de Buenos Aires.
Coltier, D. (1988), “Introduction et gestion des exemples dans les textes à these”, Pratiques, 58, París.
di Stefano, M. y Pereira, C. (1998), “Representaciones sociales en el proceso de lectura” en: Signo y Seña, Buenos Aires, Instituto de Lingüística, Universi-dad de Buenos Aires.
Di Tulio, A. (1997), Manual de gramática del español, Buenos Aires, Edicial.
Ferreiro, E. (1991), “La construcción de la escritura en el niño”, en Revista Lectura y Vida, 12, 3; pp 5-14.
Flower, L. y Hayes, J. (1996), “La teoría de la redacción como proceso cognitivo” en: Textos en contexto. Los
procesos de lectura y escritura, Buenos Aires, A.I.A. Lectura y Vida.
García Debanc, C. (1994), “Apprendre a justifier par écrit un réponse: analyses linguistiques et perspectives
didactiques” en Pratiques, 84, París.
Graves. D. (1991), Didáctica de la escritura, Madrid, Morata.
Graves. D. (1992), Un aula donde se lea y se escriba, Buenos Aires, Aique, 1992.
Greimas, A. (1966), Semántica estructural, Madrid, Gredos.
Greimas, A. (1966), Seuils, París, Ed. du Seuil.
Halliday, M. y Hasan, R. (1976), Cohesion in English, Londres, Longman.
Hevelock, E. (1996), La musa aprende a escribir, Barcelona, Paidós.
Jolibert, J. (1988), Formar niños productores de textos, Santiago, Dolmen.
Jakobson, R. (1970), Lingüística y poética, Madrid, Cátedra.
Jurado, F., Bustamente y Pérez, M. (1998), Juguemos a interpretar. Evaluación de competencias en lectura y
escritura, Bogotá, Plaza & Janés-Universidad Na-cional.
Krashen, S. (1981), Second Language Adquisition and Second Language Learning, Pergamon.
Lerner, D. (2001), Leer y escribir en la escuela, México, Fondo de Cultura Económi-ca.
Lyons, J. (1997), Semántica lingüística, Barcelona, Paidós.
Martínez, M. C. (2004), Estrategias de lectura y escritura de textos, Cali, Cátedra UNESCO-Universidad del
Valle.
McCormick Calkins (1998), Didáctica de la escritura, Buenos Aires, Aique.
Moliner, M. (1996), Diccionario de uso del español, Madrid, Gredos.
Perrenoud, P. (1990), La construcción del éxito y del fracaso escolar, Madrid, Mora-ta.
245
287
Perrenoud, P. (1999), Avaliação. Da Excelencia a Regulação das Aprendizagens. Entre duas lógicas, Porto Alegre, Artes Médicas.
Ribas Seix, T. (1997), “Evaluar en la clase de lengua: cómo el estudiante gestiona su propia escritura”, en Textos
de Didáctica de la Lengua y de la Literatura nº 11, enero de 1997.
Serafini, M. R. (1985), Cómo se escribe, Barcelona, Paidós.
Silvestri, A. (1995), El discurso instruccional, Buenos Aires, Oficina de Publicaciones del Ciclo Básico Común
de la Universidad de Buenos Aires.
Smith, F. (1983), “Reading like a Writer” en: Language Arts, 60.
Textos (37) (2004), La reflexión sobre la lengua, Barcelona, Graó.
Textos (39) (2005), La normativa, Barcelona, Graó.
Tolchinsky, L. (1993) Aprendizaje del lenguaje escrito. Procesos evolutivos e impli-caciones didácticas. Barcelona, Antropos.
Van Dijk, T (1983), La ciencia del texto, Barcelona, Paidós.
Van Dijk, T. (1990), Estructuras y funciones del discurso, México, Siglo XXI.
Wells, G. (1986), Aprender a leer y a escribir. Barcelona, Laia.
CAPITULO VI .
Elaboración Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación(LLECE).
CAPITULO VII.
Martínez, R. (1996). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis.
Pardo, C. (2001). Revista ACTA Colombiana de Psicología. No. 5. Bogotá: Universidad Católica de Colombia.
Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence
Erlbaum Associates.
Nunnally, A. (1987). Teoría Psicométrica. México: Trillas.
Hambleton, R. y Swaminathan, H. 1985. Item Response Theory: principles and applications. Kluwer. Boston.
Weiss, D. y Yoes, M. 1994. Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and
psychological testing. Boston.
Hambleton, R. y Swaminathan, H. 1985.
Thorndike, R. 1999. IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S.
1999. The New Rules of Measurement. New Jersey. University of Kansas.
Tristán, A. (2001). Rasch para Todos. México: Ceneval.
ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.
Item Caracteristic Curve.
CAPITULO VIII.
Martínez, R. (1996). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis.
Pardo, C. (2001). Revista ACTA Colombiana de Psicología. No. 5. Bogotá: Universidad Católica
de Colombia.
Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey:
Lawrence Erlbaum Associates.
Nunnally, A. (1987). Teoría Psicométrica. México: Trillas.
Hambleton, R. y Swaminathan, H. (1985). Item Response Theory: principles and applications. Kluwer. Boston.
Weiss, D. y Yoes, M. (1994). Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and
psychological testing. Boston.
Thorndike, R. (1999). IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger,
S. (1999). The New Rules of Measurement. New Jersey: University of Kansas.
Tristán, A. (2001). Rasch para Todos. México: Ceneval.
246
288
Fischer, G. y Molenaar, I. (1995). Rasch Models. Foundations, Recent Developments, and Applications. New
York: Springer – Verlag.
Hambleton, R. y Swaminathan, H. (1996). Item Response Theory: Principles and Applications. Boston: Kluwer
Nijhoff Publishing.
Wright, B. (1992). IRT in the 1990’s: Which Models Work Best? Rasch Measurement Transactions. 6.1. Chicago:
MESA Press.
Pardo, C. (2001). El Modelo de Rasch: Una alternativa para la evaluación educativa en Colombia. En Revista
Acta Colombiana de Psicología. No. 5. Bogotá: UCC.
AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
Pardo, C. Rocha, M. y Barrera, L. (2005). Manual para Análisis de Ítems y Calificación pruebas ECAES. Documento de Trabajo. Bogotá: ICFES.
Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: LEA.
Gregory, K. Martin, O. (2001). Technical Standards for IEA Studies. IEA.
Holland, P. y Wainer, H. (1993). Differential Item Functioning. New Jersey: Lawrence Erlbaum
Associates.
Linacre, J. (2006). A User Guide’s to Winsteps
ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.
AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington:
Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of
mathematics and science. Technical Report. Educational Testing Service: IAEP 88
Wright, B y Masters, G. (1982). Rating Scales Analysis.
247
289
248