ETAPAS O FASES IMPLICADAS EN LA CONSTRUCCIÓN DE

Tema 4.- Elaboración de escalas
1
Tema 4-. Procedimientos y procesos para la elaboración de escalas
psicológicas
Desarrollo del esquema de construcción de tests
1) Establecer los objetivos
2) Identificar las conductas que representan al constructo o definir el dominio
3) Restricciones y especificaciones del test
4) Conjunto inicial base de ítems.
5) Revisar los ítems
6) Mantener a prueba los ítems preliminares
7) Poner a prueba los ítems de un campo en la muestra definitiva
8) Determinar propiedades estadísticas sobre las puntuaciones de los ítems
9) Diseñar y efectuar estudios de fiabilidad y validez sobre la forma final del test
10) Desarrollar guías para la administración, puntuación e interpretación de las puntuaciones
1
Tema 4.- Elaboración de escalas
2
Las dos etapas iniciales se estudiaron en el tema precedente y las etapas
5 en adelante se abordarán en los temas posteriores.
3) Restricciones de una prueba y especificaciones del test
Introducción-I
•
•
•
En la etapa anterior surgen una serie de conductas concretas o manifestaciones del
constructo (las conductas o tópicos a cubrir, las destrezas que se evaluarán, etc.) así
como el conjunto de ítems para mediarlas. De lo que se trata ahora es de elaborar una
tabla de especificaciones que ponga en relación ítems con conductas.
Teniendo en cuenta la diferencia entre tests referidos a la norma versus referidos al
criterio.
Teniendo en cuenta los sistemas de categorización de operaciones cognitivas como el de
Bloom (1956): conocimiento, comprensión, etc.
La construcción de un test debe plantearse considerando los límites impuestos por la práctica.
9 Una limitación hace referencia a las restricciones temporales. En ocasiones forman
parte del constructo, pero más generalmente vienen impuestas por las características
de la población o por las condiciones de la aplicación. El compromiso entre la
necesidad de utilizar un test con un número suficiente de ítems para que la fiabilidad
sea aceptable y las presiones de tiempo puede obligar a disminuir el número de
opciones de respuesta, acortar los enunciados o renunciar a incluir una dimensión o
una faceta. Una solución son los tests adaptados al sujeto o tests a medida en los
que no es necesario administrar un número elevado de ítems para estimar
fiablemente la puntuación de un sujeto.
9 Si la aplicación será individual o colectiva. Como la mayoría se aplican
colectivamente las instrucciones deberán ser de fácil comprensión, de manera que se
comprenda la tarea y se responda de manera estandarizada a las demandas de la
misma. Incluso en los tests de aplicación individual hay que considerar muchos
aspectos, como el tipo de material que podrá manipular el examinado, elementos
que se le pueden presentar a continuación, tipo de ayudas que se le pueden
proporcionar, número de intentos para responder a las preguntas, etc.
9 Que los contenidos de los ítems no favorezcan a unos grupos frente a otros. Puede
ser que el test imponga un gran dominio del lenguaje y por ende favorecería a los
grupos con mayor nivel educativo e iría en detrimento de clases con menor nivel
socio-cultural.
2
Tema 4.- Elaboración de escalas
3
3) Restricciones de una prueba y especificaciones del test
Introducción-II
9 Las especificaciones del test hacen referencia a una planificación sobre el énfasis o
peso relativo que debería recibir cada uno de los componentes conductuales
identificado en la fase precedente del constructo. Esto lo puede hacer el propio
constructor del test o bien puede obtenerse a partir del juicio de los expertos,
dependiendo de las técnicas empleadas para la elaboración del constructo.
9 Esta etapa coincide con lo que se entiende por planificación de la medida (i.e.
Thorndike).
9 El resultado es entonces una dimensión que recoge el porcentaje o proporción y por
ende el número de ítems que se dedicará a cada componente.
9 Las especificaciones deben de atender a dos propiedades ortogonales de los ítems:
o Contenidos sustantivos (áreas o temas).
o Procesos (operaciones o estrategias) psicológicos que se requieren. Es decir,
las dimensiones de agrupación más pertinentes para esos contenidos. Lo que se
espera que haga el examinado con ese contenido. Dependiendo del tipo de
tests:
ƒ Operaciones o procesos cognitivos
ƒ Contextos sociales: familiar, escolar, amigos, etc.
ƒ Sistemas de Respuesta implicados: cognitivo-subjetivo, motorconductual, fisiológico-emocional, etc.
9 Por ejemplo para el contenido “Fiabilidad” se pueden crear ítems que requieren
conocimiento o bien mediante ítems que requieren más bien la aplicación.
Posiblemente un psicopedagogo requiere más bien el segundo tipo y un psicólogo
preferentemente el primer tipo. Posiblemente un ingeniero y un auxiliar técnico
requieren operaciones cognitivas diferentes.
3
Tema 4.- Elaboración de escalas
4
3) Restricciones de una prueba y especificaciones del test
Los procesos psicológicos-I
9 Se han propuesto taxonomías uniformes para expresar los diversos niveles del proceso
que se va a probar. El sistema jerárquico atribuido a Bloom (1954) es el más popular
pero excesivamente general por lo que en ocasiones es preferible trabajar con
categorías un poco más simples y descriptivas como las del sistema de Thorndike y
Hagen (1977). Proporcionan un marco de trabajo, una guía útil para el desarrollo de
ítems que obligan al examinado a hacer algo más que tareas pasivas -recordar hechos,
saber nombres, fechas, definiciones y cosas parecidas-.
(1) Sistema de Bloom:
1) Conocimiento. recuerdo de material de forma similar a como fue presentado.
2) Comprensión: Traslado, interpretación o extrapolación de un concepto de forma
algo diferente de la originalmente presentada o practicada.
3) Aplicación. Resolver problemas nuevos usando principios familiares o
generalizadores.
4) Análisis. Romper un problema en sus elementos componentes utilizando un
proceso que requiere conocimiento de elementos múltiples, relaciones y/o
principios de organización entre estos elementos.
5) Síntesis. Combinar elementos en un todo usando una estructura original o
resolver un problema que requiere la combinación de varios principios
secuencialmente en una nueva situación.
6) Evaluación. Empleo de criterios internos (generados por el sujeto) o externos
para hacer juicios críticos en términos de seguridad, consistencia, etc.
(2) Sistema de Thorndike y Hagen (1977):
9 Reconocimiento de términos
9 Vocabulario.
9 Identificación de hechos, principios, conceptos y generalizaciones.
9 Evaluación de información.
9 Aplicación de principios a situaciones nuevas.
(3) Ebel (1972) para tests de ejecución:
9 Conocimiento y uso de terminología.
9 Recuerdo de material factual -hechos-.
9 Uso de generalización, explicación, cálculo y predicción de resultados.
9 Recomendaciones para la acción.
4
Tema 4.- Elaboración de escalas
5
3) Restricciones de una prueba y especificaciones del test
Los procesos psicológicos-II
En general:
9
9
9
9
9
9
9
9
9
9
9
9
9
Observar-escuchar-.
Recordar (reconocer).
Interpretar.
Comparar.
Clasificar.
Generalizar-Discriminar.
Inferir –inductivo desde lo particular a lo general-.
Deducir.
Analizar.
Hacer síntesis.
Formar Hipótesis
Predecir.
Evaluar –enjuiciar-, extraer conclusiones o discusión.
9 En definitiva, se construye una tabla de especificaciones cruzando contenidos y
operaciones y se detallan los ítems para cada combinación, indicando en los
márgenes la proporción de ítems de cada categoría o contenido cubierto.
5
Tema 4.- Elaboración de escalas
6
3) Restricciones de una prueba y especificaciones del test
Ejemplo-1 de tabla de especificaciones:
NIVEL COGNITIVO
Soluc.
Categoría de contenidos base
1.- Dirección clase
Conocimiento
Aplicación
Problem.
Total
1
10
9
20
1
11
11
23
2
16
1
19
1
6
2
9
7
3
10
2
12
5
19
7
62
31
100
(contenidos 6, 12, 13, 15, 16,
17, 20, 22).
2.- Desarrollo estudiantes
(contenidos 6, 10, 11, 12, 16,
17, 20, 21, 22, 23).
3.- Evaluación, registro y
comunicación progreso
de los estudiantes.
(contenidos 6, 7, 10, 11, 12,
14, 18)
4.- Material enseñanza
(contenidos 10, 12, 13, 15
21)
5.- Objetivos de enseñanza
(contenidos 9, 10, 11, 12, 14)
21)
6.- Aprendizaje y enseñanza
(contenidos 6, 9, 10, 11, 12,
13, 15, 17, 21, 22, 23)
TOTAL
Valoración del profesorado. "Florida Teacher Certification Examination"
6
Tema 4.- Elaboración de escalas
7
3) Restricciones de una prueba y especificaciones del test
Ejemplo-2 de tabla de especificaciones:
Reconocim. Identificac. Identificac.
Evaluac.
Aplicac.principiosTOTALPORCEN.
términos y Hechos principios,
información
y generalizac.
Vocabularioespecíficos conceptos, (salud y anuncios) a situac. nuevas
generalizac.
ANUTRICIÓN
la dieta
nutrientes
vitaminas
enzimas
metabolismo
oxidación
B ENFERMEDADES
CONTAGIOSAS
epidémicas
patógenas
endémicas
protozoarios
C ENFERMEDADES
NO CONTAGIOSAS
Prototipos
bocio
diabetes
por deficiencias
cardiovasculares
caries
TOTAL
PORCENTAJE
4-5
7-8
7-8
2-3
2-3
24
40
4-5
7-8
7-8
2-3
2-3
24
40
2-3
3-4
3-4
1-2
1-2
12
20
12
20
18
30
18
30
6
10
6
10
60
7
Tema 4.- Elaboración de escalas
8
3) Restricciones de una prueba y especificaciones del test
Ejemplo-2 de tabla de especificaciones- continuación:
Reconocim.
Identificac.
Identificac.
Evaluac.
términos y
hechos
principios,
información
Vocabulario
específicos
conceptos,
Aplicac.principios
y generalizac.
(salud y anuncios)
a situac. nuevas
generalizac.
A
NUTRICIÓN
la dieta proteína incompl. Nutrientes esenciales salud
nutrientesproteína compl.
Buenas fuentes nutrientes alim.
vitaminasAa
Partes sis.digestivo
enzimasGlucógeno
metabolismoCarbohidratos
Bases de dieta bien balanceada
Reacc. enzimáticas
Intercamb. intercelular
Proc.digestión cada nutriente
Metabolismo celular
Fuentes inf. alimentos y nutrición
F(x)' nutrientes cuerpo
oxidación
Análisis publicidd alimen- Identif. dietas bien balanceadas
tos y dietas
Interpreta etiquetas alim.
envasados
Identifica buenas fuentes
inf' d alim y dietas
Cálc. calorías para ganar-perder
peso
Predic' consec' cambios enzimát.
en el sis.digestivo
Identif. servicios y protec' de la
ley de alimentos y medicam.
B
ENFERMEDADES
CONTAGIOSAS
epidémicasInmunidad
Las más comunes
Principios básicos control enf.
Discriminac' entre eviden-
patógenasvirus
Fr. de las diversas enf.
Ac' antibióticos
cia de adecua-inadecua.
endémicasportador
Formas contagio
Defensas cuerpo contra enf'
protozoariosanticuerpos
Tipos inmunizac'
Inmunorreacc' cuerpo
Incubación
Sintomatología de las comunes
medicinas
Identifica anuncios
capciosos medicam.
Reconocim. condiciones probb
q pueden favorecer propagac'
enf' contagiosas
Identif.métodos apropiados
esterilizac'
Dar razones apropiadas reglamentac, proc' y tratamientos.
C
ENFERMEDADES
NO CONTAGIOSAS
Prototipos
Fr de las diversas enf.
Presión sis.cardiovascular
bocio
Específicas x fata Vitamina
Control diabetes
diabetes
...x desequilibrio hormonal
Carac.hereditarias anormales
por deficiencias Enf.por deficien Comunes en adolescencia y adultos jóvenes Crecim.anormal células
cardiovascularescias.
Identif. err' o inf' engañosa Predic' consec' cambios en
en publicac. salud
Identif. fuentes inf' aprop.
sobre probl salud
secrec' ciertas hormonas
Predic' probb heredar condic'
anormales
y adultos jóvenes
caries
8
Tema 4.- Elaboración de escalas
9
3) Restricciones de una prueba y especificaciones del test
Caracterización de las operaciones cognitivas-I:
(1) Conocimientos.-Memorizar.
En forma similar a como fue presentado durante la explicación.
o De términos, hechos, datos específicos.
o Métodos, clasificaciones, categorías.
o Reglas-leyes-principios.
o Conocimiento -recuerdo-, reconocimiento y uso de Terminología (Vocabulario) específico
a la materia (el dominio de contenidos).
o En general, aprendizaje de conceptos y categorías.
o Ejemplos:
o Nombrar ciudades de una provincia dada.
o Nombrar las etapas del proceso de modelización.
(2) Comprensión.
A nivel elemental: expresarlo de otra manera, ejemplos y predecir/anticipar extraer conclusiones.
Abstracción de las bases, los principios nucleares, el alcance.
o Traducción o traslación.
o Decirlo de otra manera –gráficos vs datos-.
o Interpretación.
o Identificar relaciones (igualdad, semejanza, causa-efecto, jerarquizar ideas).
o Aportar o reconocer ejemplos. (tipo de diseño o de esquema de investigación).
o Extrapolación.
o Predecir tendencias o consecuencias probables (anticipación).
o Interpolar.
o Ejemplos:
o Reconocer nombres en frases que no han sido usadas en los ejemplos de clase,
o que tenga que dar un ejemplo de un n1 básico más que aquellos dados en el
libro de texto o en los ejemplos de clase.
o Poner un ejemplo (nuevo) de esquema de investigación descriptivo.
(3) Aplicación (generalización)
Saber hacer: habilidades intelectuales.
Aplicación de principios a situaciones nuevas.
o Resolver problemas nuevos mediante el uso de principios familiares o generalizaciones a
otras circunstancias o situaciones.
o Uso de generalización-discriminación.
o Puede ser más o menos complejo en función de lo rutinario que sea el problema a
resolver (muy similar a los que se han resulto en clase) y dependiendo del grado de
estructuración del mismo.
Ejemplo:
o Calcular la resistencia de un conductor eléctrico usando la ley de Ohm cuando no se dan
referencias a la ley en el enunciado del problema.
o Aplicar el análisis adecuado en función del tipo de diseño, sin dar referencias directas en
el enunciado.
9
Tema 4.- Elaboración de escalas
10
3) Restricciones de una prueba y especificaciones del test
Caracterización de las operaciones cognitivas-II:
(4) Análisis (capacidad crítica básica)
Comprensión a un nivel más profundo que requiere examinar cuidadosamente y desmenuzar el
problema en sus partes componentes.
o Descomponer una comunicación o problema en sus elementos componentes por el uso
de un proceso que requiere reconocer múltiples elementos, relaciones entre esos
elementos, y/o principios organizacionales.
o Resolver problemas más complejos por asemejarse menos a los ya conocidos y por ser
más difusos, que se pueden resolver a partir de cursos de acción alternativos. Tiene que
ver con la optimización.
o Ejemplo:
o Hacer una identificación del género de un nuevo espécimen de planta basado en
sus hojas y flores características.
o Saber qué tipo de análisis estadístico es más adecuado para una investigación
real.
(5) Síntesis (creatividad)
Conexión de contenidos a partir de diferentes conceptos.
o Combinando elementos en un conjunto usando una estructura original o resolviendo un
problema que requiere la combinación de varios principios secuencialmente en una
situación nueva.
o Hay que aportar nueva información al proceso, no basta con reorganización o aplicación
de la que ya se conoce.
o Ejemplo:
o Escribir un programa de ordenador para realizar un cálculo de un conjunto de
registros de datos usando sentencias de input, output, bucles y transferencia
lógica en una secuencia eficiente de ejecución.
o Diseñar una investigación para investigar un problema nuevo, combinando ideas
de diferentes partes.
(6) Evaluación (juicio)
Capacidad crítica.
o Empleo de criterios externos o internos (auto-generados) para hacer juicios críticos en
términos de exactitud, consistencia de lógica, o puntos de vista artísticos o filosóficos.
o Ejemplo: Escribir una revisión crítica de un artículo describiendo investigaciones empíricas
en Ps.Social o de la Person.
10
Tema 4.- Elaboración de escalas
11
4) Construir un conjunto inicial base de ítems.
Introducción-I
• Le llamaremos Conjunto 1 y debe de contener ítems de sobra, a sabiendas de que muchos
serán eliminados de la forma final del test.
• Ya vimos lo tocante a qué medir y ahora abordaremos el cómo.
• Etapas:
9 Seleccionar un formato adecuado de ítem.
9 Verificar que el formato propuesto es factible para los examinados.
9 Seleccionar y entrenar a los escritores del test.
9 Redactar o en general implementar los ítems.
9 Definir sugerencias para uniformar a los escritores.
9 Seguir los progresos del escritor y la calidad de los mimos.
9 Un estudio a pequeña escala usando unos pocos ítems prototípicos para probar la
adecuación del formato elegido.
• Hay que adoptar, pues, decisiones sobre el formato más adecuado, buscando uno que sea
común a toda la prueba.
• Antecedentes:
• Revisar instrumentos similares que ya se han empleado en el campo en cuestión.
• Consultar a expertos para planificar cuestiones como:
1. Tipo de test más adecuado:
9 Según el método:
ƒ Grado estructuración: Psicométricos vs. proyectivos -personalidad total-.
ƒ Factor tiempo: Velocidad vs. fondo.
ƒ Por referencia a la norma vs. el criterio.
ƒ Formato de Respuesta exigido: Invención, elección y emparejamiento de
respuestas.
9 Según el material:
ƒ Impresos o "papel y lápiz".
ƒ Respuestas de tipo verbal o simbólico (por ejemplo vocabulario).
ƒ Respuestas gráficas ó en general no verbales (por ejemplo dibujos).
ƒ Manipulativos o de ejecución "performance". Con materiales como
madera, papel, metal, aptos. mecánicos, ordenadores, rompecabezas,
cubos, ritmo, clasificación de objetos, colocación de piezas geométricas.
ƒ En tests de personalidad: preguntas, análisis de trazos, análisis de
movimientos expresivos -gestos, canto, palabra, pasos, escritura-.
ƒ En los tests proyectivos la personalidad se proyecta en su interpretación,
por tanto el material de interpretación es muy variado: palabras, colores,
manchas, material plástico, escenas de fotografías, viñetas o películas.
9 Según la población de examinados:
ƒ Individuales vs. colectivos.
ƒ Poblaciones normales vs. especiales -que no pueden emitir respuestas
verbales- como: Sujetos analfabetos, retardados en el desarrollo, niños
muy pequeños.
ƒ Poblaciones generales vs. grupos específicos.
ƒ Todas edades vs. edades concretas -primeros meses, primeros años,
adolescencia, adultos, vejez-.
2. Cuestiones pragmáticas:
9 ¿Tendrán tiempo suficiente los empleados de una compañía para implementar
ítems de preguntas abiertas?
9 ¿Los niños pueden distinguir entre cinco puntos de un continuo de agradodesagrado?
9 Familiaridad con la población de examinados.
9 Evitar formatos novedosos o no estudiados.
11
Tema 4.- Elaboración de escalas
12
4) Construir un conjunto inicial base de ítems.
Introducción-II
Decisiones sobre el tipo o formato de ítem más adecuado en función de la finalidad y tipo
de test:
ƒ En los tests de ejecución (óptima):
o Alternativas
o Elección múltiple
o Emparejamiento.
o Respuesta corta.
o Completar.
o Ensayo (respuesta elaborada).
o Toma de decisiones.
ƒ En los inventarios:
o Agrado-Desagrado.
o Tipo Likert.
o Listas de adjetivos bipolares.
Controversia sobre el tipo de formato más recomendable.
ƒ Ebel (1982) a favor de los altamente estructurados por varios motivos:
o A igualdad de tiempo permiten rastrear de forma más exhaustiva el
dominio.
o Actuación menos sujeta a la influencia de factores extraños, como el
elevado nivel de lectura requerido por algunos items con formato más
complejo.
o Mayor claridad conceptual sobre la natura de lo q es examinado.
ƒ Frederiksen (1981) en contra y defensor de tareas de solución de problemas por
varios motivos:
o Se corre el peligro de que lo que puede ser fácilmente medido puede
ensombrecer consideraciones sobre lo que debería ser medido -fiabilidd
entorpece a validez- y dejar habilidades importantes sin medir.
ƒ
De cualquier se pueden tomar como recomendaciones generales para cualquier tipo
de formato.
12
Tema 4.- Elaboración de escalas
13
4) Construir un conjunto inicial base de ítems.
TESTS DE EJECUCIÓN ÓPTIMA.
(1) De 2 alternativas (V/F).
Fiabilidad significa fundamentalmente consistencia interna. Verdadero Falso.
(2) Elección múltiple.
Un tipo es el de analogías; Rxx' es a como IG a ...
La noción de Fiabilidad resalta algunos aspectos como:
A. El grado de estabilidad del rasgo a medir.
B. La homogeneidad que exhiben los datos.
C. El grado de generalización a la población ideal.
D. Todas las anteriores.
E. Ninguna de las anteriores.
(3) Emparejamiento (relación).
______ 1. Alucinaciones
A. Autismo.
______ 2. Retraimiento social.
B. Depresión.
______ 3. Problemas comunicación
C. Esquizofrenia.
______ 4. Atribuciones internas preponderantemente. D. Epilepsia.
______5. Alteraciones fisiológicas importantes.
E. Drogadicción.
(4) De completar.
(5) Respuesta corta.
(6) Enasayo (Ej. Exponga sus conocimientos acerca de la validez aparente...). Problema de
de objetivización.
(7) Solución problemas.
13
Tema 4.- Elaboración de escalas
14
4) Construir un conjunto inicial base de ítems.
TESTS DE EJECUCIÓN ÓPTIMA.
CONSEJOS PARA EL FORMATO "TIPO TEST"
•
•
•
•
•
•
•
•
•
Las alternativas incorrectas deben ser igualmente plausibles, que todas parezcan
lógicamente razonables. Por ejemplo evitar que las alternativas se descarten por
sentido común.
Se sabe que las alternativas incorrectas más plausibles tienden a perjudicar a los sujetos
más competentes debido a la confusión que pueden generar los matices introducidos.
Para evitar esto podríamos rastrear información básica en formato tipo test y
progresivamente la competencia mayor de las personas con otro tipo de formatos tipo
resolución Problemas/síntesis/evaluación.
Las alternativas incorrectas deberían guiarse según la evaluación de malas
concepciones, malas interpretaciones, err' de cómputo -cálculo-, confusión de términos
o conceptos básicos; o bien para explorar errores predictibles a partir de una estrategia
de razonamiento mal adquirida o incompleta -por ejemplo las sobregeneralizaciones-.
Cuidar la redacción, evitando enunciados usando la negación, pasiva, frases de
estructura gramatical excesivamente compleja (i.e.. 3 subordinaciones encadenadas),
expresiones que den pistas ("raras veces", "a menudo", "generalmente").
Además de debe cuidar la concordancia gramatical entre el enunciado general y todas
las alternativas.
No apelmazar los ítems de tipo elección múltiple para facilitar la comprensión.
Evitar la introducción de distractores y facilitar en lo posible los procesos
psicológicos generales.
Por ejemplo la longitud y grado de elaboración de las alternativas debe ser equivalente
(ej. principiante que elabora la correcta y despacha rápido las incorrectas).
Evitar reiteraciones innecesarias de texto y el uso de alternativas generales como
"todas las anteriores o ninguna de las anteriores" ya que esto va contra la equivalencia
de las alternativas. También se debe evitar en la medida de los posible un formato
confuso desde el punto de vista de los procesos de razonamiento que implica; como:
A) Opciones a, b pero no c.
B) Opciones a, c pero no a.
• Por último, si se emplean cifras (números, fechas,...) presentarlas ordenadamente
ya sea en orden creciente o decreciente.
14
Tema 4.- Elaboración de escalas
15
4) Construir un conjunto inicial base de ítems.
TESTS DE INVENTARIOS –ESCALAS DE PERSONALIDAD Y ACTITUDES-.
(1) Acuerdo-Desacuerdo.
Los niños deberían obedecer a sus padres sin discusión.
Acuerdo
Hoy día los niños necesitan fuerte disciplina en casa.
Acuerdo
Muchos niños con problemas conductuales se revelan contra
un excesivo control de los padres.
Acuerdo
Desacuerdo
Desacuerdo
Desacuerdo
o Continuo entre autoritarismo-permisividad.
o Decisión sobre qué polo del continuo recaen las puntuaciones altas y bajas. Por
ejemplo, puntuaciones altas para reflejar mayor permisividad (y en consecuencia
menor autoritarismo).
o Por lo tanto un patrón “Desacuerdo, Desacuerdo, Acuerdo” sería puntuado como “1, 1,
1” respecto a permisividad (la más alta posible en este caso); mientras que otro patrón
como “Desagrado, Agrado, Desagrado”; en este caso se puntuaría como “1, 0, 0”; y en
total 1 (muy baja; es decir se aproxima más al polo autoritarismo que al de
permisividad).
o Habría que fijar un punto de corte. Por ejemplo en un test con 20 ítems; a partir de 10
(puntuaciones altas) se considera tendente hacia la permisividad; mientras que por
debajo de 10 (puntuaciones bajas) se considera tendente al autoritarismo.
o Empleo de Ponderaciones en función de la fuerza percibida por ejemplo con el método
de Thurstone.
(2) Formato tipo Likert.
o Frases claramente positivas y negativas -no hay neutrales- y se evalúan según una
escala de 5 puntos.
o Puntuaciones totales se obtienen a partir de la suma de los puntos asociados con la
respuesta dada a cada uno de los ítems.
Ej: Los niños deberían obedecer a sus padres sin discusión. 1 2 3 4 5.
5
4
3
2
Fuerte
Desacuerdo
Neutral
Acuerdo
desacuerdo
1
Fuerte acuerdo
(3) Pares de adjetivos bipolares
o Propuestos por Osgood y otros (1957) para el estudio de sentido semántico de
constructos psicológicos.
o Dimensiones subyacentes al significado semántico de constructos verbales.
Evaluación.
Potencia.
Actividad.
o Método para analizar e interpretar puntuaciones: El diferencial semántico.
Ej: Para evaluar la actitud de los profesores hacia el trabajo con niños mentalmente
retardados (o a incluir gitanos en sus clases).
Bonito _____ _____ _____ _____ _____ Feo
Feliz
_____ _____ _____ _____ _____ Triste
Sucio _____ _____ _____ _____ _____ Limpio
15
Tema 4.- Elaboración de escalas
16
4) Construir un conjunto inicial base de ítems.
TESTS DE INVENTARIOS –ESCALAS DE PERSONALIDAD Y ACTITUDES-.
CONSEJOS GENERALES
1. Frases o cuestiones en tiempo presente.
2. No emplear frases basadas en los hechos o que pueden ser interpretadas de tal
manera.
3. Evitar frases que pueden tener más de una interpretación.
4. Evitar frases que es probable que puedan ser suscritas por casi todos o casi
ninguno.
5. Intentar llegar a un número aproximadamente equivalente de frases expresando los
dos polos de afectividad -sentimientos positivos y negativos-.
6. Frases que tiendan a ser cortas; por ejemplo no exceder 20 palabras.
7. Que cada frase sea adecuada en el aspecto gramatical.
8. Frases que contengan universales tales como todo, siempre, ninguno, nunca; a
menudo introducen ambigüedad y deberían ser evitadas.
9. Evitar el empleo de cualificadores indefinidos tales como solo, algunos, pocos,
rara vez.
10. En la medida de lo posible, las frases deberían ser simples más que compuestas.
Por ejemplo evitar el uso de frases que contengan las cláusulas "si" o "porque".
11. Emplear vocabulario que pueda ser comprendido fácilmente por las personas a las
que va dirigida la prueba.
12. Evitar el empleo de frases negativas (por ejemplo no, ninguno, nunca).
13. Problema con los sesgos de Respuesta en los inventarios (i.e. extremismo,
aquiescencia). A veces se observan respuestas de cierta manera ante determinado
tipo de formato, independientemente del contenido del ítem. Especialmente el
consentimiento (tendencia a estar de acuerdo con una frase independientemente de
su contenido) y la interpretación individual diferente de cualificadores indefinidos.
14. Uso de diferentes puntos de anclaje en el continuo de respuesta o un número
diferente de alternativas de respuesta.
16
Tema 4.- Elaboración de escalas
17
4) Construir un conjunto inicial base de ítems.
EL FACTOR TIEMPO.
9 Si hay tiempo límite entonces surge la necesidad de distinguir entre tests de velocidad
y de fondo (o Potencia), según que en los errores cometidos -RR no correctas- prime la
variabilidad en ítems a los que no se les ha dado ningún tipo de R -velocidad pura- o
cuando prima la variabilidad en los ítems a los que se ha respondido y en cambio no
oscilan mucho las RR a los ítems no respondidos.
9 Hay que decidir si el factor tiempo es relevante al constructo que deseamos medir.
Cuando el interés primario estriba en el grado de consistencia de la ejecución que
podría haber sido observada si todos los examinados hubiesen terminado el test.
9 Ver tema de fiabilidad.
9 Índices indicadores de Velocidad (V) vs Potencia (P):
2
S Errores
• IV = 2
2
S Errores + S NoInten
•
CV =
∑X
Err
∑X
+∑ X
NI
Omis
+ ∑ X NI
× 100
17
Tema 4.- Elaboración de escalas
18
4) Construir un conjunto inicial base de ítems.
TESTS REFERIDOS AL CRITERIO-I
9 En el caso de los tests referidos al criterio se emplean algunas técnicas ligeramente
distintas que en el caso de los tests referidos a la norma. Tres son las propuestas
fundamentales para el muestreo de dominios:
o Especificaciones del ítem,
o Algoritmos -contenidos cuantitativos- y Formas de items -contenidos
verbales-,
o Frases en Mapas que se estudia expresamente en el apartado de
escalamiento psicológico propuesto por Guttman.
18
Tema 4.- Elaboración de escalas
19
4) Construir un conjunto inicial base de ítems.
TESTS REFERIDOS AL CRITERIO-II
(1) Especificación del ítem
Subhabilidad:
Descriptor del ítem:
Demostrar habilidad para multiplicar
decimales.
Multiplicación decimal.-Cálculos.
ATRIBUTOS ESTIMULARES
ATRIBUTOS DE RESPUESTA
1. El problema requeriría la multiplicación 1. Formato:
de dos números decimales, fracciones y/o Todas las elecciones numéricas serían
alineadas de acuerdo al punto decimal y
una mezcla.
ordenadas en orden ascendente
o
descendente.
2. El problema sería escrito en forma de 2. Cuatro alternativas de respuesta:
frases u horizontalmente. Para la forma a. La respuesta correcta.
horizontal, instrucciones como "Encontrar b. Una incorrecta que reflejaría un error en
reagrupación durante multiplicación.
el producto" o "multiplicar".
c. Una incorrecta que reflejaría un error de
alineación durante multiplicación.
d. Incorrecta que reflejaría ya (1) la omisión
del punto decimal o (2) mala colocación del
mismo.
3. Uno de los factores constaría de 3 dígitos 3. Otras posibles respuestas.
no nulos; el otro tendría 3 dígitos pero 2 de "Ninguna de las anteriores" reemplazaría ya
los cuales serían no nulos y mayores que 5. a, b ó c. Esta alternativa aparecería en la 40
posición.
4. Cada uno de los dos factores tendría al
menos un lugar decimal.
5. El producto no contendría más de 4
lugares decimales.
6. Al menos 2 pasos de reagrupamiento
serían necesarios.
7. Al elegir los factores, los dígitos no se
emplearían más de 2 veces.
Traducido del "Florida Teacher Examination Bulletin II"
19
Tema 4.- Elaboración de escalas
20
4) Construir un conjunto inicial base de ítems.
TESTS REFERIDOS AL CRITERIO-III
(2) Algoritmos y Formas de ítems
Algoritmo
El estudiante será capaz de calcular la diferencia entre cualesquiera dos enteros positivos
en la forma a - b = ______ , donde a > b.
Forma de ítem
Cuando un árbol de cítricos muestra
síntoma de
(B)
.
A
1. Hojas amarillentas.
2. Corteza quebradiza.
3. Puntos oxidación en las hojas
4. Sustancia negra en las hojas.
5. Corteza con escamas, etc.
(A)
, esto es probablemente un
B
1. Deficiencia nutritiva.
2. Herida herbicida.
3. Herida por clima frío.
4. Infección viral.
5. Infección bacterizida
20