Propiedades psicométricas de un
test: validez y confiabilidad
Fases (Muñiz y Fonseca-Pedrero, 2019)
Definición de la
variable medida
Especificaciones
Construcción de
los ítems
Edición
Estudios piloto
Selección de otros
instrumentos de
medida
Aplicación del test
Propiedades
psicométricas
Versión final del
test
Marco general
Objetivo de aprendizaje
• Conocer y diferenciar las
propiedades psicométricas de
un test: validez y confiabilidad.
• Conocer y diferenciar las
evidencias específicas de validez
y confiabilidad aplicadas a las
pruebas psicométricas.
• Explica
los
pasos
para
determinar algunas propiedades
psicométricas
de
un
test: evidencias de validez de
contenido y confiabilidad por
consistencia interna.
Entonces, ¿en qué se diferencian la validez de la
confiabilidad?
La propiedad psicométrica
de confiabilidad nos informa
si estamos midiendo con
mucho o con poco error de
medida.
En cambio, la propiedad
psicométrica de validez nos
informa de qué atributo
exactamente estamos midiendo.
Validez
Se refiere al grado en que la evidencia empírica y
la teoría apoyan la interpretación de las puntuaciones de
los tests relacionada con un uso específico
Los estudios de validez van a aportar significado a las
puntuaciones que estamos obteniendo, permitiéndonos
conocer si el uso que pretendemos hacer de ellas es o no
adecuado.
AERA, APA & NCME (2014)
Algunas consideraciones sobre Validez
No es preciso hablar de validez de un test sino de validez de las puntuaciones de un
test. No tiene sentido hablar de “propiedades del test”, ya que éstas dependen del
contexto de evaluación y la muestra específica.
El profesional responsable de la aplicación de un test debe consultar el manual
del mismo para averiguar si la utilización e interpretación pretendida por él
coincide con la proporcionada por la prueba.
De lo contrario, para poder realizar la interpretación pretendida deberá desarrollar
una investigación, un estudio de validación, que le permita recoger información que
apoye (o no) su uso.
Abad, Olea, Ponsoda & García (2010)
Por ejemplo
¿Serán válidas las puntuaciones
e interpretaciones del IDER en
personas de nuestro país si están
basadas a partir de las normas o
baremos de este manual?
¿Serán válidas las puntuaciones
e interpretaciones del IDER si se
obtienen a partir de la
aplicación a una muestra de
niños?
¿Serán válidas las puntuaciones
e interpretaciones del IDER en personas de
nuestro país si están basadas a partir de las
normas o baremos de este manual?
Rpta: NO, porque como bien se señala en la
imagen la interpretación está basada en un grupo
normativo español (adaptación española).
¿Serán válidas las puntuaciones
e interpretaciones del IDER si se obtienen a
partir de la aplicación a una muestra de niños?
Rpta: NO, porque como bien se señala en la imagen anterior la
prueba está orientada a la evaluación del constructo/variable
en adolescentes, jóvenes y adultos.
Entonces, ¿qué podría validar el
uso e interpretación de la
puntuaciones del IDER
en nuestro país?
Respuesta: La realización previa de
estudios de tipo
instrumental cumplen con ese
objetivo: validar las propiedades
psicométricas de las puntuaciones de
un test para su interpretación en
un determinado contexto o
muestra específica.
Evidencias de Validez
Estructura interna
Contenido
Relación con otras
variables
Standards for Educational and Psychological Testing (AERA, APA, & NCME, 2014)
1.1. Evidencia de validez basada en el contenido
Validez de contenido
Busca garantizar que la muestra de
ítems que componen la prueba
es relevante, y representativa del
constructo, además de clara en
cuanto a su redacción.
También son objeto de la validez
de contenido las instrucciones, los
ejemplos de práctica, el material
de la prueba, el tiempo de
ejecución, etc.
La consulta a expertos (juicio de
expertos) es la vía más usual para
apreciar la calidad del contenido
de los ítems.
Una de las técnicas estadísticas
más empleadas para este
propósito es la V de Aiken (analiza
el grado de acuerdo entre jueces
sobre la relevancia del
contenido de un ítem).
Juicio de expertos
• El juicio de expertos se define
como una opinión informada
de personas con trayectoria en
el tema, que son reconocidas
por otros como expertos
cualificados en éste, y que
pueden dar
información, evidencia, juicios
y valoraciones
(Escobar y Cuervo, 2008).
Criterios de
evaluación
de los
expertos:
Escobar-Pérez y Cuervo-Martínez (2008)
Formato de
evaluación de
juicio de
expertos:
Escobar-Pérez y Cuervo-Martínez (2008)
V de Aiken
Este estadístico se basa en
la opinión de expertos
sobre la validez de un
material evaluativo.
Este coeficiente es una de
las técnicas para
cuantificar de validez
de contenido o relevancia
del ítem respecto a un
dominio de contenido en
N jueces, cuya magnitud
va desde 0.00 hasta 1.00.
El valor 1.00 es la mayor
magnitud posible que
indica un
perfecto acuerdo entre los
jueces respecto a la mayor
puntuación de validez de
los contenidos evaluados.
Merino & Livia (2009)
V de Aiken
Plantilla para el cálculo de la V de Aiken
Consideraciones para la interpretación de la V de Aiken:
El intervalo de confianza para la V de
Aiken permite al usuario probar si
la magnitud obtenida del coeficiente
es superior a una que es establecida
como mínimamente aceptable para
concluir sobre la validez de contenido
de los ítems.
Por ejemplo, se desea probar si un
coeficiente V es significativamente
diferente del mínimo nivel de validez
según los estándares de los expertos;
este estándar puede estar en un nivel
liberal (Cicchetti, 1994) de Vo = 0.50, o
en un nivel más conservador, como Vo
= 0.70 o más (Charter, 2003).
Se considera que hay un insuficiente o
inadecuado grado de acuerdo entre
los jueces si el intervalo de confianza
inferior de la V de Aiken resulta menor
a 0.70 ó 0.50 según el criterio
empleado (conservador o
liberal respectivamente).
Ejemplo
Luego de recolectar el juicio de 5
jueces, en una escala de 1 al 5, el
rating promedio es 4.2, y al 95%
de confianza el intervalo del
coeficiente obtenido será [Límite
inferior = 0.62, Límite superior =
0.90].
¿Podremos aceptar el ítem?
Ejemplo
Luego de recolectar el juicio de 5
jueces, en una escala de 1 al 5, el
rating promedio es 4.2, y al 95%
de confianza el intervalo del
coeficiente obtenido será [Límite
inferior = 0.62, Límite superior =
0.90].
Con este dato, no podemos
aceptar el ítem a la luz del
estándar mínimo más
conservador (0.70), ya que el
límite inferior del intervalo está
por debajo de tal punto (0.62).
En las fases iniciales de la construcción de ítems, se
puede elegir un criterio más liberal (Vo < 0.50).
Interpretaciones y decisiones (criterio conservador):
Si un ítem presenta una V de Aiken cuyo
límite inferior del intervalo es menor a 0.70 en
claridad, se toma la decisión de modificar la
redacción del ítem según la recomendación de los
jueces expertos.
Si un ítem presenta una V de Aiken cuyo
límite inferior del intervalo es menor a 0.70 en
coherencia, se analiza la posibilidad de incluirlo en
otra dimensión del test según las recomendaciones
de los jueces expertos.
Si un ítem presenta una V de Aiken cuyo límite inferior
del intervalo es menor a 0.70 en relevancia, se toma la
decisión de eliminar el ítem de la versión final del test.
Interpretaciones y decisiones (criterio liberal):
Si un ítem presenta una V de Aiken cuyo
límite inferior del intervalo es menor a 0.50 en
claridad, se toma la decisión de modificar la
redacción del ítem según la recomendación de los
jueces expertos.
Si un ítem presenta una V de Aiken cuyo
límite inferior del intervalo es menor a 0.50 en
coherencia, se analiza la posibilidad de incluirlo en
otra dimensión del test según las recomendaciones
de los jueces expertos.
Si un ítem presenta una V de Aiken cuyo límite inferior
del intervalo es menor a 0.50 en relevancia, se toma la
decisión de eliminar el ítem de la versión final del test.
¿Qué decisiones
tomarían con los
siguientes ítems?
1.2. Evidencia de validez basada en la estructura interna
Validez de estructura
interna
Se busca verificar empíricamente si los
ítems se ajustan a
la dimensionalidad prevista por el
constructor (autor) de la prueba, es
decir, si se ajusta a la teoría.
Los estudios
sobre dimensionalidad, permiten
determinar la estructura del test, que
puede haber sido construido para
medir una o varias dimensiones, y ver
si coincide con la estructura postulada
al construir la prueba.
Por lo general, suele llevarse a cabo
con ayuda de la técnica estadística
del análisis factorial (exploratorio y/o
confirmatorio).
Por ejemplo
• Se hizo un estudio para verificar la dimensionalidad teórica
del Maslach Burnout Inventory (MBI) que consta de 3
dimensiones: Agotamiento emocional, Despersonalización
y Falta de realización personal.
Figura 1. Propuesta teórica original
(MBI)
3 dimensiones
22 ítems
Figura 2. Propuesta en una muestra específica (MBI)
3 dimensiones
18 ítems
En este caso a partir del análisis factorial confirmatorio se ha validado la
estructura teórica de 3 dimensiones del MBI (Figura 1), aunque como se ve
en la Figura 2, las puntuaciones e interpretaciones en la muestra específica
serán válidas a partir de la consideración de 18 de los 22 ítems de la prueba
en la calificación.
1.3. Fuente de evidencias externas (relaciones con otras
variables)
Relaciones con otras variables
El objetivo es establecer si las
relaciones observadas entre las
puntuaciones en el test y otras
variables externas relevantes son
consistentes con la
interpretación propuesta para las
puntuaciones
Por ejemplo: Si queremos validar las
puntuaciones de una escala que
mide susceptibilidad al castigo (que
mide el grado de evitación de
situaciones aversivas), ésta debe
proporcionar puntuaciones
relacionadas directamente
con neuroticismo e inversamente con
estabilidad emocional.
1.3. Fuente de evidencias externas (relaciones con otras
variables)
Si las relaciones observadas son
consonantes con lo predicho por el
modelo teórico en el que se inserta el
constructo medido por el test,
entonces hemos obtenido evidencia
favorable a la interpretación
propuesta.
Si las relaciones observadas no son
las esperadas hay que cuestionar la
adecuación de la prueba, la
adecuación de las medidas de las
otras variables o incluso el modelo
teórico.
1.3. Fuente de evidencias externas (relaciones con otras
variables)
Las variables externas relevantes en este tipo de evidencia de validez pueden ser:
La validez
convergente: otras
medidas del mismo
constructo/variable
obtenidas con diferentes
test.
La validez
discriminante: medidas de
constructos diferentes
pero que se insertan en el
modelo teórico donde se
encuadra el
constructo/variable de
interés.
La validez de criterio:
algún tipo de variable
(criterio) que
pretendamos predecir a
partir de las puntuaciones
en el test.
Se espera que la asociación entre pruebas que midan el mismo
constructo, sean mayores (validación convergente) que entre
test que miden constructos diferentes (validación
discriminante). Aunque en ambos casos se espera que
sean significativas.
Confiabilidad
La fiabilidad se concibe como
la consistencia o estabilidad de
las medidas cuando el proceso
de medición se repite.
AERA, APA & NCME (2014)
Distintos métodos para estimar la confiabilidad
Test /Retest
Formas paralelas
Consistencia interna
Consistencia de las puntuaciones
de distintos calificadores
• Administrar la misma prueba a las mismas personas,
en diferentes momentos (estabilidad)
• Aplicación a una muestra de personas en la misma
ocasión o en distintas ocasiones de dos versiones del
test equivalentes en contenido, dificultad, etc).
• División del test en dos subconjuntos equivalentes
de ítems o estimación a partir de las covarianzas entre
los ítems de la prueba (Alfa de Cronbach)
• Evaluación de una muestra de conducta por
calificadores independientes.
Consideraciones para la interpretación de los coeficientes
de confiabilidad (Prieto & Delgado, 2010)
¿Qué grado de fiabilidad deben tener las puntuaciones para que su uso sea aceptable?
Cuando las puntuaciones
vayan a emplearse para
tomar decisiones que
impliquen consecuencias
relevantes para las
personas (p. ej.,
aceptación o rechazo en
una selección de
personal), el coeficiente
de fiabilidad debería ser
muy alto (al menos de
0.90).
Sin embargo, si se trata de
describir las diferencias
individuales a nivel de
grupo (como en una
investigación), bastaría
con alcanzar valores más
modestos (al menos
0.70).
Los coeficientes de
confiabilidad asumen
valores que van de 0 a 1.
Mientras que cercano
esté el valor a 1, la
consistencia y/o
estabilidad será más alta,
por el contrario mientras
más cercano esté a 0 el
error de la medición será
mayor.
Sin duda, la magnitud requerida depende de las consecuencias
derivadas del uso de las puntuaciones.
Coeficiente alfa de Cronbach:
Se consideran aceptables coeficientes
de consistencia interna iguales o mayores a
0.70, lo que significa que los puntajes obtenidos
en el factor/dimensión
analizado tienen poco margen de error.
En este caso , la consistencia
interna de esta dimension
ha sido acceptable, pues
supera el valor mínimo de
0.70
Es necesario aclarar dos
malentendidos frecuentes:
Considerar que la confiabilidad y
la validez son características de
los tests cuando corresponden a
propiedades de las
interpretaciones, inferencias o
usos específicos de las medidas
que esos tests proporcionan.
Tratar la confiabilidad y la validez
como propiedades que se
poseen o no en lugar de
entenderlas como una cuestión
de grado.
Prieto & Delgado (2010)
Evidencia
Procedimiento
Estadístico
Validez basada en el contenido
Juicio de expertos
V de Aiken
Validez basada en la estructura
interna
Análisis deDimensionalidad
AnálisisFactorial
Exploratorio(AFE) AnálisisFacto
rialConfirmatorio (AFC)
Validez basada en relaciones
con otras variables
Análisis de
validezconvergente y
discriminante
Correlaciones(Pearson o
Spearman)
Confiabilidad porestabilidad
Test-retest
Coeficiente deCorrelación
Intraclase(CCI)
Confiabilidadporequivalencia
Formas paralelas
CorrelaciónPearson
Confiabilidad por consistencia
interna
Dos mitades
Coeficiente deGuttman,
coeficiente deRulon
Covarianzas entre ítems
Coeficiente alfa (α) Coeficiente
theta (θ) Coeficiente omega (Ω)
A modo de conclusión…
• “Mi test es válido y confiable”.
• “Si el test tiene buena confiabilidad
es suficiente”
• “Las puntuaciones obtenidas al aplicar el test en
mi muestra son válidas (son interpretables) y
confiables (tienen poco error)”.
• “Un test o instrumento puede ser confiable pero
no válido”. Por ellos es importante examinar
ambas propiedades.
0
