NIVEL DE PRODUCCIÓN DE CONOCIMIENTO SUPERIOR EN BOGOTÁ

NIVEL DE PRODUCCIÓN DE CONOCIMIENTO
EN PSICOMETRIA EN PREGRADO DE LAS INSTITUCIONES DE EDUCACION
SUPERIOR EN BOGOTÁ
Abstract
Al indagar por los estudios de psicometría en programas de psicología en Bogotá,
con el propósito de establecer el nivel de producción de conocimiento y
retroalimentar políticas de formación en psicometría, mediante el establecimiento de
un estado del arte sobre 7259 títulos revisados, se identificó un incipiente pero
creciente interés en el área en las dos últimas décadas, y la necesidad de profundizar
en la apropiación y evaluación de los modelos vigentes en teoría de los test: teoría
clásica y teoría de respuesta al ítem. En la doble perspectiva teórica y aplicada de la
psicometría es notoria la necesidad de fortalecer el dominio de los modelos, criterios
y procedimientos de producción de evidencias de validez y confiabilidad de las
pruebas construidas o evaluadas.
Palabras clave: psicometría, producción de conocimiento, teoría clásica de los test, teoría de
respuesta al ítem, competencias en psicometría, teoría de los test.
Introducción
La necesidad de fortalecer la formación de los psicólogos en el nivel de pregrado y postgrado
tanto en la fundamentación teórico disciplinar como en la profundización de la psicología
aplicada, es común a todos los programas tanto en el nivel nacional como internacional
(Sánchez, 2003; Ardila, 1998: 178). Si bien la psicología colombiana ha mostrado desarrollos
teóricos e incursiones en nuevas áreas de aplicación, algunos asociados al cuestionamiento de la
hegemonía de los métodos cuantitativos (Peña, 2007), recientemente se ha iniciado una reflexión
1
acerca del lugar que se le ha venido dando a la psicometría en la formación de los psicólogos
(Ardila, 2007; Red de Investigadores en Psicometría, 2008) y de los desarrollos que debería
proveer a la disciplina.
Al respecto, uno de los grupos de estudio de la Red de Investigadores en Psicometría, (RIP)
procedió a realizar algunos análisis con expertos (noviembre 2007, mayo 2008) y profesores del
área (septiembre 2008) en los que se identificaron aspectos relacionados con la formación que
merecen ser investigados para establecer juicios objetivos y tomar decisiones orientadas al
fortalecimiento del área (Trujillo, 1999). Entre tales aspectos se consideró necesario comenzar
una línea de trabajo orientada a establecer un estado del arte sobre la situación de la psicometría
en los programas de pregrado en el nivel local, apuntando a que este tipo de resultados permitan
delimitar acciones gremiales o institucionales de promoción y desarrollo del área como un
soporte indispensable para el avance de la psicología como disciplina científica.
El presente estudio se realizó con el objetivo de establecer el nivel de desarrollo de la producción
de conocimiento en el área de la psicometría en los programas de psicología de psicología en
Bogotá y Chía, en el entendido que la medición psicológica supone el desafío de garantizar que
las pruebas y los procedimientos de evaluación, real y objetivamente, midan los atributos
psicológicos pretendidos, las características, dimensiones o variables, de tal modo que las
inferencias inductivas –predictivas o explicativas- acerca de ellos sean confiables, objetivas,
examinables y especialmente válidas.
La medición en psicología es un campo de amplio debate: desde que en 1940 Campbell,
encabezando una comisión de la Asociación Británica para el Avance de la Ciencia, declaró que
la medición en Psicología era imposible porque no se cumplían las relaciones empíricas que
debían satisfacer los atributos (Narens y Luce, 1986; Michell, 2000) varios autores se han
2
esforzado por elaborar propuestas y modelos que defienden la posición contraria. En esta línea,
debe destacarse a Stevens (1946) quien redefinió la medición como un modo de representación
en la que los números no representan cantidades sino relaciones, es decir un homomorfismo
entre el sistema de números asignados y el sistema empírico del atributo representado. Para
llegar a la relación correcta se parte de un constructo semántica y formalmente definido
(indicadores del atributo), respecto del cual el investigador establece una regla para asignar
magnitudes y números que correspondan a una de las escalas –nominal, ordinal, intervalo, razónpara finalmente diseñar una herramienta o una prueba válida que haga posible obtener datos
confiables, para conocer la posición relativa del objeto medido en las dimensiones o variables
investigadas. Si una medición responde a estos requisitos, el investigador puede llegar a
inferencias válidas, que sustente el avance teórico y la toma de decisiones en aplicaciones
específicas.
La obra “Foundations of Measurement” (Krantz, Luce, Suppes y Tversky, 1971; Suppes, Kranz,
Luce y Tversky, 1989; Luce, Krantz, Suppes y Tversky, 1990) representa un segundo esfuerzo
por salir al paso de la posición original de Campbell. Si bien se mantiene el postulado del
homomorfismo entre las relaciones de los números que se asignan a los objetos (sistema
relacional numérico) y las relaciones empíricas entre los objetos (sistema relacional empírico), se
hace un mayor énfasis en las condiciones que debe satisfacer el sistema relacional empírico
(atributo) antes de asignarle una escala de medida. Según Acton (2003)
las condiciones
necesarias para que un atributo sea cuantitativo o cuantificable son (1) que posea aditividad lo
cual significa que la suma de un número (ej. Nivel manifiesto de la variable) con otro (ej. Nivel
latente de la variable) debe dar de manera invariable otro número único; y (2) que posea
ordinalidad, esto es que las variables se puedan comparar explícitamente en el nivel latente como
3
superior o inferior entre sí. Sin embargo, Acton (2003) cuestiona la práctica de la medición en
psicología en aquellos casos en que se pretende cuantificar cualquier cosa, casi de una manera
arbitraria aplicando operaciones para generar números que sólo se representan a sí mismos, pues
si se cambia la regla de representación se cambia el resultado aun cuando ambas reglas insistan
en su adecuación para aquello que quieren medir.
En esta línea Muñiz (1992) propone como característica especial de la psicometría el énfasis y
especialización en las propiedades métricas exigibles a las mediciones psicológicas
independientemente del campo sustantivo de aplicación y de los instrumentos utilizados.
Considerando la diferencia entre evaluación y medición psicológica, la especificidad asignada a
la psicometría implica diferenciar dos planos de actividad y producción: uno teórico en cuanto
tiene como misión estudiar las posibilidades, métodos y modelos de la medida de lo psicológico
(Martínez Arias, 1995), y uno práctico referido a calidad de los procesos de medición y a la
obtención de las medidas (instrumentos) (Fernández Ballesteros & Maciá, 1981), lo que significa
que realizar una medición debe cumplir con requerimientos teóricos y metodológicos.
De acuerdo con Ponsoda (2008) hoy día se identifican tres campos de trabajo en psicometría: las
escalas psicológicas, el análisis factorial y la teoría de los tests; el escalamiento psicológico
estudia “la medida de las características psicológicas de los objetos” (Ponsoda, 2008: 5), y se
ocupa del desarrollo de modelos que den cuenta de la cuantificación de las señales o estímulos
que empezó a estudiar la psicofísica (Santiesteban, 2009). El análisis factorial de los ítems, se
fundamenta en técnicas estadísticas de análisis multivariados diseñadas para investigar la
estructura o las dimensiones básicas de un conjunto de variables que representan una cantidad de
atributos identificados en un conjunto menor de constructos o variables; se han desarrollado dos
tipos: análisis factorial exploratorio y análisis factorial confirmatorio dependiendo de la meta a
4
lograr: detectar fuentes de variación ó examinar hipótesis acerca de una estructura conceptual
(Lawley & Maxwell, 1971; Martínez-Arias, 1996).
La teoría de los test se ocupa de la elaboración de modelos matemáticos que permitan determinar
y evaluar las propiedades psicométricas de los test psicológicos (Uwe Kramp Denegri, 2006),
estudia los factores que influyen en las puntuaciones observadas y propone diversos modelos
para estimar puntajes verdaderos (Hambleton & Swaminathan, 1985; Muñiz, 1996; FernándezBallesteros, 2004a). La teoría clásica de los tests que se emplea desde la primera mitad del siglo
XX para el análisis, la construcción y la aplicación de pruebas psicométricos se basa en la teoría
del error Prieto, (2009), plantea la necesidad de garantizar la confiabilidad de las pruebas ya sea
con formas paralelas, con aplicaciones de un mismo test en momentos distintos o la consistencia
interna de las mismas. También desde este mismo enfoque se habla de la validez, aunque es un
tópico que de por sí no le es propio a ninguna teoría, se menciona el examen de la validez de
contenido, predictiva y de constructo (Spearman, 1927; Nunnally J. C., 1987; Gulliksen, 1987;
McDonald, 1999; Muñiz, 2004). Dentro del marco de la TCT cobra sentido hacer el análisis de
los ítems y el análisis de la prueba, asumiendo siempre que la calidad de los ítems garantiza la
calidad de las pruebas, para lo cual se han desarrollado y probado procedimientos para
determinar los parámetros de los ítems en la TCT (Herrera, 2000).
En la literatura se señala que tanto la TCT como el análisis factorial comparten algunas
limitaciones (Lord, 1980; Muñiz, 1996, 2003; Cortada, 2004): (a) las mediciones dependen de la
prueba utilizada, y (b) las propiedades del test dependen de los sujetos evaluados; los cuales se
consideran superados por la teoría de respuesta al ítem (TRI) Prieto, (2009), además plantea
como limitaciones de este modelo el alcance ordinal de la medición, la ausencia de
5
homocedasticidad del error, las dificultades para equiparar las puntuaciones de distintos test,
entre otros.
La TRI buscando resolver las limitaciones indicadas realiza estimaciones invariantes de los
parámetros de los ítems y de los atributos de las personas (Lord & Novick, 1968; Lord, 1980;
Hambleton & Swaminathan, 1985, Van der Linden & Hambleton, 1997; Muñiz 1997, 2003);
además presenta el comportamiento del ítem en relación con la habilidad a través de la Curva
Característica del Ítem (CCI) (Gómez-Benito & Hidalgo-Montesinos, 2003) y por supuesto como
lo señala Muñiz y Hambleton (2000) exige que la medición psicológica aplique modelos no
lineales, siendo el logístico uno de los planteados. Algunos autores destacan como aplicaciones
el modelo dicotómico de Rasch (1978) y el modelo de Escalas de calificación de Aldrich. La
Teoría de Respuesta al Ítem como lo señala Ponsoda (2008) se centra en las propiedades
individuales de los ítems y es ahora la más ampliamente utilizada ya que ofrece posibilidades de
desarrollos psicométricos tales como los Test Adaptativos Informatizados o el estudio del
Funcionamiento Diferencial de los Ítems (Gómez-Benito & Hidalgo-Montesinos, 2003).
Así, la psicometría y la teoría de los test se configuran con base en la teoría de la medición
psicológica y se desarrollan mediante la construcción de modelos para lograr medidas válidas a
partir del consenso de reglas para diseñar, construir, validar y estandarizar tanto las escalas como
las pruebas psicológicas (Mherens & Lheman, 1982; Garagordobil, 1998), las cuales a su vez se
extienden hasta las reglas y protocolos de aplicación, uso, información e interpretación de los
resultados de las mismas, analizados y formulados por comunidades académicas de larga
trayectoria investigativa y aplicada como son los “Standards for Educational and Psychological
Testing” (2005) y los “Standards for Educational and Psychological Testing (2006) promulgados
por la International Test Comission.
6
Tanto en la teoría clásica de los test como en la teoría de respuesta al ítem, se han definido
procedimientos y técnicas para evaluar y garantizar las propiedades psicométricas de las pruebas
en su totalidad, y la calidad de los ítems que las componen. En ambos modelos, la validez
aparece como un concepto relevante, aunque no siempre unívoco (Muñiz, 2005; Eloúsa, 2003) y
recientemente se lo identifica como un tema de debate y estudio que exige al parecer un
movimiento desde el significado y la correlación hacia la ontología y la causalidad (Haig &
Borsboom, 2008: 4), dada su tremenda implicación para la inferencia y la teorización en
psicología.
En el siguiente esquema se resume cómo cada uno de los dos modelos principales en
psicometría: TCT y TRI, priorizan e identifican las propiedades psicométricas que considera
relevantes así como los principales procedimientos para su valoración o medición. En ambos
casos el psicómetra procura fortalecer y dar evidencias empíricas de una u otra propiedad
psicométrica conforme al modelo con el que desarrolla su propósito de medición. En este orden
de ideas, en este estudio se tomó la estructura conceptual del esquema como guía para
determinar, categorizar y procesar la información relevante de los trabajos de grado identificados
como ejercicios investigativos dentro del área de la psicometría, y a partir de allí extraer algunas
conclusiones relacionadas con el nivel de producción en el área en los programas de psicología
en Bogotá y Chía. Es importante anotar que en el caso de la validez se presenta como parte de
TCT, aunque bien son válidos los procedimientos así se trate de IRT.
7
Figura 1. Propiedades psicométricas y procedimientos en la teoría de los test
Método
Muestra
Para establecer el estado de arte mediante la revisión de fuentes documentales, se revisaron la
totalidad de títulos de trabajo de grado de todos los programas de psicología en Bogotá, de
manera censal, con un total de 7259 títulos revisados de tesis y trabajos de investigación
docente, dentro de los cuales se identificaron solamente 248 trabajos como estudios en
psicometría, luego de un proceso de definición de los criterios de identificación a saber: que su
objetivo estuviera orientado al diseño, validación, adaptación y/o estandarización de una prueba
psicológica o al desarrollo de avances teóricos o metodológicos en métodos psicométricos.
Dichas fuentes documentales corresponden a los 23 programas identificados en la ciudad de
Bogotá y chía, con pregrado en psicología de los cuales sólo 14 reportaron trabajos de
investigación, 5 no cuentan con esta producción y 2 no tienen desarrollos en el área y 2 no
permitieron el acceso
8
Instrumento
Para la recolección de datos se diseñó una ficha de registro de la información, dispuesta en una
planilla Excel que incluía los campos descritos en la siguiente tabla:
Tabla 1. Ficha de registro
Campo
Items
Identificación
Universidad - -Año - Título
Autores - Ubicación
Grupo / línea de investigación
Caracterización
Objetivo psicométrico
Prueba y forma de aplicación
Constructo evaluado
Muestreo
Aspectos metodológicos
Tipo estudio
Tipo muestreo
Dominios psicométricos
Método para hallar validez
Método para hallar Confiabilidad
Análisis de ítems
Tipo de análisis
Procedimiento
La metodología de estado de arte permitió identificar las principales características de los
trabajos que se han realizado en el área de psicometría desde los primeros reportes de los
programas visitados hasta la fecha. Su desarrollo implicó:
(1) Fase preparatoria, en la que se formuló el estudio accediendo a diferentes fuentes
documentales en el campo psicométrico.
(2) Fase descriptiva, en la que se diseñó, validó y aplicó en trabajo de campo la ficha de registro
y las bases de datos conforme a la estructura de unidades de análisis que se consideraron
relevantes; entre los procedimientos de registro realizado por auxiliares y el análisis realizado
por los investigadores se realizó un proceso de depuración de la información y verificar la
pertinencia de los trabajos ingresados a la base de datos con base en el cumplimiento de los
requisitos de tipo.
9
(3) Fase interpretativa, en la que con los resultados obtenidos, se identificaron tendencias
teóricas y metodológicas prevalecientes y emergentes, fortalezas, vacíos teóricos,
limitaciones, dificultades, avances, contribuciones de la producción de conocimiento en
psicometría en las Instituciones de Educación Superior de Bogotá.
(4) Fase de construcción de sentido, en la que se formularon hipótesis sobre la dinámica de los
procesos de investigación, los espacios donde se requieren nuevas líneas de investigación, y
las recomendaciones para las políticas de formación, desempeño y regulación de la actividad
investigativa en el área.
3. Resultados
Una vez identificados y analizados los 248 estudios en psicometría, se presentaron las siguientes
características:
Nivel de Investigación: En este campo el mayor porcentaje, pertenecen a
Proyectos de
investigación Formativa o trabajos de grado (194= 78.22%), 5 que corresponden a Proyectos de
Postgrado (2.01%) y 49 (19.75%) que corresponden a Investigación Docente.
Objetivo del estudio. Los objetivos que orientan los trabajos -de mayor a menor frecuencia- son:
a. Diseño, construcción y validación, 113 estudios, seguido de b. Evaluación de Propiedades
psicométricas, 49 estudios; c. Adaptación, traducción y Validación, con 29; d. Validación y
estandarización, con 41 proyectos; e. Análisis teórico, 5 proyectos y f. Estudio de métodos, con
4 proyectos. La figura 2 presenta el porcentaje respecto al total de trabajos. Es evidente el menor
porcentaje de los trabajos de orden teórico.
10
Figura 2. Distribución porcentual de acuerdo con el objetivo del estudio
Como se puede apreciar en la Fig. 2, el mayor porcentaje (46.89%) está conformado por trabajos
que pretendieron diseñar, construir y validar pruebas propias, dato que al cruzar con las décadas
(Fig. 3), se encuentra una tendencia creciente a preferir diseñar a importar, traducir o adaptar
pruebas desarrolladas en otros contextos socioculturales. Se evidencia igualmente en la década
de los 90, un rápido y notorio crecimiento por establecer propiedades psicométricas de diversas
pruebas.
Figura 3. Variaciones del objetivo del estudio por décadas
11
Las figuras 2 y 3 coinciden en señalar el escaso número de estudios sobre métodos y análisis
teóricos, aspecto que debería fortalecerse a fin de fortalecer la fundamentación del área y su
capacidad de aporte al desarrollo disciplinar de la psicología y otras áreas de conocimiento que
aprovechan la psicometría.
Ante la diversidad de constructos estudiados, se organizaron por categorías (ver anexo 1)
mediante un procedimiento cualitativo de análisis de dominio (Strauss & Corbin, 1998) para
cada una de las cuales se estableció la frecuencia:
Tabla 2. Distribución de frecuencias del constructo de las pruebas
Constructo
Frecuencia Porcentaje
Procesos cognoscitivos
6
2,49
Percepción social
8
3,32
Conocimientos
13
5,39
Desarrollo cognoscitivo
16
6,64
Actitudes
17
7,05
Procesos afectivos
18
7,47
Intereses/preferencias
20
8,30
Procesos organizacionales
25
10,37
Personalidad
34
14,11
Comportamiento adaptativo
34
14,11
Inteligencia
50
20,75
Total
241
100
Llama la atención la persistencia de intereses investigativos relacionados con constructos de
larga tradición en psicología como son la inteligencia y la personalidad; como la emergencia de
trabajos en categorías que hemos denominado como comportamientos adaptativos o clima o
cultura organizacional; en la primera incluidas alteraciones de comportamiento escolar, maltrato,
agresión, entre otros, y en la segunda atributos de nivel colectivo tales como los procesos
organizacionales.
12
Conocido que las pruebas sirven a determinados propósitos, la tabla 3 indica en los estudios
revisados cuáles eran los fines de usar una prueba o una medición:
Tabla 3. Distribución de frecuencias acorde con la finalidad de la prueba
Finalidad
Clasificación
Caracterización
Detección
Diagnóstico
Varios
No aplica/otro
Total
Frecuencia
Porcentaje
72
62
63
21
20
3
241
29,88
25,73
26,14
8,71
8,30
1,24
100
Como se puede observar los propósitos de clasificación, caracterización y detección tienen
porcentajes similares y en conjunto dan cuenta del 75% de las pruebas utilizadas en los estudios
revisados.
En cuanto a los procedimientos aplicados para establecer evidencias de validez se encontró que
los métodos más utilizados son: el análisis factorial y el juicio de expertos con 44 investigaciones
cada uno. Adicionalmente se encuentran combinaciones entre diferentes métodos, p.e. concepto
de expertos con análisis factorial (24 estudios). El método de consistencia interna como
evidencia de validez fue aplicado en 14 estudios y combinada con los métodos anteriores en 7
casos. Lo que llama la atención frente a las consideraciones del uso de la consistencia interna en
este caso, dado que fue concebido como método para hallar la confiabilidad.
Tabla 4. Procedimientos de validez
Forma de Garantizar la Validez
Frecuencia
Análisis factorial
44
Expertos
44
Medida de criterio
36
Matriz multirasgo multimétodo
1
Análisis de consistencia interna
14
Modelo de Rasch
7
%
18,26
18,26
14,94
0,41
5,81
2,90
13
Otro
No aplica
No precisa
Análisis factorial/expertos
Análisis factorial/medida de criterio
Análisis factorial/matriz multirasgo multimétodo
Análisis factorial/consistencia interna
Expertos/medida criterio
Expertos/consistencia interna
Medida criterio/consistencia interna
Análisis factorial/expertos/medida de criterio
Análisis factorial/expertos/Consistencia interna
Total
12
13
28
24
1
1
2
7
2
2
2
1
241
4,98
5,39
11,62
9,96
0,41
0,41
0,83
2,90
0,83
0,83
0,83
0,41
100
Solo se encontraron 7 estudios que utilizan el modelo de Rash como evidencia de validez, y otros
7 estudios que usan métodos menos conocidos como el coeficiente de validez total de Livingston
(1 caso) y Chung The Fan (un caso). En un menor porcentaje se identificaron 3 trabajos que
combinan 3 procedimientos para hallar la validez.
En cuanto a los procedimientos para establecer la confiabilidad de las pruebas estudiadas (Tabla
5), se encontró que de los 176 estudios que realizan análisis psicométrico de la confiabilidad de
un test, la mayor proporción de estudios utilizan la consistencia interna como medida de
confiabilidad, seguido por el grupo de trabajos que no reporta el método utilizado para estimar la
confiabilidad y posteriormente división por mitades; 3 estudios utilizan otros métodos como el
de función de información. Se encuentra adicionalmente que 26 estudios utilizan al menos dos
métodos complementarios para estimar la confiabilidad.
Tabla 5. Procedimientos para establecer confiabilidad
Confiabilidad
Frecuencia
%
Análisis de consistencia
109
45,23
Estabilidad
10
4,15
Equivalencia
12
4,98
Estabilidad y equivalencia
2
0,83
División por mitades
14
5,81
Análisis de consistencia/estabilidad
11
4,56
14
Análisis de consistencia/estabilidad y
equivalencia
Análisis de consistencia/división por mitades
Otro
No aplica
No precisa
Total
6
9
3
4
61
241
2,49
3,73
1,24
1,66
25,31
100
En cuanto al análisis de ítems se encontró que, a pesar de que este análisis se considera necesario
cuando se desarrolla un instrumento de medición, en un 14.11% de los trabajos orientados a
diseñar, construir y validar un instrumento no precisan el tipo de análisis de ítems que realizan.
En los casos en que se tiene en cuenta, se emplean parámetros distintos al de discriminación y
dificultad, aplicando en cambio procedimientos como Alfa y Análisis factorial.
16
14,11
14
12
%
10
8
6,22
5,81
6
4,56
4,15
3,32
4
2,49
1,66
2
0
Diseño, construcción y
validación (n=113)
Evaluación de propiedades
psicométricas (n=49)
Adaptación, traducción y
validación (n=29)
Validación y estandarización
(n=41)
No aplica
6,22
5,81
3,32
4,56
No precisa
14,11
4,15
2,49
1,66
Figura 4. Distribución porcentual de no aplicación o no registro de análisis de ítems de
acuerdo con el objetivo del estudio
Se encuentran estudios que a pesar de que su objetivo es la evaluación de propiedades
psicométricas no aplican o no precisan la forma en que se garantiza la confiabilidad de la prueba,
lo mismo sucede en el caso de la validez y más aún cuando se trata de un estudio que implica
validación. Resulta importante destacar el alto número de investigaciones en las que no se
15
reportan los métodos y las evidencias de validez y confiabilidad encontradas, lo cual afecta el
soporte de la utilidad de dichos hallazgos. La tabla 6 permite identificar la frecuencia con que
estudios específicos, a pesar de requerir evaluar confiabilidad y validez, no precisa o no aplica
cómo lo hizo:
Tabla 6. Relación entre el objetivo del estudio, validez y confiabilidad (frecuencias)
Confiabilidad
Validez
Objetivo del estudio
No aplica No precisa No aplica No precisa
Diseño, construcción y validación
1
33
6
11
Evaluación de propiedades
psicométricas
1
16
0
5
Adaptación, traducción y validación
0
5
2
6
Validación y estandarización
1
3
1
4
Análisis Teórico
1
1
1
2
Estudio de métodos
0
3
3
0
Total
4
61
13
28
Al procurar integrar en una categoría los diferentes procedimientos de análisis aplicados en los
trabajos, se indagó por una categoría que denominamos Tipo de análisis, para lo cual se clasificó
el análisis hecho en cada trabajo según el proceso seguido, y se definieron los tipos de análisis
listados en la Figura 5.
1%
TCT
1%
1%
19%
IRT
1%
Rasch
77%
Varias
No se puede determinar
o no aplica
Figura 5. Tipo de análisis reportado en los estudios.
16
A pesar que en un número importante de trabajos no hay un reporte preciso acerca del tipo de
muestreo utilizado, se consideró tenerlo en cuenta en la ficha y en los resultados, dada su carácter
como indicador de mayor o menor cumplimiento de los supuestos estadísticos exigidos por
diversos procedimientos de análisis. Para lo anterior, se tuvo en cuenta definir si se realizó un
muestreo probabilístico o no probabilístico o si se trató de una fuente de datos censal, en cuyo
caso no aplicaría el concepto de muestreo.
Los datos indican que se emplea con mayor frecuencia el muestreo no probabilístico lo cual
puede coincidir con las dificultades habituales en la investigación psicológica para cumplir los
requisitos de los supuestos ideales de la estadística.
1%
22%
Probabilístico
No aplica
54%
20%
No precisa
No Probabilístico
Censal
3%
Figura 6. Distribución porcentual de acuerdo con el muestreo realizado
Como parte del estudio también se indagó por la forma como los autores tipifican, describen o
clasifican su estudio, y al respecto se encontró una notoria diversidad pues se reportan como
estudios descriptivos (63), psicométricos (37), descriptivo correlacional (11), o nombres como
investigación estadístico-técnica de corte psicométrico, proyecto de investigación tecnológico en
el campo psicométrico, clínico experimental, tipo encuesta,
diseño preexperimental pretest –
17
postest,
estudio transversal psicométrico,
psicométrico cuasi-experimental,
estudio
comparativo, estudio de carácter evaluativo, estudio tecnológico-instrumental,
estudio
descriptivo expos-facto ó estudio exploratorio; dato preocupante
que evidencia la amplia
dispersión de taxonomías utilizadas a nivel metodológico, lo que muestra la necesidad de buscar
consensos acerca de los criterios y categorías a aplicar para intentar clasificar este tipo de
investigaciones.
4. Discusión y Conclusiones
La indagación realizada con esta investigación orientada a establecer el nivel de producción de
conocimiento implica explicitar algunas consideraciones previas. Plantear el tema de nivel llama
a establecer una medida, que a su vez requiere la definición de uno o un conjunto de criterios que
orienten la medición, sin embargo el estado del arte en que consiste este estudio, permitió
evidenciar en relación con estudios psicométricos las finalidades planteadas por los
investigadores, los tipos de muestreo utilizados, y los métodos de evidencias de confiabilidad y
validez, resultados que se analizan en la perspectiva de la concepción de la psicometría, de la
teoría de los test, y de las necesidades y posibilidades de su profundización y desarrollo en la
formación del psicólogo.
El número de trabajos identificados como estudios psicométricos (3%) en el proceso de
recolección de datos, y su evidente crecimiento en la última década, a pesar de no representar un
volumen significativo en el universo revisado indica que la psicometría es un área de incipiente
desarrollo y cada vez un objeto de interés para profesores y estudiantes de psicología. En esta
tendencia debe destacarse la orientación creciente a diseñar, construir y validar instrumentos
propios, comenzando así la tradicional tendencia mayoritaria a realizar traducciones y
adaptaciones evidenciada y cuestionada en diversos momentos (Ardila, 2007; Ponsoda, 2008).
18
Al respecto, y tomando como fuente las prácticas de investigación que se usan en la elaboración
de los trabajos de grado, es posible que el volumen real de trabajos que implican construcción y
validación de pruebas sea mayor si se analizaran aquellos trabajos frecuentes que en el marco de
áreas aplicadas, para abordar objetos de investigación en estudios de intervención o de tipo
cuasiexperimental o incluso descriptivo, se pasa por la tarea de diseñar y evaluar diversos
instrumentos de evaluación y medición psicológica, afirmación que deberá ser objeto de
verificación en otros estudios. Así mismo, es oportuno plantear preguntas acerca de la calidad
psicométrica de tales instrumentos dado que en ocasiones se desarrollan en muy corto tiempo en
el marco de investigaciones de mayor alcance.
Este tema también plantea una pregunta por el nivel de contribución real y potencial que hace la
psicometría a la disciplina psicológica en el contexto nacional. A este respecto si bien se
evidencian esfuerzos por avanzar en conceptualizaciones de los constructos a medir y producir
pruebas propias, hay aún un gran camino por recorrer en la apropiación de los modelos de teoría
de los test, en la valoración de los modelos y métodos de estudio de la psicometría y en la
apropiación y/o desarrollo de estándares para diseño, validación, aplicación y uso de pruebas.
Incursionando en estas indagaciones, será posible participar y contribuir al debate vigente en
torno a la capacidad real de la psicometría para medir atributos psicológicos que para muchos no
son efectivamente medibles (Mitchell, 2000, 2004), ello en razón a que se considera que a
medida que las teorías van madurando con evidencia empírica adquieren más relevancia técnicas
y modelos de medición más refinados y de potencial confirmatorio (Ponsada, 2008).
Lograr un cometido de este talante, implica promover las competencias de los egresados, y
especialmente de los profesores para determinar la calidad de una prueba, y diferenciar y valorar
las bondades y limitaciones de las teorías de los test, campo en los que los expertos subrayan
19
necesidades de desarrollo de modelos, el empleo de muestreo probabilístico en psicología, la
valoración sobre la estabilidad del concepto de validez en los diferentes modelos, o la estabilidad
de los modelos para derivar evidencias empíricas de su existencia como atributo de un test.
Esta situación plantea otro debate relacionado con la formación en psicometría que se expresa en
preguntas como: ¿qué se espera que logren los estudiantes de pregrado? ¿qué se espera que
logren en postgrado? ¿cuál es la tarea del pregrado en relación con esta área de competencia
profesional? ¿qué se espera de los docentes del área, qué se requiere, alrededor de cuáles líneas
de indagación se los puede convocar?
Si bien algunos expertos señalan que el pregrado debería dedicarse al conocimiento de los
conceptos en lugar del dominio de los procedimientos, los cuales podrían ser objeto de
profundización posterior y vinculada a los intereses individuales (Herrera, 2009), y otros apuntan
a considerar la necesidad de contar con profesionales más competentes en áreas de aplicación de
la psicometría, lo cual exige por igual fortalezas conceptuales y metodológicas respecto al
diseño, validación, aplicación y uso de las pruebas psicológicas (Medellín, 2009), el grupo
investigador considera, a la luz de los resultados obtenidos del estudio, que debe fortalecerse la
formación del pregrado en unos mínimos precisos como son las competencias conceptuales sobre
los modelos, de manera que al abordar su práctica profesional, si no puede aproximarse a
estudios de postgrado, cuente con competencias básicas y requisitos mínimos para aportar valor
agregado en el diseño y validación de pruebas psicológicas, campo en el que cada vez más
incursionan profesionales de otras áreas de conocimiento.
Esta perspectiva, a su vez pone el análisis en dos vías: por una parte, convoca al debate ético en
una y otras disciplinas, y por otra, cuestiona por las políticas de formación en la psicología y la
20
psicometría que deben responder a un conjunto de demandas sociales, económicas y culturales
para las que se forman los profesionales y que nutren a su vez el gremio académico.
En este sentido, y considerando la cada vez mayor demanda social de profesionales con
competencias especializadas en psicometría, se constata la necesidad de promover el área con
diversas acciones orientadas a una mayor, mejor y más profunda formación, de manera que en el
pregrado se establezcan bases conceptuales y criterios de propiedades psicométricas precisos, y
en el nivel de postgrado se avance en las competencias para el desarrollo, evaluación de
métodos, modelos y teorías, formando así generación es que atiendan a las demandas sociales
pero que además constituyan un gremio dinámico que alimente el desarrollo metodológico y
teórico del área específica, y así de la disciplina psicológica..
La RIP, dado su carácter de red de aprendizaje, red interinstitucional, tiene la posibilidad de
llamar a la reflexión, de impactar en los currículos mediante las reflexiones como las que aquí se
socializan, de promover el desarrollo del área, generar espacios de interés y el debate académico
en torno a los problemas anotados, y en especial para alimentar y orientar los procesos de
recepción, apropiación y socialización de actual y nuevo conocimiento en el área, promoción y
fortalecimiento de investigaciones en el área.
5. Referencias
Acton, S.F. (2003) What Is Good About Rasch Measurement? Rasch Measurement Transactions,
2003,
16:4
p.902-3
Reprinted
with
permission
from
www.personalityresearch.org/psychometrics/measurement.html
Online: http://www.rasch.org/rmt/rmt164g.htm
Andrich, D. (1978). A rating formulation for orderer response categories. Psychometrika, 43,
561/573.
APA, AERA, NCME (2005) Standards for Educational and Psychological Testing. Online:
http://www.apa.org/science/standards.html#overview
21
Ardila, R. (1998) La psicología en América latina: pasado, presente y futuro. 2ª. Edición.
Bogotá: Siglo XXI Editores. 194 p.
Ardila, R. (2007) El vergonzoso atraso de la psicología colombiana. Carta Abierta. Online
octubre 18 de 2009:
http://www.universidad.edu.co/index2.php?option=com_content&do_pdf=1&id=2
Carvajal, I; Ulloa, I & Morales, M. (2007). La utilización de pruebas psicométricas:¿un absurdo
en una EST? Universitas Psychologica 6 (1): 79-87.
Castañeda, DS. (2004). Visión de la psicología organizacional estado del arte en aprendizaje
organizacional, a partir de las investigaciones realizadas en facultades de psicología,
ingeniería industrial y administración de empresas en Bogotá, entre los años 1992 y 2002.
Acta Colombiana de Psicología, 11, 25-33.
Cortdada de Kohan, N. (2004) Teoría y métodos para la construcción de escalas de actitudes
Buenos Aires, Argentina : Lugar Editorial.
Elosua Oliden, Paula (2003) Sobre la validez de los test. Psicothema, Vol 15, n° 2, 315-321. _
Online: http://redalyc.uaemex.mx/redalyc/pdf/727/72715225.pdf
Fernández-Ballesteros, R. (1996) Introducción a la evaluación psicológica. Vol. 1. cap. 1 y 2
“Conceptos y modelos básicos”, Madrid, Ediciones Pirámide.
Fernández-Ballesteros, R. (2004ª) Evaluación psicológica conceptos, métodos y estudio de casos.
Pirámide.
Fernández-Ballesteros, R. & Macia, A. (1981) Estudio diferencial con el test de figuras
enmascaradas. Anuario de Psicología, 24, 47-55.
Forero, N.; Galeano, C. & Tovar, C. (2001).Estado del arte de la integración escolar en
Colombia. Tesis de Grado. Universidad de la Sabana: Chía.
Gómez-Benito, J & Hidalgo-Montesinos, M. (2003). Desarrollos recientes en psicometría.
Avances en medición, 1, 17-36.
Gulliksen, H. (1950/1987). Theory of mental tests. Hillsdale: Lawrence Erlbaum Associates.
Haig, B.D. & Borsboom, D. (2008) On the Conceptual Foundations of Psychological
Measurement.
Measurement, 6: 1–6, 2008. ISSN 1536-6367 print / 1536-6359 Online
DOI: 10.1080/15366360802035471
borsboomdenny.googlepages.com/1EditorsIntro.pdf
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: principles and applications.
MA: Kluwer
22
Herrera, N. (2000). Notas de psicometria. Universidad Nacional de Colombia. Recuperado el 6
de enero de 2003 de la página www.humanas.unal.edu.co/cms.php?id=828
Kramp Denegri, U.A (2006) Efecto del número de opciones de respuesta sobre las propiedades
psicométricas de los cuestionarios de personalidad. Tesis doctoral Programa de Doctorat en
Psicología Clínica i de la Salut. Universidad de Barcelona .
Krantz, D. H., Luce, R. D., Suppes, P., & Tversky, A. (1971). Foundations of measurement: Vol.
1. Additive and polynomial representations. New York: Academic.
Lawley, D. N. and A. E. Maxwell. 1971. Factor Analysis as a Statistical Method. Second ed.
London: Butterworths.
Lord, F. M. (1980). Applications of Item Response Theory to Practical Testing Problems. New
Jersey: Lawrence Erlbaum.
Lord, F. M., Novick, M. R. (1968). Statistical theories of mental test scores. Reading, Mass.:
Addison-Wesley.
Luce, R. D., Krantz, D. H., Suppes, P., & Tversky, A. (1990). Foundations of measurement: Vol.
3. Representation, axiomatization, and invariance. San Diego, CA: Academic.
Martínez-Arias, R. (1995) Psicometría: Teoria de los test psicológicos y educativos. Madrid:
Síntesis.
Michell, J. (2000). Normal science, pathological science, and psychometrics. Theory and
Psychology,10, 639–667.
Mota, G. A. B. ( 2002) Estado del arte: Psicología Política y colectiva mexicana. Psicología
Política, 2(4),191-208.
Muñiz, J. (1996). (Ed.) Psicometría, Madrid. Universitas.
Muñiz, J. (1998). La medición de lo psicológico. Psicothema, 10, (1), 1-21
Muñiz, J. (2004). La validación de los tests. Metodología de las Ciencias del Comportamiento,
5(2), 121-141.
Muñiz, J. (2005) La Validez desde una óptica psicométrica. Jornadas en Internet sobre Teorías
conductuales y Test psicológicos. Universidad de Sevilla. Enero-Febrero 2005. Online:
http://www.aristidesvara.com/metodologia/psicometria/validez/valpsic_aristidesvara.pdf
Muñiz, J.; & Hambleton, R.K..(1996) Directrices para la traducción y adaptación de los tests.
Papeles del Psicólogo: Revista del Colegio Oficial de Psicólogos, vol 66: 63-70.
23
Muñiz, J & Hambleton, R. (1992). Medio siglo de Teoría de Respuesta a 1os Ítems. Anuario de
Psicología, 52, 41-66. Documento electrónico.
Muñiz, José; Hambleton, Ronald K. (2000) Adaptación de los tests de unas culturas a otras.
Metodología de las Ciencias del Comportamiento, vol 2, nº , 129-149.
Narens, R. & Luce,R.D. (1986) Measuement: the theory of numeral assignment. Psychological
Bulletin, 99, 166-180.
Nunnally J. C., (1987) Teoría psicométrica. México: Editorial Trillas.
Peña, T.E. (2007) La formación de psicólogos a nivel de pregrado. Documento Institucional
Universidad
Nacional
de
Colombia.
113p.
Online:
www.ascofapsi.org.co/observatorio/documentos/formacion_psicologos_T_Pena.pdf
Ponsoda, V. (2008). La Medición Psicológica. Conferencia inaugural del período académico
2008/2009. Universidad Autónoma de Madrid. Recuperada el 5 de octubre de 2008 de la
página web: www.uam.es
Prieto, G. (2009). Midiendo con el Modelo de Rasch. (Resumen ponencia, Congreso COLPSIC
20, 21 y 22 de Agosto de 2009)
Puche, R. (2003). Elementos relevantes para pensar un ‘estado del arte de la psicología
académica’
en
Colombia.
Documento
electrónico.
www.icfes.gov.co/cont4/ecaes/docs/fc_psico1.doc
Rasch, G. (1960). Probabilistic models for some in Itelligence and attainment test. Copenhagen,
Denmark. Danish Institute for Educational Research. (Expanded edition, 1980. Chicago.
University of Chicago Press.)
Red de Investigadores de Psicometría (2008) Acta Conversatorio. Situación actual científica y
profesional de la psicometria en colombia. Documento de la RIP. Online
Rodríguez V.J. (1997) Apuntes sobre la historia de la medición en Colombia. Online:
http://www.ascofapsi.org.co/documentos/2007/apuntes_historia_medicion_psicologia.pdf
Sánchez, J. (Sin fecha). La formación del psicólogo en una perspectiva internacional: una breve
selección documental comparada. Recuperado el 18 de septiembre de 2009 online:
http://www.ascofapsi.org.co/observatorio/documentos/formacion_psico_perspectiva%20inte
r.pdf
Santiesteban, C. (2009). Principios de psicometría. Madrid: Editorial Síntesis.
Spearman, Ch. (1927) The Abilities of Man: their nature and measurement. New York:
McMillan.
24
Stevens, S. S. (1946). On the Theory of Scales of Measurement. Science 103 (2684): 677–680
Strauss, A & Corbin, J. (1998) Basics of qualitative research. Techniques and procedures for
developing grounded theory. Londo SAGE Publications.
Suppes, P., Krantz, D. H., Luce, R. D., & Tversky, A. (1989). Foundations of measurement: Vol.
2. Geometrical, threshold, and probabilistic representations. San Diego, CA: Academic.
Trujillo, M. (2000) Los estados del arte: una forma operativa para su implementación.
Criterios, N° 8. Universidad Mariana.
Van der Linden, W.J. & Hambleton, R.K. (1997) Handbook of Modern Item Response Theory.
New York, NY: Springer-Verlag.
Anexo 1. Categorías de agrupación de los constructos
1.
En primer lugar inteligencia: (Habilidades mentales, habilidades específicas; Aptitudes
generales; razonamiento lógico, pensamiento lógico, relaciones espaciales y figurales )
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Personalidad: 16 PF; Patrones de personalidad, perfiles, locus de Control y estilo gerencial,
temperamento, carácter, Rasgos de personalidad.
Conocimientos,
Procesos afectivos: (Ansiedad, depresión, autoconcepto, indefensión aprendida, estrés,
autoestima y control emocional)
Procesos cognoscitivos; ( Comprensión verbal, memoria, producción convergente,
relaciones semánticas y problemas de aprendizaje, Dominancia Cerebral, procesos de
activación neuropisológica)
Comportamiento adaptativo: (Alteración del comportamiento escolar, adaptación de
adolescentes y adultos, adaptación al cambio organizacional, ajuste, mobbing, síndrome de
burnout, afrontamiento, habilidades sociales, adaptación escolar y problemas de conducta,
hábitos de estudio, maltrato escolar, violencia intrafamiliar, consumo de alcohol, dolor,
hábitos de vida saludable )
Desarrollo: Desarrollo psicomotriz, preparación para el aprendizaje, desarrollo
socioafectivo, lenguaje , maduración intelectual y Conciencia fonológica
Actitudes frente a: el trabajo, la segunda lengua, cultura org, detección de maltrato,
sexualidad, adolescentes y padres, evaluación en el aula, trabajo en equipo y epilepsia)
Procesos Organizacionales: (Clima organizacional, cultura organizacional, aprendizaje
organizacional, evaluación del desempeño y empoderamiento)
Percepción social: creencias, percepción del mundo, estrategias sociales cognitivas,
atribución de causalidad, calidad de vida.
Intereses, preferencias: Propósito de vida. Motivación
25