Estudio de generalizabilidad de dos instrumentos de evaluación

RESUMEN DEL PROYECTO DE INVESTIGACIÓN
“ESTUDIO DE GENERALIZABILIDAD DE DOS
INSTRUMENTOS DE EVALUACIÓN SUBJETIVA
DE LA CARGA MENTAL”
(Ref.: UCM/CARMEN)
Autores:

Susana Rubio Valdehita (Investigadora Principal)

Jesús Martín García

Ramón López Sánchez

Eva María Díaz Ramiro

María Lourdes Luceño Moreno

María Antonia Jaén Díaz
1
DATOS DE IDENTIFICACIÓN DEL PROYECTO
2. Título: ESTUDIO DE GENERALIZABILIDAD DE DOS INSTRUMENTOS
DE EVALUACIÓN SUBJETIVA DE LA CARGA MENTAL
3. Autores:

Susana Rubio Valdehita (Investigadora Principal)

Jesús Martín García

Ramón López Sánchez

Eva María Díaz Ramiro

María Lourdes Luceño Moreno

María Antonia Jaén Díaz
4. Entidad subvencionada: Universidad Complutense de Madrid
5. Fechas de realización: Enero 2008 – Diciembre 2009.
6. Palabras
clave:
generalizabilidad,
NASA-TLX,
escala
Demandas
Cognitivas (DECORE), trabajadores, estudiantes, situación de evaluación,
carga mental subjetiva.
SINOPSIS
Como señala el Instituto Nacional de Seguridad e Higiene en el Trabajo
(INSHT), en su Nota Técnica de Prevención nº 575, la medida de la carga
mental representa un aspecto fundamental en el diseño y evaluación de los
sistemas de trabajo actuales. Los niveles de carga mental que imponen estos
sistemas pueden llegar a ser bastante elevados por la necesidad de realizar
diversas tareas muy demandantes de forma aislada o simultánea. En
consecuencia, es necesario disponer de técnicas de evaluación que puedan
ser aplicadas para medir los niveles de carga mental en diversas condiciones
de trabajo. Son múltiples los ejemplos de la aplicación con éxito de las técnicas
subjetivas, sin embargo las peculiaridades de cada puesto de trabajo y las
limitaciones propias de los diferentes instrumentos, obligan a refinar los
2
procedimientos existentes y a desarrollar nuevas técnicas. Los procedimientos
subjetivos disponibles para evaluar la carga mental
destacan por poseer:
elevado nivel de sensibilidad, escasos requisitos de implementación, buena
aceptación por parte de los trabajadores, grado de intrusión prácticamente nulo
y niveles aceptables de validez. Sin embargo, una dificultad de estos, y el resto
de procedimientos de evaluación de la carga mental, es que todos ellos se han
desarrollado y aplicado en contextos de laboratorio y con muestras de
estudiantes, por lo que su aplicación en entornos laborales reales es todavía
limitada.
Un aspecto fundamental que resalta especialmente la Norma ISO
10075-3 (2005) es el relativo al estudio de la generalizabilidad de las técnicas
subjetivas. En este sentido, los estudios realizados encuentran una elevada
variabilidad
interindividual,
que
puede
dificultar
en
gran
medida
la
generalización de los resultados obtenidos. La Norma ISO 10075-3 publicada
como UNE en marzo de 2005 propone como criterios: objetividad, fiabilidad,
validez, sensibilidad, diagnosticidad, generalizabilidad y la utilizabilidad, es decir,
que los métodos de medida deben ser eficaces y eficientes y satisfacer las
necesidades del usuario, conseguir el nivel de precisión esperado en el ámbito de
medida previsto, y obtener los resultados deseados con los mínimos requisitos de
esfuerzo y capacidad.
Teniendo en cuenta todo lo anteriormente mencionado, se planteó el siguiente
objetivo general: Estudiar la generalizabilidad de dos instrumentos de
evaluación subjetiva de la carga mental, controlando el efecto de algunas
características individuales.
De este objetivo general se desprenden los siguientes objetivos concretos:
1.
Análisis, descripción y clasificación de las demandas de las actividades
laborales/académicas de los sujetos participantes en el estudio, mediante la
aplicación de la técnica del Incidente Crítico.
2.
Evaluación de las características individuales de la muestra: personalidad,
capacidad atencional, rendimiento, experiencia/antigüedad, edad y sexo
3
3.
Análisis del efecto de las variables individuales sobre la medida subjetiva de
la carga mental proporcionada por ambos instrumentos.
4.
Estudio de la sensibilidad de los dos instrumentos de evaluación de la carga
mental.
5.
Análisis de la validez convergente del instrumento elaborado por el equipo
investigador,
mediante
el
estudio
de
su
relación
con
los datos
proporcionados por el instrumento Nasa-TLX.
6.
Estudio de la validez convergente de ambos instrumentos de evaluación
subjetiva con medidas del rendimiento obtenidas en situaciones de doble
tarea, aplicando una batería de tareas experimentales.
7.
Análisis de la fiabilidad de los instrumentos, entendida como consistencia
interna de los mismos.
8.
Estudio de la generalizabilidad de la medida de la carga mental con dos
instrumentos (Nasa-TLX y la escala Demandas Cognitivas del DECORE,
instrumento desarrollado por el equipo investigador), bajo dos situaciones de
evaluación (real y laboratorio) y con tareas de distinto nivel de dificultad
objetiva, en dos tipos de muestras (estudiantes y trabajadores). Es decir,
estudio de la influencia de las diferentes fuentes de variación consideradas,
mediante la aplicación de análisis de generalizabilidad
La muestra estuvo formada por 840 personas, de los cuales el 59,2 %
eran mujeres y el 40,8% varones. La edad media de los participantes fue de
30,47 años, con una desviación típica de 11,55 años y una variación entre los
18 y los 63 años. De la muestra total, 398 personas (47,4%) eran estudiantes
universitarios y 442 (52,6%) eran trabajadores de diferentes puestos de trabajo.
Las distintas actividades profesionales consideradas fueron las siguientes:
personal
administrativo,
políticos,
personal
de
seguridad,
periodistas,
sanitarios, trabajadores de la hostelería y docentes-educadores.
Para realizar el estudio de generalizabilidad se utilizó un diseño cruzado
con tres facetas y condiciones siguientes: Faceta 1: Instrumento de evaluación
de la carga mental (Nasa-TLX - Instrumento propuesto “Demandas Cognitivas”
del DECORE); Faceta 2: Situación/contexto de evaluación (Situación real:
laboral/académica - Situación de laboratorio); Faceta 3: Complejidad de las
4
tareas (Complejidad baja - Complejidad alta). Para realizar el análisis del grado
de complejidad/demandas de las tareas laborales y de las tareas académicas, se
aplicó la Técnica de los Incidentes Críticos. Para ello se establecieron grupos de
expertos, que identificaron por acuerdo las tareas o funciones más importantes
de cada uno de los puestos de trabajo y el grado en el que cada función tenía
riesgo de producir carga mental.
Además, se recogieron medidas referidas a la personalidad, la capacidad,
la experiencia, el rendimiento, la edad y el sexo de los sujetos. El objetivo era
poder controlar el posible efecto mediador de este tipo de variables sobre la
percepción subjetiva de la carga mental.
Los resultaron encontrados permiten extraer las siguientes conclusiones
generales:
1. La fase de ponderación del NASA-TLX parece innecesaria, ya que se
obtuvieron correlaciones positivas y muy cercanas a la unidad entre
las puntuaciones ponderadas y sin ponderar.
2. El efecto de las diferencias individuales estudiadas fue muy limitado,
en todas las condiciones analizadas, con los dos instrumentos
empleados y para ambos tipos de muestras (estudiantes –
trabajadores).
3. Ambos instrumentos fueron sensibles a las variaciones en la
complejidad de los puestos y las tareas analizadas.
4. En cuanto a la validez convergente. Se obtuvieron coeficientes de
correlación positivos y significativos entre las valoraciones de carga
mental proporcionadas por ambos instrumentos de medida. Sin
embargo, no se encontraron coeficientes de correlación significativos
entre las puntuaciones de carga mental, con ambos instrumentos, y el
rendimiento.
5. Ambos instrumentos obtuvieron índices de fiabilidad altos y similares.
6. El estudio de generalizabilidad mostró que las principales fuentes de
variación
en las valoraciones de carga mental eran debidas a la
situación de evaluación (real y de laboratorio) y a la interacción entre la
5
situación de evaluación y la muestra de sujetos (trabajadores y
estudiantes). El instrumento utilizado para evaluar la carga mental, y
las condiciones de dificultad tuvieron una importancia relativa muy
pequeña, por lo que se puede concluir que las puntuaciones obtenidas
son generalizables a ambos instrumentos y situaciones de dificultad.
ABSTRACT
As the National Institute of Occupational Safety and Health at Work
(INSHT), in its Technical Note of Prevention no. 575, has pointed out, mental
workload represents a fundamental aspect in the design and evaluation of the
working systems today. The levels of mental workload imposed by these
systems can be quite high by the need to perform various tasks in isolation or
simultaneously. Accordingly, there is a need to develop assessment techniques
that can be applied to measure levels of mental workload in various working
conditions. There are many examples of the successful implementation of the
subjective techniques, however, the peculiarities of each job and the limitations
of the different instruments, forced to refine the existing procedures and to
develop new techniques. The subjective procedures available to evaluate the
mental workload have high levels of sensitivity, minimal implementation
requirements, good acceptance by the workers, intrusiveness virtually zero and
acceptable levels of validity. However, a difficulty of these, and the rest of
evaluation procedures of the mental workload, is that all of them have been
developed and implemented in laboratory and using samples of students, so
that its application in real jobs is still limited.
A key aspect that particularly highlights the ISO 10075-3 (2005) is the
relative to the study of the generalizability of the subjective techniques. In this
sense, the studies have found a high inter individuals variability, which can
seriously impede the generalization of the results. The ISO 10075-3 proposed
as criteria that mental workload instruments have to arise: objectivity, reliability,
validity,
sensitivity,
diagnosticity,
generalizability
and
usability.
The
measurement methods should be effective and efficient and meet the needs of
6
the user, get the level of reliability expected in the specified field, and permit to
obtain the expected results with the minimum requirements of effort and
capacity.
Taking into account all the above, this research had the following general
goal: to study the generalizability of two instruments of subjective assessment
of the mental workload, controlling the effect of some individual characteristics.
The following specific goals were proposed:
1. Analysis, description and classification of the demands of the job/academic
tasks using Critical Incident Technique.
2. Assessment of the individual characteristics of the sample: personality,
attentional capacity, performance, experience/seniority, age and sex.
3. Analysis of the effect of individual variables on the subjective measure of
the mental workload provided by both instruments.
4. Study on the sensitivity of the two mental workload assessment instruments.
5. Analysis of the convergent validity of the instrument developed by the
research team members, through the relationship with the data provided by
the NASA-TLX instrument.
6. Study of the relation between the mental workload scores obtained with both
instruments and the subjects performance.
7. Analysis of the reliability of the instruments, as internal consistency.
8. Study of the generalizability of the two instruments (NASA-TLX and
“Cognitive Demands” Scale of DECORE, instrument developed by the
research team members), under two situations of evaluation (real and
laboratory), with tasks at different levels of difficulty, and two types of
samples (students and workers). In other words, study of the influence of
different sources of variation through the implementation of analysis of
generalizability.
7
The sample was formed by 840 subjects, of which the 59.2 % were women
and the 40.8% were men. The average age of the participants was 30.47 years,
with a standard deviation of 11.55 years and a variation between 18 and 63
years. Of the total sample, 398 subjects (47.4%) were university students and
442 (52.6%) were workers of different jobs.
A design with three facets was used. The facets and conditions were: Facet
1: instrument (NASA-TLX and Cognitive Demands Scale of DECORE); Facet 2:
Situation/context of evaluation (labor/academic and laboratory); Facet 3:
Complexity of the tasks (low and high). To make the analysis of the degree of
complexity/demands of the job and academic tasks, the Critical Incidents
Technique was applied. Groups of experts identified, by agreement, the tasks or
the most important functions of each of the jobs and the degree to which each
function had risk to produce mental workload.
In addition, the personality, experience, performance, age and sex of the
subject were measured. The aim was to control the possible effect mediator of
these variables on the subjective perception of the mental workload.
The results obtained allow to draw the following general conclusions:
1. The weighting phase of NASA-TLX seems unnecessary, since significant
and near to one positive correlations were found between weighted and
unweighted ratings.
2. The effect of the individual differences was very limited, in all conditions,
with the two instruments and for both samples (students and workers).
3. Both instruments were sensitive to changes in the complexity of the jobs
and the tasks analyzed.
4. With regard to the validity converged. Obtained correlation coefficients
positive and significant between the assessments of mental burden
provided by both measuring instruments. However, we found no
significant rates of correlation between the scores of mental burden, with
both instruments, and performance.
5. Both instruments obtained high and similar reliability coefficients.
8
6. The study of generalizability showed that the main sources of variation in
the mental workload scores were due to the situation of evaluation (real
and laboratory) and the interaction between the assessment situation
and the sample (workers and students). The instrument used to assess
the mental workload, and the difficulty conditions had a very small
relative importance, so that we can conclude that the mental workload
scores can be generalized to both instruments and task demand levels.
METODOLOGÍA
La muestra estuvo formada por 840 personas, de los cuales el 59,2 %
eran mujeres y el 40,8% varones. La edad media de los participantes fue de
30,47 años, con una desviación típica de 11,55 años y una variación entre los
18 y los 63 años. De la muestra total, 398 personas (47,4%) eran estudiantes
universitarios y 442 (52,6%) eran trabajadores de diferentes puestos de trabajo.
Las distintas actividades profesionales consideradas fueron las siguientes:
personal
administrativo,
políticos,
personal
de
seguridad,
periodistas,
sanitarios, trabajadores de la hostelería y docentes-educadores. Del grupo de
trabajadores, el 39,6% eran mujeres y el 60,4% varones. Su media de edad fue
de 39,85 años, con desviación típica (DT) de 9,85 y un rango de 19 a 63 años.
Del grupo de estudiantes, el 81,0% eran mujeres y el 19,0% varones. Su media
de edad fue de 22,05, con DT igual a 4,05 y un rango de 18 a 62 años.
El diseño y las variables utilizadas en la investigación fueron las
siguientes.
Se utilizó un diseño cruzado con tres facetas y condiciones
siguientes:
Faceta 1: Instrumento de evaluación de la carga mental. 2 condiciones:
1.1. Nasa-TLX
1.2. Instrumento propuesto por el equipo investigador que
fue la escala “Demandas Cognitivas” del Cuestionario DECORE (Luceño y
Martín, 2008).
9
Faceta 2: Situación/contexto de evaluación. 2 condiciones:
2.1. Situación real: laboral/académica
2.2. Situación de laboratorio
Faceta 3: Complejidad de las tareas. 2 condiciones:
3.1. Complejidad baja
3.3. Complejidad alta
Faceta 1: Instrumento
Para evaluar la carga mental se utilizaron dos instrumentos subjetivos:
uno de ellos fue el Nasa-TLX y el otro desarrollado por el equipo investigador
Nuestro objetivo era comprobar si ambos instrumentos producen puntuaciones
de carga mental similares o convergentes.
Faceta 2: Situación
Todos los sujetos realizaron las evaluaciones de la carga mental en dos
situaciones: contexto real laboral (para la muestra de trabajadores) o académico
(para la muestra de estudiantes), y contexto de laboratorio.
Faceta 3: Complejidad de las tareas.
Además, a partir del análisis de las tareas laborales, académicas y
experimentales, se establecieron dos niveles de complejidad objetiva de las
mismas: dificultad baja y alta. Para realizar el análisis del grado de
complejidad/demandas de las tareas laborales, en el caso de la muestra de
trabajadores, y de las tareas académicas, en el caso de la muestra de
estudiantes, se aplicó la Técnica de los Incidentes Críticos. Se formaron grupos
de expertos (trabajadores y sus jefes inmediatos) que elaboraron y valoraron, por
acuerdo entre ellos, la diferentes tareas/funciones/comportamientos propias de
cada puesto. Una vez obtenidas las descripciones de los puestos, los expertos
10
estimaron el grado en el que cada función tenía riesgo de producir carga mental.
Teniendo en cuenta esta información, se establecieron dos niveles de
riesgo/complejidad/dificultad.
Además de evaluar la carga mental en las diferentes condiciones
mencionadas anteriormente, se recogieron medidas referidas a la personalidad,
la capacidad, la experiencia, el rendimiento, la edad y el sexo de los sujetos. El
objetivo era poder controlar el posible efecto mediador de este tipo de variables
sobre la percepción subjetiva de la carga mental. Cada una de estas variables
individuales fue evaluada de la siguiente forma:

Personalidad: se evaluó siguiendo el modelo de los cinco grandes factores
mediante el instrumento BFQ de Caprara, Barbaranelli y Borgogni (1995).

Capacidad atencional: se evaluó mediante el rendimiento de los sujetos en
las tareas experimentales.

Experiencia, edad y sexo: Estos datos fueron recogidos por medio de un
cuestionario de datos sociodemográficos en los que se analiza la experiencia
laboral de los trabajadores en su puesto de trabajo y la de los estudiantes (en
función de los años cursados).

Rendimiento laboral/académico: El cumplimiento de la Ley de Protección de
datos obligó a utilizar como medida del rendimiento laboral y académico de
los participantes en la investigación, la valoración subjetiva del mismo,
mediante una escala de 0 a 10 que se incluyó en el cuestionario de datos
sociodemográficos. Los sujetos evaluaron su rendimiento en el último año.
En cuanto al procedimiento seguido, en primer lugar se contactó con varias
empresas y grupos objetivo para solicitarles su colaboración en la participación
de esta investigación. El equipo investigador se reunió con los responsables de
cada unos de los grupos objeto de estudio para definir las tareas que
demandaban cada puesto de trabajo y el grado en el que podían producir carga
mental. Todos los participantes fueron informados de los objetivos del estudio y
de que su participación era completamente voluntaria y anónima. La recogida
de los datos se realizó en dos sesiones. En la primera, los sujetos debían
11
completar los cuestionarios de datos sociodemográficos, personalidad, etc..En
la segunda sesión, los sujetos realizaban las tareas experimentales propias de
la situación de evaluación de laboratorio. La duración de ambas sesiones fue
de unos 60 minutos aproximadamente, aunque no había límite de tiempo para
la realización de las pruebas. Se insistió en que no se trataba de un estudio
personal sino del puesto de trabajo, y de la voluntariedad y anonimato de las
pruebas, si bien se les ofreció la posibilidad de que si alguna persona estaba
interesada en conocer sus resultados, recordaran el código de sus
cuestionarios y el equipo investigador se los facilitaría personalmente. En la
situación de laboratorio se realizaban dos tareas: la tarea de búsqueda en la
memoria de Sternberg (con dos niveles de dificultad) y una tarea de
seguimiento manual o tracking (con dos niveles de dificultad). Todos los sujetos
realizaban primero ambas tareas de forma aislada y después conjuntamente.
Inmediatamente después de la finalización de cada tarea, los sujetos debían
evaluar la carga mental que les había producido utilizando el NASA-TLX.
RESULTADOS
A continuación se presentan los resultados obtenidos en relación a cada
uno de los objetivos específicos propuestos. En todos los casos, los análisis
estadísticos fueron realizados con el paquete SPSS 15.0 para Windows.
Descripción de los puestos de trabajo. A partir de reuniones con los
trabajadores y sus jefes inmediatos, se determinaron las funciones principales
de los diferentes puestos de trabajo considerados.
Análisis del nivel de demandas de las tareas laborales y académicas. Para
calcular el nivel de dificultad de cada función, reunimos a un grupo de 3
trabajadores y sus jefes inmediatos de cada puesto, y para evaluar el nivel de
riesgo de producir carga mental, valoraron de menos a más la dificultad y
frecuencia de cada función, siendo 1 menos difícil/menos frecuente y el valor
máximo (7,8,9) dependiendo del puesto de trabajo, la más difícil/más frecuente.
12
Una vez obtenida la valoración, se multiplicaron ambas puntuaciones (dificultad
y frecuencia) para obtener el nivel de riesgo de producir carga mental de cada
función, de tal manera que el producto más bajo significaba la función con
menos riesgo, y el producto más alto la de más riesgo, así aquella función que
fuese más difícil y frecuente sería la que en principio debería generar una
mayor carga mental. A partir del nivel de riesgo para cada función, se
clasificaron como de bajo o alto riesgo, determinando así los dos niveles de
demandas (altas demandas – bajas demandas). La mitad de las funciones con
menor puntuación fueron consideradas de bajo riesgo y la otra mitad, con
mayor puntuación, como de alto riesgo. En el caso de los puestos de trabajo
con un número de funciones impar se elimino la función intermedia. De esta
forma se calcularon dos puntuaciones de carga mental para cada uno de los
dos niveles de demandas del puesto: una ponderando por el peso inicial de
cada una de las dimensiones (carga ponderada), y otra en función de la media
aritmética de las estimaciones de carga de cada función proporcionadas por los
sujetos (carga media o sin ponderar). En todos los casos se obtuvieron valores
de la correlación muy elevados, cercanos a 1, lo cual indica que ambas formas
de cálculo producen estimaciones muy semejantes. Este resultado es acorde
con el obtenido por otros autores (Nygren, 1991; Rubio, 1992) y se repite
cuando se consideran las valoraciones de carga mental para las tareas
experimentales. Dado que algunos sujetos tuvieron problemas a la hora de
completar la fase de comparaciones binarias del NASA-TLX, y teniendo en
cuenta el resultado anterior, se decidió utilizar en todo momento las
puntuaciones medias no ponderadas. Estos resultados confirman, de acuerdo a
la bibliografía existente, que la fase de ponderación del NASA-TLX no es
necesaria (Nygren, 1991; Hendy y cols., 1993; Dickinson, Winston y Ryan,
1993; Moroney, Biers y Eggemeier, 1995, DiDomenico y Nussbaum, 2008).
Moroney y cols. (1995) señalaron un nivel de correlación de 0,94 entre los
valores ponderados y no ponderados del NASA-TLX, Byers y cols., (1989)
aumentaron este nivel hasta 0,98. En este estudio se han encontrado
correlaciones de 0,88 a 0,97 para las tareas experimentales, y de 0,94 a 0,96
para las tareas del puesto de trabajo.
13
Estudio de las variables de diferencias individuales. Los resultados obtenidos
para cada una de las variables individuales consideradas fueron los siguientes:
Sexo. Algunos puestos de trabajo son mayoritariamente ocupados por
mujeres, mientras que otros son mayoritariamente ocupados por
hombres. En general, parece que los puestos relacionados con la
seguridad (militares, policías, vigilantes) son mayoritariamente ocupados
por varones, mientras que trabajos administrativos, sanitarios, de
hostelería y servicios, por mujeres. Por otro lado, mientras que en el
grupo de estudiantes hay una mayoría de mujeres, en el grupo de
trabajadores es mayor el porcentaje de hombres.
Edad. Los más jóvenes son los estudiantes, los residentes y los
consultores. El grupo de mayor edad es el formado por Psicólogos. Los
estudiantes tienen una edad significativamente más baja que los
trabajadores.
Antigüedad en el puesto y experiencia laboral en puestos similares.
Los trabajadores que tienen una mayor antigüedad y experiencia son los
militares, los policías, los psicólogos y los jefes de equipo, mientras que
los vigilantes, los consultores y los residentes son los que tienen menor
antigüedad y experiencia. Los estudiantes obtienen puntuaciones
bastante más bajas.
Personalidad. Ambos grupos, trabajadores y estudiantes, presentan un
perfil de personalidad muy similar.
Ansiedad rasgo. Los estudiantes presentan un nivel de ansiedad rasgo
mayor que los trabajadores.
Capacidad atencional. Los estudiantes muestran una capacidad
atencional media algo mayor que los trabajadores.
Rendimiento. Todos los sujetos evaluaron su rendimiento en el último
año, en una escala de 0 a 10. Como era de esperable, la mayoría
obtiene niveles elevados de rendimiento, siendo un porcentaje muy bajo
los que dicen haber tenido un nivel de rendimiento muy bajo en el último
año. Todos los grupos obtienen un rendimiento medio superior a cinco,
que era la media de la escala. Los estudiantes y los pinches de cocina
son los que muestran un rendimiento más bajo, mientras que los
14
auxiliares de control son los que obtienen el rendimiento más alto. Los
estudiantes
obtienen
un
rendimiento
medio
inferior
al
de
los
trabajadores.
Efectos de las diferencias individuales sobre la carga mental. Para analizar el
efecto de las diferencias individuales sobre la carga mental subjetivas, dichas
variables fueron introducidas en análisis de covarianza. En todos los casos,
independientemente del instrumento utilizado para medir la carga mental, hay
que resaltar que aunque significativos, los valores de los coeficientes de
correlación fueron, en general bajos, por lo que no se encontraron importantes
efectos significativos de las variables de diferencias individuales. La conclusión
general de estos análisis fue que el peso o importancia de estas variables
como variables moduladoras de las puntuaciones de carga mental, es mínimo.
Sensibilidad de los instrumentos de evaluación de carga mental. La sensibilidad
de un instrumento de evaluación de la carga mental se establece en función del
grado en el que sus puntuaciones permiten diferenciar entre diferentes niveles
objetivos de dificultad o demandas. Por tanto, para analizar la sensibilidad de
los instrumentos de carga mental utilizados, se realizaron análisis comparativos
entre los diferentes puestos de trabajo, los diferentes niveles de complejidad, y
las
distintas
situaciones
de
evaluación.
Se
encontraron
diferencias
significativas, lo cual permitió concluir que ambos instrumentos son sensibles a
las variaciones en los niveles de demanda de las tareas.
Validez convergente. Se analizó el grado de validez convergente entre las
puntuaciones de carga mental proporcionadas por el NASA-TLX y la escala
Demandas Cognitivas del DECORE. Para ello se calcularon las correlaciones
de Pearson entre ambos tipos de medidas, para la muestra total y para cada
uno de los grupos. Los resultados mostraron que aunque los valores de la
correlación no son muy elevados si son positivos y estadísticamente
significativos.
Relaciones entre carga mental y rendimiento. Se calculó la correlación de
Pearson entre las valoraciones de carga mental y el rendimiento de los sujetos,
15
en la situación real y en la de laboratorio. Los valores de las correlaciones
obtenidas indican que no existe relación entre el rendimiento y la valoración de
la carga mental obtenida con el NASA-TLX ni con la escala Demandas
Cognitivas del DECORE. Este resultado se confirma tanto para la situación de
laboratorio como para la situación de evaluación real.
Fiabilidad. La fiabilidad de ambos instrumentos, entendida como consistencia
interna de los mismos fue analizada utilizando el coeficiente α de Cronbach.
Ambos instrumentos mostraron índices de consistencia elevados, entre 0,71 y
0,88.
Generalizabilidad. El objetivo de los estudios de generalizabilidad es calcular
qué parte de la variabilidad o de la varianza de las puntuaciones o mediciones
observadas es atribuible a cada una de las facetas o condiciones y a sus
posibles interacciones. El conocimiento de estos valores permite optimizar el
instrumento de medida para posteriores estudios de decisión en un contexto
particular. El estudio de generalizabilidad mostró que las principales fuentes de
variación en las valoraciones de carga mental eran debidas a la situación de
evaluación (real y de laboratorio) y a la interacción entre la situación de
evaluación y la muestra de sujetos (trabajadores y estudiantes). El instrumento
utilizado para evaluar la carga mental, y las condiciones de dificultad tuvieron
una importancia relativa muy pequeña, por lo que se puede concluir que las
puntuaciones obtenidas son generalizables a ambos instrumentos y condiciones
de dificultad. Se realizaron, además análisis de generalizabilidad para los
diferentes grupos de trabajadores y estudiantes participantes en la investigación.
En este sentido, las principales fuentes de variación, en general, resultaron ser
de nuevo, las debidas al individuo, la situación de evaluación y la interacción
entre ambas facetas.
16
UTILIDAD PRÁCTICA DE LOS RESULTADOS OBTENIDOS EN RELACIÓN
CON LA PREVENCIÓN DE RIESGOS LABORALES
Según la definición dada por el Instituto Nacional de Seguridad e Higiene
en el Trabajo (2004), los factores de riesgo psicosocial son las condiciones
presentes en una situación laboral, directamente relacionadas con la
organización, el contenido del trabajo y la realización de la tarea, que pueden
afectar al bienestar, la salud y el rendimiento de los trabajadores. Entre estos
factores de riesgo psicosocial se incluyen las cargas de trabajo (cuantitativas y
cualitativas), las responsabilidades, la ambigüedad y el conflicto de roles, el
horario y el turno de trabajo, el apoyo social, o el contenido del trabajo, entre
otros aspectos. En este sentido, la carga mental representa uno de los más
importantes factores de riesgo psicosocial asociado a las características de la
tarea. Los resultados de la VI Encuesta Nacional de Condiciones de Trabajo
(INSHT, 2007), reflejan el aumento de la carga mental como factor de riesgo
laboral, ya que el 67% de los trabajadores manifestó estar sometido a elevadas
demandas de tipo cognitivo, y aproximadamente el 20% del total de trabajadores
encuestados respondió que siempre o casi siempre tenía que realizar varias
tareas al mismo tiempo durante su jornada laboral. De los resultados obtenidos
en la encuesta se concluye que existe una elevada relación entre las exigencias
del trabajo (mantener un nivel de atención alto o muy alto, atender a varias tareas
al mismo tiempo, realizar tareas complejas, complicadas o difíciles, disponer de
informaciones claras y suficientes o trabajar con ordenadores) y la consideración
del mismo como intelectual y emocionalmente exigente.
La carga mental puede producir un descenso en el rendimiento laboral y
un aumento en los sentimientos de insatisfacción, estrés y frustración de los
trabajadores. De forma similar, también encontraremos problemas en el
rendimiento y la satisfacción de los trabajadores cuando éstos se encuentran
sometidos a condiciones de infracarga. Así, se producirán efectos negativos en
todas las situaciones en las que los niveles de carga mental no son los
adecuados (González, Moreno y Garrosa, 2005; Wickens, Gordon y Liu, 1998),
bien por un exceso de demandas o porque éstas son insuficientes. La
gravedad de estos efectos negativos de la sobrecarga o la infracarga mental
17
está afectada por una serie de factores entre los que destacan variables de
personalidad, la motivación del individuo, el apoyo social recibido tanto dentro
como fuera del trabajo y la autonomía o control que puede ejercer el trabajador
sobre la manera en la que desarrollar su puesto de trabajo (ISO 10075).
Karasek y Theorell (1990) señalan que las condiciones de trabajo tienen
efectos sobre la salud y el rendimiento de los trabajadores. Según su modelo,
elevadas demandas psicológicas, combinadas con un escaso control del
individuo sobre su actividad laboral y un bajo apoyo social, pueden generar
estrés en el trabajador, cuyos efectos sobre la salud se extienden más allá de
la jornada laboral.
Estar expuesto a condiciones de carga mental en el trabajo puede producir
importantes problemas de salud en los trabajadores. La consecuencia más
directa es el estrés laboral (Rowlands, 2008; Rubio, Martín y Díaz, 1995; Salvador
y González-Bono, 1995) que, mantenido en el tiempo, puede dar lugar a
enfermedades cardiovasculares (Karasek, 1979; Karasek y Theorell, 1990;
Siegrist
y
Peater,
1996;
Stansfeld
y
Marmot,
2002),
trastornos
musculoesqueléticos (Stansfeld, Bosman, Hemingway, y Marmot, 1998),
depresión (Tsutsumi, Kayaba, Theorell, y Siegrist, 2001), abuso de sustancias,
trastornos psiquiátricos leves (Stansfeld, Fuhrer, Shipley, y Marmot, 1999);
burnout (Gil-Monte, Carretero, y Roldán, 2005; Moreno-Jiménez, Seminotti,
Garrosa, Rodríguez- Carvajal, y Morante, 2005; Topa, Fernández, y Lisbona,
2005; Boada, de Diego, y Agulló, 2004; López, Martín, Luceño, Jaén, 2008;
Luceño, Martín, Jaén y Díaz, 2006) y baja autopercepción de la salud (Pikhart,
Bobak, Siegrist, Pajak, Rywik, Kyshegye, Gostautas, Skodova, y Marmot, 2001).
Desde el punto de vista organizacional, la percepción de carga mental se
ha relacionado con
rendimiento, absentismo laboral, accidentabilidad y una
mayor propensión a abandonar la organización (Luceño y Martín, 2005; Luceño,
Martín, Jaén, y Rubio, 2005; González-Romá y col., 2005; Tomás, Rodrigo, y
Oliver, 2005; Óscar, González-Camino, Bardera, y Peiró, 2003; González y
Gutiérrez, 2006; Rubio, Martín, Luceño y Jaén, 2007).
18
La carga mental constituye un tópico que reviste cada vez más importancia,
a medida que la moderna tecnología se introduce en los entornos laborales e
impone mayores demandas cognitivas a las personas encargadas de llevar a
cabo las tareas. Sin duda el estudio de la carga mental debe adaptarse al
proceso de complejidad que están sufriendo los sistemas de trabajo: entornos
multitarea, donde se deben manejar elevadas cantidades de información y
tomar decisiones continuamente. A medida que la información es más
abundante y compleja se incrementa la carga en los procesos sensoriales y
cognitivos, con alternancias tanto en la modalidad de los primeros como en la
implicación de los segundos, y en sus respectivas relevancias (Cremer, 2001).
Por todo ello, consideramos que los resultados obtenidos en esta
investigación pueden ser de gran utilidad para la prevención de riesgos
laborales.
En primer lugar, se han estudiado las funciones de diferentes puestos de
trabajo y determinado el nivel de riesgo que entraña cada una de ellas como
fuente posible de carga mental general de cada uno de los puestos.
Además, se ha medido la carga mental de cada una de dichas funciones,
por separado, lo cual permite clasificar las funciones en función de su nivel de
riesgo y detectar cuál o cuáles de ellas son valoradas por los trabajadores
como tareas con una carga mental elevada. A partir de este conocimiento, se
pueden diseñar intervenciones concretas para cada puesto, dirigidas a reducir
al máximo posible o a eliminar las situaciones de sobrecarga o de infracarga
desde el punto de vista cognitivo o mental.
Por otro lado, se ha realizado un estudio de la influencia de algunas
variables de diferencias individuales, que generalmente se señalan como
posibles variables moduladoras o influyentes en las valoraciones de carga
mental (ISO 10075), profundizando en el conocimiento sobre el efecto de estas
variables. En esta investigación, el efecto de estas variables ha sido en general
muy bajo, casi despreciable, si bien es posible que en otros puestos, o en
determinadas circunstancias, si se obtengan efectos importantes de las
diferencias individuales. Consideramos, por ello, que sería muy interesante
continuar estudiando el efecto de estas variables en otros tipos de puestos de
19
trabajo, con diferentes muestras e instrumentos de medida, así como la
investigación sobre la posible influencia de otras diferencias individuales como
el nivel de inteligencia, las aptitudes, la motivación, la autoestima, etc..,
especialmente, teniendo en cuenta que todavía no se dispone de información
científica suficientemente concluyente sobre este aspecto, en la bibliografía
existente.
Otra aportación del presente estudio, es el conocimiento acerca de
las características psicométricas de los dos instrumentos de evaluación
subjetiva de la carga mental utilizados. Ambos han resultado ser válidos,
sensibles, fiables y generalizables en diferentes niveles de demandas de las
tareas.
CONCLUSIONES FINALES Y POSIBLES RECOMENDACIONES
Los resultaron encontrados permiten extraer las siguientes conclusiones
generales:
1. La fase de ponderación del NASA-TLX parece innecesaria, ya que se
obtuvieron correlaciones positivas y muy cercanas a la unidad entre
las puntuaciones ponderadas y sin ponderar.
2. El efecto de las diferencias individuales estudiadas fue muy limitado,
en todas las condiciones analizadas, con los dos instrumentos
empleados y para ambos tipos de muestras (estudiantes –
trabajadores).
3. Ambos instrumentos fueron sensibles a las variaciones en la
complejidad de los puestos y las tareas analizadas.
4. En cuanto a la validez convergente. Se obtuvieron coeficientes de
correlación positivos y significativos entre las valoraciones de carga
mental proporcionadas por ambos instrumentos de medida. Sin
embargo, no se encontraron coeficientes de correlación significativos
entre las puntuaciones de carga mental, con ambos instrumentos, y el
rendimiento.
5. Ambos instrumentos obtuvieron índices de fiabilidad altos y similares.
20
6. El estudio de generalizabilidad mostró que las principales fuentes de
variación
en las valoraciones de carga mental eran debidas a la
situación de evaluación (real y de laboratorio) y a la interacción entre la
situación de evaluación y la muestra de sujetos (trabajadores y
estudiantes). El instrumento utilizado para evaluar la carga mental, y
las condiciones de dificultad tuvieron una importancia relativa muy
pequeña, por lo que se puede concluir que las puntuaciones obtenidas
son generalizables a ambos instrumentos y situaciones de dificultad.
Es crucial que en las empresas, ya sean públicas o privadas, se
introduzcan programas de promoción de la salud de los trabajadores y de
prevención de riesgos laborales que tengan en cuenta la carga mental. Como
se señala en la Norma ISO 10075, la investigación futura debe ir encaminada al
desarrollo de instrumentos de evaluación más precisos y al conocimiento de
todos los factores que determinan la carga mental y su importancia. La
investigación realizada puede ser importante, pero no suficiente, por lo que se
debe continuar con el estudio de la carga mental y sus instrumentos de medida
bajo diferentes condiciones o situaciones laborales. En este sentido, el equipo
investigador tiene previsto continuar con diversas actividades y objetivos del
proyecto. En primer lugar, continuaremos con la difusión de los resultados
obtenidos, mediante la publicación de artículos en revistas científicas y la
presentación de comunicaciones a diferentes congresos de carácter tanto
nacional como internacional. De igual forma, continuaremos con la recogida de
datos adicionales, que en la medida de lo posible, permita aumentar los
tamaños muestrales de los grupos considerados en este estudio. Además,
continuaremos solicitando subvenciones a organismos tanto públicos como
privados, que nos permitan de alguna forma proseguir con esta línea de
investigación.
21
DIFUSIÓN Y EXPLOTACIÓN DE RESULTADOS
Los datos y productos desarrollados durante la investigación se entregan
en un CD adjunto al final de la memoria de actividades y de las conclusiones
finales. En este CD se incluyen los siguientes archivos:
 Fichero de datos, en formato SPSS
 Programa informático para la presentación de las tareas experimentales
 Ponencia presentada al Congreso Internacional de la SEAS (Sociedad
Española para el Estudio de la Ansiedad y el Estrés) celebrado en
Benidorm en septiembre de 2008.
 Publicaciones:
o Tesis doctoral de Dña. María Inmaculada López Núñez.
Defendida el 25 de septiembre de 2009 en la Facultad de
Psicología de la UCM. Obtuvo la calificación de Sobresaliente
Cum Laude por Unanimidad y será publicada en breve por el
Servicio de Publicaciones de la Universidad Complutense de
Madrid.
o Artículo enviado para su publicación a la revista científica
Edupsyke (en proceso de revisión)
o Artículo enviado para su publicación a la revista científica
Ansiedad y Estrés (aceptado para su publicación en este año
2010).
o Artículo enviado para su publicación a la revista científica
Psicología del Trabajo y las Organizaciones (en proceso de
revisión).
22
BIBLIOGRAFÍA

Boada, J., De diego, R., y Agulló, E. (2004). El burnout y las
manifestaciones
psicosomáticas
como
consecuentes
del
clima
organizacional y de la motivación laboral. Psicothema, 16(1), 125-131.

Byers, J.C., Bittner, A.C., Hill, S.G. (1989). Traditional and raw Task Load
Index (TLX) correlations: Are paired comparisons necessary?. En A. Mital
(ed.) Advances in industrial ergonomics and safety. Vol. 1. London: Taylor
and Francis, 481-485.

Caprara, G. V., Barbanelli, C. Y Borgogni, L. (1995): BFQ: Cuestionario Big
Five. Madrid: TEA Ediciones.

Cremer, R. (2001). Mental Workability and a n Increasing Life Span. En
Karwowski (ed.) International Encyclopedia of Ergonomics and Human
Factors. Londres: Taylor & Francis.

Dickinson, J.B., Winston, D. Y Ryan, L.A. (1993). Order effects and the
weighting process in workload assessment. Applied Ergonomics, 24, 357-361.

Didomenico, A. Y Nussbaum, M.A. (2008). Interactive effects of physical and
mental workload on subjective workload assessment. International Jorunal of
Industrial Ergonomics 38 (2008) 977-983.

Gil-Monte, P. R., Carretero, N., y Roldán, M. D. (2005). Algunos procesos
psicosociales sobre el síndrome de quemarse por el trabajo (burnout) en
profesionales de enfermería. Ansiedad y Estrés, 11(2-3), 281-290.

González, E. y Gutiérrez, R. (2006). La carga de trabajo mental como factor
de riesgo de estrés en trabajadores de la industria electrónica. Revista
latinoamericana de psicología 38,2, 259-270.

González-Gutiérrez, J. L., Moreno-Jiménez, B. y Garrosa, E. (2005). Carga
Mental y Fatiga Laboral. Madrid: Pirámide.

González-Romá, V., Väänänen, A., Ripoll, P., Caballer, A., Peiró, J.M., y
Kivimäki, M. (2005). Psychological climate, sickness absence and gender.
Psicothema, 17(1), 169-174
23

Hendy, K., Liao, J. Y Milgram, P. (1993). Combining time and intensity
effects in assessing operator information processing load. Human Factors,
39, 30-47.

Instituto Nacional de Seguridad e Higiene en el Trabajo (2004): V Encuesta
Nacional de Condiciones de Trabajo. Madrid: INSHT.

Instituto Nacional de Seguridad e Higiene en el Trabajo (2007): VI Encuesta
Nacional de Condiciones de Trabajo. Madrid: INSHT.

ISO 10075 (1991). Ergonomic Principles Related to Mental Work-Load.
General Terms and Definitions. Geneva: ISO.

ISO 10075-3 (2005). Ergonomic principles related to mental work-load. Part
3: Principles and requirements concerning methods for measuring and
assessing mental workload. Geneva: ISO.

Karasek, R.A. (1979). Job demands, job decision latitude, mental strain:
Implications for job redesign. Administrate Science Quarterly, 24, 285-308.

Karasek, R., y Theorell, T. (1990). Healthy Work, Stress, Productivity and
the Reconstruction of Working Life. Nueva York: Basic Books.

López, M. I., Martín, J., Luceño, L., Jaén, M., (2008). Síndrome de Burnout:
Cuando los trabajadores se queman. Cuadernos de Seguridad, 219, 109111.

Luceño, L., y Martín, J. (2005). Estrés laboral: factores estresantes y
adaptación. En J.L. Arco Tirado (ed.), Estrés y Trabajo: Cómo Hacerlos
Compatibles. Sevilla: Instituto Andaluz de Administraciones Públicas.

Luceño, L. y Martín, J. (2008). DECORE. Cuestionario de evaluación de
riesgos psicosociales. Madrid: TEA.

Luceño, L., Martín, J., Jaén, M., y Díaz, E. (2006). Factores psicosociales y
rasgo de ansiedad como predictores de estrés y satisfacción. Ansiedad y
Estrés, 12, 1, 89-97.
24

Luceño, M. L; Martín, J.; Jaén, M; Rubio, S. (2005). Factores psicosociales
adversos y enfermedad laboral. Cuadernos de Seguridad, 196, 63-68.

Moreno-Jiménez, B., Seminotti, R., Garrosa, R.E., Rodríguez-Carvajal, R., y
Morante, M.E. (2005). El burnout médico: la ansiedad y los procesos de
afrontamiento como factores intervinientes. Ansiedad y Estrés, 11(1), 87100.

Moroney, W. F., Biers, D. W. Y Eggemeier, F. T. (1995). Some measurement
and methodological considerations in the aplication of subjective workload
measurement techniques. The international journal of aviation psychology, 5,
87-106.

Nygren, T. E. (1991). Psychometric properties of subjective workload
techniques: implications for their use in the assessment of perceived mental
workload. Human Factors, 33, 1, 17-33.

Óscar, A., González-Camino, G., Bardera, P., y Peiró, J.M. (2003). Estrés
de rol y su influencia sobre el bienestar psíquico y físico en soldados
profesionales. Psicothema, 15, 1, 54-57.

Pikhart, H., Bobak, M., Siegrist, J., Pajak, A., Rywik, S., Khyshegye, J.,
Gostautas, A., Skodova, Z., y Marmot, M. (2001). Psychosocial work
characteristics and self-rated health in four postcommunist countries.
Journal of Epidemiology and Community Health, 55, 624-630.

Rowlans, R. (2008). Stress agender. Occupational Health, 60, 6, 26-27.

Rubio, S. (1992). Evaluación y medida de la carga mental en una tarea de
diagnóstico de fallos. Madrid: UCM.

Rubio, S., Martín, J., y Díaz, E. (1995). Carga mental y estrés: dos
conceptos relacionados. Ansiedad y Estrés, 1, (2-3), 131-139.

Rubio, S., Martín, J., Luceño, L., y Jaén, M. (2007). Carga mental percibida
y rendimiento laboral en vigilantes de seguridad. Ansiedad y Estrés, 13, 1,
1-12.
25

Salvador, A., y González-Bono, E. (1995). Trastornos psicofisiológicos
asociados al estrés laboral. Ansiedad y Estrés, 1, (2-3), 157-171.

Siegrist, J., y Peter, R. (1996). Treat to occupational status control and
cardiovascular risk. Israeli Journal of Medical Science, 32, 179-184.

Stansfeld, S.A., y Marmot, M.G. (2002). Stress and the Heart. Psychosocial
Pathways to Coronary Heart Disease. Londres: BMJ Books.

Stansfeld, S.A., Bosman, H., Hemingway, H., y Marmot, M.G. (1998).
Psychosocial work characteristics and social support as predictors of SF-36
health functioning: The Whitehall II Study. Psychosomatic Medicine, 60,
247-255.

Stansfeld, S.A., Fuhrer, R., Shipley, M.J., y Marmot, M.G. (1999). Work
characteristics predict psychiatric disorder: prospective result from the
Whitehall II study. Occupational and Environmental Medicine, 56, 302-307.

Tomás, J.M., Rodrigo, M., y Oliver, A. (2005). Modelos lineales y no lineales
en la explicación de la siniestralidad laboral. Psicothema, 17,1, 154-163.

Topa, G., Fernández, I., y Lisbona, A. (2005). Ruptura de contrato
psicológico y burnout en equipos de intervención en emergencias y
catástrofes. Ansiedad y Estrés, 11(2-3), 265-279.

Tsutsumi, A., Kayaba, K., Theorell, T., y Siegrist, J. (2001). Association
between job stress and depression among Japanese employees threatened
by job loss in comparison between two complementary job stress models.
Scandinavian Journal of Work and Environment Health, 27, 146-153.

Wickens, C. D, Gordon, S. E. y Liu, Y. (1998). An Introduction to Human
Factors Engineering. Nueva York: Longman.