Validez-impacto

Validez-Impacto
INTRODUCCIÓN
Validez
Decimos que una medida es válida si mide aquello que realmente
deseamos medir. A la hora de medir propiedades físicas el concepto de
validez está muy claro: 1metro es válido para medir longitudes y una
balanza es válida para medir pesos. Pero en Psicología las V.V. son
creadas por nosotros más que dadas por la naturaleza, por lo que se
torna más difícil saber lo que medimos.
En un principio y simplificando mucho podemos considerar la validez
como la correspondencia entre la medida obtenida empíricamente y la
magnitud en la que se posee el concepto o constructo que se desea medir
(Camacho y Sánchez, 1997). Vemos pues como la validez obedece más a
consideraciones teóricas que empíricas.
La validez está estrechamente relacionada con el concepto de validez:
una buena fiabilidad no implica necesariamente una buena validez,
pero una mala fiabilidad si implica una deficiente validez. Por el
contrario una buena validez necesariamente exige una fiabilidad previa
igualmente buena.
Pasaremos a continuación a desglosar la validez en sus respectivos
apartados (J. Arnau Grass, 1990):
A) Validez interna:
Una vez que en nuestro estudio hemos llegado a la conclusión de que 2
V.V covarían debemos determinar si se da una relación causal entre
ambas, lo que supone determinar la dirección de esa causalidad.
Si se parte de un modelo de causalidad A>C>B y se infiere una relación
de causalidad A>B esto constituye una interpretación de causalidad
falsa, dado que la causa de B es C y no A
Por tanto, la validez interna se reduce a la correcta inferencia de la
causalidad en la investigación (que A realmente sea la causa de B y no
otra V.V.), por lo que debemos estar atentos a las diferentes condiciones
que pueden afectarle y más delante detallaremos( historia,
maduración,….)
B) Validez Externa:
El propósito de la validez externa, en contraposición a la interna, se
cifra en que los resultados de un experimento puedan ser generalizados.
No se trata pues de garantizar al máximo la posibilidad de demostrar
una relación entre la VVDD Y LA VVII, si no de ampliar el ámbito de esa
relación: se pretende trascender una particular situación experimental y
extender los resultados más allá de donde han sido observados. Por
tanto, la cuestión fundamental que se plantea al hablar de validez
externa de un experimento es la referente a la posibilidad de generalizar
los resultados a otras situaciones, a otras poblaciones, a otras
condiciones ambientales,…
Cualquier factor que limite la generalización puede ser considerado
como una amenaza a la validez externa del experimento (reactividad
observacional, efecto de predisposición,….)
C) Validez de criterio
La validez referida al criterio tiene un carácter fundamentalmente
predictivo: se trata de ver si una determinada conducta, a la que se
denomina criterio, se puede inferir a partir de otra cosa, tal como un
determinado test. Test que suponemos fuertemente correlacionado con
el criterio, y que nos debe de servir para determinados fines (de
orientación, selección,….
D) Validez de constructo:
Los constructos son concepciones que tenemos de la realidad para una
mejor comprensión de la misma, y que no son susceptibles de ser
observados directamente. En sentido literal, construcciones que los
humanos nos hacemos de la realidad (Camacho y Sánchez).
La validez de constructo sería pues el grado en el que un test mide el
constructo que se pretende medir. Esta definición es muy parecida a la
de validez referida al criterio, con la diferencia de que aquí el criterio es
precisamente el constructo.
EVALUACIÓN DEL IMPACTO
Al aplicar un diseño longitudinal o de cualquier tipo el investigador
planterará unas hipótesis de partida o esperará que ocurran unos
determinados hechos. Una vez diseñada la investigación y controladas
las condiciones que pueden afectar a la validez pasaremos a la puesta
en marcha del proyecto.
Una vez que obtengamos los resultados, será fundamental una buena
evaluación del impacto: ver como ha afectado nuestro diseño a la
conducta de los sujetos, lo que nos confirmará o desconfirmará
nuestras hipótesis de partida.
Hay muchas formas de evaluar el impacto, y lo ideal es que cuando
diseñemos nuestra investigación explicitemos de antemano el criterio
que tomaremos. Ej: se puede evaluar el impacto de un tratamiento
antitabaco mediante el número de cigarrillos que fuma el sujeto al día, o
mediante el número de paquetes que compra al mes,….
Es muy útil una presentación gráfica de la evaluación del impacto, en
tanto que nos muestra un rápido análisis visual de la situación.
DISEÑOS DE LÍNEA BASE MÚLTIPLE
En estos diseños se identifican y miden una serie de respuestas en el
tiempo, las cuales nos proporcionan líneas de base en contraste con las
cuales se pueden evaluar los cambios. Establecidas estas líneas de base,
el experimentador aplica luego 1VV experimental a una de las conductas,
le provoca un cambio, y quizás observa poco o ningún cambio en las otras
líneas de base ( D.H. BARLOW Y M.HERSEN)
Este procedimiento se continúa de manera secuencial hasta que la VV
experimental ha sido aplicada a todas las conductas objeto de estudio.
En cada caso, la variable de tratamiento no se aplica normalmente
hasta que no se ha conseguido la estabilidad de la línea de base.
Análisis de la validez
1) Validez interna
1.1)
Historia:
Se subdivide en historia proactiva (diferencias de carácter
aprendido o inherente que los sujetos aportan de por sí a la
situación, como sexo, peso,..) y retroactiva (cambios que se
producen en el contexto exterior al experimento y que de alguna
manera pueden determinar o influir en las respuestas de los
sujetos).
La historia proactiva afecta fundamentalmente a la hora de
comparar grupos, por lo que no afectará especialmente a este
diseño.
Por el contrario, la historia retroactiva si tendrá un peso
importante, pues nuestras líneas de base se pueden estar
modificando debido a condiciones que no tienen que ver con
nuestro tratamiento. Una forma de aminorar este factor es
reduciendo el tiempo entre sesiones, con lo que minimizamos el
tiempo que el sujeto está expuesto a condiciones externas que
interfieren.
1.2)
Maduración:
Muchos de los cambios observados en los organismos son
consecuencia del crecimiento biológico y psicológico, de la
adaptación, fatiga,….
Mientras mas meses o años dure nuestro diseño de línea de base
más afectarán los factores de maduración de crecimiento
psicológico y biológico. No alargar demasiado el estudio sería lo
ideal
No someter a nuestro sujeto a interminables sesiones reducirá la
fatiga.
1.3)
Instrumentación:
Utilizar los mismos instrumentos durante toda la investigación,
asegurarnos del no deterioro de los mismos con el uso, o utilizar
observadores con la misma o parecida experiencia son estrategias
útiles para controlar la instrumentación en nuestros diseños de
línea base múltiple.
2) VALIDEZ EXTERNA
2.1) Reactividad observacional:
Los sujetos son conscientes de que su conducta tiene un interés
científico o es objeto de evaluación y pueden, en consecuencia,
reaccionar a esta demanda y no a las características de la VV de
tratamiento.
Ocultar al sujeto al máximo posible los objetivos de la
investigación, o quitar importancia a lo que su actuación
representará de cara a la investigación, puede ayudar a que este
se comporte de manera espontánea y natural.
2.2) Efecto de predisposición:
Es posible que al tomar medidas para el establecimiento de línea
base se sensibilice al sujeto de forma que se halle afectado
diferencialmente
por
la
intervención
o
tratamiento
(“sensibilización pretest”).
Puede por tanto suceder que los individuos que han sido
sometidos previamente a una serie de medidas o pruebas
psicológicas estén más o menos predispuestos a la recepción del
tratamiento.
Intentar de manera sutil mediante entrevistas intuir la
predisposición del sujeto para invalidarlo como objeto de estudio
útil sería una buena medida para la validez de nuestro diseño de
línea base.
2.3) Efecto de novedad
El hecho de que en los diseños de línea de base múltiple no
apliquemos el tratamiento hasta que tengamos definida la línea
de base hace que cuando apliquemos esta el efecto del
tratamiento se deba más a la novedad que presenta que a su
verdadera eficacia.
En caso de ser así lo percibiremos rápidamente, pues la eficacia
irá perdiéndose poco a medida que pasa el tiempo y el sujeto está
sensibilizado
3) VALIDEZ DE CONSTRUCTO
(común para Diseños de
línea base múltiple y Diseños de tratamientos alternos)
3.1) Definiciones preoperacionales inadecuadas:
Estamos hablando aquí de la elección de las operaciones que
definen al constructo. Una buena revisión bibliográfica evitaría
muchos errores en este apartado.
3.2) Sesgo de la operación única:
En muchos experimentos se utiliza una sola operativización del
constructo, como posible causa, y se toma una sola medida para
reflejar su posible efecto. Por tanto tendrán mas baja validez de
constructo las investigaciones donde sólo se tenga una sola
operación del mismo, que aquellas en las que se recojan
multiplicidad de operaciones ( Cook y Campbell)
La solución es sencilla: multioperativizar el constructo
3.3) Hipótesis
experimentales
conjeturables
dentro
de
las
condiciones
En muchas situaciones no es difícil adivinar qué es lo que
esperan los experimentadores del resultado concreto de un
experimento. Es decir, muchos sujetos pueden aprender, a partir
de la investigación, que se espera del efecto del tratamiento.
Para evitar este posible efecto se deberían de plantear hipótesis
difíciles de conjeturar o adivinar, dando diferentes hipótesis a
diferentes sujetos, o bien disminuyendo el nivel de reactividad en
el experimento
3.4) Expectativas del experimentador
Otra fuente de invalidación de constructo procede de las propias
expectativas del experimentador, las cuales pueden introducir un
sesgo en los resultados. En caso de que esto ocurra es imposible
distinguir si los resultados reflejan el efecto causal del
tratamiento o si se deben a las propias expectativas que tiene el
experimentador sobre el resultado del experimento.
Evaluación del impacto
La evaluación del impacto se simplifica a observar cuándo la VV de
tratamiento es eficaz: en los diseños de línea de base múltiple, la
eficacia la marcará que la conducta cambie respecto a la línea de base
al aplicar el tratamiento
A continuación profundizaremos en el tema especificando las distintas
posibilidades de la evaluación del impacto en los diseños de línea de
base múltiple.
1) Líneas de base múltiple entre conductas
Supongamos que aplicamos una VV determinada y medimos su
efecto en el diseño de línea de base múltiple sobre 4 conductas.
El primer paso es establecer la línea de base a través de
sucesivas mediciones hasta encontrar estabilidad.
Una vez conseguidas nuestras respectivas líneas de base el
siguiente paso es aplicar la VVII. Una vez la hemos aplicado
obtendremos unos resultados con los cuales evaluaremos el
impacto en las conductas objeto de estudio.
Según el criterio, este número de conductas, respecto a la línea
de base, deberán aumentar (aumento de interacciones en un
entrenamiento de habilidades sociales) o disminuir (numero de
veces que el sujeto enciende un cigarro en un programa
antitabaquismo)
Por ejemplo: supongamos que realizamos un entrenamiento en
habilidades sociales y queremos evaluar el impacto en tres
conductas: actividad global, número de peticiones y contacto
ocular. Una vez operativizadas las conductas y establecida la
línea de base, estas deberán de aumentar en número para
considerar positiva la evaluación del impacto.
2) Líneas de base múltiple entre sujetos
La evaluación del impacto en las líneas de base múltiple entre
sujetos resulta muy interesante desde varios puntos de vista:
-
Podemos establecer la línea de base en tres sujetos distintos,
por ejemplo, y luego aplicar el tratamiento a sólo dos de ellos
para así tener un grupo control. Al evaluar el impacto este no
debería modificar su conducta respecto a la línea de base,
mientras que los otros dos sí.
-
Podemos también establecer la línea de base en los mismos
tres sujetos y aplicar luego el tratamiento esta vez a los tres.
Si al evaluar el impacto todos los sujetos han modificado su
conducta respecto a la línea de base podemos generalizar la
eficacia de nuestra VVII con más probabilidad de acierto. Si
por el contrario al evaluar el impacto la VVII afecta a unos
sujetos pero no a otros difícilmente podremos generalizar
nada, y posiblemente estén actuando otras VV diferentes a las
que nosotros queremos que actúen.
3) Líneas de base múltiple entre situaciones
Hay veces que un tratamiento sólo tiene efecto según en que
situaciones, y es necesario generalizarlo poco a poco a través de
todas las escenas de la vida del sujeto. Así, podemos establecer
una línea de base en diferentes situaciones (casa, colegio,..) y
evaluar el impacto diferencialmente en cada una de ellas:
-
Si al evaluar el impacto respecto a la línea
comprobamos que el sujeto a generalizado la
correcta a diferentes situaciones (casa, colegio,
podemos decir que nuestro tratamiento está
favorablemente en las diferentes escenas de la
paciente.
de base
conducta
parque...)
actuando
vida del
-
Si por el contrario la línea de base sólo se modifica en unas
situaciones y no en otras (la conducta del sujeto se modifica
respecto a la línea de base en el colegio pero no en casa)
deberemos cuestionarnos la generalizabilidad de nuestro
tratamiento y mejorar o modificar este en aquellas situaciones
en las que no está siendo eficaz.
DISEÑOS
ALTERNOS
DE
TRATAMIENTOS
Básicamente, estos diseños consisten en la alternancia rápida de dos o
más tratamientos o condiciones en un sujeto único ( Barlow y Hersen).
Con esto evitamos los tradicionales fallos de la comparación entre
grupos.
Análisis de la validez
1) Validez interna
1.1)
Historia
Puede ocurrir que en el periodo entre tratamientos en este tipo de
diseños el sujeto se vea expuesto a situaciones o VV que afecten
posteriormente al estudio. Minimizar el tiempo entre un tratamiento y
otro sería una estrategia adecuada para controlar esta VV.
1.2)
Maduración
Para evitar los cambios producidos por la maduración en los
diseños de tratamiento alternos una estrategia adecuada sería realizar
la investigación en un período de tiempo reducido (en la medida que
sea posible) para evitar los cambios biológicos/psicológicos a los que se
ve expuesto el sujeto.
2) Validez externa
2.1) Reactividad observacional
En los diseños de tratamientos alternos, el hecho de que realicemos
replicaciones intrasujeto puede repercutir en que el individuo adquiera
lo que se denomina el papel de sujeto de investigación, lo que puede
comprometer y perturbar gravemente la generalidad de un resultado.
En este caso, nos podemos preguntar en qué medida son extensibles los
resultados sobre los efectos de un tratamiento
La sugerencia en este caso está en la adecuada percepción del
terapeuta y su equipo, los cuales deben ver como el sujeto está
reaccionando de acuerdo con la característica de la demanda, en cuyo
caso se debería invalidar a este sujeto.
2.2) Interferencia de tratamientos múltiples
Es una de las principales amenazas contra los diseños de
tratamiento alternos. En estos diseños, como hemos dicho, se
suelen aplicar dos o más tratamientos, sea simultáneamente o de
forma alternativa. En este caso podemos sacar conclusiones
acerca de un solo tratamiento cuando ha sido, en cambio,
evaluado junto a otro tratamiento.
Una primera medida será la correcta delimitación y
operativización de cada tratamiento. Otra medida sería establecer
un sujeto control en el que sólo se aplicase un tratamiento,
comparándolo luego con nuestro sujeto experimental (al que le
hemos alternado tratamientos alternos) para así dilucidar que
efecto se debe a la alternancia de tratamientos y que efecto se
debe a la aplicación individual del tratamiento.
Evaluación del impacto
La evaluación del impacto puede resultar fácil a priori, pero los diseños
de tratamiento alternos encierran una dificultad especial en este punto
que es necesario analizar y en lo cuál nos centraremos.
La pregunta que nos debemos hacer al evaluar el impacto en los
diseños de tratamiento alternos es si el tratamiento A está interfiriendo
con el tratamiento B, de manera que no estamos consiguiendo alcanzar
una verdadera imagen de los efectos del tratamiento. Esto tan simple
lleva consigo multitud de consideraciones que es necesario analizar.
1) Confusión secuencial
Podemos evaluar el impacto incorrectamente debido a que el
beneficio de nuestro tratamiento sea debido al orden en que es
administrado con relación a otros tratamientos: confusión secuencial.
Esto sesgaría sin duda nuestro estudio y sería un grave error necesario
de subsanar.
La solución estaría en disponer de una secuencia aleatoria ( o
semialeatoria) de tratamientos ( Barlow y Hersen).
En el ámbito aplicado, sería sustituir un tratamiento A-B-A-B-A-B por
uno A-B-B-A-A-B.
2) Efectos acumulativos
Los efectos acumulativos tienen un matiz diferente a la confusión
secuencial: se refieren como en el anterior a la influencia de un
tratamiento contiguo, pero independientemente de la secuencia global.
En este caso en un diseño A-B-A-B-A-B A estaría influyendo sobre B,
pero independientemente de que diseñásemos una secuencia A-B-B-AA-B o B-B-A-A-B-B. A su vez, los efectos acumulativos se podrían
dividir en dos:
- Positivos: Al evaluar el impacto el tratamiento B ha sido más eficaz
porque estuvo alternado con el tratamiento A.
- Negativos: Al evaluar el impacto el tratamiento B fue menos eficaz
porque estuvo alternado con el tratamiento A.
Tanto unos como otros son dañinos para nuestro estudio, pues con
unos (los negativos) infravaloramos nuestros resultados y con otros (los
positivos) los sobrevaloramos, no obteniendo por tanto una estimación
correcta y objetiva. La bibliografía nos ofrece dos métodos para, una vez
evaluado el impacto, comprobar hasta que punto están presentes los
efectos acumulativos, con lo que conseguiríamos una mayor fiabilidad y
validez en nuestro estudio
2.1) Verificación independiente
Es bastante simple, y consiste en realizar un experimento controlado en
el cual uno u otro de los tratamientos que se llevan a cabo en el diseño
de tratamientos alternos se administra de manera independiente. Así,
las diferencias que se produjeran entre el tratamiento administrado con
un diseño de tratamientos alternos y uno de forma independiente se
deberían a los efectos acumulativos.
2.2) Manipulación funcional
Algo más complejo que el anterior, en este procedimiento se altera la
fuerza de uno de los componentes. Por ejemplo, los efectos acusados al
cambiar la intensidad de un tratamiento en alternancia con otro se
podrían deber a los efectos acumulativos