Validez-Impacto INTRODUCCIÓN Validez Decimos que una medida es válida si mide aquello que realmente deseamos medir. A la hora de medir propiedades físicas el concepto de validez está muy claro: 1metro es válido para medir longitudes y una balanza es válida para medir pesos. Pero en Psicología las V.V. son creadas por nosotros más que dadas por la naturaleza, por lo que se torna más difícil saber lo que medimos. En un principio y simplificando mucho podemos considerar la validez como la correspondencia entre la medida obtenida empíricamente y la magnitud en la que se posee el concepto o constructo que se desea medir (Camacho y Sánchez, 1997). Vemos pues como la validez obedece más a consideraciones teóricas que empíricas. La validez está estrechamente relacionada con el concepto de validez: una buena fiabilidad no implica necesariamente una buena validez, pero una mala fiabilidad si implica una deficiente validez. Por el contrario una buena validez necesariamente exige una fiabilidad previa igualmente buena. Pasaremos a continuación a desglosar la validez en sus respectivos apartados (J. Arnau Grass, 1990): A) Validez interna: Una vez que en nuestro estudio hemos llegado a la conclusión de que 2 V.V covarían debemos determinar si se da una relación causal entre ambas, lo que supone determinar la dirección de esa causalidad. Si se parte de un modelo de causalidad A>C>B y se infiere una relación de causalidad A>B esto constituye una interpretación de causalidad falsa, dado que la causa de B es C y no A Por tanto, la validez interna se reduce a la correcta inferencia de la causalidad en la investigación (que A realmente sea la causa de B y no otra V.V.), por lo que debemos estar atentos a las diferentes condiciones que pueden afectarle y más delante detallaremos( historia, maduración,….) B) Validez Externa: El propósito de la validez externa, en contraposición a la interna, se cifra en que los resultados de un experimento puedan ser generalizados. No se trata pues de garantizar al máximo la posibilidad de demostrar una relación entre la VVDD Y LA VVII, si no de ampliar el ámbito de esa relación: se pretende trascender una particular situación experimental y extender los resultados más allá de donde han sido observados. Por tanto, la cuestión fundamental que se plantea al hablar de validez externa de un experimento es la referente a la posibilidad de generalizar los resultados a otras situaciones, a otras poblaciones, a otras condiciones ambientales,… Cualquier factor que limite la generalización puede ser considerado como una amenaza a la validez externa del experimento (reactividad observacional, efecto de predisposición,….) C) Validez de criterio La validez referida al criterio tiene un carácter fundamentalmente predictivo: se trata de ver si una determinada conducta, a la que se denomina criterio, se puede inferir a partir de otra cosa, tal como un determinado test. Test que suponemos fuertemente correlacionado con el criterio, y que nos debe de servir para determinados fines (de orientación, selección,…. D) Validez de constructo: Los constructos son concepciones que tenemos de la realidad para una mejor comprensión de la misma, y que no son susceptibles de ser observados directamente. En sentido literal, construcciones que los humanos nos hacemos de la realidad (Camacho y Sánchez). La validez de constructo sería pues el grado en el que un test mide el constructo que se pretende medir. Esta definición es muy parecida a la de validez referida al criterio, con la diferencia de que aquí el criterio es precisamente el constructo. EVALUACIÓN DEL IMPACTO Al aplicar un diseño longitudinal o de cualquier tipo el investigador planterará unas hipótesis de partida o esperará que ocurran unos determinados hechos. Una vez diseñada la investigación y controladas las condiciones que pueden afectar a la validez pasaremos a la puesta en marcha del proyecto. Una vez que obtengamos los resultados, será fundamental una buena evaluación del impacto: ver como ha afectado nuestro diseño a la conducta de los sujetos, lo que nos confirmará o desconfirmará nuestras hipótesis de partida. Hay muchas formas de evaluar el impacto, y lo ideal es que cuando diseñemos nuestra investigación explicitemos de antemano el criterio que tomaremos. Ej: se puede evaluar el impacto de un tratamiento antitabaco mediante el número de cigarrillos que fuma el sujeto al día, o mediante el número de paquetes que compra al mes,…. Es muy útil una presentación gráfica de la evaluación del impacto, en tanto que nos muestra un rápido análisis visual de la situación. DISEÑOS DE LÍNEA BASE MÚLTIPLE En estos diseños se identifican y miden una serie de respuestas en el tiempo, las cuales nos proporcionan líneas de base en contraste con las cuales se pueden evaluar los cambios. Establecidas estas líneas de base, el experimentador aplica luego 1VV experimental a una de las conductas, le provoca un cambio, y quizás observa poco o ningún cambio en las otras líneas de base ( D.H. BARLOW Y M.HERSEN) Este procedimiento se continúa de manera secuencial hasta que la VV experimental ha sido aplicada a todas las conductas objeto de estudio. En cada caso, la variable de tratamiento no se aplica normalmente hasta que no se ha conseguido la estabilidad de la línea de base. Análisis de la validez 1) Validez interna 1.1) Historia: Se subdivide en historia proactiva (diferencias de carácter aprendido o inherente que los sujetos aportan de por sí a la situación, como sexo, peso,..) y retroactiva (cambios que se producen en el contexto exterior al experimento y que de alguna manera pueden determinar o influir en las respuestas de los sujetos). La historia proactiva afecta fundamentalmente a la hora de comparar grupos, por lo que no afectará especialmente a este diseño. Por el contrario, la historia retroactiva si tendrá un peso importante, pues nuestras líneas de base se pueden estar modificando debido a condiciones que no tienen que ver con nuestro tratamiento. Una forma de aminorar este factor es reduciendo el tiempo entre sesiones, con lo que minimizamos el tiempo que el sujeto está expuesto a condiciones externas que interfieren. 1.2) Maduración: Muchos de los cambios observados en los organismos son consecuencia del crecimiento biológico y psicológico, de la adaptación, fatiga,…. Mientras mas meses o años dure nuestro diseño de línea de base más afectarán los factores de maduración de crecimiento psicológico y biológico. No alargar demasiado el estudio sería lo ideal No someter a nuestro sujeto a interminables sesiones reducirá la fatiga. 1.3) Instrumentación: Utilizar los mismos instrumentos durante toda la investigación, asegurarnos del no deterioro de los mismos con el uso, o utilizar observadores con la misma o parecida experiencia son estrategias útiles para controlar la instrumentación en nuestros diseños de línea base múltiple. 2) VALIDEZ EXTERNA 2.1) Reactividad observacional: Los sujetos son conscientes de que su conducta tiene un interés científico o es objeto de evaluación y pueden, en consecuencia, reaccionar a esta demanda y no a las características de la VV de tratamiento. Ocultar al sujeto al máximo posible los objetivos de la investigación, o quitar importancia a lo que su actuación representará de cara a la investigación, puede ayudar a que este se comporte de manera espontánea y natural. 2.2) Efecto de predisposición: Es posible que al tomar medidas para el establecimiento de línea base se sensibilice al sujeto de forma que se halle afectado diferencialmente por la intervención o tratamiento (“sensibilización pretest”). Puede por tanto suceder que los individuos que han sido sometidos previamente a una serie de medidas o pruebas psicológicas estén más o menos predispuestos a la recepción del tratamiento. Intentar de manera sutil mediante entrevistas intuir la predisposición del sujeto para invalidarlo como objeto de estudio útil sería una buena medida para la validez de nuestro diseño de línea base. 2.3) Efecto de novedad El hecho de que en los diseños de línea de base múltiple no apliquemos el tratamiento hasta que tengamos definida la línea de base hace que cuando apliquemos esta el efecto del tratamiento se deba más a la novedad que presenta que a su verdadera eficacia. En caso de ser así lo percibiremos rápidamente, pues la eficacia irá perdiéndose poco a medida que pasa el tiempo y el sujeto está sensibilizado 3) VALIDEZ DE CONSTRUCTO (común para Diseños de línea base múltiple y Diseños de tratamientos alternos) 3.1) Definiciones preoperacionales inadecuadas: Estamos hablando aquí de la elección de las operaciones que definen al constructo. Una buena revisión bibliográfica evitaría muchos errores en este apartado. 3.2) Sesgo de la operación única: En muchos experimentos se utiliza una sola operativización del constructo, como posible causa, y se toma una sola medida para reflejar su posible efecto. Por tanto tendrán mas baja validez de constructo las investigaciones donde sólo se tenga una sola operación del mismo, que aquellas en las que se recojan multiplicidad de operaciones ( Cook y Campbell) La solución es sencilla: multioperativizar el constructo 3.3) Hipótesis experimentales conjeturables dentro de las condiciones En muchas situaciones no es difícil adivinar qué es lo que esperan los experimentadores del resultado concreto de un experimento. Es decir, muchos sujetos pueden aprender, a partir de la investigación, que se espera del efecto del tratamiento. Para evitar este posible efecto se deberían de plantear hipótesis difíciles de conjeturar o adivinar, dando diferentes hipótesis a diferentes sujetos, o bien disminuyendo el nivel de reactividad en el experimento 3.4) Expectativas del experimentador Otra fuente de invalidación de constructo procede de las propias expectativas del experimentador, las cuales pueden introducir un sesgo en los resultados. En caso de que esto ocurra es imposible distinguir si los resultados reflejan el efecto causal del tratamiento o si se deben a las propias expectativas que tiene el experimentador sobre el resultado del experimento. Evaluación del impacto La evaluación del impacto se simplifica a observar cuándo la VV de tratamiento es eficaz: en los diseños de línea de base múltiple, la eficacia la marcará que la conducta cambie respecto a la línea de base al aplicar el tratamiento A continuación profundizaremos en el tema especificando las distintas posibilidades de la evaluación del impacto en los diseños de línea de base múltiple. 1) Líneas de base múltiple entre conductas Supongamos que aplicamos una VV determinada y medimos su efecto en el diseño de línea de base múltiple sobre 4 conductas. El primer paso es establecer la línea de base a través de sucesivas mediciones hasta encontrar estabilidad. Una vez conseguidas nuestras respectivas líneas de base el siguiente paso es aplicar la VVII. Una vez la hemos aplicado obtendremos unos resultados con los cuales evaluaremos el impacto en las conductas objeto de estudio. Según el criterio, este número de conductas, respecto a la línea de base, deberán aumentar (aumento de interacciones en un entrenamiento de habilidades sociales) o disminuir (numero de veces que el sujeto enciende un cigarro en un programa antitabaquismo) Por ejemplo: supongamos que realizamos un entrenamiento en habilidades sociales y queremos evaluar el impacto en tres conductas: actividad global, número de peticiones y contacto ocular. Una vez operativizadas las conductas y establecida la línea de base, estas deberán de aumentar en número para considerar positiva la evaluación del impacto. 2) Líneas de base múltiple entre sujetos La evaluación del impacto en las líneas de base múltiple entre sujetos resulta muy interesante desde varios puntos de vista: - Podemos establecer la línea de base en tres sujetos distintos, por ejemplo, y luego aplicar el tratamiento a sólo dos de ellos para así tener un grupo control. Al evaluar el impacto este no debería modificar su conducta respecto a la línea de base, mientras que los otros dos sí. - Podemos también establecer la línea de base en los mismos tres sujetos y aplicar luego el tratamiento esta vez a los tres. Si al evaluar el impacto todos los sujetos han modificado su conducta respecto a la línea de base podemos generalizar la eficacia de nuestra VVII con más probabilidad de acierto. Si por el contrario al evaluar el impacto la VVII afecta a unos sujetos pero no a otros difícilmente podremos generalizar nada, y posiblemente estén actuando otras VV diferentes a las que nosotros queremos que actúen. 3) Líneas de base múltiple entre situaciones Hay veces que un tratamiento sólo tiene efecto según en que situaciones, y es necesario generalizarlo poco a poco a través de todas las escenas de la vida del sujeto. Así, podemos establecer una línea de base en diferentes situaciones (casa, colegio,..) y evaluar el impacto diferencialmente en cada una de ellas: - Si al evaluar el impacto respecto a la línea comprobamos que el sujeto a generalizado la correcta a diferentes situaciones (casa, colegio, podemos decir que nuestro tratamiento está favorablemente en las diferentes escenas de la paciente. de base conducta parque...) actuando vida del - Si por el contrario la línea de base sólo se modifica en unas situaciones y no en otras (la conducta del sujeto se modifica respecto a la línea de base en el colegio pero no en casa) deberemos cuestionarnos la generalizabilidad de nuestro tratamiento y mejorar o modificar este en aquellas situaciones en las que no está siendo eficaz. DISEÑOS ALTERNOS DE TRATAMIENTOS Básicamente, estos diseños consisten en la alternancia rápida de dos o más tratamientos o condiciones en un sujeto único ( Barlow y Hersen). Con esto evitamos los tradicionales fallos de la comparación entre grupos. Análisis de la validez 1) Validez interna 1.1) Historia Puede ocurrir que en el periodo entre tratamientos en este tipo de diseños el sujeto se vea expuesto a situaciones o VV que afecten posteriormente al estudio. Minimizar el tiempo entre un tratamiento y otro sería una estrategia adecuada para controlar esta VV. 1.2) Maduración Para evitar los cambios producidos por la maduración en los diseños de tratamiento alternos una estrategia adecuada sería realizar la investigación en un período de tiempo reducido (en la medida que sea posible) para evitar los cambios biológicos/psicológicos a los que se ve expuesto el sujeto. 2) Validez externa 2.1) Reactividad observacional En los diseños de tratamientos alternos, el hecho de que realicemos replicaciones intrasujeto puede repercutir en que el individuo adquiera lo que se denomina el papel de sujeto de investigación, lo que puede comprometer y perturbar gravemente la generalidad de un resultado. En este caso, nos podemos preguntar en qué medida son extensibles los resultados sobre los efectos de un tratamiento La sugerencia en este caso está en la adecuada percepción del terapeuta y su equipo, los cuales deben ver como el sujeto está reaccionando de acuerdo con la característica de la demanda, en cuyo caso se debería invalidar a este sujeto. 2.2) Interferencia de tratamientos múltiples Es una de las principales amenazas contra los diseños de tratamiento alternos. En estos diseños, como hemos dicho, se suelen aplicar dos o más tratamientos, sea simultáneamente o de forma alternativa. En este caso podemos sacar conclusiones acerca de un solo tratamiento cuando ha sido, en cambio, evaluado junto a otro tratamiento. Una primera medida será la correcta delimitación y operativización de cada tratamiento. Otra medida sería establecer un sujeto control en el que sólo se aplicase un tratamiento, comparándolo luego con nuestro sujeto experimental (al que le hemos alternado tratamientos alternos) para así dilucidar que efecto se debe a la alternancia de tratamientos y que efecto se debe a la aplicación individual del tratamiento. Evaluación del impacto La evaluación del impacto puede resultar fácil a priori, pero los diseños de tratamiento alternos encierran una dificultad especial en este punto que es necesario analizar y en lo cuál nos centraremos. La pregunta que nos debemos hacer al evaluar el impacto en los diseños de tratamiento alternos es si el tratamiento A está interfiriendo con el tratamiento B, de manera que no estamos consiguiendo alcanzar una verdadera imagen de los efectos del tratamiento. Esto tan simple lleva consigo multitud de consideraciones que es necesario analizar. 1) Confusión secuencial Podemos evaluar el impacto incorrectamente debido a que el beneficio de nuestro tratamiento sea debido al orden en que es administrado con relación a otros tratamientos: confusión secuencial. Esto sesgaría sin duda nuestro estudio y sería un grave error necesario de subsanar. La solución estaría en disponer de una secuencia aleatoria ( o semialeatoria) de tratamientos ( Barlow y Hersen). En el ámbito aplicado, sería sustituir un tratamiento A-B-A-B-A-B por uno A-B-B-A-A-B. 2) Efectos acumulativos Los efectos acumulativos tienen un matiz diferente a la confusión secuencial: se refieren como en el anterior a la influencia de un tratamiento contiguo, pero independientemente de la secuencia global. En este caso en un diseño A-B-A-B-A-B A estaría influyendo sobre B, pero independientemente de que diseñásemos una secuencia A-B-B-AA-B o B-B-A-A-B-B. A su vez, los efectos acumulativos se podrían dividir en dos: - Positivos: Al evaluar el impacto el tratamiento B ha sido más eficaz porque estuvo alternado con el tratamiento A. - Negativos: Al evaluar el impacto el tratamiento B fue menos eficaz porque estuvo alternado con el tratamiento A. Tanto unos como otros son dañinos para nuestro estudio, pues con unos (los negativos) infravaloramos nuestros resultados y con otros (los positivos) los sobrevaloramos, no obteniendo por tanto una estimación correcta y objetiva. La bibliografía nos ofrece dos métodos para, una vez evaluado el impacto, comprobar hasta que punto están presentes los efectos acumulativos, con lo que conseguiríamos una mayor fiabilidad y validez en nuestro estudio 2.1) Verificación independiente Es bastante simple, y consiste en realizar un experimento controlado en el cual uno u otro de los tratamientos que se llevan a cabo en el diseño de tratamientos alternos se administra de manera independiente. Así, las diferencias que se produjeran entre el tratamiento administrado con un diseño de tratamientos alternos y uno de forma independiente se deberían a los efectos acumulativos. 2.2) Manipulación funcional Algo más complejo que el anterior, en este procedimiento se altera la fuerza de uno de los componentes. Por ejemplo, los efectos acusados al cambiar la intensidad de un tratamiento en alternancia con otro se podrían deber a los efectos acumulativos