Validez y Fiabilidad
Anuncio
Curso de introducción a la metodología de la investigación (II) Validez y Fiabilidad Laura Martínez García Centre Cochrane Iberoamericano 9 de Febrero de 2011 Guión • • • • • Validez interna Validez externa Precisión o fiabilidad Error aleatorio Error sistemático o sesgo • Sesgo de selección • Sesgo de información • Factores de confusión • Conclusiones • Bibliografía Validez interna • Grado en que los resultados de un estudio son extraídos correctamente de los participantes del mismo • Factores que afectan la validez interna: errores sistemáticos y factores de confusión Ejemplo: Si en un estudio se debe medir la estatura de diferentes personas en centímetros, el utilizar una cinta métrica mal calibrada implica que los datos (las alturas) son de por sí falsos; la media y la varianza serán incorrectos Validez externa • Grado en que los resultados de un estudio son generalizables a otras poblaciones distintas a la estudiada • Para poder generalizar los resultados: validez interna, consistencia de resultados entre diferentes estudios en diferentes poblaciones y plausibilidad biológica Ejemplo: Si en el estudio anterior se utilizan jugadores de baloncesto para calcular la estatura media (utilizando una cinta métrica correctamente calibrada), es más que probable que estos resultados, ciertos en la muestra, no sean extrapolables al resto de la población Validez interna y externa Otras poblaciones Población de estudio Muestra Estudiamos una muestra para poder aproximarnos al fenómeno de interés de la población. Para ello necesitamos validez interna (conclusiones del estudio bien extraídas) y validez externa (capacidad de extrapolarlas a la población u otras poblaciones) Precisión o fiabilidad • Grado de reproducibilidad de un estudio o de un procedimiento de medida • Factores que afectan la precisión: error aleatorio Errores y sesgos Error aleatorio = imprecisión Error sistemático o sesgo = invalidez Errores y sesgos Valor verdadero 130 mmHg 01 02 150 mmHg 03 Valor verdadero 04 170 mmHg 05 130 mmHg 150 mmHg Error aleatorio Error sistemático o sesgo Baja precisión Alta precisión 170 mmHg 01 02 03 04 05 Ninguna de las 5 observaciones coinciden en el Las 5 observaciones coinciden en el resultado resultado No error sistemático Error sistemático El valor medio de las 5 observaciones se acerca El valor medio se aleja mucho del verdadero al valor verdadero valor Tamaños de la muestra Al aumentar el tamaños de la muestra, la estimación será más precisa Tamaño de la muestra Aunque se aumente el tamaños de la muestra, persistirá el error sistemático Error aleatorio • Se produce al azar • No afecta validez del estudio (ni interna ni externa) • Puede reducirse aumentando el tamaño muestral o la precisión de las estimaciones Error aleatorio Variabilidad en el muestreo • Infinitas posibles muestras de una misma población, aunque todas fueran representativas, serán siempre ligeramente diferentes unas de otras • Principal fuente de error aleatorio • Disminuye aumentando el tamaño muestral Variabilidad en las mediciones • La medición de las variables tendrá una exactitud siempre limitada por los propios instrumentos de medida, y se producirán ligeras desviaciones del verdadero valor que se está midiendo • Puede reducirse mejorando la precisión de los instrumentos de medida Error sistemático o sesgo • Se produce de forma sistemática • Afecta la validez interna y/o externa • El aumento o disminución del tamaño muestral no modifica los sesgos • Clasificación • Sesgo de selección • Sesgo de información • Factores de confusión Sesgo de selección • Selección de una muestra no representativa (algunos sujetos tienen más probabilidad de ser elegidos) • Sólo afecta a la validez externa • Se corrige o reduce con muestreos probabilísticos • Ejemplos Selección incorrecta del grupo control Pérdidas de seguimiento No respuestas Supervivencia selectiva Muestra no representativa Sesgo de detección Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección Los estudios analíticos se basan en que el grupo de estudio y el de referencia son comparables, sólo difieren en la presencia o no del factor de estudio. En los ensayos clínicos aleatorios, la asignación aleatoria de los sujetos a los grupos de estudio tiende a asegurar esta comparabilidad al inicio del estudio, mientras que este principio es más difícil de asegurar en los estudios observacionales, especialmente en los diseños de casos y controles y en los retrospectivos de cohortes. • Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Ejemplo: Estudio retrospectivo de cohortes que analiza el programa de educación para diabéticos sobre el control metabólico de la enfermedad. Los investigadores incluyeron 40 individuos que cumplían los siguientes requisitos: 1) haber sido tratados por primera vez en su centro entre 1994‐1996; 2) haber cumplido los cinco apartados de los que constaba el programa de educación, y 3) haber cumplido con las vistas de seguimiento. El grupo control se formó contactando telefónicamente de manera consecutiva con aquellas personas de su lista de pacientes que cumplían las siguientes condiciones: 1) haber sido tratados por primera vez en su centro entre 1994‐1996; 2) haber rechazado el programa de educación, y 3) haber acudido o no a las visitas de seguimiento. En este estudio se observó que los individuos que habían recibido el programa poseían un mejor control metabólico que la cohorte de referencia. Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva En los estudios con seguimiento, una de las principales causas de sesgos de selección son las pérdidas de individuos o abandonos. Cuando las personas que se pierden durante el seguimiento difieren de las que no abandonan por variables relacionadas con el factor de estudio y la variable respuesta, se producirá un sesgo en los resultados. • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Ejemplo: Estudio de cohortes con seguimiento de un grupo de fumadores y otro de no fumadores para comparar la incidencia de cáncer de pulmón. A lo largo del seguimiento, es muy probable que se produzcan pérdidas de seguimiento con mayor frecuencia en la cohorte de fumadores debido a la aparición de problemas de salud relacionados con el consumo de tabaco (p. ej. mayor número de defunciones por infarto de miocardio). Si no se tienen en cuenta este hecho, se producirá un sesgo en la estimación del riesgo de cáncer de pulmón asociado al consumo de tabaco, ya que probablemente los sujetos más expuestos (más fumadores) habrán presentado otros problemas de salud relacionados, de forma que la incidencia de cáncer se estimará en un grupo de sujetos que estarán menos expuestos que la cohorte inicial. Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa Otra situación que puede producir un sesgo de selección es la existencia de no respuestas, lo que suele ocurrir en encuestas transversales. La única manera de asegurar que las no respuestas o pérdidas durante el seguimiento no introducen un error sistemático en los resultados es evitar que se produzcan, o bien obtener información suplementaria que permita evaluar si los sujetos que se pierden o que no contestan difieren de los que finalizan el estudio. • Sesgo de detección • Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento Ejemplo: Un estudio en el que se desea determinar la prevalencia de consumo de tabaco entre los profesionales sanitarios de una determinada zona geográfica. Para ello, se selecciona una muestra aleatoria de 500 profesionales, a los que se les envía el cuestionario. Contestan 300 profesionales, de los que 135 (45%) reconocen que fuman. • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Si la prevalencia de consumo de tabaco entre las no respuestas es diferente de la que existe entre los que sí han respondido, la cifra de 45% es una estimación sesgada de la verdadera prevalencia. Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control Se produce cuando se seleccionan casos prevalentes (existentes en un momento dado) y no casos incidentes (todos los casos nuevos ocurridos durante un período determinado). • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio Ejemplo: Sabemos que la miocardiopatía dilatada (MD) alcohólica tiene mejor pronóstico que las de causa no alcohólica. • Selección del grupo control Se realiza un estudio de casos y controles sobre la MD para valorar factores de riesgo y se seleccionan casos prevalentes en vez de incidentes. • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Es muy probable que encontremos muchos más enfermos de MD de causa alcohólica que de ninguna otra (debido a su mayor supervivencia), sobrevalorando la asociación entre ambas. Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento • No respuestas La selección de una muestra no representativa es una causa frecuente de sesgo de selección en los estudios transversales, aunque también pueden presentarse en los estudios analíticos. Se introduce en el proceso de selección de la muestra a partir de la población de estudio. • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Ejemplo: Se realiza un estudio transversal para estimar la prevalencia de un problema de salud (p. ej., hipercolesterolemia) en una comunidad determinada. Si se selecciona la muestra a partir de los individuos que acuden espontáneamente a los centros sanitarios por cualquier motivo. Probablemente se obtendrá una estimación sesgada de la prevalencia, ya que las personas que consultan no son representativas de la población general. Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control El sesgo de detección se produce cuando el procedimiento utilizado para identificar la presencia de la respuesta varía o se modifica según la presencia o la ausencia del factor de estudio. • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio Ejemplo: Estudio sobre el riesgo de tromboembolia pulmonar (TP) asociado al uso de anticonceptivos orales (AO). • Selección del grupo control En el primer estudio de casos y controles publicado sobre esta asociación, se discutió que una posible explicación era el hecho de que algunos médicos conocían la hipótesis de trabajo y, en consecuencia, las usuarias de AO tenían mayor probabilidad de ser ingresadas con el diagnóstico de TP y, además, podían haber sido sometidas a un mayor número de pruebas para diagnosticar o descartar la enfermedad que las mujeres del grupo control. • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio • Selección del grupo control • Pérdidas de seguimiento Cuando se decide utilizar voluntarios en un estudio, debe tenerse en cuenta que pueden introducir un sesgo, ya que estos sujetos habitualmente son diferentes de los no voluntarios (autoselección). • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Sesgo de selección Situaciones en las que puede haberse introducido un sesgo de selección en un estudio Ejemplo: Se utilizaron dos diseños diferentes para valorar la eficacia de la vacuna antipolio de Salk. • Selección del grupo control En algunas comunidades, se asignaron los niños al azar para recibir la vacuna o la inyección placebo. • Pérdidas de seguimiento • No respuestas • Supervivencia selectiva • Muestra no representativa • Sesgo de detección • Participación de voluntarios o efecto de autoselección Sin embargo, otras comunidades rehusaron participar en el ensayo clínico aleatorio, pero acordaron que la vacuna se podía dar a los niños de familias que mostraban interés en recibirla y que los demás podían servir de control. Al analizar los datos, los investigadores encontraron que las familias voluntarias tenían un nivel de estudios superior e ingresos económicos mayores que el grupo control. Sesgo de información • La información sobre el factor de estudio o la variable de respuesta es errónea o se recoge de forma sistemáticamente diferente entre los grupos de estudio • Afecta la validez interna y externa • Error de clasificación respecto al estado expuesto/no‐ expuesto o enfermo/no‐enfermo 1. No diferencial 2. Diferencial Sesgo de información Error de clasificación no diferencial • La proporción de veces que nos equivocamos al clasificar la enfermedad y la exposición es similar en los diferentes grupos del estudio Error de clasificación diferencial • La proporción de veces que nos equivocamos al clasificar la enfermedad y la exposición es distinta en los diferentes grupos del estudio • Ejemplos Sesgo de memoria Sesgo debido al entrevistador o a la persona que recoge la información Sesgo de información Situaciones en las que puede haberse introducido un sesgo de información en un estudio • Sesgo de memoria • Sesgo debido al entrevistador Se produce cuando los individuos con un determinado problema de salud recuerdan su historia de exposición de forma distinta a cómo la recuerdan aquellos que no tienen dicho problema. También puede producirse cuando los individuos expuestos a algún riesgo informan sobre el desarrollo de problemas de salud de forma diferente a como lo hacen los que no están expuestos. Este tipo de sesgos es especialmente problemático en los estudios de casos y controles, y en los retrospectivos de cohortes. Sesgo de información Situaciones en las que puede haberse introducido un sesgo de información en un estudio • Sesgo de memoria • Sesgo debido al entrevistador Ejemplo: En un estudio realizado en madres de niños con malformaciones congénitas, se obtuvo información mediante entrevista personal sobre 8 posibles exposiciones durante el embarazo y se comparó la información registrada en la historia clínica del obstetra. Se consiguió la misma información, y de las mismas fuentes, de un grupo de madres de hijos sin malformaciones, que sirvió de control. La información sobre 5 de las 8 exposiciones fue igual de exacta en los casos que en los controles, pero la historia de infección durante el embarazo, de infertilidad tratada o no, y del uso de métodos anticonceptivos durante dos semanas o más después del último período menstrual, fue mucho más exacta en los casos que en los controles. Sesgo de información Situaciones en las que puede haberse introducido un sesgo de información en un estudio • Sesgo de memoria • Sesgo debido al entrevistador Aparece cuando existe alguna diferencia sistemática en la forma en que se solicita, recoge o interpreta los datos procedentes de los participantes en un estudio, en función del grupo al que pertenece. Sesgo de información Situaciones en las que puede haberse introducido un sesgo de información en un estudio • Sesgo de memoria • Sesgo debido al entrevistador Ejemplo: En un estudio de casos y controles cuyo objetivo era evaluar la hipótesis de que la endometriosis predispone a la infertilidad, se revisaron las historias clínicas de 100 mujeres en las que se había practicado una laparoscopia a causa de la infertilidad. 21 de ellas se diagnosticó endometriosis. Como grupo control eligieron a 200 mujeres a las que se había practicado una laparoscopia para una ligadura de trompas. En este grupo control sólo se diagnosticó endometriosis en 4 mujeres. La información sobre la endometriosis no es comparable en los casos y en los controles. No es lo mismo su búsqueda cuando la laparoscopia se realiza a causa de infertilidad que por ligadura de trompas. Probablemente, en el primer caso se buscó con más insistencia, dando lugar a un sesgo de información que sobrevalora la asociación. Factores de confusión • Variable basal que se distribuye homogéneamente entre los grupos de estudio • Requisitos de un factor de confusión a) se asocia a la exposición b) es factor de riesgo o pronóstico de la enfermedad c) no es un paso intermedio entre ambas • Se puede 1. 2. Prevenir durante la fase de diseño: muestreo aleatorio, emparejamiento y criterios de restricción Controlar durante el análisis: análisis estratificado o multivariante Factores de confusión Ejemplo: Supongamos un estudio hipotético de la asociación entre el consumo de café y el cáncer de laringe. A partir de los datos totales se estima que el porcentaje de expuestos entre los enfermos es del 58%, superior al 42% observado entre los controles, lo que sugiere una asociación entre el consumo de café y el cáncer de laringe. Sin embargo, al analizar los datos en subgrupos en función de si los sujetos eran fumadores o no, se observa que el porcentaje de sujetos expuestos al consumo de café es el mismo en los casos y en los controles, y desaparece la asociación. Fumadores No fumadores Total Café (+) Café (‐) Total Cáncer de laringe 150 (75%) 50 (25%) 200 (100%) Controles 75 (75%) 25 (25%) 100 (100%) Cáncer de laringe 25 (25%) 75 (75%) 100 (100%) Controles 50 (25%) 150 (75%) 200 (100%) Cáncer de laringe 175 (58%) 125 (42%) 300 (100%) Controles 125 (42%) 175 (58%) 300 (100%) Factores de confusión Factor de confusión Tabaco Exposición Enfermedad Café Cáncer de laringe La variable fumador cumple los criterios para ser un factor de confusión: 1.El tabaco es un factor de riesgo de cáncer de laringe 2.Está relacionado con la variable de estudio (consumo de café), ya que la proporción de controles fumadores que toman café habitualmente (75/100) es mucho mayor que la proporción de los no fumadores (50/200) 3. No es un paso intermedio en la cadena causal Conclusiones Al diseñar un estudio… Afectan la validez interna Afectan la validez externa Error aleatorio No No Fase de diseño Aumento tamaño muestral o precisión de las medidas Sesgo de selección No Sí Fase de diseño Asignación al azar (ensayos clínicos) Criterios de selección y exclusión estrictos (estudios observacionales) Sesgo de información Sí Sí Fase de diseño Técnicas de enmascaramineto Sí Fase de diseño Muestreo aleatorio, emparejamiento y criterios de restricción Fase de análisis análisis estratificado o multivariante Confusión Sí Solución o control Conclusiones Al leer un estudio… • ¿El resultado del estudio es correcto, es veraz, es cierto (validez interna)? • • • Los grupos del estudio no son comparables debido a cómo fueron seleccionados los pacientes (sesgo de selección) Los grupos del estudio no son comparables debido a cómo se obtuvieron los datos (sesgo de información) Los autores no han recogido información sobre un factor que se relaciona a la vez con la exposición y con el efecto estudiado (factor de confusión) • ¿Hasta que punto los resultados obtenidos pueden deberse al azar? • ¿El resultado es aplicable a nuestros propios pacientes (validez externa)? Porta-Serra M, Álvarez-Dardet C, Bolúmar F et al. La calidad de la información clínica (I): validez. Med Clin (Barc) 1987; 89: 741-747. Bibliografía Chavalarias D, Ioannidis JP. Science mapping analysis characterizes 235 biases in biomedical research. J Clin Epidemiol. 2010;63(11):1205-15. Bibliografía • Arignón Pallás JM, Jiménez Villa J. Métodos de investigación clínica y epidemiológica. 3ª ed. Madrid: Elsevier; 2004. • Szklo, M., Nieto, J. Epidemiología intermedia. Conceptos y aplicaciones. Madrid: Díaz de Santos; 2003. • Porta‐Serra M, Álvarez‐Dardet C, Bolúmar F et al. La calidad de la información clínica (I): validez. Med Clin (Barc) 1987; 89: 741‐747.
