Los virus de La investigaCión: Confusión y sesgos

Capítulo 25
Los virus de la investigación:
confusión y sesgos
José Ignacio Vela Segarra, Jesús Díaz Cascajosa
1 Introducción
2. EL ERROR SISTEMÁTICO O SESGO
2. El error sistemático o sesgo
a) Concepto
b) Sesgos de selección
c) Sesgos de información
d) Otros sesgos
e) ¿Cómo controlamos los sesgos?
3. La confusión
a) Concepto
Los estudios epidemiológicos tienen el objetivo
de estimar determinados parámetros (incidencia acumulada, riesgo relativo…) con el menor error posible. Lo que se busca es conseguir la máxima exactitud al medir.
a) Concepto
b) Identificación
c) ¿Cómo evitamos la confusión?
4. Validez externa e interna de un estudio
1. INTRODUCCIÓN
En la actualidad, nuestra práctica clínica en
oftalmología está íntimamente ligada a la medicina basada en la evidencia. Durante el proceso
de investigación pueden producirse errores que
provoquen que los resultados de un estudio se
desvíen o aparten de la realidad actuando como
verdaderos virus: la confusión y los sesgos. Estos
errores tienen una gran transcendencia, hasta el
punto de que asociaciones débiles que se describen hoy en día con poca plausibilidad biológica
pueden ser debidas a sesgos. Su interpretación
es básica tanto para el investigador que publica
como para el lector que revisa un estudio. Al preparar o leer un estudio debemos considerar no
sólo el grado de sesgo que presenta, sino también su causa y magnitud, cómo se ha prevenido,
sus implicaciones prácticas y cómo influye en las
conclusiones.
Ejemplo 25.1
Imaginemos que un individuo con poca
puntería dispara con una pistola a una
diana. Por consiguiente los diferentes
disparos estarán separados unos de otros
en la periferia de la diana. Evidentemente comete errores, pero son errores que
pueden ir en cualquier dirección, son
impredecibles. Supongamos que nosotros solo vemos los disparos sin ver la
diana; si el individuo hiciera muchos
disparos, podríamos imaginar, a pesar
de sus errores, que el centro de la diana
está en el centro de la nube producida
por los agujeros. Pero supongamos otra
situación: el individuo tiene buena puntería pero la escopeta que utiliza tiene
un defecto de fábrica y sistemáticamente desvía los disparos hacia la derecha.
Esta vez, si el tirador efectúa muchos disparos apuntando al centro de la diana,
los impactos quedarán muy agrupados,
pero lejos del centro. Si observamos los
impactos sin ver la diana, podríamos
equivocarnos y pensar que el centro de
la diana está en medio de los impactos,
194
25. Los virus de la investigación: confusión y sesgos
pero a la derecha de su posición real.
E incluso nos parecería que es más fácil
saber dónde está el centro en esta diana al estar los disparos más agrupados,
pero nos equivocaríamos. Esta situación
es mucho más peligrosa que la primera.
No sólo comete errores el tirador, sino
que induce a cometerlos a los que le observan (fig. 1).
Fig. 1.
A la primera situación se le llama error aleatorio.
Las variaciones ocurren por el azar e implican falta
de precisión del estudio. A la segunda situación se le
llama error sistemático o sesgo e implica una falta
de validez del estudio. Son variaciones introducidas
por una mala medida o un mal diseño del estudio
epidemiológico.
Aunque clásicamente asociamos sesgo al error
sistemático, debe entenderse también como una tendencia a cometer errores que impide la consideración sin prejuicios de un estudio.
Existen muchos tipos de sesgos. Se han descrito
más de 235 términos relacionados con los sesgos y
la confusión en la investigación biomédica. Unos
términos se usan desde su introducción mientras que
otros, como los sesgos de selección, de respuesta o
de publicación, muestran un incremento de su uso
en los últimos años. Podemos dividirlos según la fase
del estudio dónde ocurren. Los sesgos de selección
aparecen al elegir la población de estudio y en la recogida de datos. En este último proceso se detectan
los sesgos de información. Por último, en el análisis y publicación del estudio también pueden producirse sesgos. Es importante conocer al menos los
más importantes para no cometer errores groseros en
nuestro estudio.
b) Sesgos de selección
Se producen cuando el proceso empleado para
seleccionar a los individuos que forman parte del estudio conduce a encontrar un efecto que es diferente
del que se obtendría si se utilizara para estimarlo la
población entera. Por lo tanto, los sujetos del estudio
no representan a la población a la que queremos extrapolar nuestros resultados.
Veamos algunos ejemplos de sesgos de selección:
– Participación de voluntarios o efecto de autoselección. Aquellos que eligen voluntariamente participar en un estudio suelen presentar características
diferentes a los elegidos por el investigador.
Ejemplo 25.2
ueremos estudiar si una dieta rica en
Q
omega 3 protege de la DMAE y realizamos un estudio de casos-controles, podría ser que los individuos que aceptan
ser controles sean más conscientes y
responsables de su salud que los que no
aceptan. En cierta medida, se «autoseleccionan» para participar.
El sesgo de la muestra autoseleccionada se da
abundantemente en los medios de comunicación y
en las redes sociales. Cuando un medio de comunicación hace una encuesta o pide que sus usuarios
participen está produciendo una muestra autoseleccionada. En temas de debate, como habitualmente
es la gente más motivada o combativa la que llama,
los resultados ofrecidos pueden dar una visión sesgada de la opinión general, lo que además se incrementa por el hecho de que la audiencia de un
medio de comunicación ya es de por sí una muestra
autoseleccionada y sesgada de la población general. Algo parecido sucede en foros o redes sociales
de Internet.
– Sesgo del trabajador sano. Los individuos de un
grupo sano en edad laboral suelen tener un nivel de
salud que difiere sistemáticamente del de la población general.
– Sesgo de no respuesta. Se produce cuando los
individuos que no responden a una encuesta tienen
características diferentes a los que sí responden. Normalmente ocurre en estudios transversales.
195
25. Los virus de la investigación: confusión y sesgos
Ejemplo 25.3
S e evalúa la prevalencia de uso de lágrimas artificiales entre el personal de quirófano de un hospital y se seleccionan
500 trabajadores. Sólo contestan 300 y
de éstos, 135 (45%) usan. Es fácil que
los que no contestan sean personas menos motivadas en temas sanitarios y el
uso de lágrimas sea menor en este grupo,
con lo que se alteran los resultados.
– Sesgo de detección o de sospecha diagnóstica.
Se da cuando el procedimiento utilizado para identificar la presencia de la respuesta varía según la presencia o ausencia del factor de estudio.
Ejemplo 25.4
uando un evaluador debe seleccionar
C
coroiditis punctata interna (PIC) para un
estudio, es más fácil que identifique lesiones coroideas como PIC si sabe que
la paciente es una mujer joven miope, ya
que es el tipo de paciente que suele presentar este tipo de lesión.
sufrido una embolia retiniana), no contabilizamos los pacientes con IAM que han
muerto a consecuencia del mismo. En
realidad estamos estudiando solo la relación de los pacientes con obstrucciones
arteriales con los IAM con mejor pronóstico, no con la totalidad.
c) Sesgos de información
También llamados sesgos de clasificación, son
errores cometidos durante la recogida de datos que
afectan a la validez interna y a la externa del estudio.
Los sujetos son clasificados incorrectamente según la
exposición (expuesto en vez de no expuesto, o viceversa) o la enfermedad (sano en vez de enfermo, o
viceversa). Cuando el error no afecta por igual a los
grupos que se comparan hablamos de mala clasificación diferencial. Algunos ejemplos de esta última son:
– Sesgo anamnésico, de recuerdo o «recall bias».
Sólo se da en estudios de casos/controles. Las personas enfermas tienden a recordar exposiciones pasadas con más intensidad que las no enfermas. Se
preguntan ¿por qué he desarrollado esta enfermedad?
Ejemplo 25.7
– Sesgo de Berkson. Se da en estudios de casos/
controles que elijan los controles entre pacientes ingresados y sucede cuando un factor de riesgo se asocia a una mayor probabilidad de ser hospitalizado.
Ejemplo 25.5
S i estudiamos la relación entre hipercolesterolemia y obstrucciones venosas retinianas y elegimos controles del servicio
de neurología, habrá más controles de
nuestra muestra expuestos a la hipercolesterolemia que en la población general.
– Falacia de Neyman. Se da en estudios de casos/
controles que seleccionan como casos sólo o fundamentalmente casos prevalentes.
Ejemplo 25.6
S i queremos estudiar la obstrucción de
arteria central de la retina como factor
de riesgo del infarto agudo de miocardio
y sólo seleccionamos casos prevalentes
(pacientes que encontramos que ya han
Las madres con niños malformados
tienden a recordar mejor fármacos que
tomaron antes o durante el embarazo.
También puede pasar lo contrario, que
las madres con niños malformados mientan produciendo un sesgo en es sentido
contrario.
– Sesgo de atención o efecto Hawthorne (que ya
describimos en el capítulo 5). Los participantes en un
estudio pueden modificar su comportamiento cuando saben que están siendo observados o vigilados.
– Sesgo del entrevistador. En ocasiones la persona que entrevista tiende a condicionar las respuestas
de los sujetos apoyando la hipótesis que se ha formado a priori.
– La falacia ecológica: Se da en estudios ecológicos, donde la unidad de análisis en el grupo y no
el individuo. Características que se relacionan de
forma estadísticamente significativa a nivel de grupo
pueden no estarlo a nivel individual. A nivel popular,
una falacia ecológica sería un estereotipo: sin mayor
información aplicamos a una persona las características de un grupo al que pertenece.
196
25. Los virus de la investigación: confusión y sesgos
Ejemplo 25.8
Si comparamos el grado de miopía en
diversos países con la cantidad de desprendimientos de retina operados en
cada país en un año puede que encontremos una relación. Ahora bien, en el
aspecto individual muchos casos de desprendimiento de retina no son miopes.
d) Otros sesgos
– Sesgo de publicación: Es uno de los más importantes y no se produce durante la realizacion de los
experimentos, sino en la difusión de los resultados.
Se suele producir porque el investigador no quiere
publicar resultados desfavorables porque piensa que
pueden influir negativamente en su imagen o reflejar la baja eficacia de un producto, etc. Así, los resultados positivos tienden a enviarse a publicar más
que los negativos. También los editores de las revistas aceptan con más facilidad resultados positivos
que negativos. Simes, en una revisión sistemática de
ensayos clínicos oncológicos, encontró que los estudios publicados mostraban mayor eficacia de un
determinado tratamiento, mientras que cuando se
incluían tanto los ensayos clínicos publicados y no
publicados, no se encontraba mostraba una ventaja significativa sobre el tratamiento de comparación.
Este sesgo es aún más acusado si consideramos la
existencia de una fuente de financiación. Davidson
evaluó 107 estudios publicados y encontró que las
terapéutica novedosas eran apoyadas en un 89% de
los estudios financiados por la industria farmacéutica
y en el 61% de los estudios con financiación general.
Davidson concluyó que «aunque parece improbable
que haya conspiraciones para ocultar los resultados
desfavorables de los ensayos clínicos, lo que sí parece ocurrir es una exclusión de facto de los resultados
negativos». Esta realidad es la causa de que en la mayoría de revistas y congresos sea imperativo declarar
cualquier interés comercial del equipo investigador.
Otro mecanismo de prevención de este tipo de sesgo
es la generalizacion de bases de datos de contemplan
todos los ensayos clínicos que que se están realizando o se han realizado acerca de un determinado tratamiento. Los comités de ética clínica y las Comisiones de Investigación deben velar también para que
no se produzca una subnotificación de los estudios
realizados y los editores y evaluadores de las revistas
deberían publicar atendiendo a la calidad y el interés
de los trabajos y no a la dirección de sus resultados.
– Sesgo cronológico: Se da cuando utilizamos
controles históricos como grupo a comparar.
Ejemplo 25.9
S i comparáramos el tiempo quirúrgico de
un cirujano que opera membranas epiretinianas con sus tiempos quirúrgicos de
operaciones realizadas hace unos años,
podría parecer que ahora opera mucho
más rápido debido a su pericia, sin tomar en cuenta las mejoras en la técnica
quirúrgica (uso de vitrectomía 23g, por
ejemplo).
– Sesgo en las pruebas de cribado: En el sesgo de
adelanto diagnóstico (lead time bias) la supervivencia puede parecer que aumenta como consecuencia
de un diagnóstico y tratamiento precoz, pero en realidad es debido a un periodo de latencia largo desde
el inicio de la enfermedad hasta la aparición de los
síntomas clínicos (periodo ventana), tiempo que no
es computado en el grupo de pacientes que no fueron sometidos a la prueba de cribado . En el sesgo de
duración de la enfermedad (length bias), el período
ventana es muy corto debido a que la enfermedad es
muy agresiva y por tanto la posibilidad de detección
por despistaje es baja. En cambio, los casos crónicos
y menos agresivos son más fáciles de diagnosticar en
campañas de screening y es entonces cuando podría
parecer que el diagnóstico precoz mejora el pronóstico cuando en realidad se detectan los casos menos
agresivos.
e) ¿Cómo controlamos los sesgos?
Los sesgos únicamente pueden ser controlados
mediante un diseño epidemiológico adecuado. La
existencia de medidas subjetivas facilitan que exista una alta variabilidad entre los encargados de calificarlas. Una manera de reducir el sesgo es buscar
modelos de estratificación validados (p ej el uso del
flaremeter para medir la cantidad de proteínas o la
cámara de scheimpflug para medir la densitometría
del cristamino es mejor que la evaluacion subjetiva de la presencia de proteínas en cámara anterior
o del grado de opacidad de una catarata). Cuando
se hacen estudios retrospectivos basados en historias
clínicas, siempre que sea posible es mejor cotejar los
197
25. Los virus de la investigación: confusión y sesgos
datos de varias fuentes y no sólo de una (p ej, en
estudios sobre técnicas quirúrgicas, sacar los datos
de la historia clínica y de la hoja quirúrgica). Como
veremos en los tipos de estudio, es básico hacer protocolos estandarizados para disminuir la variabilidad
inter-observador utilizando técnicas de enmascaramiento o de ciego.
3. LA CONFUSIÓN
a) Concepto
El segundo gran virus de la investigación se produce cuando existe una distorsión en la estimación
del efecto debido a la presencia de una tercera variable invisible en el estudio, que llamamos factor de
confusión.
La confusión se trata simplemente de una mezcla
de efectos en la que una variable basal se distribuye
homogéneamente entre los grupos de estudio.
Ejemplo 25.10
ueremos comprobar si el consumo de
Q
alcohol influye en la aparición de neuropatía óptica. Pero las personas que consumen más alcohol tienden presentar
con más frecuencia déficits nutricionales,
que también se relacionan con la presencia de neuropatía. La tercera variable o
factor de confusión aquí sería el déficit
nutricional. Podríamos inferir erróneamente que el alcohol es el responsable
cuando parte o la totalidad del mismo
puede ser debido a los déficits nutricionales (fig. 2).
b) Identificación
Para que una variable actúe como factor de confusión debe cumplir tres condiciones:
Fig. 2.
1. Estar asociada con el efecto de forma independiente del factor de riesgo. Es decir, debe ser un indicador de riesgo para la enfermedad, incluso entre
los sujetos no expuestos al factor que estudiamos. En
nuestro ejemplo, el déficit nutricional es un factor de
riesgo para la aparición de neuropatía independientemente de que un individuo beba o no.
2. Estar asociada con el factor de riesgo independientemente del efecto. Incluso entre los individuos
que no padecen la enfermedad, el factor de confusión debe estar asociado a la exposición que estamos
estudiando. Los déficits nutricionales se asocian al
alcoholismo independientemente de que tengan o
no neuropatía.
3. No debe ser un eslabón intermedio entre el factor de riesgo y la enfermedad. Este requisito requiere
tener información sobre la fisiopatología del proceso
que estamos estudiando. Parece lógico pensar que el
alcohol no provoca neuropatía a base de alimentarse
de manera deficiente.
La confusión puede ir tanto en sentido de exagerar un efecto existente (incluso simular uno inexistente) como ocultar un efecto que realmente existe.
c) ¿Cómo evitamos la confusión?
Podemos controlar la confusión en la fase de diseño, de análisis o en ambos.
1. En la etapa de diseño del estudio: podemos
mantener unas condiciones prefijadas idénticas en
todos los grupos del estudio. También podemos admitir sólo a aquellos sujetos que no posean el factor
de confusión (restricción). Una modalidad de restricción es el emparejamiento o «matching» que consis-
198
te en que a cada sujeto del grupo índice (expuestos
o casos, según el diseño elegido) se le empareja con
uno o más individuos del grupo de referencia (no expuestos o controles, respectivamente) que se encuentran en la misma categoría del factor de confusión. En
los estudios experimentales puros podemos realizar
una asignación aleatoria.
2. En la etapa de análisis de estudio: se debe estratificar por el posible factor de confusión. Estratificar
consiste en dividir los datos globales en dos grupos, o
sea que en vez de tener una sola tabla, se hacen dos
tablas según los niveles de factor de confusión. Aquí
haríamos una tabla con los individuos que presentan déficit nutricional o otra con los que no, siempre
procurando que el tamaño de ambas tablas sea parecido. Si cuando se estratifica por el factor de confusión, la asociación entre el factor de riesgo y el efecto
resulta ser igual en cada uno de los distintos estratos
o grupos y diferente a la asociación encontrada en
el análisis global, entonces se comprueba que existe
confusión. Se acepta el valor estratificado.
También se puede utilizar el análisis multivariante en estadística.
4. VALIDEZ EXTERNA E INTERNA DE UN
ESTUDIO
Las definiciones de validez interna y externa se
explicaron en el capítulo 6 y tienen una relación
importante con el tema que nos ocupa. El equilibrio
para poseer una validez interna y externa altas en un
estudio es difícil. P ej, estudios con mucha validez
interna (muy bien diseñados, en condiciones ideales,
selección de los pacientes exquisita, muchos criterios
25. Los virus de la investigación: confusión y sesgos
de exclusión…) pueden ser difíciles de generalizar
a la población general (baja validez externa) y viceversa.
El estudio ideal es aquel que randomiza pacientes, ciega su selección y análisis de los datos (alta
validez interna) pero mantiene criterios de exclusión
mínimos (alta validez externa). Conocer además los
sesgos y la confusión en la investigación permite a
los científicos publicar y a los lectores revisar la literatura de una manera crítica e independiente. Investigar es sortear un campo minado de sesgos, debemos aprender a evitarlos y a corregirlos. Un buen
investigador clínico es aquél que busca ayuda metodológica incluso antes de empezar un estudio y sólo
analiza los datos de cuya validez está convencido.
Entender los errores en investigación y cómo éstos la
afectan es imprescindible para la práctica de la medicina basada en la evidencia.
BIBLIOGRAFÍA
1.Arignón Pallás JM, Jiménez Villa J. Métodos de investigación clínica y epidemiológica. 3ª ed. Madrid: Elsevier;
2004.
2.Hernández-Ávila M, Garrido F, Salazar-Martínez E. Sesgos
en estudios epidemiológicos. Salud pública de México
2000; 42(5): 438-446.
3.Pannucci CJ, Wilkins EG. Identifying and Avoiding Bias in
Research. Plast Reconstr Surg. 2010 August ; 126(2): 619625.
4.Sicca GT. Bias in research studies. Radiology 2006; 238(3):
780-789.
5.Simes RJ. The case for international registry of clinical
trials. J Clin Oncol 1986; 4: 1529-1541.
6.Davidson PA. Source of funding and outcome of clinical
trials. J Gen Intern Med 1989; 1: 155-158.