Lectura Crítica de un artículo Científico

LECTURA CRíTICA DE UN ARTICULO CIENTIFICO
Eduardo B. ARRIBALZAGA * MAAC MCSE
* Publicado en Rev Argent Cirug, 2004; 87(1-2):45-49.
Introducción
Desde la incorporación de las computadoras e INTERNET , con incesante y creciente
incorporación al mundo científico, los recursos de nueva información fueron
incrementándose hasta llegar a la aparición de casi 5000 artículos diarios, muchos de
ellos prescindibles y descartables.
En la tarea asistencial, por ende, se producen “huecos” entre los conocimientos clásicos
y aquellos de reciente y cotidiana aparición: son esos vacíos de información los que
originan nuevos interrogantes, algunos muy generales o por el contrario, más
específicos que responden a una pregunta muy puntual.
Para las preguntas amplias o generales las respuestas se obtendran mejor en revisiones
no sistemáticas del tema en cuestión; si la pregunta no puede ser respondida, el mejor
lugar a recurrir es un clásico libro de texto en papel que, si bien al momento de editarse
puede estar ya obsoleto en buena parte de su contenido, nos puede servir como una
fuente de referencias bibliográficas básicas sobre el tema analizado. En el caso de
interrogantes específicos, es mejor la búsqueda en ensayos clínicos controlados o
revisiones sistemáticas que se encuentran en bases de datos, generalmente actualizadas
periódicamente con nuevo conocimiento.
Problemas a evitar son exceso de selección de los casos que provoquen sesgos
evidentes, diseños complejos que no mejoren la calidad de vida y/o no sean útiles para
la práctica asistencial, estudios imperfectos o insuficientes que no aseguren resultados
reales, válidos y principalmente de valor, datos mal presentados o analizados en la
sección material y métodos que no generan nueva información.
Independientemente del lugar donde se encuentre la nueva información, antes de tomar
la decisión de cambiar su práctica profesional como consecuencia de la lectura de una
publicación de un trabajo de investigación, el médico lector debe considerar seis
interrogantes esenciales para fundamentar ese cambio; señalarlos es objetivo de este
breve ensayo.
Pregunta 1: ¿El estudio es original?
Un primer punto a develar es conocer el significado de original. Según DRAE 7, es
original aquella obra científica, artística o literaria que es producida por el autor o
autores sin ser copia, imitación o traducción de otra. Pero tambien existe otra acepción
que dice de aquello distinto de lo conocido con cierto carácter de novedad, fruto de la
creación espontánea. Para los editores y revisores de revistas científicas, sin embargo,
original es aquello que no se publicó anteriormente y nada más; esto es, finalmente, una
regla absoluta.
En una mínima proporción de las investigaciones médicas hay un fundamento
completamente diferente y paralelamente también, una pequeña proporción repite los
pasos de otros investigadores. La gran mayoría de los trabajos mostraría a lo sumo, que
una hipótesis particular es más o menos correcta antes de que le agregáramos una pieza
más a un rompecabezas más amplio. En definitiva, no agregaríamos nada nuevo de
valor.
Por lo tanto, hacer un estudio sin originalidad puede ser perfectamente válido y así lo es
la totalidad de los metaanálisis que dependen de la literatura con más de un estudio
destinado a contestar diversos aspectos de una pregunta. Entonces lo práctico acerca de
un supuesto tema nuevo de investigación no es "¿Ha hecho alguien un estudio similar?"
sino " ¿esta nueva investigación agrega algo a la literatura existente?".
Por ejemplo:
· ¿Este estudio es más grande y más prolongado?, o, ¿es más importante que algunos
trabajos previos?
· ¿La metodología de este estudio es más rigurosa? (en particular, ¿dirige alguna crítica
metodológica específica hacia los estudios previos?)
· Los resultados ¿podrán agregarse significativamente a un metaanálisis de estudios
previos?
· La población estudiada ¿es diferente en algún aspecto (se tuvo en cuenta edad, sexo y
grupos étnicos o alguna otra característica, diferentes a los estudios anteriores?)
· ¿El tema clínico elegido tiene suficiente importancia y genera suficiente duda en la
toma de decisiones clave, para hacer de la nueva evidencia la necesaria, deseable y
recomendable para así cambiar la práctica asistencial aun cuando, desde del punto de
vista científico, no sea estrictamente necesaria?
Pregunta 2 : ¿En quiénes se hizo la investigación?
Antes de asumir que los resultados de un trabajo son aplicables a la práctica cotidiana,
conteste:
-¿Cómo se reclutaron los sujetos? Fueron elegidos al azar o mediante cuestionarios y/o
entrevistas en consultas de primera vez o de seguimiento terapéutico?
- ¿Quién fue incluido en el estudio? Muchos trabajos realizados en Inglaterra y EE UU
excluyen sistemáticamente a los pacientes con enfermedades coexistentes, los que no
hablan inglés, los que toman ciertos medicamentos y los analfabetos. Este enfoque
puede ser científicamente puro, pero dado que los resultados del trabajo pueden ser
utilizados como una guía práctica para un amplio grupo de pacientes no es
necesariamente lógico. Los resultados de estudios de fármacos nuevos en voluntarios
varones sanos y jóvenes evidentemente no serán aplicables al promedio de mujeres
ancianas.
· ¿Quién fue excluido del estudio? Por ejemplo, un estudio controlado aleatorizado
puede estar limitado a enfermos con formas clínicas moderadas o graves que provoque
conclusiones falsas acerca de los tratamiento a aplicar. Esto tiene implicancias prácticas
muy importantes cuando los trabajos clínicos desarrollados en los pacientes
ambulatorios de un hospital son usados para determinar la "mejor práctica" en la
atención primaria, donde el espectro de una enfermedad determinada es generalmente
más leve.
· ¿Los sujetos fueron estudiados en circunstancias de "vida real"? Por ejemplo, ¿los
pacientes fueron internados en el hospital solamente para observación? ¿Recibieron una
explicación suficiente y detallada de los beneficios potenciales de la intervención
(médica y/o quirúrgica)? ¿Tenían acceso al investigador que participaba en el estudio? ¿
Hubo un laboratorio auspiciante de la investigación que proveyó un equipamiento
nuevo que potencialmente luego no estaría al alcance de todos los médicos? Estos
factores no necesariamente invalidan el estudio en sí mismo, pero pueden crear dudas
sobre la aplicación posible de sus conclusiones en la práctica asistencial diaria.
Pregunta 3 : ¿El diseño del estudio fue apropiado?
Aunque la terminología del diseño del trabajo de investigación puede ser complicada,
mucho de lo que se denomina "evaluación importante" es puro sentido común.
Usualmente se debe comenzar con dos preguntas básicas:
· ¿Qué intervención específica u otra maniobra se han considerado y con qué se ha
comparado? Es tentador tomar al pie de la letra las conceptos publicados pero se debe
recordar que frecuentemente los autores no dicen en forma exacta aquello que realmente
hicieron (en general, en forma inconsciente más que deliberada, y muchas veces por
ignorancia) y sobreestiman su originalidad e importancia.
· ¿Cuál es el resultado que se evaluó y cómo se hizo? Si se afirma que con una nueva
técnica quirúrgica, no lo suficientemente probada y que emplea determinadas suturas
mecánicas, se obtienen mejores resultados, se tendría que medir la eficacia de la citada
nueva sutura y considerar la expectativa de aparición de complicaciones y quizá, cómo
sería la calidad de vida. No se estaría lo suficientemente interesado en la rapidez con
que se efectúan las suturas, tal como lo promueven los fabricantes de los mencionados
aparatos de suturas.
La evaluación de los posibles efectos - sintomáticos (dolor), funcionales (dehiscencia de
anastomosis o limitación de motilidad), psicológicos (ansiedad), sociales
(inconveniencia) o incluso económicos (el alto costo) - de una intervención tiene aún
muchos problemas. Siempre hay que buscar la evidencia en el trabajo en el cual la
medición del resultado ha sido objetivamente validada, es decir, que alguien ha
confirmado que la escala de ansiedad, dolor, etc., usada en la evaluación de este estudio
es útil y los cambios en la forma de medir los resultados reflejan correctamente el
estado del paciente. Recordar que lo importante a los ojos de un médico puede no tener
tanto valor para el paciente, y viceversa.
Pregunta 4 : ¿Se evitó o se minimizó el sesgo o preconcepto?
El sesgo (en inglés, bias) sistemático se define como cualquier influencia errónea sobre
las conclusiones acerca de los grupos que distorsiona las comparaciones.
Si el diseño del estudio es un ensayo clínico controlado aleatorizado (randomizado:
distribuídos los participantes seleccionados en cada grupo a comparar exclusivamente
por el azar), un ensayo comparativo no aleatorizado o un estudio con casos control, el
objetivo debe ser comparar grupos que sean tan similares como sea posible, excepto la
diferencia particular a examinar; se deben recibir las mismas explicaciones, tener el
mismo contacto con los profesionales de la salud, o ser evaluados durante el mismo
período, con las mismas formas de medir el resultado.
Los diversos diseños realizados para diferentes etapas del trabajo reducen el sesgo
sistemático:
En ensayos clínicos controlados y aleatorizados
En este tipo de trabajo, el sesgo sistemático teoricamente se evita con una selección de
una muestra de participantes de una población particular y asignándolos al azar a grupos
diferentes.
En estudios clínicos controlados no aleatorizados
Sorprende conocer cuántos son los profesionales que creen que este tipo de trabajo no
aleatorizado es equivalente a uno que sí lo es. En líneas generales, si el trabajo no es
aleatorizado se debe usar el sentido común para decidir si las diferencias basales por la
intervención entre el grupo experimental y el grupo control son tan grandes como para
invalidar cualquier diferencia. Para ello se debe utilizar las pruebas de ciego-doble ciego
para evitar el más obvio de los sesgos, el de seleccionar excesivamente a los
participantes .
En estudios de cohorte (caso-control)
La selección de un grupo control comparable es una de las decisiones más difíciles que
enfrentan los autores de un estudio observacional. Pocos estudios de cohorte, si es que
existen, hicieron una correcta identificación de dos grupos de sujetos con edades,
proporción de sexos, nivel socioeconómico, presencia de enfermedades coexistentes,
etc, con la única diferencia de haber estado expuesto al agente estudiado. En la práctica,
muchos de los "controles" en los estudios de cohorte se hacen en la etapa del análisis,
cuando se hace el ajuste estadístico complejo de las diferencias de las variables clave
con los datos basales. A menos que ésto se haga en forma adecuada, las pruebas
estadísticas de probabilidad e intervalos de confianza están peligrosamente sesgadas.
Este problema se ilustra a través de diversos estudios de cohorte sobre los riesgos y
beneficios de una determinada técnica quirúrgica donde se han excluído expresamente
los enfermos que algún grupo médico-quirúrgico los descartó ya fuera por las
condiciones físicas o la complejidad y/o riesgo de la operación. Ejemplo es considerar a
los enfermos de cáncer pulmonar primario identificados inicialmente como irresecables,
pero que algún grupo quirúrgico igualmente operó y sin embargo viven muchos años,
sin complicaciones ni secuelas.
En estudios con casos control
En estos estudios (en los cuales se analizan retrospectivamente los antecedentes de los
individuos con o sin una enfermedad particular con el fin de identificar eventos
causantes alternativos) el proceso que es más proclive al sesgo no es la evaluación del
resultado sino el diagnóstico del "no caso" y decidir cuándo el individuo se convierte en
un caso.
Un buen ejemplo de esto ocurrió hace unos años cuando se entabló una acción legal
contra los fabricantes de la vacuna contra la tos ferina a la cual se atribuyó el daño
neurológico
aparecido en una cantidad de lactantes. El juez sostuvo que haber mal clasificado como
"casos" a tres niños con daño cerebral en vez de incluirlos en el grupo control, condujo
a la sobreestimación del peligro atribuido a la vacuna contra la tos ferina 8.
Pregunta 5: qué es la evaluació n ciega?
Para determinar un grupo control sin sesgos es necesario no conocer previamente cuáles
son las características que diferencian al grupo experimental del grupo control. Es tal
vez, muy difícil de evitar, pero ésa es la principal base de la distribución de los
integrantes de cada grupo en forma aleatorizada: que no se sepa cuál es aquello que
determina la existencia del grupo control.
Pregunta 6 : ¿Se establecieron las cuestiones estadísticas en forma preliminar?
Tres son los números de importancia que pueden encontrarse en la sección métodos de
un trabajo: el tamaño de la muestra, la duración del seguimiento y el haber completado
el seguimiento.
Tamaño de la muestra
Según las palabras del especialista en estadística Douglas Altman, un trabajo debe ser lo
suficientemente grande como para tener elevadas posibilidades de detección (
representada por la significación estadística, el famoso nivel p )de un efecto evaluable
en el caso de que exista y, entonces, ser razonablemente seguro en cuanto a que no
existen beneficios si no son encontrados en el trabajo. Para calcular el tamaño de la
muestra, se debe decidir acerca de dos puntos:
- el primero, cuál es el nivel de la diferencia entre los dos grupos que constituiría un
efecto clínicamente significativo. Nótese que no es lo mismo que un efecto
estadísticamente
significativo. Se puede administrar un fármaco nuevo que desciende la presión arterial
en 10 mm de Hg, y el efecto sería un descenso significativo de las probabilidades de
desarrollar un accidente cerebrovascular. Sin embargo, en algunos pacientes, esto puede
corresponder a una reducción clínica del riesgo de solamente 1 en 850 pacientes añouna diferencia que muchos pacientes clasificarían no peor al esfuerzo de tomar los
comprimidos 7.
- segundo, se debe decidir inicialmente el significado y la desviación estándar de la
variable del resultado principal. Más tarde, mediante el uso del nomograma estadístico y
antes de que comience el trabajo, los autores pueden comenzar a calcular el tamaño de
la muestra que necesitarán relacionado con la probabilidad pequeña, moderada o grande
de detectar una diferencia verdadera entre los grupos-el poder del estudio. Es común
que los estudios estipulen un poder entre 80% y 90%. Los estudios con menor poder son
dudosos, en general porque los autores los consideraron más concluyentes al reclutar los
sujetos. Tales estudios típicamente conducen a un error de Tipo II o ß(concluir
erróneamente que una intervención no tiene efecto). Por el contrario, el error de tipo I o
a es la conclusión de que una diferencia es significativa cuando el hecho se debe a un
error de muestreo.
Duración del seguimiento
Aun con un tamaño adecuado de la muestra, un estudio debe continuar un tiempo lo
suficientemente prolongado como para que el efecto de la intervención se vea reflejado
en la variable a evaluar, el cual puede ser de 48 horas para un analgésico posoperatorio
pero de décadas para evaluar el resultado de la suplementación nutricional en la edad
escolar.
Finalización del seguimiento
La posibilidad de que los sujetos que abandonan el estudio no hayan observado
correctamente las indicaciones de la medicación, faltado a los controles y
experimentado más efectos adversos que los que no abandonaron el estudio es mayor.
Las razones del abandono son:
· Inclusión incorrecta del paciente en el trabajo (el investigador comprueba durante el
desarrollo que el paciente no cumple con los criterios de inclusión)
· Se sospecha que el fármaco y/o técnica quirúrgica investigada produjo una reacción
adversa. Nótese que la tasa de "reacciones adversas" en el grupo de la intervención debe
siempre compararse con los del grupo control.
· Pérdida de la motivación del paciente
· Excluido por el médico por razones clínicas (enfermedad concurrente o embarazo)
· Pérdida del seguimiento
· Muerte
Ignorar algún paciente que haya abandonado el estudio clínico introducirá un sesgo en
los resultados, generalmente en favor de la intervención. Por lo tanto, es habitual
analizar los resultados de los estudios comparativos con la finalidad de controlar el
fundamento. Es decir, que todos los datos de los pacientes inicialmente adjudicados a la
intervención del estudio (-incluyendo aquellos que abandonaron antes de finalizado el
trabajo, los que no tomaban la medicación y aun los que luego recibieron la
intervención control por cualquier razón-) debe ser analizado junto con los datos de los
enfermos que siguieron todo el protocolo. Por el contrario, los abandonos del placebo
deben ser analizados con aquellos que verdaderamente tomaron el placebo.
En pocas situaciones el análisis de intención de tratar no se usa. Lo más común es el
análisis de eficacia que explica los efectos de la intervención misma, y por lo tanto del
tratamiento realmente recibido. Pero aun si los sujetos en un análisis de eficacia son
parte de un trabajo controlado aleatorizado, para el propósito del análisis ellos
efectivamente constituyen un estudio de cohorte.
Reflexiones finales
En ocasiones el autor de un trabajo no transmite el mensaje por no saber hacerlo y no
identificar el real objetivo del mismo: transmitir la verdad hallada a través de la
observación de pacientes y/o animales de experimentación.
Por consiguiente, el lector de un trabajo publicado debe preguntarse acerca de la
originalidad e interés de los resultados logrados o ser tan obvios debidos a una
investigación anacrónica, con escasa implicancia clínica o tener sólo significación
estadística. La existencia de deficiencias de diseño o con sesgos visibles, como así
tambien una redacción confusa, con abuso de jerga y/o abreviaturas o tablas, no
contribuyen a una fácil difusión de los conocimientos surgidos. En algunas
oportunidades se advertirá el mecanismo de
autopromoción de los autores y revelar el valor del artículo: ser un elemento más del
“vedettismo autoral” para estar en boca de todos 2.
Entonces conviene reconocer en los artículos publicados la originalidad y el interés
reflejados, principalmente, en las secciones Introducción y Discusión. La Introducción
debe presentar en forma clara y precisa la naturaleza del problema y el objetivo de cómo
resolverlo. En la Discusión, hacer hincapié en los aspectos nuevos, la importancia de los
resultados y las conclusiones que surjen de ellos, mostrando su relación con otros
trabajos ya publicados. Siempre establecer el nexo entre las conclusiones con los
resultados y el objetivo inicial y proponer, en forma humilde, nuevas hipótesis sólo si
existe justificación suficiente para ello.
Recordar que en tiempos de la Medicina Basada en la Evidencia 3,4,9 , la facultad de
hacer descubrimientos afortunados por accidente o a encontrar cosas interesantes o
valiosas por casualidad 1 a veces permiten que un artículo, en apariencia de escasa
jerarquía, logre un alto impacto de citación por otros autores/investigadores y establece
un valor insoslayable por su interés 5 en solucionar un problema clínico actual.
Referencias bibliográficas
1. Alonso HO. Serendipity en medicina clínica (Editorial). Medicina (Buenos Aires),
2000;61:369-372.
2. Angell M. Publish or perish: a proposal. Ann Intern Med, 1986;104:261-2.
3. Arribalzaga EB y Mihura ME. Medicina basada en evidencia: moda, mito o
metodologíamoderna? Rev Argent Cirug, 2001;81(1-2):18-29.
4. Augustovski F. Información digital. Una brújula con los recursos más útiles.
Evidencia, 2000;3(4)124-126.
5. Barcat JA. Original e interesante. Rev Med Rosario, 1992;60(1):42-43.
6. Bero LA, Rennie D. Influences on the quality of published drug studies. Int J Health
Technology Assessment 1996;12:209-37.
7. DRAE. Diccionario de la Lengua Española, Real Academia Española, 23° Edición,
Madrid, 2003.
8. Greenhalgh T. Assessing the methodological quality of publisher papers. BMJ,
1997;315:305-308.
9. Sackett DL, Richardson WS, Rosenberg W et al. Evidence-based Medicine. How to
practice & teach EBM. Churchill Livingstone, New York, 1997.