Lectura Crítica de un artículo Científico
Anuncio
LECTURA CRíTICA DE UN ARTICULO CIENTIFICO Eduardo B. ARRIBALZAGA * MAAC MCSE * Publicado en Rev Argent Cirug, 2004; 87(1-2):45-49. Introducción Desde la incorporación de las computadoras e INTERNET , con incesante y creciente incorporación al mundo científico, los recursos de nueva información fueron incrementándose hasta llegar a la aparición de casi 5000 artículos diarios, muchos de ellos prescindibles y descartables. En la tarea asistencial, por ende, se producen “huecos” entre los conocimientos clásicos y aquellos de reciente y cotidiana aparición: son esos vacíos de información los que originan nuevos interrogantes, algunos muy generales o por el contrario, más específicos que responden a una pregunta muy puntual. Para las preguntas amplias o generales las respuestas se obtendran mejor en revisiones no sistemáticas del tema en cuestión; si la pregunta no puede ser respondida, el mejor lugar a recurrir es un clásico libro de texto en papel que, si bien al momento de editarse puede estar ya obsoleto en buena parte de su contenido, nos puede servir como una fuente de referencias bibliográficas básicas sobre el tema analizado. En el caso de interrogantes específicos, es mejor la búsqueda en ensayos clínicos controlados o revisiones sistemáticas que se encuentran en bases de datos, generalmente actualizadas periódicamente con nuevo conocimiento. Problemas a evitar son exceso de selección de los casos que provoquen sesgos evidentes, diseños complejos que no mejoren la calidad de vida y/o no sean útiles para la práctica asistencial, estudios imperfectos o insuficientes que no aseguren resultados reales, válidos y principalmente de valor, datos mal presentados o analizados en la sección material y métodos que no generan nueva información. Independientemente del lugar donde se encuentre la nueva información, antes de tomar la decisión de cambiar su práctica profesional como consecuencia de la lectura de una publicación de un trabajo de investigación, el médico lector debe considerar seis interrogantes esenciales para fundamentar ese cambio; señalarlos es objetivo de este breve ensayo. Pregunta 1: ¿El estudio es original? Un primer punto a develar es conocer el significado de original. Según DRAE 7, es original aquella obra científica, artística o literaria que es producida por el autor o autores sin ser copia, imitación o traducción de otra. Pero tambien existe otra acepción que dice de aquello distinto de lo conocido con cierto carácter de novedad, fruto de la creación espontánea. Para los editores y revisores de revistas científicas, sin embargo, original es aquello que no se publicó anteriormente y nada más; esto es, finalmente, una regla absoluta. En una mínima proporción de las investigaciones médicas hay un fundamento completamente diferente y paralelamente también, una pequeña proporción repite los pasos de otros investigadores. La gran mayoría de los trabajos mostraría a lo sumo, que una hipótesis particular es más o menos correcta antes de que le agregáramos una pieza más a un rompecabezas más amplio. En definitiva, no agregaríamos nada nuevo de valor. Por lo tanto, hacer un estudio sin originalidad puede ser perfectamente válido y así lo es la totalidad de los metaanálisis que dependen de la literatura con más de un estudio destinado a contestar diversos aspectos de una pregunta. Entonces lo práctico acerca de un supuesto tema nuevo de investigación no es "¿Ha hecho alguien un estudio similar?" sino " ¿esta nueva investigación agrega algo a la literatura existente?". Por ejemplo: · ¿Este estudio es más grande y más prolongado?, o, ¿es más importante que algunos trabajos previos? · ¿La metodología de este estudio es más rigurosa? (en particular, ¿dirige alguna crítica metodológica específica hacia los estudios previos?) · Los resultados ¿podrán agregarse significativamente a un metaanálisis de estudios previos? · La población estudiada ¿es diferente en algún aspecto (se tuvo en cuenta edad, sexo y grupos étnicos o alguna otra característica, diferentes a los estudios anteriores?) · ¿El tema clínico elegido tiene suficiente importancia y genera suficiente duda en la toma de decisiones clave, para hacer de la nueva evidencia la necesaria, deseable y recomendable para así cambiar la práctica asistencial aun cuando, desde del punto de vista científico, no sea estrictamente necesaria? Pregunta 2 : ¿En quiénes se hizo la investigación? Antes de asumir que los resultados de un trabajo son aplicables a la práctica cotidiana, conteste: -¿Cómo se reclutaron los sujetos? Fueron elegidos al azar o mediante cuestionarios y/o entrevistas en consultas de primera vez o de seguimiento terapéutico? - ¿Quién fue incluido en el estudio? Muchos trabajos realizados en Inglaterra y EE UU excluyen sistemáticamente a los pacientes con enfermedades coexistentes, los que no hablan inglés, los que toman ciertos medicamentos y los analfabetos. Este enfoque puede ser científicamente puro, pero dado que los resultados del trabajo pueden ser utilizados como una guía práctica para un amplio grupo de pacientes no es necesariamente lógico. Los resultados de estudios de fármacos nuevos en voluntarios varones sanos y jóvenes evidentemente no serán aplicables al promedio de mujeres ancianas. · ¿Quién fue excluido del estudio? Por ejemplo, un estudio controlado aleatorizado puede estar limitado a enfermos con formas clínicas moderadas o graves que provoque conclusiones falsas acerca de los tratamiento a aplicar. Esto tiene implicancias prácticas muy importantes cuando los trabajos clínicos desarrollados en los pacientes ambulatorios de un hospital son usados para determinar la "mejor práctica" en la atención primaria, donde el espectro de una enfermedad determinada es generalmente más leve. · ¿Los sujetos fueron estudiados en circunstancias de "vida real"? Por ejemplo, ¿los pacientes fueron internados en el hospital solamente para observación? ¿Recibieron una explicación suficiente y detallada de los beneficios potenciales de la intervención (médica y/o quirúrgica)? ¿Tenían acceso al investigador que participaba en el estudio? ¿ Hubo un laboratorio auspiciante de la investigación que proveyó un equipamiento nuevo que potencialmente luego no estaría al alcance de todos los médicos? Estos factores no necesariamente invalidan el estudio en sí mismo, pero pueden crear dudas sobre la aplicación posible de sus conclusiones en la práctica asistencial diaria. Pregunta 3 : ¿El diseño del estudio fue apropiado? Aunque la terminología del diseño del trabajo de investigación puede ser complicada, mucho de lo que se denomina "evaluación importante" es puro sentido común. Usualmente se debe comenzar con dos preguntas básicas: · ¿Qué intervención específica u otra maniobra se han considerado y con qué se ha comparado? Es tentador tomar al pie de la letra las conceptos publicados pero se debe recordar que frecuentemente los autores no dicen en forma exacta aquello que realmente hicieron (en general, en forma inconsciente más que deliberada, y muchas veces por ignorancia) y sobreestiman su originalidad e importancia. · ¿Cuál es el resultado que se evaluó y cómo se hizo? Si se afirma que con una nueva técnica quirúrgica, no lo suficientemente probada y que emplea determinadas suturas mecánicas, se obtienen mejores resultados, se tendría que medir la eficacia de la citada nueva sutura y considerar la expectativa de aparición de complicaciones y quizá, cómo sería la calidad de vida. No se estaría lo suficientemente interesado en la rapidez con que se efectúan las suturas, tal como lo promueven los fabricantes de los mencionados aparatos de suturas. La evaluación de los posibles efectos - sintomáticos (dolor), funcionales (dehiscencia de anastomosis o limitación de motilidad), psicológicos (ansiedad), sociales (inconveniencia) o incluso económicos (el alto costo) - de una intervención tiene aún muchos problemas. Siempre hay que buscar la evidencia en el trabajo en el cual la medición del resultado ha sido objetivamente validada, es decir, que alguien ha confirmado que la escala de ansiedad, dolor, etc., usada en la evaluación de este estudio es útil y los cambios en la forma de medir los resultados reflejan correctamente el estado del paciente. Recordar que lo importante a los ojos de un médico puede no tener tanto valor para el paciente, y viceversa. Pregunta 4 : ¿Se evitó o se minimizó el sesgo o preconcepto? El sesgo (en inglés, bias) sistemático se define como cualquier influencia errónea sobre las conclusiones acerca de los grupos que distorsiona las comparaciones. Si el diseño del estudio es un ensayo clínico controlado aleatorizado (randomizado: distribuídos los participantes seleccionados en cada grupo a comparar exclusivamente por el azar), un ensayo comparativo no aleatorizado o un estudio con casos control, el objetivo debe ser comparar grupos que sean tan similares como sea posible, excepto la diferencia particular a examinar; se deben recibir las mismas explicaciones, tener el mismo contacto con los profesionales de la salud, o ser evaluados durante el mismo período, con las mismas formas de medir el resultado. Los diversos diseños realizados para diferentes etapas del trabajo reducen el sesgo sistemático: En ensayos clínicos controlados y aleatorizados En este tipo de trabajo, el sesgo sistemático teoricamente se evita con una selección de una muestra de participantes de una población particular y asignándolos al azar a grupos diferentes. En estudios clínicos controlados no aleatorizados Sorprende conocer cuántos son los profesionales que creen que este tipo de trabajo no aleatorizado es equivalente a uno que sí lo es. En líneas generales, si el trabajo no es aleatorizado se debe usar el sentido común para decidir si las diferencias basales por la intervención entre el grupo experimental y el grupo control son tan grandes como para invalidar cualquier diferencia. Para ello se debe utilizar las pruebas de ciego-doble ciego para evitar el más obvio de los sesgos, el de seleccionar excesivamente a los participantes . En estudios de cohorte (caso-control) La selección de un grupo control comparable es una de las decisiones más difíciles que enfrentan los autores de un estudio observacional. Pocos estudios de cohorte, si es que existen, hicieron una correcta identificación de dos grupos de sujetos con edades, proporción de sexos, nivel socioeconómico, presencia de enfermedades coexistentes, etc, con la única diferencia de haber estado expuesto al agente estudiado. En la práctica, muchos de los "controles" en los estudios de cohorte se hacen en la etapa del análisis, cuando se hace el ajuste estadístico complejo de las diferencias de las variables clave con los datos basales. A menos que ésto se haga en forma adecuada, las pruebas estadísticas de probabilidad e intervalos de confianza están peligrosamente sesgadas. Este problema se ilustra a través de diversos estudios de cohorte sobre los riesgos y beneficios de una determinada técnica quirúrgica donde se han excluído expresamente los enfermos que algún grupo médico-quirúrgico los descartó ya fuera por las condiciones físicas o la complejidad y/o riesgo de la operación. Ejemplo es considerar a los enfermos de cáncer pulmonar primario identificados inicialmente como irresecables, pero que algún grupo quirúrgico igualmente operó y sin embargo viven muchos años, sin complicaciones ni secuelas. En estudios con casos control En estos estudios (en los cuales se analizan retrospectivamente los antecedentes de los individuos con o sin una enfermedad particular con el fin de identificar eventos causantes alternativos) el proceso que es más proclive al sesgo no es la evaluación del resultado sino el diagnóstico del "no caso" y decidir cuándo el individuo se convierte en un caso. Un buen ejemplo de esto ocurrió hace unos años cuando se entabló una acción legal contra los fabricantes de la vacuna contra la tos ferina a la cual se atribuyó el daño neurológico aparecido en una cantidad de lactantes. El juez sostuvo que haber mal clasificado como "casos" a tres niños con daño cerebral en vez de incluirlos en el grupo control, condujo a la sobreestimación del peligro atribuido a la vacuna contra la tos ferina 8. Pregunta 5: qué es la evaluació n ciega? Para determinar un grupo control sin sesgos es necesario no conocer previamente cuáles son las características que diferencian al grupo experimental del grupo control. Es tal vez, muy difícil de evitar, pero ésa es la principal base de la distribución de los integrantes de cada grupo en forma aleatorizada: que no se sepa cuál es aquello que determina la existencia del grupo control. Pregunta 6 : ¿Se establecieron las cuestiones estadísticas en forma preliminar? Tres son los números de importancia que pueden encontrarse en la sección métodos de un trabajo: el tamaño de la muestra, la duración del seguimiento y el haber completado el seguimiento. Tamaño de la muestra Según las palabras del especialista en estadística Douglas Altman, un trabajo debe ser lo suficientemente grande como para tener elevadas posibilidades de detección ( representada por la significación estadística, el famoso nivel p )de un efecto evaluable en el caso de que exista y, entonces, ser razonablemente seguro en cuanto a que no existen beneficios si no son encontrados en el trabajo. Para calcular el tamaño de la muestra, se debe decidir acerca de dos puntos: - el primero, cuál es el nivel de la diferencia entre los dos grupos que constituiría un efecto clínicamente significativo. Nótese que no es lo mismo que un efecto estadísticamente significativo. Se puede administrar un fármaco nuevo que desciende la presión arterial en 10 mm de Hg, y el efecto sería un descenso significativo de las probabilidades de desarrollar un accidente cerebrovascular. Sin embargo, en algunos pacientes, esto puede corresponder a una reducción clínica del riesgo de solamente 1 en 850 pacientes añouna diferencia que muchos pacientes clasificarían no peor al esfuerzo de tomar los comprimidos 7. - segundo, se debe decidir inicialmente el significado y la desviación estándar de la variable del resultado principal. Más tarde, mediante el uso del nomograma estadístico y antes de que comience el trabajo, los autores pueden comenzar a calcular el tamaño de la muestra que necesitarán relacionado con la probabilidad pequeña, moderada o grande de detectar una diferencia verdadera entre los grupos-el poder del estudio. Es común que los estudios estipulen un poder entre 80% y 90%. Los estudios con menor poder son dudosos, en general porque los autores los consideraron más concluyentes al reclutar los sujetos. Tales estudios típicamente conducen a un error de Tipo II o ß(concluir erróneamente que una intervención no tiene efecto). Por el contrario, el error de tipo I o a es la conclusión de que una diferencia es significativa cuando el hecho se debe a un error de muestreo. Duración del seguimiento Aun con un tamaño adecuado de la muestra, un estudio debe continuar un tiempo lo suficientemente prolongado como para que el efecto de la intervención se vea reflejado en la variable a evaluar, el cual puede ser de 48 horas para un analgésico posoperatorio pero de décadas para evaluar el resultado de la suplementación nutricional en la edad escolar. Finalización del seguimiento La posibilidad de que los sujetos que abandonan el estudio no hayan observado correctamente las indicaciones de la medicación, faltado a los controles y experimentado más efectos adversos que los que no abandonaron el estudio es mayor. Las razones del abandono son: · Inclusión incorrecta del paciente en el trabajo (el investigador comprueba durante el desarrollo que el paciente no cumple con los criterios de inclusión) · Se sospecha que el fármaco y/o técnica quirúrgica investigada produjo una reacción adversa. Nótese que la tasa de "reacciones adversas" en el grupo de la intervención debe siempre compararse con los del grupo control. · Pérdida de la motivación del paciente · Excluido por el médico por razones clínicas (enfermedad concurrente o embarazo) · Pérdida del seguimiento · Muerte Ignorar algún paciente que haya abandonado el estudio clínico introducirá un sesgo en los resultados, generalmente en favor de la intervención. Por lo tanto, es habitual analizar los resultados de los estudios comparativos con la finalidad de controlar el fundamento. Es decir, que todos los datos de los pacientes inicialmente adjudicados a la intervención del estudio (-incluyendo aquellos que abandonaron antes de finalizado el trabajo, los que no tomaban la medicación y aun los que luego recibieron la intervención control por cualquier razón-) debe ser analizado junto con los datos de los enfermos que siguieron todo el protocolo. Por el contrario, los abandonos del placebo deben ser analizados con aquellos que verdaderamente tomaron el placebo. En pocas situaciones el análisis de intención de tratar no se usa. Lo más común es el análisis de eficacia que explica los efectos de la intervención misma, y por lo tanto del tratamiento realmente recibido. Pero aun si los sujetos en un análisis de eficacia son parte de un trabajo controlado aleatorizado, para el propósito del análisis ellos efectivamente constituyen un estudio de cohorte. Reflexiones finales En ocasiones el autor de un trabajo no transmite el mensaje por no saber hacerlo y no identificar el real objetivo del mismo: transmitir la verdad hallada a través de la observación de pacientes y/o animales de experimentación. Por consiguiente, el lector de un trabajo publicado debe preguntarse acerca de la originalidad e interés de los resultados logrados o ser tan obvios debidos a una investigación anacrónica, con escasa implicancia clínica o tener sólo significación estadística. La existencia de deficiencias de diseño o con sesgos visibles, como así tambien una redacción confusa, con abuso de jerga y/o abreviaturas o tablas, no contribuyen a una fácil difusión de los conocimientos surgidos. En algunas oportunidades se advertirá el mecanismo de autopromoción de los autores y revelar el valor del artículo: ser un elemento más del “vedettismo autoral” para estar en boca de todos 2. Entonces conviene reconocer en los artículos publicados la originalidad y el interés reflejados, principalmente, en las secciones Introducción y Discusión. La Introducción debe presentar en forma clara y precisa la naturaleza del problema y el objetivo de cómo resolverlo. En la Discusión, hacer hincapié en los aspectos nuevos, la importancia de los resultados y las conclusiones que surjen de ellos, mostrando su relación con otros trabajos ya publicados. Siempre establecer el nexo entre las conclusiones con los resultados y el objetivo inicial y proponer, en forma humilde, nuevas hipótesis sólo si existe justificación suficiente para ello. Recordar que en tiempos de la Medicina Basada en la Evidencia 3,4,9 , la facultad de hacer descubrimientos afortunados por accidente o a encontrar cosas interesantes o valiosas por casualidad 1 a veces permiten que un artículo, en apariencia de escasa jerarquía, logre un alto impacto de citación por otros autores/investigadores y establece un valor insoslayable por su interés 5 en solucionar un problema clínico actual. Referencias bibliográficas 1. Alonso HO. Serendipity en medicina clínica (Editorial). Medicina (Buenos Aires), 2000;61:369-372. 2. Angell M. Publish or perish: a proposal. Ann Intern Med, 1986;104:261-2. 3. Arribalzaga EB y Mihura ME. Medicina basada en evidencia: moda, mito o metodologíamoderna? Rev Argent Cirug, 2001;81(1-2):18-29. 4. Augustovski F. Información digital. Una brújula con los recursos más útiles. Evidencia, 2000;3(4)124-126. 5. Barcat JA. Original e interesante. Rev Med Rosario, 1992;60(1):42-43. 6. Bero LA, Rennie D. Influences on the quality of published drug studies. Int J Health Technology Assessment 1996;12:209-37. 7. DRAE. Diccionario de la Lengua Española, Real Academia Española, 23° Edición, Madrid, 2003. 8. Greenhalgh T. Assessing the methodological quality of publisher papers. BMJ, 1997;315:305-308. 9. Sackett DL, Richardson WS, Rosenberg W et al. Evidence-based Medicine. How to practice & teach EBM. Churchill Livingstone, New York, 1997.
