IX Coloquio Internacional de Estadı́stica “Métodos Estadı́sticos Aplicados a Finanzas y Salud” Universidad Nacional de Colombia - Sede Medellı́n Medellı́n, Junio 29 a Julio 2 de 2012 Combinación de pruebas de hipótesis independientes para proporciones: un estudio de simulación Ehidy K. Garcı́a Cruza,# , Juan Carlos Correab,c , Jorge Iván Vélezb,d a Profesor Auxiliar, Escuela de Ingenierı́a Industrial, Universidad Pedagógica y Tecnológica de Colombia, Sogamoso, Boyacá. b Grupo de Investigación en Estadı́stica, Universidad Nacional de Colombia, Medellı́n, Colombia. c Profesor Asociado, Escuela de Estadı́stica, Universidad Nacional de Colombia, Medellı́n, Colombia. d Medical Genetics Branch, National Human Genome Research Institute, National Institutes of Health, Bethesda, MD, USA. # E-mail: [email protected] Resumen En el área biomédica, es frecuente encontrar estudios independientes enfocados a responder la misma pregunta de investigación. Los métodos metaanalı́ticos buscan combinar la información de dichos estudios con el fin de determinar si la unión de estos conduce al rechazo de una hipótesis nula común H0 . Uno de los métodos más utilizados y conocidos es la combinación de valores p; dentro de estos se encuentran los métodos de Fisher, Tippet, Liptak, Sidak, Simes y Stouffer. En este trabajo se presenta una breve descripción de estos métodos y se reportan los resultados de un estudio de simulación en el que se combinan pruebas de hipótesis independientes para proporciones. Finalmente, presentamos una aplicación en el que se comparan las frecuencias alélicas de casos y controles para ∼370,000 SNPs en ocho muestras independientes. Palabras Clave: Meta-análisis, método de Fisher, método de Stouffer, pruebas de hipótesis, prueba para proporciones. 1 IX Coloquio Internacional de Estadı́stica “Métodos Estadı́sticos Aplicados a Finanzas y Salud” Universidad Nacional de Colombia - Sede Medellı́n Medellı́n, Junio 29 a Julio 2 de 2012 Combining independent proportion tests: A simulation study Ehidy K. Garcı́a Cruza,# , Juan Carlos Correab,c , Jorge Iván Vélezb,d a Auxiliar Professor, School of Industrial Engineering, Technological and Pedagogial University of Colombia, Sogamoso, Boyacá. b Research Group in Statistics, Department of Statistics, National University of Colombia at Medellı́n. c Associate Professor, Department of Statistics, National University of Colombia at Medellı́n. d Medical Genetics Branch, National Human Genome Research Institute, National Institutes of Health, Bethesda, MD, USA. # E-mail: [email protected] Abstract In biomedical research, it is often the case that several studies address the same research question. Meta-analytical methods are useful to combine information from these studies in order to determine whether the rejection of a common null hypothesis Ho is achieved. One of the most widely used and known method to accomplish this is the combination of p-values, with Fisher’s, Tippet’s, Liptak’s, Sidak’s, Simes’ and Stoufer’s method being utilized. We briefly describe these methods and present the results of a simulation study in which up to k independent proportion tests are combined. Finally, we present an application in which the allele frequencies of ∼370,000 SNPs are compared between cases and controls across eight independent samples. Keywords: Metanalysis, Fisher’s method, Stouffer’s method, hypothesis testing, proportion test. 2 IX Coloquio Internacional de Estadı́stica “Métodos Estadı́sticos Aplicados a Finanzas y Salud” Universidad Nacional de Colombia - Sede Medellı́n Medellı́n, Junio 29 a Julio 2 de 2012 1. Introducción Consideremos k estudios independientes en los se realiza un procedimiento de pruebas de hipótesis de la forma Hi,0 : θi = θi,0 vs. Hi,1 : θi > θi,0 i = 1, 2, . . . , k (1) Si Ti y pi corresponden al estadı́stico de prueba y el valor p para el i-ésimo estudio, respectivamente, H0,i será rechazada si pi ≤ α, con α una probabilidad de error tipo I definida de antemano. Ahora, ¿es posible obtener una medida de resumen que tenga en cuenta los resultados obtenidos para cada uno de los k estudios?. El meta-análisis se puede definir como la identificación sistemática, valoración y sı́ntesis de información proveniente de k estudios independientes que intentan responder la misma pregunta de investigación [2]. Esta sı́ntesis, que implica la combinación de la evidencia proporcionada por cada estudio, tiene como objetivo obtener un estadı́stico que resuma toda la información obtenida en ellos a través de la verificación de una hipótesis nula común, analizando simultáneamente un mismo parámetro θ de interés. Esto, precisamente, responde la pregunta en el párrafo anterior. En investigaciones biomédicas, uno de los métodos más utilizados para obtener este estadı́stico de resumen es la combinación de valores p. Para su utilización, (i ) los k estudios deben ser independientes, (ii ) deben rechazar una hipótesis nula H0 común y (iii ) las pruebas de hipótesis realizadas deben ser unilaterales y en la misma dirección para los k estudios [10, 12]. El objetivo de esta metodologı́a es determinar el efecto unidireccional cuando se combina la información de los diferentes estudios utilizando los valores p. Observe que bajo el procedimiento de hipótesis (1), las condiciones (i )−(iii ) se satisfacen. Dentro de los métodos de combinación de valores p disponibles en la literatura, se encuentran el método de Fisher, Tippet, Liptak, Sidak, Simes y Stouffer. En este documento, estos métodos son revisados de manera breve. Adicionalmente, presentamos resultados parciales de un estudio de simulación en el que se combinan pruebas de hipótesis independientes para una y dos proporciones. Finalmente, presentamos una aplicación en el que se comparan las frecuencias alélicas de personas con y sin una determinada enfermedad para ∼ 370,000 polimorfismos de nucleótido simple (SNPs, en inglés) en ocho muestras independientes provenientes de igual número de poblaciones. 3 IX Coloquio Internacional de Estadı́stica “Métodos Estadı́sticos Aplicados a Finanzas y Salud” Universidad Nacional de Colombia - Sede Medellı́n Medellı́n, Junio 29 a Julio 2 de 2012 2. 2.1. Métodos para la combinación de valores p Método de Fisher Este método es uno de los más frecuentemente utilizados en el campo biológico, y está fundamentado en la probabilidad de la transformación integral. Si Fi,0 es la función de distribución acumulada de Ti bajo Hi,0 , entonces Fi (Ti ) ∼ U (0, 1), por lo que pi ∼ U (0, 1). Por lo tanto, el estadı́stico CF = − log(pi ) ∼ Exponencial(1), i = 1, 2, . . . , k. El estadı́stico de prueba para el método de Fisher es χ2F = −2 k X ln(pi ) ∼ χ22k (2) i=1 La prueba de Fisher puede ser interpretada como la probabilidad de rechazar la hipótesis nula en al menos uno de los estudios de los k que hacen parte de la combinación. Sin embargo, la interpretación más adecuada consiste en indagar si la acumulación de información entre las pruebas sobre las hipótesis nula similares puede rechazar una hipótesis nula compartida [10]. Este método rechaza la hipótesis H0 común si P χ2F > χ22k < α. El principal inconveniente del método de Fisher es su sensibilidad valores-p pequeños [10], permitiendo el rechazo de la hipótesis nula en favor de la hipótesis alternativa unilateral. Otras desventajas del método de Fisher pueden encontrarse en [7] y [12]. 2.2. Método de Tippett Sea p(1) = min{p1 , p2 , . . . , pk }. El método de Tippet, conocido como min-P y basado en el método de Bonferroni, utiliza p(1) para combinar la información de los k estudios independientes. El estadı́stico de prueba está dado por: CT = k p(1) (3) y rechaza H0 cuando CT ≤ α. Este método es ligeramente conservativo bajo independencia, pero adquiere validez en presencia de correlación debido a la influencia de la desigualdad de Bonferroni. Wetsberg (1985) hace una comparación de los resultados de los métodos de Fisher y Tippett, y muestra que no debe haber inclinación particular por la selección de alguno de estos. Sin embargo, el autor sugiere que para elegir uno u otro método debe graficarse la potencia de ambos y, de acuerdo con un margen de error, realizar dicha elección. 4 IX Coloquio Internacional de Estadı́stica “Métodos Estadı́sticos Aplicados a Finanzas y Salud” Universidad Nacional de Colombia - Sede Medellı́n Medellı́n, Junio 29 a Julio 2 de 2012 2.3. Método de Liptak Originalmente planteado por Liptak, dicho procedimiento requiere que los valores p sean unilaterales de la forma P −1 CL = P Φ (1 − pi ) para valores p de cola superior (4) CL = Φ−1 (pi ) para valores p de cola inferior 1 Puesto que bajo H0 , CL ∼ N (0, k), la prueba rechaza H0 cuando CL ≥ k 2 Φ−1 (1− 1 α) para una prueba de cola superior, o cuando CL ≥ k 2 Φ−1 (α) para una prueba de cola inferior. 2.4. Método de Sidak Es una prueba muy similar a la de Tippet, pero es exacta y no conservativa bajo supuestos de uniformidad e independencia. El estadı́stico de prueba es CS = 1 − 1 − p(1) N (5) y se rechaza H0 cuando CS ≤ α. Similar a como ocurrió con CT , el valor p de la prueba es exactamente CS . Una de las ventajas del método de Sidak es que resulta eficaz cuando existe correlación positiva entre los estudios [4]. 2.5. Método de Simes En algunos casos, los métodos presentados anteriormente pueden no ser suficientes porque excluyen información importante para la combinación al utilizar sólo uno de los valores (el más pequeño) para construir el estadı́stico de prueba. Para corregir este inconveniente Simes presenta una prueba, similar al de Tippet, en la que utiliza los valores p disponible en los k estudios. El estadı́stico de prueba en este caso está dado por: mı́n k · p(i) CI = (6) i i Puesto que CI ≤ CT , el método de Simes es uniformemente más potente que el método de Tippet. 2.6. Método de Stouffer Este método, también es conocido como Z - transformado, presenta la ventaja de tener una relación uno a uno con la distribución normal estándar, por lo que 5 IX Coloquio Internacional de Estadı́stica “Métodos Estadı́sticos Aplicados a Finanzas y Salud” Universidad Nacional de Colombia - Sede Medellı́n Medellı́n, Junio 29 a Julio 2 de 2012 el valor p de una prueba unilateral puede reportarse en términos de una normal estándar [10]. El estadı́stico de prueba está dado por: Pk Zi √ CZ = i=1 (7) k Una de las ventajas de este método, por ejemplo frente al método de Fisher, es que elimina los efectos de asimetrı́a [10]. El método rechaza H0 si P (CZ > Z) < α, con Z ∼ N (0, 1). 2.7. Método de Stouffer ponderado El interés principal de este método radica en la selección óptima de los pesos asociados a cada estudio, de tal forma que aquellos estudios con menores valores p tengan una mayor contribución al estadı́stico de prueba. Idealmente, esta ponderación es proporcional al inverso a la varianza, lo que se traduce en la inversa del efecto del tamaño del estimador por cada estudio [10]. Si wi es el peso asociado al i-ésimo estudio, el estadı́stico de está dado por Pk i=1 wi Zi Zw = qP , k 2 w i=1 i w 1 + · · · + wk = 1 (8) La hipótesis nula es rechazada si P (Zw > Z) < α, con Z ∼ N (0, 1). 3. Resultados Desafortunadamente, al momento de escribir este reporte el estudio de simulación aún no habı́a finalizado. Sin embargo, los resultados de este estudio serán presentados durante la conferencia en el IX Coloquio Internacional de Estadı́stica. 4. Aplicación Consideremos k = 4 estudios independientes en los que se determinaron, para cada uno, las frecuencias alélicas de m = 365, 875 SNPs en un grupo de n = 50 personas con determinada enfermedad (casos) e igual número de personas sin ella (controles), todos residentes en los Estados Unidos. Dichas frecuencias corresponden al número de copias de un alelo especı́fico, dividido por el total de alelos en la muestra. Si f1,j es la frecuencia alélica del alelo A para el j-ésimo SNP (j = 1, 2, . . . , m) cuando se considera el i-ésimo grupo de personas (grupo 1: casos; grupo 2: controles), es de interés probar 6 IX Coloquio Internacional de Estadı́stica “Métodos Estadı́sticos Aplicados a Finanzas y Salud” Universidad Nacional de Colombia - Sede Medellı́n Medellı́n, Junio 29 a Julio 2 de 2012 H0,j : f1,j = f2,j vs. Ha,j : f1,j > f2,j (9) para cada uno de los k estudios. Para un estudio particular, el estadı́stico de prueba asociado a (9) está dado por Tj2 = 2n (fˆ1,j − fˆ2,j )2 2 (1 − fˆ ) + fˆ2 (1 − fˆ ) fˆ1,j 1,j 1,j 2,j (10) con fˆ1,j y fˆ2,j corresponden a los estimadores de f1,j y f2,j , respectivamente. Bajo la hipótesis nula, Ti2 ∼ χ2(1) y el valor p para el j-ésimo SNP puede calcularse como pj = P Ti2 > χ2(1) . Nota: Por la sensibilidad y confidencialidad de la información, los resultados obtenidos sólo serán presentados durante el IX Coloquio Internacional de Estadı́stica. Referencias [1] Y. Benjamini and Y. Hochberg. (1997). Multiple hypothesis Testing with Weights. Board of the Foundation of the Scadinavian Journal of Statistics; 24(3); 407-418. [2] S. E. Brockwell and I. R. Gordon.(2001) A comparison of statistical methods for meta-analysis. Statistis in Medicine, 20; 825-840. [3] G. Casella and R.L. Berger (2001) . Statistical Inference, 2nd edition, Duxbury Advanced Series. [4] P. Westfall. (2005). Combining P-values. Enciclopedy of Biostatistics, John Wiley & Sons. [5] J. Hartung. (1987). A note on combining dependent test of significance, University of Dortmund, Germany. [6] J. T. Kost and M P. McDermott (2002). Combining dependent Pvalues.Statistics & Probability Letters; 60:183-190. [7] W. Rice (1990). A consensus combined P-value test and the family wide significance, Biometrics;46 (2):303-308. [8] R. Rosenthal. (1978). Combining Results dies.Psychological Bulletin; 85(1): 185-193. 7 of Independent Stu- IX Coloquio Internacional de Estadı́stica “Métodos Estadı́sticos Aplicados a Finanzas y Salud” Universidad Nacional de Colombia - Sede Medellı́n Medellı́n, Junio 29 a Julio 2 de 2012 [9] M. Westberg (1985). Combining Independent Statistical Tests.Journal of the Royal Statistical Society; 34(3):287-296. [10] M. C. Whitlock. (2005). Combining probability from independent tests: the weighted Z−method is superior to Fisher’s approach. J Evol Biol ;18(5):13681373. [11] P. H. Westfall and A. Krishenb. (2001). Optimally weighted, fixed sequence and gatekeeper multiple testing procedures, Journal of Statistical Planning and Inference; 99(1):25-40. [12] W. R. van Zwet and J. Oosterhoff. (1967). On the Combination of Independent Test Statistics. The Annals of Mathematical Statistics; 38(3):659-680. [13] M. Love. Combining p-values: Fisher’s method, sum of p-values, binomial [Consultado el 25/4/2012] URL = http://bit.ly/LLLGBk 8