Capítulo 11♣: Comparación de varios tratamientos o grupos Muchas preguntas de investigación en educación, psicología, negocios, industria y ciencias naturales tienen que ver con la comparación de varios grupos o tratamientos. Ya estudiamos como comparar diferencias entre dos tratamientos cuando las poblaciones son independientes, ahora nos interesa comparar más de dos poblaciones. La pregunta de interés del investigador será ¿existen diferencias significativas entre las medias de los tratamientos? Si comprueba que existen diferencias significativas, entonces le interesará saber ¿cuáles de las poblaciones o tratamientos comparados son diferentes? Primero necesitamos saber cómo contestar la pregunta general. El procedimiento para determinar si existen diferencias significativas entre varias poblaciones o grupos se llama Análisis de Varianza, y nos vamos a referir a él usando las letras ANOVA por Analysis of Variance, en inglés. ANOVA es un nombre genérico y se usa para una variedad inmensa de modelos de comparación de medias, también conocido como diseño de experimentos. Por ahora sólo hablaremos del ANOVA simple, de un factor, o de una vía (one way ANOVA), que se refiere a la comparación de medias de dos o más tratamientos. Vamos a llamar factor a una variable cualitativa que usaremos para designar a los grupos o tratamientos a comparar. Los niveles del factor serán el número de tratamientos o grupos. El análisis de varianza es similar al análisis de regresión y en realidad los dos pertenecen a la gran familia de los modelos lineales. Los modelos lineales se caracterizan por investigar la relación entre una variable respuesta cuantitativa y una o más variables explicatorias. Sin embargo el análisis de varianza difiere del análisis de regresión en que en el ANOVA las variables explicatorias son cualitativas o factores. Lo que nos interesa en el análisis de varianza de una vía es extender el test t para dos muestras independientes, para comparar más de dos muestras. ANOVA simple, de un factor, de una vía (one way ANOVA) Caso 1: Un médico quiere comparar la efectividad de tres tratamientos para reducir el colesterol de pacientes con altos niveles de colesterol sanguíneo. Se asignan aleatoriamente 60 individuos a los tres tratamientos (20 en cada uno) y se registra la reducción de colesterol de cada paciente. Caso 2: Una ecóloga está interesada en comparar la concentración de cadmio en 5 ríos. Recolecta 50 muestras de agua (10 muestras en cada río) y mide la concentración de cadmio. En cada uno de los casos, describa: a) ¿cuál es el diseño de la investigación? b) ¿cuál es la variable respuesta? c) ¿cuál es el factor o variable explicativa? d) ¿cuántos niveles tiene cada factor? Estos dos casos tienen similitudes. En ambos tenemos una variable respuesta cuantitativa (reducción del colesterol, concentración de cadmio) medida en varias unidades (personas y muestras de agua). Esperamos que la respuesta sea Normal en ambos casos. Queremos comparar varias poblaciones, tres tratamientos en el caso 1 y 5 ríos en el caso 2. El caso 1 es un experimento en el cual los pacientes son ♣ El desarrollo de este tema de estudio se debe principalmente al trabajo de Sir Ronald Fisher, cuyas contribuciones a la estadística, desde 1912 hasta 1962, tuvieron una gran influencia en toda la estadística moderna. 1 asignados aleatoriamente a los tratamientos. En el caso 2 es un estudio observacional simplemente se toman muestras de distintos ríos. En ambos casos podemos usar el ANOVA para analizar los datos. El caso 1 se analizará mediante un análisis de varianza de un factor con 3 niveles. El caso 2 se analizará mediante un análisis de varianza de un factor con 5 niveles. TOMATES ¿Porqué las plantas de tomate crecen con diferente tamaño? Un agricultor quiere comparar el efecto de tres fertilizantes (A, B y C) en el crecimiento de sus plantas de tomate. Seleccionó 30 plantas de tomate de una semana y las plantó en diferentes maceteros. Asignó aleatoriamente los 3 fertilizantes y se los administró a las plantas por 45 días. La figura adjunta muestra los resultados de la altura de las plantas (en cms) según cada fertilizante. Figura: Altura de plantas, en centímetros, según tres tipos de fertilizantes . ¿Qué ocurrió con la altura de estas plantas? Las plantas de tomate son todas de la misma variedad y de la misma edad. Además recibieron el mismo cuidado. ¿Qué razones hay para que las plantas crezcan a diferente altura? DATOS: Altura de plantas de tomates tratadas con distintos fertilizantes: A 31 32 34 36 37 Fertilizante B 41 42 43 44 46 C 35 36 36 37 38 ¿De qué manera podríamos comparar estos tres tratamientos? La respuesta natural sería comparar cada par de tratamientos o grupos con una prueba t para muestras independientes. Sin embargo, no es correcto hacer pruebas t de Student entre todos los pares posibles de medias ya que se altera el nivel de significación fijado para cada una de las pruebas. Específicamente, aumenta la probabilidad de encontrar diferencias donde no existen, es decir aumenta el Error Tipo I. 2 Si tenemos 3 grupos, son 3 comparaciones posibles. En el Ejemplo A con B, A con C y B con C. Si tenemos 4 tratamientos el número posible de pares de pruebas sería 4 = 4! = 6 . El test de ANOVA 2 2!2! permite el estudio simultáneo de las diferencias con un nivel fijo de significación. Problema de comparaciones múltiples Si tenemos 4 grupos o tratamientos, necesitamos hacer 6 test de hipótesis: H0 : µ1 = µ2 H 0 : µ1 = µ3 H 0 : µ1 = µ4 H1 : µ1 ≠ µ2 H1 : µ1 ≠ µ3 α=0,05 H1 : µ1 ≠ µ4 H0 : µ2 = µ3 H 0 : µ2 = µ4 H0 : µ3 = µ4 H1 : µ2 ≠ µ3 H1 : µ2 ≠ µ4 α=0,05 α=0,05 H1 : µ3 ≠ µ4 α=0,05 α=0,05 α=0,05 A medida que aumenta el número de grupos, no podemos garantizar que se mantenga el nivel de significación. Para solucionar este problema es que hacemos primero una pregunta global y dependiendo del resultados seguimos investigando pares de grupos. Comparando medias mediante ANOVA: Se tienen k muestras aleatorias independientes m.a.s. tamaño n1 Población 1 N (µ k , σ ) N (µ 2 , σ ) N (µ1 , σ ) m.a.s. tamaño n2 m.a.s. tamaño nk ... Población 2 Población k Tenemos una muestra aleatoria simple de n1 observaciones de una población N (µ1 , σ ) . Tenemos una muestra aleatoria simple de n 2 observaciones de una población N (µ 2 , σ ) . . . . Tenemos una muestra aleatoria simple de n k observaciones de una población N (µ k , σ ) . Las k muestras aleatorias son independientes una de otra. Nota: La desviación estándar poblacional de cada grupo es igual a σ (homocedasticidad). 3 HIPOTESIS GLOBAL Usaremos µ i para representar la media del grupo i, entonces estaremos interesados en docimar la siguiente hipótesis: H 0 : µ1 = µ 2 = ... = µ k H 1 : al menos dos medias no son iguales Graficamente podemos representar esta hipótesis: Ho: las medias poblacionales son iguales Normal H1 : al menos una media es diferente Normal σ σ σ µ=µ=µ=µ 1 2 3 Normal µ=µ 1 2 µ 3 TOMATES continuación Hipótesis de interés: H 0 : µ1 = µ 2 = µ 3 H1 : al menos dos medias no son iguales. Con un nivel de significación α=0,05 Datos: (Salida de SPSS) Altura de las plantas (cm) Intervalo de confianza para la media al 95% Desviación típica A 5 34.00 2.550 1.140 30.83 Límite superior 37.17 31 37 B 5 43.20 1.924 .860 40.81 45.59 41 46 5 36.40 1.140 .510 34.98 37.82 35 38 15 37.87 4.422 1.142 35.42 40.32 31 46 N C Total Media Error típico Límite inferior Mínimo Máximo Notación en las k muestras (i=1,2,3): ni n1 n2 n3 yi y1 y2 y3 si s1 s2 s3 4 Fuentes de variación El análisis de varianza se define como una técnica en la que la variabilidad de un conjunto de datos se divide en varios componentes y cada unos de ellos se asocia a una fuente específica de variación, de manera que durante el análisis es posible encontrar la magnitud con la que contribuye cada una de esas fuentes en la variación total. El nombre ANOVA es porque para comparar las medias de los grupos o tratamientos necesitamos identificar las distintas fuentes de variabilidad. La variabilidad de la variable respuesta, sin referencia a ningún factor que la pudiera estar afectando, se conoce como variabilidad total. La variabilidad de la variable respuesta que se atribuye a factores específicos se conoce como variabilidad explicada. Mide la variabilidad entre los diferentes grupos. La variabilidad de la variable respuesta de las unidades (experimentales) dentro de cada nivel del factor se conoce como variabilidad no-explicada. Se desprende que: Variabilidad total = variabilidad explicada + variabilidad no explicada En el ejemplo de los tomates distinga las fuentes de variación. Para docimar la hipótesis global acerca de las medias usaremos el test estadístico F. Este test contrasta la variabilidad entre los grupos con la variabilidad que será natural dentro de los grupos. F= variabilidad ENTRE las medias muestrales variabilidad DENTRO de las muestras Pensemos Caso A: Si las medias muestrales son exactamente iguales, ¿cuál será el numerador del test F? Case B: Si las medias muestrales son muy distintas entre los grupos, ¿como será la variabilidad entre comparada con el caso A? ¿Qué valores puede tener el estadístico F? ¿F puede ser negativo? ¿Qué tipo de valores de F serán a favor de la hipótesis alternativa? Medias cuadráticas El test estadístico del ANOVA es la razón entre dos medidas de variación de los datos muestrales. El test estadístico F compara la variación entre los promedios de los grupos con la variación natural dentro de los grupos. Formalmente estas dos medidas de variación se llaman medias cuadráticas, así en el numerador tendemos la media cuadrática entre los grupos (MCE) y en el denominador la media cuadrática dentro de los grupos (MCD). F= variabilidad ENTRE las medias muestrales MCE = variabilidad DENTRO de las muestras MCD 5 Las dos medidas de variabilidad en ANOVA, MCE y MCD tienen la misma forma. Media cuadrática = Suma de cuadrados (SC) Grados de libertad (gl) Entre más grande sea la variación entre las medias muestrales comparada con la variación natural dentro de las muestras, mayor evidencia a favor de diferencias entre las medias poblacionales. En vista de que sólo valores grandes del test estadístico nos sirven para rechazar la hipótesis nula, los test F de ANOVA son unilaterales (de una cola) con la dirección del extremo hacia la derecha. El valor p será la probabilidad de observar un test estadístico tan o más grande. Distribución F de Fisher Bajo H 0 el test estadístico F que se calcula en el ANOVA tiene una distribución F de Fisher con (k-1, n-k) grados de libertad. Características: La distribución es sesgada a la derecha Sus valores son positivos, empiezan en cero y se extienden hasta infinito La curva de la distribución queda definida por los grados de libertad del numerador y del denominador 6 GRAFICOS Se muestran dos gráficos de caja. Cada uno representa el resultado de sacar 3 muestras aleatorias independientes de tres poblaciones normales. ¿En cuál de los dos gráficos cree usted que podemos rechazar la hipótesis nula H 0 : µ1 = µ 2 = µ 3 ? Respuesta Respuesta Grupo 1 Grupo 2 Grupo 3 Grupo 1 Grupo 2 Grupo 3 ¿Cómo calculamos F? Cuando tenemos una muestra aleatoria de una población con varianza desconocida σ2, vamos a estimar esta varianza con la varianza muestral s2. La varianza muestral se calcula tomando la suma de los cuadrados de las desviaciones a la media y dividiendo por los grados de libertad (n-1). En este caso cada muestra aleatoria, una por cada k poblaciones, tiene su media muestral y su varianza muestral representados por: y1 , y 2 ,..., y k y s12 , s 22 ,..., s k2 . Variación ENTRE grupos: Bajo la hipótesis nula, las medias poblacionales son iguales. Si la hipótesis nula fuera cierta, sería razonable promediar todas las observaciones para tener una estimación de la media de la población. La media muestral común sería: y= n1 y1 + n 2 y 2 + L + n k y k n La media cuadrática ENTRE los grupos o media cuadrática de los tratamientos se calcula como: MCE = SCE k −1 donde la suma de cuadrados ENTRE (SCE) se calcula como: SCE = n1 ( y1 − y ) + n2 ( y 2 − y ) + L + nk ( y k − y ) = 2 2 2 ∑ n (y i i − y) 2 grupos = ∑ (tamaño muestra grupo)(media muestral grupo − media muestral conjunta ) 2 grupos 7 Variación DENTRO de los grupos: Uno de los supuestos de ANOVA es que las k poblaciones tienen la misma varianza. Cada una de las varianza muestrales es un estimador de la varianza común σ2, independiente de si la hipótesis nula es cierta. Los grados de libertad de cada varianza muestral es, ni – 1. La MCD esencialmente combina las varianza muestrales para obtener un estimador de σ2. La media cuadrática dentro, es también llamada la media cuadrática del error. El denominador del estadístico F es: MCD = SCD n−k donde la suma de cuadrados DENTRO de los grupos se calcula: SCD = (n1 − 1)s12 + (n2 − 1)s 22 + L + (nk − 1)s k2 = ∑ (n i − 1)s i2 grupos = ∑ (tamaño muestral grupo - 1)(varianza muestral grupo) grupos Note que esta cantidad es una extensión de la estimación combinada de la varianza empleada para la prueba t de 2 muestras: s 2p = (n1 − 1)s12 + (n 2 − 1)s 22 + K + (n k − 1)s k2 n1 + n 2 + L + n k − k Midiendo la variación TOTAL: En ANOVA de una vía, la varianza total de todas las observaciones esta dada por la suma de cuadrados total, SCT, que mide la variación de cada observación a la media muestral de todas las observaciones. SCT = ∑ (y ij observaciones − y) = 2 ∑ (observación - media muestral) 2 observaciones La variación total puede ser particionada entre las dos fuentes de variación entre y dentro. La relación entre las sumas de cuadrados es: SCT = SCE + SCD . Si se tienen dos de las sumas de cuadrados, se obtiene la tercera fácilmente. 8 Tabla ANOVA Todo esto se resume en la tabla de Análisis de Varianza, en que se presentan las fuentes de variación, los grados de libertad, las sumas de cuadrados y las medias cuadráticas correspondientes: TABLA DE ANALISIS DE VARIANZA Fuente de variación gl Grados de libertad Entre tratamientos k −1 SC Suma de Cuadrados k SCE = ∑ ni ( yi − y ) MC Medias cuadráticas SCE k −1 2 i =1 Dentro de tratamientos n−k n n −1 F= MCE MCD SCD n−k SCD = ∑ (ni − 1)si2 i =1 Total F SCT = ∑ ( y ij − y ) n 2 i =1 Salida SPSS para ANOVA TOMATES ANOVA Altura de las plantas (cm) Inter-grupos Intra-grupos Total - Suma de cuadrados 227.733 46.000 273.733 gl 2 12 14 Media cuadrática 113.867 3.833 F 29.704 Sig. .000 Realice los cálculos para docimar la hipotesis de interés del Sr. de los tomates. Compruebe sus resultados con tabla salida del SPSS. Compruebe la relación entre las sumas de cuadrados y la de los grados de libertad. Escriba su conclusión para el Sr. de los Tomates. Revisión de supuestos de ANOVA Los supuestos del ANOVA son exactamente los mismos que los de la prueba t para comparar dos grupos1. 1. los grupos o tratamientos son independientes entre sí, por ejemplo en un diseño experimental, los tratamientos son asignados a grupos de personas asignados al azar. Este supuesto es parte del diseño experimental, o en caso de que el estudio sea observaciones se verifica en los datos. 2. La distribución de los residuos es Normal. En la práctica, esto implica un problema sólo si se considera que las poblaciones tienen distribuciones marcadamente asimétricas y en direcciones opuestas. En general, la falta de 1 En el libro de Hopkins & Hopkins & Glass aparece una discusión detallada sobre la verificación de supuestos pag. 202207. 9 normalidad de los residuos no tiene gran efecto en el nivel de significancia del test F (se dice que la prueba F es estadísticamente robusta). En otro capítulo hablaremos de una alternativa de análisis cuando los residuos no son normales que se llama estadística no paramétrica. En SPSS no obtenemos directamente los residuos del ANOVA. Como alternativa vamos a verificar el supuesto de Normalidad usando la variable respuesta en vez de los residuos. Se verifica normalidad haciendo gráficos y test de hipótesis. Para los residuos (respuesta) de cada tratamiento construya un histograma o tallo-y-hoja y verifique que no exista un sesgo pronunciado. Para tamaños de grupos ni pequeños, estos gráficos serán de poca utilidad. SPSS realiza dos test estadísticos para verificar normalidad, el test de Kolmogorov-Smirnov y el test de Shapiro-Wilk. El test de Kolmogorov-Smirnov es un test clásico y conocido. El test de Shapiro-Wilk es más nuevo y recomendado para tamaños muestrales mayores a 50. En todo caso, se espera que las conclusiones con cualquiera de los dos test sean las mismas. La hipótesis será: H 0 : los residuos provienent es del tratamien to i son normales H 1 : los residuos provienent es del tratamien to i NO son normales Por lo tanto si el valor p del correspondiente test es mayor que 0,05 aceptamos la hipótesis nula y concluimos que se cumple el supuesto de Normalidad. Note que en este caso especial la hipótesis de interés es la hipótesis nula. 3. La varianza de cada una de las distribuciones es la misma (homocedasticidad). El supuesto de homogeneidad de varianza se verifica con el test de Levene, tal como vimos para el caso de comparar dos grupos. Hipótesis H 0 : σ 12 = σ 22 = L = σ k2 Test Estadístico Distribución bajo Ho F F de Fisher con grados de libertad (k-1, n-k) H 1 : al menos una varianza difiere Si el valor p del test es mayor que 0,05 entonces aceptamos la hipótesis nula y decimos que se cumple el supuesto de homocedasticidad. Si el valor p fuera menor de 0,05 y entonces no se cumple el supuesto de homogeneidad de varianza. En este caso ya no podremos usar el test F de ANOVA para comparar las medias o tratamientos, es decir no es aconsejable el análisis paramétrico. 10 Salida SPSS para ANOVA TOMATES (continuación) Pruebas de normalidad a Altura de las plantas (cm) Fertilizantes A B C Kolmogorov-Smirnov Estadístico gl Sig. .184 5 .200* .141 5 .200* .237 5 .200* Estadístico .944 .979 .961 Shapiro-Wilk gl 5 5 5 Sig. .692 .928 .814 *. Este es un límite inferior de la significación verdadera. a. Corrección de la significación de Lilliefors Prueba de homogeneidad de varianzas Altura de las plantas (cm) Estadístico de Levene 1.600 gl1 gl2 2 12 Sig. .242 11 Comparaciones múltiples En el ANOVA estamos tratando de comparar varios promedios poblacionales, es decir estamos haciendo comparaciones múltiples. El procedimiento nos indica que primero hacemos un test global para saber si existen diferencias en al menos uno los promedios. Si la respuesta es negativa (es decir aceptamos la hipótesis de que las medias son iguales) no es necesario, ni útil, seguir haciendo comparaciones. Pero si los datos son estadísticamente significativos, entonces la pregunta siguiente es: ¿cuáles medias o grupos difieren? El llamado problema de comparaciones múltiples se debe a que cuando tenemos más de dos grupos a comparar, aumenta el número de pares de comparaciones y el nivel de significación α establecido ya no es 0,05 sino mayor. Existe controversia en este tema, pero las revistas de corriente principal en general requieren el uso de métodos de comparaciones múltiples al hacer un ANOVA en sus publicaciones. Existen diferentes métodos de comparaciones múltiples, primero lo más simple sería realizar test t para cada par de medias, esto se conoce como contrastes y "están permitidos" cuando las comparaciones a realizar han sido pre-planeadas en el diseño o protocolo del estudio. Sin embargo, a pesar de poder justificar como pre-planeadas o a- priori, los llamados métodos post-hoc son los más seguros. Los métodos de comparaciones múltiples o post-hoc nos permiten comparar las medias con un nivel de significación global de α=0,05. En este curso revisaremos los contrastes (a-priori) y el método de Tukey (post-hoc), SPSS realiza muchos otros métodos que pudieran ser útiles y que siguen la misma filosofía de Tukey. Contrastes Realizar contrastes es equivalente a realizar test t para comparar medias de todos los posibles pares de combinaciones: yi − y j t= MCD n1i + n1j ( ) Donde MCD es la media cuadrática dentro o la estimación de la varianza poblacional. En SPSS tenemos que indicar cuales son los pares a comparar indicándole cuales son los coeficientes de los contrastes. Cada contraste tiene que sumar cero: Coeficientes de los contrastes Fertilizante Contraste 1 A B C 1 -1 0 2 1 0 -1 3 0 1 -1 El contraste 1 equivale a docimar la hipótesis: H 0 :1µ1 − 1µ 2 + 0 µ 3 = 0 , es decir H 0 : µ1 − µ 2 = 0 El contraste 2 equivale a docimar la hipótesis: H 0 :1µ1 + 0 µ 2 − 1µ 3 = 0 , es decir H 0 : µ1 − µ 3 = 0 El contraste 2 equivale a docimar la hipótesis: H 0 : 0 µ1 + 1µ 2 − 1µ 3 = 0 , es decir H 0 : µ 2 − µ 3 = 0 12 Salida SPSS Pruebas para los contrastes Altura de las plantas (cm) Asumiendo igualdad de varianzas No asumiendo igualdad de varianzas Contraste 1 2 3 1 2 3 Valor del contraste -9.20 -2.40 6.80 -9.20 -2.40 6.80 Error típico 1.238 1.238 1.238 1.428 1.249 1.000 t -7.430 -1.938 5.491 -6.441 -1.922 6.800 gl 12 12 12 7.439 5.538 6.502 Sig. (bilateral) .000 .076 .000 .000 .107 .000 Test de Tukey El test de Tukey es bastante conocido y aceptado en la literatura. La prueba estadística que utiliza el método de Tukey es la estadística de rango estudentizado, q, donde: q= yi − y j MCDq ~ q(k , n − k ) Existen tablas para la estadística de rango estudentizado pero no las vamos a necesitar, usaremos los resultados de SPSS: Comparaciones múltiples Variable dependiente: Altura de las plantas (cm) HSD de Tukey (I) Fertilizantes A B C (J) Fertilizantes B C A C A B Diferencia de Error típico medias (I-J) -9.200* 1.238 -2.400 1.238 9.200* 1.238 6.800* 1.238 2.400 1.238 -6.800* 1.238 Sig. .000 .170 .000 .000 .170 .000 Intervalo de confianza al 95% Límite Límite inferior superior -12.50 -5.90 -5.70 .90 5.90 12.50 3.50 10.10 -.90 5.70 -10.10 -3.50 *. La diferencia de medias es significativa al nivel .05. Notar que el error estándar es el mismo, lo que cambia es la distribución que estamos usando como referencia, y por lo tanto cambia el valor- p. SPSS nos entrega una tabla con el resumen de las comparaciones: 13 Altura de las plantas (cm) a HSD de Tukey Fertilizantes A C B Sig. N 5 5 5 Subconjunto para alfa = .05 1 2 34.00 36.40 43.20 .170 1.000 Se muestran las medias para los grupos en los subconjuntos homogéneos. a. Usa el tamaño muestral de la media armónica = 5.000. Una manera de presentar estos resultados es con el gráfico que muestra las medias de cada grupo y sus intervalos de 95% de confianza. Nota final: - El método de Tukey es casi siempre bueno. - Si se tienen muchos tratamientos, el método de Scheffe es el más conservador. - Si se tiene un grupo control con el cual se quieren comprar los tratamientos, existe un método especial para ese caso, la prueba de Dunnet. 14 Pasos en ANOVA de un factor: 1. Describir los grupos y verificar los supuestos, se recomienda una descripción numérica (promedio y error estándar) y descripción gráfica (box) Descripción gráfica de efecto de los fertilizantes en la altura de los tomates 2. Análisis de los supuestos: Normalidad y Homocedasticidad - Normalidad: Test de Kolmogorov-Smirnov y Shapiro-Wilks - Homocedasticidad: Test de Levene 2a) Si no se obtiene normalidad, se pueden trasformar los datos2 o usar métodos no paramétricos (otro capítulo). 2b) Si no se obtiene homogeneidad de varianza: se pueden trasformar los datos o usar métodos no paramétricos o realizar el Test de Welch (para comparar las medias) 3. Tabla de ANOVA 3a) Si F grande, valor p menor a 0,05 entonces: Test de comparaciones múltiples 3b) Si valor p mayor a 0,05 quiere decir que no hay diferencias estadísticamente significativas entre los promedios y por lo tanto no hay más preguntas. 2 Ver Aron & Aron capítulo 15 15