Series de tiempo Estadı́stica Miguel Ángel Chong R. [email protected] 2 de abril del 2013 Miguel Chong Series de tiempo Autorregresivos Diremos que un proceso {Xt }t2T es un autorregresivo de orden p, y lo denotaremos como AR(p), si para p 1 un entero y 1 , . . . , p constantes reales tenemos que Xt = 1 Xt 1 + ... + p Xt p + ✏t donde {✏t } es un proceso de ruido blanco. En terminos de operadores de retraso tenemos Xt (1 1 Xt 1 1B ... ... p Xt p p p B ) Xt p a p =✏t =✏t (B) Xt =✏t , (B) se le conoce como el polinomio autorregresivo. Miguel Chong Series de tiempo Un proceso AR(p) puede ser estacionario o no estacionario, eso dependerá de los valor es de 1 , . . . , p , por ejemplo Para un AR(1) Xt = Xt calculado que E (Xt ) = 0, 1 + ✏t con | | < 1, ya habı́amos 2 h (h) = 1 2 y ⇢(h) = (h) = (0) h . Notemos que de lo anterior concluimos que la función de autocorrelación decrece de forma exponencial y ademas que irá alternado el signo si < 0. Miguel Chong Series de tiempo Ahora introduciremos el concepto de causalidad para los proceso AR(p). Este concepto es casi identico a la definición de un proceso estocástico lineal, y recordemos que para ese tipo de proceso sabemos que condiciones pedir para que sean estacionarios de segundo orden. En otras palabras, si tenemos un proceso AR(p) causal entonces este será estacionario. Definición Un proceso AR(p), {Xt } definido por p (B) = 1 1 B . . . p B p se llama causal o función causal de {✏t } si se puede expresar como 1 1 X X j un MA(1), es decir Xt = (B) ✏t para j ✏t j = j B ✏t = toda t 2 T , donde 1 X j=0 j=0 | j| < 1 y Miguel Chong j=0 0 = 1. Series de tiempo El siguiete teorema nos da condiciones necesarias para saber si un proceso AR(p) es causal o no. Teorema Un proceso AR(p), definido por p (B) Xt = ✏, donde p (B) = p 1 1B . . . p B es causal si solo si las soluciones de la ecuación p (B) = 1 1B ... pB son en módulo mayores que la unidad. Miguel Chong Series de tiempo p = 0, Para un AR(2) la región de causalidad es la que se muestra a continuación Miguel Chong Series de tiempo Lema P Supongamos que {Xt }t es proceso causal, Xt = 1 j=0 {✏t }t2T es ruido blanco. Entonces E [Xt k ✏t ] = Miguel Chong ( 2 ✏ 0 si k = 0, si k > 0. Series de tiempo j ✏t j , donde Demostración Caso k = 0 E [Xt ✏t ] = 20 1 X E 4@ j ✏t j j=0 = 1 X j E [✏t ✏t j ] 1 3 A ✏t 5 j=0 = 0 E [✏t ✏t ] =1· 2 ✏ 2 ✏. = Caso k > 0 E [Xt k ✏t ] = 20 1 X E 4@ j ✏t k j j=0 = 1 X j E [✏t ✏t k j ] j=0 Miguel Chong 1 3 A ✏t 5 = 1 X j=0 Series de tiempo j · 0 = 0⌅ Veamos una forma de calcular analı́ticamente las función de autocovarianza y autocorrelación de un AR(2) suponiedo que es causal y además si perdida de generalidad E (Xt ) = 0. Primero tenemos que un AR(2) se escribe como Xt = 1 Xt 1 + 2 Xt 2 + ✏t donde {✏t } es ruido blando con varianza ✏2 . Si multiplicamos esta última ecuación por Xt k tenemos y tomamos esperanza de ambos lados tenemos que E [Xt Xt k] = 1 E [Xt 1 Xt k ] + 2 E [Xt 2 Xt k ] + E [✏t Xt Que es equivalente a k = 1 k 1 + Miguel Chong 2 k 2 + E [✏t Xt Series de tiempo k] . k] . Usando el Lema anterior al evaluar para distintas k 0 s tenemos que k = 1 k 1 0 = 1 1 + 2 k 2, 2 2 2 + ✏. + Dividiendo estas expresiones por ⇢k = 1= 2 ⇢k 2 , 2 ✏ . 2 ⇢2 + 0 + 1 tenemos que + 1 ⇢k 1 1 ⇢1 0 k k 1 (1) (2) Evaluando (1) en k = 1 y 2 tenemos que k = 1, ⇢1 = k = 2, ⇢2 = 1 + 1 ⇢1 2 ⇢1 , ) + Miguel Chong 2, ) ⇢1 = ⇢2 = 1 1 2 2 1 1 Series de tiempo + 2 2. Ahora si evaluamos (1) con k = 3 y usando los resultados anteriores obtenemos ⇢3 , y de manera recursiva usando la ecuación (1) podemos obtener ⇢u para u 4. En general para un proceso AR(p) con p 3 decrece a cero en formas sinusoidales, pero no se anulan a partir de algún lag como sucede en los procesos MA(q). Miguel Chong Series de tiempo Supongamos que {Xt }t es proceso AR(p) causal, Xt 1 Xt 1 ... p Xt p = ✏t , donde E [Xt ] = 0, 8t y {✏t }t2T es ruido blanco. Si a la ecuación anterior la multiplicamos por Xt k con k 0 y tomamos esperanza de ambos lados obtenemos k 1 k 1 ... Miguel Chong p k p = E [Xt Series de tiempo k ✏t ] . De la ecuación anterior si evaluamos para distintas k y usamos el lema anterior podemos obtener el siguiente sistema de ecuaciones 0 p 1 1 2 2... p p 1 1 0 2 1... p p 1 2 1 1 2 0... p p 2 1 p 1 .. . 2 p 2... Miguel Chong p 0 = ✏2 , para k = 0 = 0, para k = 1 = 0, para k = 2 .. . = 0, para k = p. Series de tiempo O visto matricialmente 0 donde p p 0 0 1 1 B 2 C B C =B . C @ .. A 1 1 p p 0 p p = 2 ✏ p = p 0 B B =B @ p 1 0 p 2 ... 0 1 1 .. . p 1 (4) p, ... ... .. . 0 .. . (3) p 2 .. . 1 C C C A B 2 C B C = B . C. A (4) se le conoce como las ecuaciones de @ .. A p Yule-Walker. Miguel Chong Series de tiempo Si tenemos una realización {Xj }nj=1 de tamaño n entonces podemos calcular 0 B B ˆp = B @ ˆ1 ˆ2 .. . ˆp 1 C C C, A 0 B ˆp = B B @ ˆ0 ˆ1 .. . ˆp ˆ1 ˆ0 .. . 1 ˆp 2 ... ... .. . ˆp ˆp .. . ... ˆ0 1 2 1 C C C, A y de esta forma tenemos una manera inicial de estimar p y ✏2 en el caso de un AR(p) causal usando las ecuaciones de Yule-Walker. Si pedimos que b0 > 0 entonces bp es invertible y entonces de (4) tenemos que b p 1 = bp b p . Miguel Chong Series de tiempo 1 Por último, sustituyendo b p = bp b p en (3) tenemos ˆ✏2 = b0 = b0 = b0 Miguel Chong ⇣ b 1 p ⇣ bp b 0p bp 1 ⌘0 ⌘ 1 0 b 0p bp b p . bp bp Series de tiempo Función de autocorrelación parcial La función de autocorrelación parcial (PACF) es una herramienta que nos ayudará a identificar de forma sencilla el orden p de un proceso AR, puesto que en general no es fácil detectar el orden p, usando sólo la función de autocorrelación (muestral). Primero notemos que para un AR(1), donde el efecto de Xt 2 sobre Xt no es directo si no a través de Xt 1 , en otras palabras, si conocemos Xt 1 , el valor que tome Xt 2 es irrelevante para Xt . A continuación vamos a definir el cociente de correlación parcial de orden k, que denotaremos k k , como una medida de relación lineal entre observaciones separas k periodos, eliminando el efecto de las variables intermedias. Miguel Chong Series de tiempo En general se puede demostrar que para un proceso AR(p) causal, k k = 0 para k p + 1. Por lo tanto la PACF es un buen indidador para saber que orden de retraso debe tener el proceso si suponemos que es una autorregresivo. La anterior forma de calcular la PACF no es muy sencilla, afortunadamente hay una forma equivalente de calcular la PACF de la siguiente forma: 1 1 = ⇢1 , y para k 2 tenemos que 2 2 = 1 ⇢1 ⇢1 ⇢2 1 ⇢1 ⇢1 1 , 2 2 = 1 ⇢1 ⇢2 ⇢1 1 ⇢1 ⇢1 ⇢2 ⇢3 1 ⇢1 ⇢2 ⇢1 1 ⇢1 ⇢2 ⇢1 1 Miguel Chong ,..., k k = 1 ⇢1 . . . ⇢1 1 . . . ⇢k 2 ⇢k 1 ⇢k 3 ⇢k 2 1 ⇢1 . . . ⇢1 1 . . . ⇢k 2 ⇢k 1 ⇢k 3 ⇢k 2 Series de tiempo ... ... . . . ... ... ... ... . . . ... ... ⇢k 2 ⇢k 3 . . . 1 ⇢1 ⇢1 ⇢2 . . . ⇢k 1 ⇢k ⇢k 2 ⇢k 3 . . . 1 ⇢1 ⇢k 1 ⇢k 2 . . . ⇢1 1 . Ejemplo 1 Para un AR(1) con | | < 1 tenemos que ⇢h = h para h 2 {0, 1, 2, 3, . . .}. Ahora para este proceso obtengamos su función de autocorrelación parcial. Por definición tenemos que 1 1 = ⇢1 = . 2 2 = 3 3 = 1 ⇢1 1 ⇢1 1 ⇢1 ⇢2 1 ⇢1 ⇢2 ⇢1 ⇢2 ⇢1 1 ⇢1 1 ⇢1 ⇢1 1 ⇢1 1 2 = 2 = 1 2 2 1 = 0. 1 ⇢1 ⇢2 ⇢3 ⇢2 ⇢1 1 1 = 3 1 2 = 0. 1 2 Es fácil notar que para un AR(1) con | | < 1, Miguel Chong 2 1 2 1 k k Series de tiempo = 0 para k 2. Ejemplo 2 Para un AR(2) causal habiamos visto que: ⇢1 = 1 ⇣ 2 ⌘ + (2 ) usando la fórmula recursiva ⇢3 = 1 1 1 2 2 2 Por definición tenemos que 2 2 = 1 ⇢1 1 ⇢1 ⇢1 ⇢2 ⇢1 1 2 1 = 1 2 1 1 + 1 3 3 = = ⇢1 = ⇣ 2 ⇣ 1 1 2 1 1 1 1 ⌘2 2 1 ⇢1 ⇢2 ⇢1 1 ⇢1 ⇢1 ⇢2 ⇢3 1 ⇢1 ⇢2 ⇢1 1 ⇢1 ⇢2 ⇢1 1 2 ⌘2 2 , ⇢2 = 2 1 1 2 + 2 y . = 2 1 (1 2) + (1 2 2) (1 2 = 0, (pruébalo) Se puede probar que para un AR(2) causal, Miguel Chong 1 k k = 0 para k Series de tiempo 3. 2) 2 1 2 2 1 . En general se puede demostrar que para un proceso AR(p) causal, p + 1. Por lo tanto la PACF es un buen k k = 0 para k indidador para saber que orden de retraso debe tener el proceso si suponemos que es una autorregresivo. Miguel Chong Series de tiempo PACF muestral Supongamos que tenemos un proceso estacionario {Xt }t2T , con PACF { k k : k = 1, 2, 3, . . .}. Por otro lado, supongamos que la serie observada {X1 , X2 , . . . , Xn } proviene de dicho proceso. El estimador ˆk k de k k , lo obtendrémos de la siguiente manera: 1 ⇢ˆ1 .. . ˆ1 1 = ⇢ˆ1 , y ˆk k = ⇢ˆk ⇢ˆk ⇢ˆ1 1 .. . 2 1 1 ⇢ˆ1 .. . ⇢ˆk ⇢ˆk ⇢ˆk ⇢ˆk 3 2 ⇢ˆ1 1 .. . 2 1 ⇢ˆk ⇢ˆk Miguel Chong 3 2 . . . ⇢ˆk 2 ⇢ˆ1 . . . ⇢ˆk 3 ⇢ˆ2 .. .. .. . . . ... 1 ⇢ˆk 1 . . . ⇢ˆ1 ⇢ˆk . . . ⇢ˆk 2 ⇢ˆk 1 . . . ⇢ˆk 3 ⇢ˆk 2 .. .. .. . . . ... 1 ⇢ˆ1 . . . ⇢ˆ1 1 Series de tiempo , para k 2. Teorema Sea {Xt }t2T un proceso AR(p) estacionario con {✏t }t2T una sucesión de v.a.i.i.d. con E (✏t ) = 0 y Var (✏t ) = ✏2 constante. Para k > p, p n ˆk k Miguel Chong d ! N (0, 1) . Series de tiempo Procesos ARMA Una vez definidos los procesos AR y MA y que conocemos algunas de sus caracterı́sticas ahora vamos a combinarlos para obtener una generalización de los procesos anteriores, a estos procesos se les conoce como modelos autorregresivos de promedios móviles. La idea de hacer esta combinación es que en la práctica tendrémos series de tiempo que tienen caracterı́sticas tanto de AR como de MA. Diremos que {Xt }t2T es un proceso autorregresivo de medias moviles de orden (p, q), y lo denotamosARMA(p, q) donde p, q 0 son enteros y 1 , . . . , p , ✓1 , . . . , ✓q . son reales tales que Xt = 1 Xt 1 + ... + p Xt p +✏t + ✓1 ✏t 1 + . . . + ✓q ✏ t q, o equivalentemente Xt 1 Xt 1 ... p Xt p = ✏ t + ✓1 ✏ t p (B)Xt = ✓q (B)✏t . Miguel Chong Series de tiempo 1 + . . . + ✓q ✏ t q −1.0 −0.5 phi 0.0 0.5 1.0 Además para que el proceso ARMA (p, q), p (B)Xt = ✓q (B)✏t , sea causal e invertible necesitamos que las raı́ces de los polinomios p (z) y ✓q (B) sean en módulo mayores a la unidad. Ejemplo La región donde un ARMA (1, 1), Xt Xt 1 = ✏t + ✓✏t 1 , es invertible y causal es el interior del cuadrado (sin la orilla) que se presenta a continuación −1.0 −0.5 0.0 0.5 1.0 theta Miguel Chong Series de tiempo