Series de tiempo

Series de tiempo
Estadı́stica
Miguel Ángel Chong R.
[email protected]
2 de abril del 2013
Miguel Chong
Series de tiempo
Autorregresivos
Diremos que un proceso {Xt }t2T es un autorregresivo de orden p, y
lo denotaremos como AR(p), si para p 1 un entero y 1 , . . . , p
constantes reales tenemos que
Xt =
1 Xt 1
+ ... +
p Xt p
+ ✏t
donde {✏t } es un proceso de ruido blanco.
En terminos de operadores de retraso tenemos
Xt
(1
1 Xt 1
1B
...
...
p Xt p
p
p B ) Xt
p
a
p
=✏t
=✏t
(B) Xt =✏t ,
(B) se le conoce como el polinomio autorregresivo.
Miguel Chong
Series de tiempo
Un proceso AR(p) puede ser estacionario o no estacionario, eso
dependerá de los valor es de 1 , . . . , p , por ejemplo
Para un AR(1) Xt = Xt
calculado que
E (Xt ) = 0,
1
+ ✏t con | | < 1, ya habı́amos
2 h
(h) =
1
2
y ⇢(h) =
(h)
=
(0)
h
.
Notemos que de lo anterior concluimos que la función de
autocorrelación decrece de forma exponencial y ademas que
irá alternado el signo si < 0.
Miguel Chong
Series de tiempo
Ahora introduciremos el concepto de causalidad para los proceso
AR(p). Este concepto es casi identico a la definición de un proceso
estocástico lineal, y recordemos que para ese tipo de proceso
sabemos que condiciones pedir para que sean estacionarios de
segundo orden. En otras palabras, si tenemos un proceso AR(p)
causal entonces este será estacionario.
Definición
Un proceso AR(p), {Xt } definido por p (B) = 1 1 B . . . p B p
se llama causal o función causal de {✏t } si se puede expresar como
1
1
X
X
j
un MA(1), es decir Xt =
(B) ✏t para
j ✏t j =
j B ✏t =
toda t 2 T , donde
1
X
j=0
j=0
| j| < 1 y
Miguel Chong
j=0
0
= 1.
Series de tiempo
El siguiete teorema nos da condiciones necesarias para saber si un
proceso AR(p) es causal o no.
Teorema
Un proceso AR(p), definido por p (B) Xt = ✏, donde p (B) =
p
1
1B . . .
p B es causal si solo si las soluciones de la ecuación
p
(B) = 1
1B
...
pB
son en módulo mayores que la unidad.
Miguel Chong
Series de tiempo
p
= 0,
Para un AR(2) la región de causalidad es la que se muestra a
continuación
Miguel Chong
Series de tiempo
Lema
P
Supongamos que {Xt }t es proceso causal, Xt = 1
j=0
{✏t }t2T es ruido blanco. Entonces
E [Xt
k ✏t ]
=
Miguel Chong
(
2
✏
0
si k = 0,
si k > 0.
Series de tiempo
j ✏t j ,
donde
Demostración
Caso k = 0
E [Xt ✏t ]
=
20
1
X
E 4@
j ✏t j
j=0
=
1
X
j E [✏t ✏t j ]
1 3
A ✏t 5
j=0
=
0 E [✏t ✏t ]
=1·
2
✏
2
✏.
=
Caso k > 0
E [Xt
k ✏t ]
=
20
1
X
E 4@
j ✏t k j
j=0
=
1
X
j E [✏t ✏t k j ]
j=0
Miguel Chong
1 3
A ✏t 5
=
1
X
j=0
Series de tiempo
j
· 0 = 0⌅
Veamos una forma de calcular analı́ticamente las función de
autocovarianza y autocorrelación de un AR(2) suponiedo que es
causal y además si perdida de generalidad E (Xt ) = 0. Primero
tenemos que un AR(2) se escribe como
Xt =
1 Xt 1
+
2 Xt 2
+ ✏t
donde {✏t } es ruido blando con varianza ✏2 . Si multiplicamos esta
última ecuación por Xt k tenemos y tomamos esperanza de ambos
lados tenemos que
E [Xt Xt
k]
=
1 E [Xt 1 Xt k ]
+
2 E [Xt 2 Xt k ]
+ E [✏t Xt
Que es equivalente a
k
=
1 k 1
+
Miguel Chong
2 k 2
+ E [✏t Xt
Series de tiempo
k] .
k] .
Usando el Lema anterior al evaluar para distintas k 0 s tenemos que
k
=
1 k 1
0
=
1 1
+
2 k 2,
2
2 2 + ✏.
+
Dividiendo estas expresiones por
⇢k =
1=
2 ⇢k 2 ,
2
✏
.
2 ⇢2 +
0
+
1
tenemos que
+
1 ⇢k 1
1 ⇢1
0
k
k
1
(1)
(2)
Evaluando (1) en k = 1 y 2 tenemos que
k = 1, ⇢1 =
k = 2, ⇢2 =
1
+
1 ⇢1
2 ⇢1 , )
+
Miguel Chong
2, )
⇢1 =
⇢2 =
1
1
2
2
1
1
Series de tiempo
+
2
2.
Ahora si evaluamos (1) con k = 3 y usando los resultados
anteriores obtenemos ⇢3 , y de manera recursiva usando la ecuación
(1) podemos obtener ⇢u para u 4.
En general para un proceso AR(p) con p 3 decrece a cero en
formas sinusoidales, pero no se anulan a partir de algún lag como
sucede en los procesos MA(q).
Miguel Chong
Series de tiempo
Supongamos que {Xt }t es proceso AR(p) causal,
Xt
1 Xt 1
...
p Xt p
= ✏t ,
donde E [Xt ] = 0, 8t y {✏t }t2T es ruido blanco. Si a la ecuación
anterior la multiplicamos por Xt k con k 0 y tomamos
esperanza de ambos lados obtenemos
k
1 k 1
...
Miguel Chong
p k p
= E [Xt
Series de tiempo
k ✏t ] .
De la ecuación anterior si evaluamos para distintas k y usamos el
lema anterior podemos obtener el siguiente sistema de ecuaciones
0
p
1 1
2 2...
p p
1
1 0
2 1...
p p 1
2
1 1
2 0...
p p 2
1 p 1
..
.
2 p 2...
Miguel Chong
p 0
= ✏2 , para k = 0
= 0, para k = 1
= 0, para k = 2
..
.
= 0, para k = p.
Series de tiempo
O visto matricialmente
0
donde
p
p
0
0
1
1
B 2 C
B
C
=B . C
@ .. A
1
1
p
p
0
p p
=
2
✏
p
=
p
0
B
B
=B
@
p 1
0
p 2
...
0
1
1
..
.
p 1
(4)
p,
...
...
..
.
0
..
.
(3)
p 2
..
.
1
C
C
C
A
B 2 C
B
C
= B . C. A (4) se le conoce como las ecuaciones de
@ .. A
p
Yule-Walker.
Miguel Chong
Series de tiempo
Si tenemos una realización {Xj }nj=1 de tamaño n entonces
podemos calcular
0
B
B
ˆp = B
@
ˆ1
ˆ2
..
.
ˆp
1
C
C
C,
A
0
B
ˆp = B
B
@
ˆ0
ˆ1
..
.
ˆp
ˆ1
ˆ0
..
.
1
ˆp
2
...
...
..
.
ˆp
ˆp
..
.
...
ˆ0
1
2
1
C
C
C,
A
y de esta forma tenemos una manera inicial de estimar p y ✏2 en
el caso de un AR(p) causal usando las ecuaciones de Yule-Walker.
Si pedimos que b0 > 0 entonces bp es invertible y entonces de (4)
tenemos que
b
p
1
= bp b p .
Miguel Chong
Series de tiempo
1
Por último, sustituyendo b p = bp b p en (3) tenemos
ˆ✏2 = b0
= b0
= b0
Miguel Chong
⇣
b
1
p
⇣
bp
b 0p bp
1
⌘0
⌘
1 0
b 0p bp b p .
bp
bp
Series de tiempo
Función de autocorrelación parcial
La función de autocorrelación parcial (PACF) es una herramienta
que nos ayudará a identificar de forma sencilla el orden p de un
proceso AR, puesto que en general no es fácil detectar el orden p,
usando sólo la función de autocorrelación (muestral).
Primero notemos que para un AR(1), donde el efecto de Xt 2
sobre Xt no es directo si no a través de Xt 1 , en otras palabras, si
conocemos Xt 1 , el valor que tome Xt 2 es irrelevante para Xt .
A continuación vamos a definir el cociente de correlación parcial de
orden k, que denotaremos k k , como una medida de relación
lineal entre observaciones separas k periodos, eliminando el efecto
de las variables intermedias.
Miguel Chong
Series de tiempo
En general se puede demostrar que para un proceso AR(p) causal, k k = 0
para k p + 1. Por lo tanto la PACF es un buen indidador para saber que
orden de retraso debe tener el proceso si suponemos que es una autorregresivo.
La anterior forma de calcular la PACF no es muy sencilla, afortunadamente hay
una forma equivalente de calcular la PACF de la siguiente forma: 1 1 = ⇢1 , y
para k 2 tenemos que
2 2
=
1
⇢1
⇢1
⇢2
1
⇢1
⇢1
1
,
2 2
=
1
⇢1
⇢2
⇢1
1
⇢1
⇢1
⇢2
⇢3
1
⇢1
⇢2
⇢1
1
⇢1
⇢2
⇢1
1
Miguel Chong
,..., k k =
1
⇢1
.
.
.
⇢1
1
.
.
.
⇢k 2
⇢k 1
⇢k 3
⇢k 2
1
⇢1
.
.
.
⇢1
1
.
.
.
⇢k 2
⇢k 1
⇢k 3
⇢k 2
Series de tiempo
...
...
.
.
.
...
...
...
...
.
.
.
...
...
⇢k 2
⇢k 3
.
.
.
1
⇢1
⇢1
⇢2
.
.
.
⇢k 1
⇢k
⇢k 2
⇢k 3
.
.
.
1
⇢1
⇢k 1
⇢k 2
.
.
.
⇢1
1
.
Ejemplo 1
Para un AR(1) con | | < 1 tenemos que ⇢h = h para
h 2 {0, 1, 2, 3, . . .}. Ahora para este proceso obtengamos su función de
autocorrelación parcial.
Por definición tenemos que 1 1 = ⇢1 = .
2 2
=
3 3
=
1
⇢1
1
⇢1
1
⇢1
⇢2
1
⇢1
⇢2
⇢1
⇢2
⇢1
1
⇢1
1
⇢1
⇢1
1
⇢1
1
2
=
2
=
1
2
2
1
= 0.
1
⇢1
⇢2
⇢3
⇢2
⇢1
1
1
=
3
1
2
= 0.
1
2
Es fácil notar que para un AR(1) con | | < 1,
Miguel Chong
2
1
2
1
k k
Series de tiempo
= 0 para k
2.
Ejemplo 2
Para un AR(2) causal habiamos visto que: ⇢1 = 1
⇣ 2
⌘
+ (2
)
usando la fórmula recursiva ⇢3 = 1 1 1 2 2 2
Por definición tenemos que
2 2
=
1
⇢1
1
⇢1
⇢1
⇢2
⇢1
1
2
1
=
1
2
1 1
+
1
3 3
=
= ⇢1 =
⇣
2
⇣
1
1
2
1
1
1
1
⌘2
2
1
⇢1
⇢2
⇢1
1
⇢1
⇢1
⇢2
⇢3
1
⇢1
⇢2
⇢1
1
⇢1
⇢2
⇢1
1
2
⌘2
2
, ⇢2 =
2
1
1
2
+
2
y
.
=
2
1
(1
2)
+
(1
2
2)
(1
2
= 0, (pruébalo)
Se puede probar que para un AR(2) causal,
Miguel Chong
1
k k
= 0 para k
Series de tiempo
3.
2)
2
1
2
2
1
.
En general se puede demostrar que para un proceso AR(p) causal,
p + 1. Por lo tanto la PACF es un buen
k k = 0 para k
indidador para saber que orden de retraso debe tener el proceso si
suponemos que es una autorregresivo.
Miguel Chong
Series de tiempo
PACF muestral
Supongamos que tenemos un proceso estacionario {Xt }t2T , con
PACF { k k : k = 1, 2, 3, . . .}. Por otro lado, supongamos que la
serie observada {X1 , X2 , . . . , Xn } proviene de dicho proceso. El
estimador ˆk k de k k , lo obtendrémos de la siguiente manera:
1
⇢ˆ1
..
.
ˆ1
1
= ⇢ˆ1 , y ˆk
k
=
⇢ˆk
⇢ˆk
⇢ˆ1
1
..
.
2
1
1
⇢ˆ1
..
.
⇢ˆk
⇢ˆk
⇢ˆk
⇢ˆk
3
2
⇢ˆ1
1
..
.
2
1
⇢ˆk
⇢ˆk
Miguel Chong
3
2
. . . ⇢ˆk 2 ⇢ˆ1
. . . ⇢ˆk 3 ⇢ˆ2
..
..
..
.
.
.
...
1
⇢ˆk 1
. . . ⇢ˆ1
⇢ˆk
. . . ⇢ˆk 2 ⇢ˆk 1
. . . ⇢ˆk 3 ⇢ˆk 2
..
..
..
.
.
.
...
1
⇢ˆ1
. . . ⇢ˆ1
1
Series de tiempo
, para k
2.
Teorema
Sea {Xt }t2T un proceso AR(p) estacionario con {✏t }t2T una sucesión de v.a.i.i.d. con E (✏t ) = 0 y Var (✏t ) = ✏2 constante. Para
k > p,
p
n ˆk
k
Miguel Chong
d
! N (0, 1) .
Series de tiempo
Procesos ARMA
Una vez definidos los procesos AR y MA y que conocemos algunas de sus
caracterı́sticas ahora vamos a combinarlos para obtener una
generalización de los procesos anteriores, a estos procesos se les conoce
como modelos autorregresivos de promedios móviles. La idea de hacer
esta combinación es que en la práctica tendrémos series de tiempo que
tienen caracterı́sticas tanto de AR como de MA.
Diremos que {Xt }t2T es un proceso autorregresivo de medias moviles de
orden (p, q), y lo denotamosARMA(p, q) donde p, q
0 son enteros y
1 , . . . , p , ✓1 , . . . , ✓q . son reales tales que
Xt
=
1 Xt 1
+ ... +
p Xt p
+✏t + ✓1 ✏t
1
+ . . . + ✓q ✏ t
q,
o equivalentemente
Xt
1 Xt 1
...
p Xt p
=
✏ t + ✓1 ✏ t
p (B)Xt
=
✓q (B)✏t .
Miguel Chong
Series de tiempo
1
+ . . . + ✓q ✏ t
q
−1.0
−0.5
phi
0.0
0.5
1.0
Además para que el proceso ARMA (p, q), p (B)Xt = ✓q (B)✏t , sea
causal e invertible necesitamos que las raı́ces de los polinomios
p (z) y ✓q (B) sean en módulo mayores a la unidad.
Ejemplo
La región donde un ARMA (1, 1), Xt
Xt 1 = ✏t + ✓✏t 1 , es
invertible y causal es el interior del cuadrado (sin la orilla) que se
presenta a continuación
−1.0
−0.5
0.0
0.5
1.0
theta
Miguel Chong
Series de tiempo