4. Modelos AR(1) y ARI(1,1).

4. Modelos AR(1) y ARI(1,1).
Los modelos autorregresivos son aquellos modelos ARMA(p,q)
en los que q=0. En general, vamos a denotarlos por AR(p).
En un modelo AR(p) en valor en el momento t de la serie se
expresa como una combinación lineal de las p observaciones
anteriores de la serie más la innovación:
yt = φ1 yt −1 + φ2 yt −2 + ... + φ p yt − p + at
En los modelos MA(q), el valor de la serie en el momento t se
expresa como una combinación de innovaciones. Sin
embargo, existe una relación entre los modelos AR y los
modelos MA.
Vamos a considerar, por ejemplo, el modelo MA(1)
dado por:
y t = at + θ 1 at −1
Teniendo en cuenta que
at = y t − θ 1 at −1
y sustituyendo recursivamente hacia atrás, se
obtiene la siguiente expresión:
y t = at + θ 1 y t −1 − θ 12 y t − 2 + θ 13 y t −3 − ...
En la práctica, la información disponible para poder
estimar los modelos y luego predecir con ellos son
las propias observaciones de la serie. Por ello,
vamos a exigir que los modelos MA sean
invertibles. La propiedad de invertibilidad
establece que el valor presente de yt pueda
expresarse como una combinación lineal
convergente de observaciones pasadas. En el
caso concreto del modelo MA(1) esto significa que
θ1 < 1
En general, en un modelo MA(q), la condición de
invertibilidad viene dada porque las soluciones de
la siguiente ecuación
1 + θ 1 x + ... + θ q x q = 0
sean mayores que uno en módulo. Como caso
particular, podemos ver que para el modelo
MA(1), la ecuación es
1 + θ1 x = 0
Por lo que su solución es:
x = −1 / θ 1
Modelo AR(1)
En un modelo AR(p), el valor de la serie en el
momento t es una combinación lineal de las
últimas p observaciones de la variable. En el caso
más simple, el valor de la serie en el momento t
solo depende de la observación previa. El modelo
AR(1) viene dado por:
yt = c + φ1 yt −1 + at
La condición de estacionariedad es que | φ1 |< 1 . En
este caso, la media marginal viene dada por
c
E ( yt ) = c + φ1E ( yt −1 ) ⇒ µ =
1−φ
El modelo puede ser también escrito como
yt − µ = φ1 ( yt −1 − µ ) + at
Las observaciones
fluctúan alrededor de µ
que es la media de la
serie.
4
3
2
1
0
-1
-2
-3
25
50
75
100
125
150
175
200
175
200
AR(1) model: y(t)=0.2*y(t-1)+a(t)
10
La media no es 5 sino
5/(1-0.2)=6.25.
9
8
7
6
5
4
3
25
50
75
100
125
150
AR(1) series: y(t)=5+0.2*y(t-1)+a(t)
Función de autocorrelación de series
generadas por modelos AR(1).
a) Varianza marginal
Var ( yt ) = E ( yt − µ ) 2 = E (φ1 ( yt −1 − µ ) + at ) 2 =
φ12 E ( yt −1 − µ ) 2 + E (at ) 2 + φ1E (( yt −1 − µ )at ) ⇒
2
σ
σ2 = a2
1 − φ1
Las autocovarianzas vienen dadas por
γ (1) = E{( yt − µ )( yt −1 − µ )} = E{(φ1 ( yt −1 − µ ) + at )( yt −1 − µ y )} = φ1σ 2
γ (2) = E{( yt − µ )( yt −2 − µ )} = E{(φ1 ( yt −1 − µ ) + at )( yt −2 − µ )} =
φ1γ (1) = φ12σ 2
γ (h) = E{( yt − µ )( yt −h − µ )} = E{(φ1 ( yt −1 − µ ) + at )( yt −h − µ )} =
φ1γ (h − 1) = φihσ 2
Por lo tanto, las autocorrelaciones del modelo AR(1)
vienen dadas por
ρ ( h ) = φ1h ,
h = 0 , 1, 2 ,...
Las correlaciones tienden hacia cero
exponencialmente: las observaciones alejadas en
el tiempo van teniendo menor influencia. Cuanto
mayor sea φ1 más lentamente decrecen las
correlaciones.
El parámetro φ1 está
relacionado con la
memoria de la serie.
Cuanto más cerca esté
de cero, la memoria es
más corta. A medida
que se incrementa, la
memoria es mayor y,
consecuentemente, la
dependencia con
respecto al pasado
más fuerte.
4
12
3
10
2
8
1
6
0
4
-1
2
-2
0
-3
-2
-4
-4
25
50
75
100
125
150
175
25
200
50
75
100
125
150
175
200
175
200
AR(1) series: y(t)=0.95*y(t-1)+a(t)
AR(1) series: y(t)=0.5*y(t-1)+a(t)
6
6
4
4
2
2
0
0
-2
-2
-4
-4
25
50
75
100
125
150
AR(1) series: y(t)=0.8*y(t-1)+a(t)
175
200
-6
25
50
75
100
125
y(t)=-0.8*y(t-1)+a(t)
150
En un modelo estacionario, el efecto de las
innovaciones es transitorio mientras que en
modelos no estacionarios, sus efectos son
permanentes (la serie no retorna a una media
constante). Para ilustrar este resultado, vamos a
considerar el siguiente modelo AR(1):
yt = φ1 yt −1 + at
Si sustituimos recursivamente hacia atrás, se
obtiene la siguiente representación:
∞
yt = ∑ φ1i at −i
i =0
Si el modelo es estacionario, las ponderaciones de
las innovaciones pasadas van descendiendo
hacia cero. Por lo tanto, el modelo AR(1) puede
aproximarse mediante un modelo MA(q)
Si | φ1 |= 1 , entonces los efectos son permanentes. El
modelo resultante es el paseo aleatorio.
yt = yt −1 + at
∞
yt = ∑ at −i
i =0
En este caso, el modelo no puede aproximarse por
un modelo MA(q).
Cuando | φ1 |> 1 el comportamiento de la serie es
explosivo. Las innovaciones muy alejadas en el
tiempo son más importantes que las más
cercanas. Este comportamiento no es muy
habitual en series reales.
Momentos condicionales del modelo AR(1):
E ( yt | y1,..., yt −1 ) = φ1 yt −1
Var ( yt | y1 ,..., yt −1 ) = E{( yt − E ( yt )) 2 | y1,..., yt −1} =
t −1
2
σ
E{( yt − φ1 yt −1 ) 2 | y1,..., yt −1 ) = E{at2 | y1,..., yt −1 ) = σ a2 < a 2
1 − φ1
Generalización a modelos AR(p)
Vamos a considerar el modelo AR(2):
yt = c + φ1 yt −1 + φ2 yt −2 + at
La condición de estacionariedad es que el
módulo de las soluciones de la ecuación
1 − φ1 x − φ 2 x 2
sean mayores que uno.
En este caso, la acf del modelo AR(2) viene
dada por
φ1

,
φ
(
1
−
)
ρ (h) = 
2
φ1 ρ ( h − 1) + φ 2 ρ ( h − 2 ),
h =1
h >1
12
8
4
0
-4
-8
25
50
75
100
125
150
y(t)=1.6*y(t-1)-0.8*y(t-2)+a(t)
175
200
10
5
0
-5
-10
25
50
75
100
125
150
y(t)=-1.5*y(t-1)-0.7*y(t-2)+a(t)
175
200
Las autocorrelaciones de los modelos AR(p)
decaen exponencialmente hacia cero. El
análisis de estas autocorrelaciones no
permite determinar el orden del modelo.
Autocorrelación parcial de orden h:
Correlación entre y e y una vez que se
tiene en cuenta el efecto sobre ambas de
todas las observaciones intermedias
φhh = Corr ( yt , yt −h | yt −1,..., yt −h+1 )
Para calcular las autocorrelaciones parciales:
yt = φ11 yt −1 + a1t
yt = φ21 yt −1 + φ22 yt −2 + a2t
yt = φ31 yt −1 + φ32 yt −2 + φ33 yt −3 + a3t
Por ejemplo, en un modelo AR(1):
φ11 = φ1
φ22 = 0
En un modelo AR(2):
φ11 ≠ 0
φ22 = φ2
φ33 = 0
Las autocorrelaciones parciales son cero para h>p
5. El Modelo ARMA(1,1)
En el modelo MA(q), las innovaciones dejan de
tener efectos después de q periodos. Por otra
parte, en el modelo AR(p), los efectos de las
innovaciones están restringidos. El modelo ARMA
permite recoger efectos más duraderos de las
innovaciones con menos restricciones.
Los modelos ARMA se pueden obtener al agregar
modelos AR y modelos MA. Muchas series
económicas se obtienen por agregación, lo que
también justificaría la aparición de modelos
ARMA.
Los modelos ARMA son modelos mixtos que tienen
tanto componentes autorregresivas como de
medias móviles. Un modelo ARMA(p,q) es
estacionario si su parte autorregresiva es
estacionaria y es invertible cuando su componente
de medias móviles es invertible.
En el caso más simple, el modelo ARMA(1,1) viene
dado por
yt = c + φ1 yt −1 + at − θ1at −1
La condición de estacionariedad es | φ1 |< 1 y la
condición de invertibilidad es | θ1 |< 1
En este caso, la media marginal es
c
µ=
1 − φ1
y la función de autocorrelación es
 (1 + φ1θ1 )(φ1 + θ1 ) , h = 1

ρ (h) =  1 + θ12 + 2φ1θ 2
 φ1ρ (h − 1),
h >1
Las autocorrelaciones son similares a las del
modelo AR(p) pero el decaimiento no empieza
desde el principio.
5
4
3
2
1
0
-1
-2
-3
25
50
75
100
125
150
y(t)=0.8*y(t-1)+a(t)-0.5*a(t-1)
175
200
8
6
4
2
0
-2
-4
-6
25
50
75
100
125
150
y(t)=0.8*y(t-1)+a(t)+0.5*a(t-1)
175
200
5
4
3
2
1
0
-1
-2
-3
-4
25
50
75
100
125
150
y(t)=0.5*y(t-1)+a(t)+0.5*a(t-1)
175
200
Resumen
Momentos
marginales
Momentos
Condicionales
Media
Media
AR(1)
c
1 − φ1
AR(2)
c
1 − φ1 − φ 2
MA(1)
MA(2)
c
Var.
σ a2
1 − φ12
σ a2
1 − φ 12 − φ 23
σ a2 (1 + θ 12 )
c
σ a2 (1 + θ 12 + θ 23 )
ARMA(1,1)
c
1 − φ1
1 + θ 12 + 2φ 1θ 1 2
σa
1 − φ 12
Fac
Fac
parcial
σ a2
Decae
expon.
0 para
h>1
φ 1 y t −1 − φ 2 y t − 2
σ a2
Decae
expon.
0 para
h>2
− θ1at −1
σ a2
0 para
h>1
Decae
expon.
−θ 1 a t −1 − θ 2 a t − 2
σ a2
0 para
h>2
Decae
expon.
σ a2
Decae
expon.
Decae
expon.
φ1 yt −1
φ1 y t −1 − θ 1 a t − 2
Var.
5. Modelos ARMA con dependencia
estacional
Al analizar series
macroeconómicas es
habitual observar que
tienen patrones
estacionales
transitorios
relacionados
normalmente con
motivos institucionales
o metereológicos.
1700000
1600000
1500000
1400000
1300000
1200000
91 92 93 94 95 96 97 98 99 00 01 02 03 04
Quartely GDP Europe from 1st 1991 up to 3th 2004
Los modelos ARMA necesitan ordenes muy
grandes para representar estos patrones
estacionales: perdemos la ventaja del
número reducido de parámetros de los
modelos.
Alternativa: modelos ARMA multiplicativos
estacionales que imponen restricciones
que son razonables en la práctica.
Vamos a considerar, por ejemplo, una serie
mensual. En este caso, la dependencia estacional
puede representarse mediante
(1 − φ12 L12 − φ 24 L24 − ...) y t = (1 + θ 12 L12 + θ 24 L24 − ...)ε t =
Φ P ( L12 ) y t = Θ Q ( L12 )ε t
Sin embargo, la perturbación, ε t no será en
general ruido blanco porque la serie puede tener
también dependencias regulares. Por lo tanto,
φ p ( L )ε t = θ q ( L ) at
El modelo multiplicativo ARMA(p,q)x(P,Q)s es
φ p ( L)Φ P ( Ls ) yt = θ q ( L)ΘQ ( Ls )at
Este es un modelo ARMA(p*,q*) con restriciones en
los parámetros.
Ejemplo:
(1 − 0.6 L)(1 − 0.8 L12 ) yt = (1 − 0.3L12 )at
(1 − 0.6 L − 0.8 L12 + 0.48L13 ) yt = (1 − 0.3L12 )at
yt = 0.6 yt −1 + 0.8 yt −12 + 0.48 yt −13 + at − 0.3at −12
5
4
3
2
1
0
-1
-2
-3
25
50
75
100
125
150
(1-0.6L)(1-0.8L12)y(t)=(1-0.3L12)a(t)
175
200
7. Modelos ARIMA
Como ya hemos visto, las series reales son
habitualmente no estacionarias. Cuando la
evolución de la tendencia y la estacionalidad son
estocásticas, es necesario transformar las series
tomando diferencias para que la serie
transformada sea estacionaria.
Vamos a suponer que la serie de interés es I(d), es
decir tenemos que tomar d diferencias para que
sea estacionaria
wt = ∆d yt
Una vez que la serie ha sido transformada, el
modelo ARMA se ajusta a la transformación
estacionaria, es decir,
wt = φ1wt −1 + ... + φ p wt − p + at − θ1at −1 − ... − θ q at −q
Modelo ARIMA(p,d,q):
∆d yt = φ1∆d yt −1 + ... + φ p ∆d yt − p + at − θ1at −1 − ... − θ q at −q
Ejemplo: Modelo ARIMA(1,1,0)
∆yt = φ1∆yt −1 + at
yt = yt −1 + φ1 yt −1 − φ1 yt −2 + at =
(1 + φ1 ) yt −1 − φ1 yt −2 + at =
φ1* yt −1 + φ2* yt −2 + at
El modelo ARIMA es un modelo ARMA con raíces
unitarias
Modelo ARIMA multiplicativo:
φ p ( L)Φ P ( Ls )∆d ∆Ds yt = θ q ( L)ΘQ ( Ls )at