Seleccion y Diagnostico del modelo

Criterios de selección y diagnóstico de modelos
I) Diagnóstico
El diagnóstico del modelo requiere comprobar las hipótesis básicas realizadas respecto a
los residuos del modelo.
1. media marginal igual a cero
2. varianza marginal constante
3. falta de correlación de los residuos (shocks aleatorios estimados) para cualquier
retardo
4. distribución normal
La primer condición es poco restrictiva y aunque se cumpla el modelo puede ser
incorrecto, la segunda condición es más fuerte. La tercera, incorrelación de los residuos
para cualquier retardo, es central para asegurarse que el modelo es adecuado. La ultima
condición, de normalidad es conveniente, porque entre otras cosas garantiza que la
incorrelación implique independencia.
Esta etapa de validación es complementaria a la de seleccionar el mejor modelo, pero no
consisten en lo mismo, es posible seleccionar varios modelos que cumplan las hipótesis
anteriores, son etapas complementarias.
1. Contrastes de autocorrelación
1.1 Test de significación individual de las autocorrelaciones estimadas
El primer contraste a realizar es si los residuos estimados están incorrelacionados. Es
posible determinar si cada coeficiente de aurocorrelación es significativamente distinto
de cero.
Para ello se calcula su función de autocorrelación estimada y si los residuos están
incorrelacionados los ρk estimados, para k no muy pequeño serán aproximadamente
variables aleatorias con media cero, varianza asintótica 1/T y distribución normal. La
varianza asintótica es válida para k grande, pero no para los primeros retardos. Puede
demostrarse que para un proceso AR(1), el desvío asintótico del primer retardo, k=1 de
2
la autocorrelación de primer orden es ρˆ 1 = (1 − φ ) T , que puede ser mucho menor
que 1/√T. Por tanto el valor 1/√T debe considerarse como un límite máximo del desvío
de las autocorrelaciones de los residuos.
Se puede utilizar la formula de Barlett 1 para estimar los errores estándar de los
coeficientes de autocorrelación de los residuos:
s [ρ (εˆ )] = 1 + 2 k -1 ρ 2 (εˆ )T −1 / 2
∑ j=1 j 
 k
1
Esta aproximación es apropiada para procesos estacionarios con shocks aleatorios con distribución
Normal, donde el verdadero proceso generador de los datos (para cada rezago k) es un MA de orden k-1.
Ver Pankratz.A (1983).
1
Se contrasta la hipótesis nula H0 : ρ̂ k = 0 para cada coeficiente de autocorrelación
ρˆ − 0
calculando t = k
s[ρˆ k ]
Existe un riesgo al aplicar la fórmula de Barlett para testear las autocorrelaciones en los
residuos, los errores estándar estimados en general están sobreestimados cuando se
aplica esta fórmula, esto se da sobre todo en los rezagos más pequeños y esto da lugar a
subestimar los t-valores. De todos modos muchos paquetes estadísticos usan esta
aproximación, por lo que hay que ser especialmetne cuidadoso en evaluar la
significación de los coeficientes de autocorrelación en los primeros rezagos.
1.2 Contraste de Ljung Box
Dados los problemas de contrastar la significación individual de los coeficientes de
autocorrelación estimados, Ljung y Box proponen un contraste global de que las
primeras h autocorrelaciones son cero. Si los residuos siguen un proceso tipo ruido
blanco, los coeficientes de correlación estimado son asintóticamente normales, con
media cero y varianza (T-k)/T(T+2).
H0 : ρ̂1 = ρ̂ 2 =.... ρ̂ k =0
ρˆ 2j
se distribuye, asintóticamente, como una χ2 con
T
−
j
j =1
grados de libertad igual al número de coeficientes en la suma (h) menos el número de
parámetros estimdos n. Para modelos no estacionales y con constante n= p+q+1 y para
los estaciones, sin constante n=p+q+P+Q. Concluiremos que el modelo es inadecuado
si el valor de Q(h) es mayor que el percentil 0.95 de la distribución χ2 con h-n grados de
libertad.
h
El estadístico Q(h) = T (T + 2) ∑
2. Contrastes de media cero
Para contrastar la hipótesis de que las perturbaciones tienen esperanza nula, suponiendo
T residuos y p+q parámetros, se calcula su media, su varianza y se concluye que la
εˆ
esperanza de los residuos es distinta de cero si
es significativamente grande con
sˆεˆ
T
relación a la distribución N(0,1). Este contraste debe de aplicarse despues de
comprobar que los residuos están incorrelacionados de modo de asegurar que ŝεˆ es un
estimador razonable del desvío.
3. Contraste de homocedasticidad
La estabilidad de la varianza marginal de los residuos se comprueba estudiando el
gráfico de los residuos a lo largo del tiempo. Existen contrastes adicionales para ciertas
formas de heterocedasticidad condicional, que veremos más adelante.
4. Contraste de normalidad
La normalidad se comprueba con cualquiera de los test de normalidad.
2
Un contraste posible es el test de Jarque Bera (), el estadístico mide la diferencia de los
coeficientes de asimetría y kurtosis de la serie con la de una serie con distribución
normal.
Se calculan los coeficientes de asimetría (cs) y kurtosis (ck) de los residuos y bajo la
Tcs 2 T(ck - 3) 2
hipótesis de normalidad, la variable X =
+
sigue una distribución χ2
6
24
con dos grados de libertad.
El coeficiente de asimetría de una variable con distribución Normal, es 0 y el
coeficiente de kurtosis de una variable con distribución Normal, es 3. Si el coeficiente
excede el valor de 3, la distribución es más empinada que la Normal (leptokurtica) y si
el coeficiente es menor que 3, la distribución es más chata que la normal (platycurtica).
Siempre conviente estudiar el gráfico de los residuos estimados a lo largo del tiempo, de
modo de poder detectar posibles puntos anómalos, si existen puntos que exceden ± 2σ2
ó ± 3σ2 .
5. Periodograma acumulado
En ocasiones uno puede temer no considerar las periodicidades de la serie en forma
adecuada. Se puede intentar rastrear estas periodicidades no captadas en el modelo a
través del análisis de los residuos. El autocorrelograma de los residuos estimados no es
el instrumento más adecuado para captar si estas periodicidades permanecen en los
residuos, dado que estas se diluyen a medida que los rezagos se incrementan. El
periodograma en cambio está pensado para captar con gran sensibilidad estas
periodicidades.
Barlett dejó en claro que el periodograma acumulado puede usarse como un
instrumento adecuado para detectar estas periodicidades no aleatorias. El espectro
poblacional de un proceso ruido blanco es un valor constante, como vimos : f (λ ) =
1 2
σε
2π
En el intervalo (0,π), en términos de período, el espectro de un ruido blanco tiene un
valor constante en (0,0.5ciclos), por tanto se puede graficar el espectro acumulado de un
ruido blanco como una línea que va de (0,0) a (0.5,σ2 ε) o si la estandarizamos , va de
(0,0) a (0.5,1).
Llamemos C(f) al periodograma acumulado normalizado, estimador insesgado del
j
espectro acumulado, C(f) =
∑ f (λ ) / ns
2
, con s2 estimador de σ2 ε . Si el modelo fuera
i =1
adecuado y los parámetros estimados fueran iguales a los verdaderos, los residuos
serían efectivamente shocks aleatorios, procesos ruido blanco. Si se grafica C(f) contra
las frecuencias en el intervalo (0,π),se obtendría una línea recta que va de (0,0) a (0.5,1),
si el modelo es inadecuado, si persisten periodicidades no modelizadas, el periodograma
acumulado mostrará desviaciones sistemáticas de esa línea.
3
Ejemplo:
Considerar la serie sunspots.tsm
120.
100.
80.
60.
40.
20.
0
.
-20.
-40.
-60.
0
20
40
60
80
100
Importarla y dejar el modelo por defecto: ruido blanco.
Luego buscar en el menú el periodograma acumulado estandarizado.El gráfico que se
obtiene es:
1.00
.80
.60
.40
.20
.00
.0
.5
1.0
1.5
2.0
2.5
3.0
Salida PEST:
ITSM::(CUMULATIVE SPECTRUM)
Number of frequencies in periodogram = 5
Fundamental Fourier frequency 2*pi/n = .062832
Las bandas que aparecen son las bandas de Kolmogorov-Smirnov, que establecen
límites a partir de los cuales, las periodicidades que persisten en los residuos dan lugar a
rechazar la hipótesis de que los residuos se comportan como un proceso ruido blanco .
Si se ajusta un modelo preliminar, tal que minimice el AICC, ajusta un AR(3) a la serie
de manchas solares y se estima nuevamente el periodograma acumulados estandarizado
el resultado es el siguiente
Salida PEST :
Method: Yule-Walker (Minimum AICC)
ARMA Model:
X(t) = 1.369 X(t-1) - .7401 X(t-2) + .08047 X(t-3) + Z(t)
WN Variance = .227391E+03
AR Coefficients
1.368531
-.740146
.080474
Ratio of AR coeff. to 1.96 * (standard error)
7.005020 -2.479990
.411918
(Residual SS)/N = .227391E+03
WN variance estimate (Yule Walker): .287341E+03
4
-2Log(Like) = .828553E+03
AICC = .836974E+03
1.00
.80
.60
.40
.20
.00
.0
.5
1.0
1.5
2.0
2.5
3.0
7. Evaluación de las predicciones
Se evalúa el modelo de acuerdo a la performance de las predicciones dentro de la
muestra, se acorta la muestra y se realizan las predicciones correspondientes, a un paso
y a varios pasos, se comparan los errores obtenidos de acuerdo a la utilización de los
diferentes modelos.
Se pueden elaborar , a modo de ejemplo, los siguientes indicadores usando los errores
estimados:
F
i)
Error medio: 1/F
∑e
t
i =1
F
ii)
Error medio absoluto: 1/F
∑e
t
i =1
F
iii)
RMSE:
1 / F ∑ et2
i =1
F= número de observaciones fuera de la muestra usadas para evaluar la predicción
N= número total de observaciones
Criterios de Selección
El proceso de identificación puede dar lugar a seleccionar un conjunto de modelos como
posibles condidatos, se han elaborado un conjunto de criterios que contribuyan a la
selección de modelos.
En estas notas expondremos tres criterios:
FPE: Final Prediction Error Criterion (Akaike 1969)
AIC: Akaike Information Criteria (Akaike 1974)
BIC: Bayesian Information Criterion (Shwarz 1978)
La idea es conciliar la necesidad de minimizar los errores y estimar un modelo
parsimonioso. Estos criterios en general constan de dos componentes, uno que refiere a
5
la minimización de los errores y el segundo, un término de penalización por la
incorporación de parámetros adicionales.
AIC= Ln(SCR/n) + 2((1+p+q+P+Q)/n)
BIC= Ln(SCR/n) + [Ln(n)+((1+p+q+P+Q)/n)
n=número de observaciones
p=orden de la parte autorregresiva regular
P=orden de la parte autorregresiva estacional
q= orden de la parte de medias móviles regular
Q= orden de la parte de medias móviles estacional
1: si el modelo incluye constante
FPE= σ2 (n+p/n-p)
Este criterio está pensado para seleccionar entre modelos autorregresivos. Dado el orden
del modelo autorregresivo, se minimiza el error cuadrático medio de la predicción a un
paso.
Observaciones:
1. Idealmente tanto el AIC como el BIC deben ser lo más pequeños posibles (ambos
pueden ser <0).
2. Como se puede ver a partir de las expresiones de los criterios, para utilizar esto dos
criterios sobre modelos alternativos es necesario estimarlos sobre el mismo período
( igual muestra), para que sean comparables.
3. El criterio BIC usualmente selecciona modelos más parsimoniosos que el criterio
AIC, ya que el costo de adicionar regresores es mayor.
4. Si se utilizan ambos criterios para ordenar modelos, se obtienen resultados
diferentes, por ello es preferible hacer el ranking de acuerdo a un criterio pre
seleccionado.
5. Cuando se usa un único criterio, persiste aun un problema y es cuál es la diferencia
aceptable para elegir entre un modelo y otro. Existen diferentes propuestas para
tomar esta desición, Poskitt y Tremayne (1987) sugieren combinar ambos criterios,
de la siguiente forma:
R= e [−1 / 2 T (BIC ( p 0 , q ( P , 0 ,Q )− BIC ( p ,0 , q )( P , 0 ,Q ) )]
Los autores sugieren que el punto de corte se establezca en valores menores a 10 .
Gómez y Maravall (1998) sugieren usar los modelos más balanceados, si los criterios
dan valores similares. Ej: entre un ARIMA (2,0,0) Y UN ARIMA(1,0,1) sugieren elegir
el segundo, pues entre otras cosas permite encontrar problemas de factores comunes
entre los polinomios de los componentes autorregresivo y de medias móviles.
*,
*
*
*
6