COMPARACIÓN Y COMBINACIÓN DE PREDICCIONES

COMPARACIÓN Y COMBINACIÓN DE
PREDICCIONES: APLICACIÓN A LAS SERIES
TEMPORALES
Blanca Moreno Cuartas - [email protected]
Ana Jesús López Menéndez - [email protected]
Manuel Landajo Álvarez - [email protected]
Universidad de Oviedo
Reservados todos los derechos.
Este documento ha sido extraído del CD Rom “Anales de Economía Aplicada. XIV Reunión ASEPELT-España. Oviedo,
22 y 23 de Junio de 2000”.
ISBN: 84-699-2357-9
1
Comparación y combinación de predicciones: Aplicación a las series
temporales
Moreno Cuartas, B.
[email protected] ;
López Menéndez, A.J
[email protected];
Landajo Alvarez, M.
[email protected]
Dpto. Economía Aplicada, Universidad de Oviedo
INTRODUCCIÓN
La predicción es una actividad esencial cuya importancia ha crecido en las últimas
décadas, convirtiéndose en imprescindible en la gran mayoría de los procesos de toma de
decisiones. Planificadores y decisores disponen de una gran variedad de técnicas para realizar
sus predicciones, que van desde las más subjetivas e intuitivas hasta los métodos cuantitativos
más complejos. Entre ambos extremos hay innumerables posibilidades que difieren en su
filosofía, su coste, su complejidad y su precisión.
Teniendo en cuenta además que las predicciones relativas a una magnitud económica
pueden ser realizadas por diferentes agentes y a partir de distintos métodos, es posible
combinar varias predicciones que mejoren la precisión de las predicciones individuales.
En este trabajo analizamos predicciones asociadas a distintos métodos univariantes
(alisados,
ARIMA,
modelos
neuronales)
y
sus
combinaciones,
comparando
su
comportamiento. En concreto, se estudian varias series de la economía asturiana y se realizan
algunas clasificaciones de los métodos mediante indicadores de precisión y complejidad,
analizando las posibles causas que originan las diferencias en la precisión de las técnicas
empleadas.
EVALUACIÓN DE PREDICCIONES
La evaluación de las diferentes técnicas de predicción puede efectuarse desde muy
diversas perspectivas, fundamentalmente su coste, su complejidad y su precisión. Dado que
las dos primeras implican una cierta subjetividad y las diferencias entre los distintos métodos
son a veces imprecisas, en los modelos de series temporales se emplean habitualmente
indicadores basados en la precisión de las predicciones que tienen como objetivo la medición
de la desutilidad o el coste asociado a los pares de predicciones y realizaciones.
Consideremos una magnitud Y para la cual realizamos predicciones en cierto
horizonte temporal h (h=1,...,T). Si denotamos dichas predicciones por ŷ t +h,t , la desutilidad o
2
coste asociado a dicho par vendrá dada por una función L(y t + h , ŷ t + h ,t ) que, si bien puede
adoptar formas estadísticas sofisticadas, se define habitualmente a partir del error de
predicción e t + h,t = y t + h − ŷ t + h,t .
Las distintas especificaciones de
L(y t + h , ŷ t +h , t ) = L (e t + h , t ) dan lugar a las
medidas más directas de la bondad de las predicciones1 entre las que se encuentran las
tradicionales:
Raíz del error cuadrático medio (ECM):
ECM =
T
1
T
∑ e 2t +h,t =
h =1
1
T
∑ (y t+ h − ŷ t+ h,t )2
T
h =1
Error absoluto medio (EAM):
1 T
1 T
EAM = ∑ e t + h , t = ∑ y t + h − ŷ t+ h , t
T h =1
T h =1
Error absoluto porcentual medio (EAPM):
EAPM =
T
y t+ h − ŷ t + h , t
h =1
y t +h T
∑
100
Estas medidas presentan varias limitaciones: las dos primeras dependen de las
unidades de medida de la variable investigada, y además ninguna de ellas se encuentra
acotada ni tiene en cuenta la dificultad inherente a cada predicción. Con el objetivo de
disponer de un indicador invariante con respecto a las unidades usadas y que además tenga en
cuenta los problemas que rodean a la predicción, H. Theil (1966) propone una medida de
desigualdad dada por la expresión:
U=
∑ (P
h =1
− A t+h )
2
t + h, t
∑A
h =1
2
t +h
donde Pt+h,t y At+h representan respectivamente las tasas de variación interanual pronosticadas
y efectivas: Pt + h , t =
ŷ t+ h , t − y t+ h −1
y t + h −1
, A t +h =
y t+ h − y t + h−1
.
y t + h−1
1
En López y Moreno (1999) se proponen algunas medidas basadas en la teoría de la información, y se realiza un
análisis comparativo con las medidas tradicionales.
3
y donde el numerador puede ser considerado como un indicador de la manera en la que los
errores de predicción se dispersan en torno a cero, mientras el denominador es un indicador de
la dificultad de la predicción2 .
El índice de Theil es utilizado con generalidad como medida de la bondad de las
predicciones debido a su sencillez de cálculo e interpretación. Así, el índice U adoptará
valores nulos únicamente en el caso de coincidencia entre tasas pronosticadas y reales,
mientras
el
resultado
U=1
se
corresponde
con
las
predicciones
ingenuas:
ŷ t +1,t = y t ⇒ Pt = 0 ∀t . Este valor representa un umbral que, si se superase, implicaría que
el modelo considerado predice peor que el modelo ingenuo 3 .
Si tomamos la precisión como criterio para comparar varios métodos, podemos estar
interesados en contrastar si todos ellos tendrán la misma precisión esperada. Es decir, si
denotamos por j los métodos de predicción utilizados (j=1,...,N) y hemos seleccionado un
indicador de precisión como criterio de comparación, podemos contrastar la hipótesis de
igualdad entre las desutilidades esperadas de la predicción:
] [
[
j
E L(y t + h , ŷ it + h,t ) = E L(y t + h , ŷ t + h,t )
]
Stekler (1987) propone un test basado en el ranking que ocupan el conjunto de h predicciones
(h=1,...,T) obtenidas por N métodos, contrastando que cada conjunto de predicciones tienen
igual desutilidad esperada en cada método.
Así, a cada predicción en cada momento h se le asigna un rango de acuerdo con su precisión
(la mejor recibe el rango N, la segunda mejor N-1, y así sucesivamente). Agregando período a
período los rangos para cada método utilizado obtendremos entonces:
T
((
H j = ∑ Rank L yt +h , ŷ tj+h,t
h =1
)
j=1,...,N
y el estadístico del test de bondad se basa en la expresión:
2
En su origen este índice asume que las predicciones son realizadas año a año, por lo cual los mayores errores
pueden esperarse cuando las diferencias entre los valores reales de años sucesivos son mayores.
3
Obsérvese que el índice considerado puede sin embargo adoptar valores superiores a la unidad al no
encontrarse acotado superiormente. En trabajos previos, Theil (1958) había propuesto la expresión
1
(Pt + h, t − At + h )2
T − 1 h =1
∑
U=
1
T−1
∑A
h
t+ h
2
+
1
T −1
que sí se encuentra acotada entre 0 y 1, pero en cambio presenta la
∑P
t +h , t
2
h
limitación de incluir las tasas previstas Pt como referencia para la comparación.
4
 j NT 

N H −
2 

H=∑
NT
j =1
2
2
que, bajo la hipótesis nula, sigue una distribución χ 2N−1 .
Si bien la función de desutilidad asociada a un par realización-predicción ha sido
(
planteada para series temporales univariantes, la función L y t + h , ŷ t + h , t
)
puede adoptar
formas más complejas y ser además aplicada al análisis de series temporales multivariantes.
Así, Theil elabora una medida capaz de tener en cuenta la dificultad del año de la predicción
(h=1,...,T) y la dificultad de predecir yt+h en función de la dificultad para predecir las variables
xi (i=1,...,k) que forman parte del modelo. Si además se tiene en cuenta que las predicciones
para un período se renuevan de acuerdo con los diferentes estadios de la información
disponibles (b=t+1,...t+h), es lógico pensar que el error cuadrático medio variará también de
acuerdo con el estadio de la información en el que nos encontremos.
Así, si xit+h es el valor real de la tasa de la variable i en el período t+h, el error de predicción
será xibt -xit+h y es posible –siguiendo a Theil y Scholes (1967)- utilizar el siguiente patrón para
determinar el error estándar de acuerdo con las fuentes de error en la predicción:
L(y t + h (x it + h ), ŷ t + h , t (x̂ ibt + h )) =
∑ (x ibt − x it +h )2 = A i B b C t + h
i,b , h
donde aparecen tres componentes diferenciados de la calidad de la predicción: Ai con respecto
a la variable i, Bb en los sucesivos estadios y Ct+h con el período de predicción.
COMBINACIÓN DE PREDICCIONES
Las predicciones sobre una misma variable económica pueden realizarse a partir de
diversos métodos, y la literatura muestra que una combinación de las predicciones efectuadas
por diferentes procedimientos mejora la precisión de las predicciones individuales4 . La idea
de la combinación de predicciones asume implícitamente que no es posible identificar
mediante un modelo el proceso subyacente en una serie, y que cada método de predicción es
capaz de capturar diferentes aspectos de la información disponible para la predicción, de ahí
que una combinación de las predicciones efectuadas según distintas técnicas sea la predicción
más precisa.
4
La combinación de predicciones no sólo se efectúa para las realizadas según distintas técnicas sino, como ha
puesto de manifiesto Pulido (1998), para predicciones que, siendo obtenidas bajo un mismo método, se han
llevado a cabo por diferentes agentes.
5
En la combinación se aplican habitualmente dos tipos de reglas: la media aritmética de
las predicciones obtenidas por diferentes métodos y la media ponderada, donde los pesos
dependen de la relativa precisión de los métodos individuales. En la combinación ponderada,
estos pesos pueden obtenerse en función de la varianza de error de predicción de cada método
(y de las covarianzas entre ellos) o mediante técnicas de regresión con el objetivo de
minimizar el error de la predicción combinada que se obtiene mediante MCO de las
predicciones
individuales.
A
continuación
describimos
la
obtención
de
predicciones
combinadas en relación a la regla aplicada.
Si para predecir yt+h tenemos que efectuar una predicción combinada para cualquier
(
1
2
N
horizonte h, llamando Ŷt +h, t = ŷ t +h,t , ŷ t +h ,t ,..., ŷ t +h ,t
) al vector de predicciones de y
t+h
según
las N diferentes técnicas, la combinación a partir de la media aritmética nos proporciona:
C t + h, t =
Ŷ t + h ,t l
donde l es un vector de unos.
N
Este procedimiento, que es el más sencillo, no toma en cuenta la información relativa a
la precisión de cada método, por lo que parece razonable dar mayor énfasis a los métodos más
precisos ponderándolos según la técnica de varianza-covarianza o de regresión.
La idea de combinar predicciones ponderadas según la varianza de los errores de
predicción de cada método fue propuesta por Bates y Granger (1969), autores que estudian la
combinación de dos predicciones, planteando también la combinación de numerosas
predicciones.
Supongamos que tenemos dos métodos de predicción que proporcionan dos
predicciones insesgadas5 de la magnitud Y para un horizonte h (yt+h ) recogidas en el
(
)
1
2
vector: Ŷt +h ,t = ŷ t + h, t , ŷ t +h ,t . Entonces la combinación lineal de las dos predicciones será:
Ct + h .t = Ŷt + h ,t α , donde α T = ( α 1 , α 2 ) son los pesos dados a las predicciones individuales
que cumplen lT α = 1 (por lo tanto α 2 = 1 − α 1 ).
Si denotamos por σ12 y σ 22 las varianzas de los errores de las dos predicciones, la varianza de
los errores de la predicción combinada será:
ó 2c = á 12 ó 12 + (1− á 1 ) 2 ó 22 + 2ρá 1 (1− á 1 )σ1 ó 2
donde ρ es el coeficiente de correlación entre los errores de predicción de los dos métodos.
5
Dicks y Burrel (1994) ponen de manifiesto que cuando la combinación se realiza para predicciones dadas por
diferentes agentes, la condición de predicciones insesgadas no suele darse debido a la aversión al riesgo de
desviarse de la visión convencional y perder credibilidad.
6
La elección de α 1 debe ser realizada de tal manera que el error de la predicción combinada sea
pequeño, requisito que (asumiendo ρ=0) conduce al resultado6 : á 1 =
ó 22
, donde σ2c no
2
2
(ó 1 + ó 2 )
es mayor que la más pequeña de las dos varianzas individuales.
Si bien queda así justificado el uso de una combinación de predicciones, en la práctica no es
posible calcular σ 2c al desconocerse las varianzas de los errores de predicción.
Dado que el valor óptimo de α 1 se desconoce al comienzo de la combinación, Bates y
Granger
(1969)
utilizan
la
expresión
primera
de
α1
para
obtener
estimaciones
maximoverosímiles partiendo de las predicciones individuales de un conjunto de períodos
previos a aquél para el cual se va a efectuar la combinación de predicciones. Los autores
sugieren la elección de los pesos basados en dos criterios: el mayor peso se le ha de dar a
aquella predicción cuyo modelo haya actuado mejor en el pasado y es necesario considerar la
posibilidad de que la función de los pesos se adapte cuando se presenten relaciones no
estacionarias en el tiempo entre los métodos de predicción individuales.
Entre las opciones propuestas por estos autores7 la más empleada consiste en sustituir
las varianzas de los errores de predicción por sus estimaciones de los t periodos previos
n
α1 =
∑ e 22, t
t =1
n
, donde e j, t = y t − ŷ t .
j
∑ (e12, t + e 22, t )
t =1
La metodología de Bates y Granger es ampliada por Newbold y Granger (1974) para
el caso de más de dos predicciones. Así, si disponemos de las predicciones realizadas con N
(
)
1
2
N
procedimientos: Ŷt+ h , t = ŷ t+ h ,t , ŷ t +h , t ,..., ŷ t +h , t , entonces la combinación lineal de ellas
T
será: C t + h , t = Ŷt +h , t α con α = (α 1 , α 2 ,..., α N ) , siendo l T α = 1 y 0 ≤ α j ≤ 1 ∀j y
donde la varianza del error de la predicción combinada8 es minimizada tomando:
(∑ l)
'
α=
(l' ∑ l)) , con ∑ = E (e t + h, t e t + h ,t )
−1
−1
6
T
y e t + h,t = y t +h l − Ŷt + h , t .
Partiendo de la expresión anterior σ 2c el valor mínimo se obtendría diferenciando con respecto a α1 e
igualando a cero : á 1 =
ó 22 − ñó1ó 2
ó 12 + ó 22 − 2ñσ1ó 2
.
Bates y Granger tuvieron también en cuenta la posibilidad de ir variando a lo largo del tiempo el valor de α,
dejando abierta la posibilidad de que las predicciones individuales se comporten de forma diferente a lo largo del
tiempo.
8
Al desconocerse las realizaciones de yt+h también será necesario sustituir las varianzas de los errores de
predicción por sus estimaciones en períodos previos.
7
7
Como ya hemos mencionado, la combinación ponderada puede obtenerse mediante un
método de regresión. Granger y Ramanathan (1984) mostraron que el vector óptimo de pesos
basados en varianza-covarianza de los errores de predicción tiene una interpretación como
vector de coeficientes de la proyección lineal de yt+h a partir de las predicciones de los N
procedimientos:
y t+ h = α 1 ŷ1t + h, t + ... + α N ŷ N
t+ h , t + u t +h , t
Al desconocer el verdadero valor de yt+h los pesos se obtienen a partir de los valores pasados
1
N
de la serie; es decir: y t = α 1 ŷ t + ... + α N ŷ t + u t donde se puede imponer o no la
ˆ = 1 . Así, si consideramos:
restricción l T α
Yt T = (y1 , y2 ,..., y n )
vector de valores pasados de la serie
(
)
vector de predicciones del momento t realizada por el método j
(
)
matriz (nxN) de n predicciones efectuadas por los N métodos
ŶjT = ŷ j1 , ŷ 21 ,..., ŷ jn
Ŷt = Ŷ1 , Ŷ2 ,..., ŶN
α T = (α 1 , α 2 ,..., α N )
vector de pesos de los N métodos
entonces nuestro objetivo será estimar α̂ para obtener Yt como proyección lineal de Ŷt .
Comenzaremos sin considerar ninguna restricción para los pesos (método A) y después
ˆ = 1 (método B), denominando CA a la
incorporaremos restricciones de la forma l T α
combinación obtenida por el método A: C A = Ŷ t αˆ , y CB a la combinación9 obtenida por el
ˆ.
método B: C B = Ŷt β
En el método A, el error de predicción vendrá dado por el vector e A = Yt − Ŷt α , y
utilizando
(Y
t
Así
mínimos
cuadrados
9
se
obtiene
(
)
− Ŷt α (Yt − Ŷt α) , cuya solución conduce a: á̂ = Ŷt T Ŷt
T
pues,
una
vez
estimados
los
pesos,
( ) Ŷ Y y la suma
= (Y − Ŷ αˆ ) (Y − Ŷ αˆ ) = Y Y − Y Ŷ αˆ .
C A = Ŷt α
ˆ = Ŷt Ŷ tT Ŷt
σ2A
ordinarios
−1
T
t
t
t
T
t
t
t
T
t
t
T
t
se
)
−1
la
función
a
minimizar
Ŷt T Yt .
obtiene
la
regresión
estimada
cuadrática de los errores de predicción
t
Para mayor comodidad, designaremos por β a los coeficientes del método B, siendo
β T = (β 1 , β 2 ,...β N )
lTβ = 1
.
8
Para el método B, el error de predicción será e B = Yt − Ŷt β y la función a minimizar
(Yt −Ŷt β)T (Yt − Ŷ β)
T
s.a l β = 1 , llegándose10 a obtener α̂ mediante la expresión del
T
método A y el multiplicador a partir de la restricción l β = 1 , que proporciona:
λβ =
(l α − 1)
(Ŷ Ŷ )
T
l T

−1
T
t
t
.
l

(
σ2B = σ2A + λ2B l T Ŷt T Ŷt

Ahora el error cuadrático de la predicción es
)
−1
l  ,

2
2
observándose que σ B ≥ σ A y concluyendo por tanto que el método de la regresión
proporciona mejores resultados mediante la proyección de los valores pasados de Y sobre las
predicciones realizadas por distintos métodos sin imponer ninguna restricción.
La combinación de predicciones basada en una media aritmética proporciona mejores
resultados que otras reglas más complejas, tal y como muestran diversos estudios empíricos
(Granger y Newbold (1975), Makridakis y Hibon (1979), Winkler y Makridakis (1983)). Así
Granger y Newbold (1975) en un experimento sobre 80 series para las que realizan
predicciones a un período de adelanto, concluyeron que las mejores predicciones iban
asociadas a la media aritmética11 , resultado coincidente con el obtenido por Makridakis y
Hibon (1979), efectuando predicciones sobre 1001 series con diversos métodos y estudiando
posibles combinaciones.
Winkler y Makridakis (1983) obtienen resultados muy buenos con la media aritmética
en relación a las medias ponderadas, ya que si bien éstas proporcionan mejores predicciones,
el incremento de precisión no parece compensar la mayor complicación del método.
Por otra parte, Winkler (1984) comprobó en un estudio que entre el 52% y el 66% de
las veces otra combinación fue mejor que la media aritmética, afirmando que las diferencias
entre la combinación más simple y otras más complicadas eran también muy pequeñas en
relación con las exigencias que conlleva emplear métodos más sofisticados.
(
La función objetivo es entonces: min  Yt − Ŷt â
â 
Lagrange y la condición de primer orden es:
10
(
)
â̂ = (Ŷ Ŷ ) Ŷ
) (Y − Ŷ â ) + 2ë (l â − 1) donde λ
Yt T Yt − Ŷt â − ë â l = 0
−1
T
t
t
t
T
T
T
t
(
Yt − ëâ Ŷt T Ŷt
t
â
) l = á̂ − ë (Ŷ Ŷ )
−1
−1
T
b
t
t
β
es el multiplicador de
l
11
Además de este resultado los autores también concluyen que la combinación es más beneficiosa cuanto más
difiera la naturaleza de los procedimientos que se combinan, idea confirmada por estudios posteriores y que
trataremos de comprobar en la aplicación.
9
Así pues, las distintas experiencias no conducen a resultados unánimes en el tema 12 ,
por lo que es necesario tener en cuenta con qué tipo de series y con qué conjunto de datos
trabajamos.
Por otra parte la media aritmética supone restringir las ponderaciones a una suma
unitaria que, como ya hemos visto, ofrece mayores errores cuadráticos de predicción, con lo
que los resultados deberían de ser generalizadamente peores.
COMPARACIÓN DE TÉCNICAS DE PREDICCIÓN
En este apartado efectuamos una comparación de algunas técnicas de predicción para
series temporales univariantes, de acuerdo con el EAPM, realizando algunas clasificaciones
de éstas según el tipo de series a las que se aplican y los horizontes de predicción.
Teniendo en cuenta el grado de complejidad de los métodos considerados y los
resultados obtenidos, elaboramos una frontera de eficiencia con el propósito de ilustrar el
trade-off existente entre la complejidad y la precisión de las técnicas.
Finalmente, proponemos modelos econométricos que explican la precisión en función
de factores como la aleatoriedad, la estacionalidad, la tendencia, el rango de las series y el
horizonte temporal.
La aplicación ha sido realizada sobre 20 series temporales de la economía asturiana 13
de periodicidad mensual, recogidas en la tabla 1:
SERIES
Carne sacrificada
Consumo de energía eléctrica para la industria
Consumo de energía eléctrica usos industriales especiales
Consumo de energía eléctrica, fuerza industrial
Consumo total de energía eléctrica
Indice de producción industrial
Indice de producción de bienes de inversión
Indice general de precios al consumo
Matriculación de turismos
Nº de camiones matriculados
Nº de parados en agricultura en Asturias
Producción de acero
Producción de aluminio
Producción de arrabio
Producción de cemento
Producción de cemento gris
Producción de cinc
Producción de clinker de cementos grises
Producción de hulla
Producción de laminados
Tabla 1
En la modelización de las series descritas consideramos las siguientes técnicas:
12
Una recopilación de la bibliografía existente sobre las combinaciones de predicciones puede verse en Clemen,
T. (1989).
13
Los datos han sido extraídos de la base de datos ASTURDAT del equipo de investigación de HISPALINKAsturias.
10
1. Métodos ingenuos (N1): La predicción es igual al valor en el mes anterior o al de 12
meses antes si existe estacionalidad.
2. Alisados exponenciales (SM): Se aplican las técnicas de alisado exponencial más
adecuadas en cada caso según las componentes de la serie, teniendo en cuenta la
presencia o no de estacionalidad y según la hipótesis de composición de la serie sea
aditiva o multiplicativa.
3. Para series estacionales se han efectuado también predicciones sobre las series
desestacionalizadas según las dos técnicas anteriores, procediendo posteriormente a su
ajuste asumiendo que el patrón de estacionalidad se mantiene constante (N2 y SM2).
4. Metodología Box-Jenkins: Se estiman para las series modelos ARIMA14 incorporando
tratamiento de outliers y análisis de intervención.
5. Redes neuronales artificiales: Con el propósito de incorporar a este estudio algunas de
las técnicas más recientes de predicción, hemos modelizado cuatro de las series
anteriores (producción de energía eléctrica, cinc, laminados y el IPI de Asturias)
mediante redes neuronales artificiales (RNA), utilizando las estructuras de tipo
recurrente15 propuestas por Landajo (1999). Una vez transformada la serie original
hasta reducirla a estacionariedad, el modelo para la serie transformada consta de una
estructura NAR (non-linear auto-regresive), a la que se añaden estructuras de tipo MA
lineales y términos adicionales para modelizar las observaciones anómalas y los
efectos de tipo intervención16 .
6. Combinaciones de predicciones: Se han considerado combinaciones de las diferentes
técnicas estudiadas, con el propósito de contrastar si efectivamente la precisión es
mayor que tomando cada predicción individualmente y analizar cuál de los métodos
de combinación aporta mayor precisión.
14
Los modelos ARIMA considerados en esta aplicación son los utilizados en el programa de predicción
PROYECTA que el equipo HISPALINK-Asturias emplea para la elaboración de predicciones de las series
mensuales de la economía asturiana que intervienen en sus modelos MECASTUR.
15
Desde una perspectiva econométrica, las redes recurrentes son una clase de modelos dinámicos con variables
latentes. Una de las estructuras más típicas es la red Elman, caracterizada por Kuan y White (1994) del modo
siguiente:
Yt =Ft (Xt ,θ)=βCt (ecuación de medida)
Ct =G(Xt γ+Ct-1 δ) (ecuación de estado)
donde β, γ y δ son vectores de parámetros, Ct es un vector de variables de estado (denominado “contexto” en la
jerga neuronal) y G( ) es una función de transferencia (a menudo de tipo sigmoidal), Xt es la entrada del sistema
e Yt la salida. Este tipo de redes presenta una clara conexión con los modelos lineales de espacio de estados.
16
La estimación de los parámetros se lleva a cabo mediante una implementación recursiva de los mínimos
cuadrados no lineales conocida como el algoritmo BP modificado (V. Kuan y White (1994)). En Landajo (1999)
se ha diseñado un software específico para esta clase de modelos, que puede ser ejecutado dentro del entorno
Matlab.
11
Como muchos autores han puesto de manifiesto (Newbold y Granger (1974),
Armstrong (1978), Makridakis y Wheelwright (1978) entre otros), los métodos de
extrapolación de series temporales son mejores (o no peores) que los modelos econométricos
para predicciones a corto plazo, aunque para el largo plazo los modelos econométricos pueden
ser más adecuados. Basados en esta idea evaluamos los métodos para predicciones a corto
plazo, y en concreto con horizontes temporales h=1,...,12 meses.
Para evaluar las predicciones hemos considerado los pares predicción-realización
L (y t +h , ŷ t + h ,t ) correspondientes a los 12 últimos valores de cada serie. Es decir, se estiman
yt-12+h con h=1,...,12.
Como ya hemos visto anteriormente, las medidas más comunes de evaluación de
predicciones son el error cuadrático medio (ECM), el índice de desigualdad de Theil y el error
absoluto porcentual medio (EAPM). En este análisis hemos optado por tomar como medida el
EAPM debido a su carácter relativo y su sencillez en el cálculo y la interpretación.
Así, para las 20 series hemos calculado el EAPM para cada horizonte temporal según los
distintos métodos j:
EAPMhs, j
1 h y t −12+ k − ŷ t −12 + k , j
= ∑
100 donde h=1,...,12; s=1,...,20; j=1,...,5
h k =1
y n −12 +k
y para cada horizonte temporal hemos obtenido la media del EAPM de las 20 series según los
h
distintos métodos j: EAPMj =
1 20
EAPMhs,j .
∑
20 s =1
h
Una vez obtenidos los EAPM j de las 20 series en los distintos métodos y para
horizontes temporales h=1,...,12 se han obtenido los resultados que resumimos a
continuación17 :
1. Con el objetivo de estudiar si existen diferencias esperadas en la precisión según los
métodos de predicción, aplicamos el test de Stekler para contrastar la hipótesis
[
] [
]
E L( y t −12+ h , ŷ it −12+ h ,t −12 ) = E L( y t −12+ h , ŷ tj−12+ h, t −12 ) , adoptando el EAPM como
función de coste o desutilidad asociado a cada par realización-predicción.
El estadístico obtenido es H = 34 ,97 , resultado que conduce al rechazo de la hipótesis
nula, y avala la comparación entre los métodos de predicción al existir entre ellos
diferencias esperadas en la precisión18 .
17
El escaso número de series analizadas no permite extraer conclusiones robustas respecto a la comparación
entre métodos para cada tipo de series.
18
Si tenemos en cuenta el test de Stekler para las predicciones efectuadas con ARIMA, N2, SM2 y redes
neuronales el estadístico obtenido es H = 129,083 , que conduce también al rechazo de la hipótesis.
12
2. La comparación de los EAPM del método ingenuo y del alisado exponencial realizados
sobre las series originales (N1 y SM) con los EAPM de los mismos métodos aplicados
sobre las series desestacionalizadas y posteriormente ajustadas con el componente
estacional (N2 y SM2), muestra que los resultados mejoran en el 100% de los casos19 .
En la tabla 2 se aprecian las ganancias relativas de precisión que N2 y SM2 aportan
respecto a N1 y SM1 respectivamente, calculadas mediante la expresión:
g ih, j
 EAPM ih − EAPM hj
= −
h

EAPM j


100


que cuantifica la ganancia en precisión aportada por el método i en relación al método j.
h
g hN2,N1
g hSM2, SM
1
3
6
9
12
27,63
21,29
9,15
5,43
6,77
2,30
10,12
3,90
2,98
3,05
Tabla 2
En cuanto a cuál de los dos métodos de alisado sobre series desestacionalizadas funciona
mejor, se aprecia que SM2 ofrece mayoritariamente EAPM menores que N2, aconsejando
trabajar con los métodos de alisado sobre series desestacionalizadas.
3. Si comparamos la modelización ARIMA con los métodos de alisado que mejor se
comportan (SM2 y N2), se observa que funciona mejor la metodología Box-Jenkins
excepto para las predicciones de horizonte temporal h=1.
h
g hARIMA, N2
g hARIMA, SM2
1
3
6
9
12
-20,9
22,9
20,8
20,2
11,8
-11,8
14,2
14,9
13,8
5,4
Tabla 3
Si bien autores como Makridakis y Hibon (1979), Lewandowski (1984) y Newbold y
Granger (1974) llegan a concluir en sus estudios que a pesar de la complejidad del
método de Box-Jenkins, éste ofrece peores resultados que otros más sencillos, no existe
unanimidad en el tema. De hecho, Newbold y Granger (1979) llegan a concluir lo
contrario que en su trabajo de 1974, es decir que ARIMA es el método que mejor
19
Estos resultados son coincidentes con los obtenidos por Makridakis y Hibon (1979) en su estudio con 111
13
funciona. Así pues las discrepancias existentes20 nos hacen pensar que los resultados
varían según el tipo de series y el conjunto de datos con los que se trabaja (Makridakis y
Wheelwright (1978)).
Si tenemos ahora en cuenta la modelización de redes neuronales (con la particularidad de
que este estudio sólo se ha efectuado para cuatro series), se aprecia que, exceptuando el
caso h=1 en el que los métodos de alisado funcionan mejor, los modelos neuronales son
los que aportan las predicciones más precisas, seguidos por la modelización ARIMA21 ,
confirmándose la idea de que los modelos más flexibles son también los más precisos.
4. En cuanto a la combinación de predicciones, de acuerdo con las clasificaciones
mencionadas con anterioridad, y teniendo en cuenta los ARIMA, N2 y SM2 es posible
señalar los siguientes rasgos:
a. Cuando se utiliza la Media aritmética, se aprecia en general que la precisión de las
predicciones combinadas mejora respecto a la que aporta cada método
individualmente. Además, la combinación de
métodos heterogéneos funciona
mejor que la combinación de métodos similares. Así por ejemplo
h
h
EAPM ARIMA−SM 2 ≥ EAPM N 2−SM 2
se observa
∀h = 1,...,12 .
Cuando realizamos el estudio teniendo en cuenta las redes neuronales (análisis que
se limita a cuatro series), la supremacía de la combinación de métodos
heterogéneos no está tan clara. Así por ejemplo para ARIMA-Redes y Redes-SM2
observamos el comportamiento resumido en el gráfico:
series de la economía francesa.
20
Makridakis y Hibon (1979) citan algunos trabajos con conclusiones opuestas a la suya y otros en los que los
métodos de alisado y ARIMA funcionan de forma similar.
21
Es importante observar la conexión de las redes recurrentes con la modelización ARIMA. Desde este punto de
vista, las estructuras recurrentes pueden reescribirse como modelos ARMA no lineales (NARMA, o NARMAX
si llevan también variables exógenas), en los que junto a valores retardados de Y aparecen procesos de MA. Una
forma típica sería la siguiente:
Y t = f(y t −1 , y t − 2 ,...y t − p , å t , å t −1 ,... å − qt ) =
m

p
q

j= 1

i =1
i =1

∑ â jó  ∑ á ij y t − i + ∑ ã ijå t − i  + ε t
donde σ( ) es una función de transferencia sigmoidal, y se imponen restricciones adicionales adecuadas sobre las
propiedades estocásticas de los procesos {Yt } y {εt }.
14
Combinación aritmética
EAPM
6.0
4.0
2.0
0.0
1
2
3
4
5
6
7
8
9
10
11
12
h
Arima-Redes
Redes-SM2
Figura 1
b. Por lo que se refiere a la utilización de la Media ponderada, comenzando por los
Métodos de varianza-covarianza (Bates y Granger (1969), Newbold y Granger
(1974), compararemos los resultados según tengamos o no en cuenta la correlación
entre los errores de predicción.
Contrastando si la combinación resulta más precisa cuando no se tiene en cuenta la
correlación de los errores de predicción de cada método, obtenemos que para cualquier
horizonte h la predicción combinada asumiendo ρ =0 mejora con respecto a aquélla
que tiene en cuenta la correlación. Winkler y Makridakis (1983) confirman también
que los mejores resultados se obtienen al ignorar los efectos de la correlación para
calcular los pesos de la combinación.
La comparación de las predicciones combinadas a través de media ponderada con las
asociadas a la media aritmética no permite establecer una supremacía clara. Así en
ARIMA-N2 la combinación de media aritmética aporta siempre EAPM menores que
la combinación varianza-covarianza, mientras sucede lo contrario para la combinación
de ARIMA -SM2.
Por su parte, los Métodos de regresión (Granger y Ramanathan (1984)) proporcionan
las ponderaciones de las combinaciones22 ARIMA-N2, ARIMA-SM2, N2-SM2 y
ARIMA -N2-SM2 obteniendo los siguientes resultados:
•
Al
estimar
los
pesos
de
N2-SM2
mediante
la
regresión
2
SM2
yt −12 = αN 2 ŷN
t −12 + αSM2 ŷ t −12 el coeficiente de N2 para el 75% de las series
no supera el valor 0,1 y además no resulta significativo, lo cual indica que N2
22
Tanto en la combinación varianza-covarianza como en la de regresión las ponderaciones han de obtenerse para
cada una de las 20 series a partir de los datos de cada una.
15
no aporta información adicional o relevante23 sobre la que aporta SM2 para
explicar la serie. Esto implica que
(á N2 , á SM2 ) = (0,1)
y la predicción
combinada N2-SM2 coincide con la dada por SM2:
2
2
2
ŷ Nt −212−SM
= αˆ N 2 ŷ Nt −212 + h + αˆ SM 2 ŷ SM
ˆ SM 2 ŷ SM
+h
t −12 + h = α
t − 12 + h
Lo mismo ocurre al estimar los pesos de ARIMA-N2-SM2: se aprecia que N2
no aporta información relevante para la predicción en el método combinado.
•
Las combinaciones por este método han sido obtenidas sin la restricción de que
los pesos han de sumar la unidad (método A), ya que –como demuestran Granger
y Ramanathan (1984)- la varianza de los errores de predicción obtenidos mediante
el método sin restricción es menor que la obtenida con el método de regresión
restringido.
En
las
combinaciones
de
media
aritmética
y
varianza-covarianza
las
ponderaciones suman la unidad, por lo que la varianza del error de predicción debería
de ser mayor que la obtenida por el método de la regresión. Ahora vamos a contrastar en
qué medida éste supone diferencias en la precisión de las combinaciones.
Para las dos combinaciones estudiadas ARIMA –N2 y ARIMA -SM2 los
resultados son diferentes por lo que no podemos extraer conclusiones acerca de cómo
afecta la restricción a los EAPM24 .
Si bien hasta ahora sólo nos hemos fijado en la precisión de los métodos de predicción
como criterio para clasificarlos y evaluarlos, no hay que olvidar que tanto la complejidad
como el grado de dificultad para comprender los resultados son importantes a la hora de optar
por una técnica u otra.
Según Lewandowski (1984) el grado de complejidad es el tiempo, medido en horas,
que se requiere para enseñar a una persona, sin conocimientos especiales en predicción o
estadística, los principios de un método. El índice que propone este autor, que además tiene en
23
La idea de contrastar la aportación de información que cada método aporta a la predicción combinada fue dada
por Nelson (1972) y Cooper y Nelson (1975) y formalizada y extendida por Chong y Hendry (1986). La
formalización de este contraste se puede ver en Diebold y López (1995)
24
Así para ARIMA-SM2 se obtiene:
h
h
h
EAPMVAR − COV < EAPMREGRESION < EAPMMEDIA
para h=1,...,12
y para ARIMA-N2:
h
h
h
EAPMMEDIA < EAPMREGRESION < EAPMVAR −COV
para h=1,...,5
16
cuenta el grado de comprensión de los resultados obtenidos, coincide básicamente con el
utilizado por Makridadkis (1983) que lo elabora en función de la complejidad percibida y por
tanto introduce criterios subjetivos.
Parece existir acuerdo entre varios autores respecto al hecho de que la metodología de
Box-Jenkins es la que requiere el mayor tiempo, pues es necesario observar el gráfico de cada
serie, las funciones de autocorrelación, identificar el modelo, estimar sus parámetros,
chequear las autocorrelaciones de los residuos, etc.
Los restantes procedimientos tienen una base prácticamente automática, si bien es
necesario detenerse en detectar la estacionalidad, la existencia de tendencia etc. Por lo que se
refiere a las redes neuronales, cuyo nivel de dificultad es considerable, han sido excluídas de
este análisis por haberse aplicado a un número reducido de series.
En nuestra aplicación, elaboramos un índice de complejidad para cada técnica de acuerdo con
los criterios de los autores anteriores, excepto para las combinaciones, en las que (frente a la
práctica habitual de promediar) proponemos agregar la complejidad de los métodos25 :
Método de predicción
Indice
de complejidad
Ingenuo
1
Alisado
5
ARIMA
10
Combinación Media aritmética
13
Combinación Media ponderada (regresión)
14
Combinación Media ponderada (varianza-covarianza)
15
Tabla 4
Teniendo en cuenta la clasificación de los diferentes métodos de acuerdo con su
precisión y con su complejidad, es posible elaborar una frontera de eficiencia que ilustre el
trade-off entre ambas características. La elección de métodos dependerá entonces de cada
situación considerada y de las preferencias del agente predictor.
h
h
h
EAPMREGRESION < EAPMMEDIA < EAPMVAR −COV
para h=6,...,12
En el caso de la media aritmética, al no distinguir entre ARIMA-N2 y ARIMA-SM2, promediamos las
dificultades de N2 y SM2 y sumamos el resultado a la dificultad del ARIMA. Para el método de la regresión
proponemos añadir 1, teniendo en cuenta que este trabajo se realiza automáticamente con cualquier aplicación
informática. En cambio, en el método de la varianza-covarianza añadimos 2 al considerar que exige un mayor
esfuerzo del investigador.
25
17
Una primera frontera (Makridakis, 1983) se obtiene teniendo en cuenta el número de
veces que cada método fue el mejor o el segundo mejor y el índice de complejidad
correspondiente.
Los resultados obtenidos, representados en la figura 2, no cambiarían sustancialmente
si elaboramos la misma frontera pero relacionando la complejidad con los EAPM
Nº de veces que el método fue el mejor
o el segundo mejor
(Lewandowski (1984)).
Frontera de eficiencia de los métodos de predicción
9
8
7
6
5
4
3
2
1
0
0
2
4
6
8
10
12
14
16
Indice de complejidad
Figura 2
A partir de estas fronteras se pueden extraer algunas conclusiones para nuestras series:
•
Los mejores resultados se obtienen con la media aritmética, al igual que en
diversos estudios empíricos (Granger y Newbold (1975), Makridakis y Hibon
(1979), Winkler y Makridakis (1983)), si bien no existe unanimidad en el tema.
Como menciona Otero (1993) sigue siendo una incógnita por qué la media
aritmética se comporta mejor que métodos de ponderación más complicados.
•
En cuanto al trade-off entre precisión y complejidad, se puede perder
relativamente
poca
precisión
a
cambio
de
reducir
significativamente
la
complejidad de la técnica de predicción empleada.
Una vez efectuadas las comparaciones entre métodos, debemos preguntarnos ahora
por qué se producen diferencias en la precisión de las predicciones.
Existen muchos factores que pueden ayudarnos a entender las diferencias en la
actuación relativa de los métodos estudiados y, si asumimos que éstos pueden ser aislados y
cuantificados, entonces podemos aproximar su influencia.
18
Consideramos aquí un conjunto de estos factores, explorando su capacidad para
explicar la precisión de las predicciones siguiendo el análisis efectuado por Makridakis y
Hibon (1979). Estos autores plantean regresiones considerando el EAPM como variable
dependiente y dos combinaciones de factores como variables independientes26 .
El método utilizado para cuantificar los factores se basa en la descomposición clásica
de las series, que permite aproximar los componentes de tendencia-ciclo, estacionalidad y
aleatoriedad. Los cambios absolutos porcentuales medios (CAPM) de cada uno de los
componentes (C t ) se obtienen como:
 1
C t − C t −1
CAPMc = 100
∑
C t −1
 n − 12 t




y se incluyen como variables independientes en las regresiones planteadas.
Puesto que el objetivo de nuestro estudio es la evaluación de los modelos en función
de su capacidad predictiva, nos hemos centrado en el análisis de regresiones que tienen como
variable dependiente al EAPM de las predicciones, considerando ecuaciones de la forma:
EAPM = β1 + β 2 X 2 + β 3 X 3 + β 4 X 4 + β 5 X 5 + β 6 X 6 + u
donde X2 , X3 y X4 representan los cambios absolutos porcentuales medios de los
componentes de tendencia, aleatoriedad y estacionalidad respectivamente, X5 es el número de
períodos que se predicen (h=1...12) y hemos incluido además la variable X6 que recoge el
número de observaciones (t-12) empleadas para ajustar el modelo de predicción
Hemos realizado el estudio para 7 de las 20 series iniciales27 sobre de las cuales ya se
habían obtenido sus correspondientes EAPMh j y estimado distintas regresiones dependiendo
de la técnica j a evaluar. Así, para evaluar una técnica se adoptó como variable dependiente el
EAPM obtenido para las series en los diferentes horizontes temporales de predicción (un total
de 84 observaciones) obteniéndose las estimaciones recogidas en la tabla 5 (entre paréntesis
se indican los errores estándar):
26
Una de las regresiones propuestas explica el EAPM de los modelos de predicción a partir del cambio absoluto
porcentual medio de la tendencia, la aleatoriedad, la estacionalidad y el número de datos utilizados para estimar
los modelos de predicción. La segunda regresión ajusta el EAPM con el cambio absoluto porcentual medio de la
tendencia, de la aleatoriedad, de la estacionalidad y con el horizonte temporal de la predicción.
27
Las series son: Consumo de energía eléctrica usos industriales especiales, Producción de cemento, Producción
de cemento gris, Producción de cinc, Producción de hulla, Indice general de precios al consumo e Indice de
produccióm industrial.
19
Variable
dependiente
Regresiones
CAPM Tend
β̂1
EAPM ARIMA
EAPM N2
EAPM N1
EAPM SM2
EAPM SM
0,02
(0,01)
0,037
(0,015)
1,96
(1,34)
-0,008
(0,007)
-0,005
(0,007)
β̂ 2
CAPM Aleat
β̂ 3
0,93
(0,043)
0,96
(0,066)
62,41
(15,3)
1,089
(0,076)
1,1
(0,076)
Factores
CAPM Estac
β̂ 4
h
t-12
Bondad
β̂ 5
β̂ 6
R2
0,001
(0,0005)
-0,0002
(4,85E-05)
-0,0002
(7,47E-05)
0,93
0,85
48,25
(27,33)
0,6
0,84
0,85
Tabla 5
Los parámetros de las ecuaciones aportan información relevante sobre la actuación
relativa en la predicción de las diferentes metodologías. Así por ejemplo, se observa que la
aleatoriedad es un factor que afecta a la precisión y a la actuación de los diferentes métodos
de predicción. Cuando se produce un cambio en la aleatoriedad, la metodología ARIMA lleva
asociada predicciones más precisas, al ser la que presenta un coeficiente β̂ 3 menor.
Según nuestros resultados, el CAPM mayor corresponde a la aleatoriedad para el 70%
de las series por lo que, dado que el método menos afectado en el EAPM es el ARIMA,
resulta lógico que la metodología Box-Jenkins sea la más precisa. Por otra parte, el número de
datos que empleamos en la modelización (t-12) afecta también positivamente a la precisión de
los ARIMA.
El intento de especificar y medir la relación entre la precisión de las predicciones y los
factores que la afectan es válido para ilustrar la comparación entre métodos, si bien como
indican Makridakis y Hibon (1979) aún son necesarias notables mejorías en esta
metodología28 como la consideración de alguna medida cuadrática de precisión como variable
dependiente, o la introducción de más variables independientes.
Finalmente, tenemos que considerar la posibilidad de que el empleo de otra medida en
lugar del EAPM pudiera cambiar las conclusiones extraídas en nuestro estudio. No obstante,
algunos estudios sobre comparación de modelos con otras medidas llegan a similares
conclusiones independientemente de la medida empleada.
28
Los grandes errores estándar que obtienen estos autores les llevan a interrogarse sobre la significatividad
estadística de los coeficientes. En nuestro caso a modo de ilustración podemos ver la influencia que tiene un
cambio en la estacionalidad en la precisión de N1, con lo que N2 sería mejor al no estar afectado por ésta. Esto
puede explicar porqué SM2 y N2 son más precisos que N1 y SM1.
20
REFERENCIAS BIBLIOGRÁFICAS
ARMSTRONG, J.S. (1978): “Forecasting with Econometric Methods: Folklore versus Fact”,
Journal of Business, Vol. 51, nº 4, 549-564.
BATES, J.M. y GRANGER, C.W.J. (1969): “The Combination of Forecast”, Operational
Research Quarterly Vol. 20, nº 4, 451-468.
BOX, G.E.P. y G.M. JENKINS (1976): Time Series Analysis: Forecasting and Control, (2ª ed.),
Ed. Holden-Day, San Francisco.
CHEN, X. y SHEN, X. (1998): “Sieve Extremum Estimates for Weakly Dependent Data”,
Econometrica, Vol. 66, No. 2, March, 289-314.
CLEMEN, T. (1989): “Combining forecasts: A review and annotated bibliography”,
International Journal of Forecasting, Vol. 5, 559-583.
DIEBOLD, X. y LÓPEZ, J.A. (1995): Forecast Evaluation and Combination, Working Paper,
University of Pennsylvania.
DICKS, G. y BURRELL, A. (1994): “Forecasting in practice”, Applied Economic
Forecasting Techniques, Stephen Hall, London.
GRANGER, C.W.J. (1981): “Some properties of time series data and their use in econometric
model specification”, Journal of Econometrics, 16, 121-130.
GRANGER, C.W.J. y NEWBOLD, P. (1975): “Economic Forecasting: The Atheist´s
Viewpoint”, Modelling the Economy, Ed. G.A. Renton, London. 131-147.
GRANGER, C.W.J y NEWBOLD, P. (1980): Forecasting Economic Time Series, Academic
Press, New York.
GRANGER, C.W.J y RAMANATHAN, C. (1984): Improved Methods of Combining
Forecast, Journal of Forecasting, Vol. 3, 197-204.
KUAN, C.M. y WHITE, H. (1994): “Artificial Neural Networks: An Econometric
Approach”, Econometric Reviews, 13 (1), 1-91.
LANDAJO, M. (2000): “Neural and Fuzzy Models for Economic Forecasting. An
Econometric View and Some Practical Experience”, Fuzzy Economic Review
(Aceptado para publicación)
LANDAJO, M. (1999): Modelos neuroborrosos para la predicción económica. Tesis
Doctoral, Universidad de Oviedo.
LAPEDES, A. y FARBER, R. (1987): “Nonlinear signal processing using neural networks”,
Technical Report LA-UR-87-2662, Los Alamos National Laboratory, Los Alamos,
N.M.
LEWANDOWSKI, R. (1982): “Sales Forecasting by FORSYS”, Journal of Forecasting, 1,
205-214.
LEWANDOWSKI, R. (1984): “Lewandowski’s FORSYS Method”, The forecasting
Accuracy of Major Time Series Methods, John Wiley & Sons, 245-253.
LÓPEZ, A.J. y MORENO, B. (1999): Evaluación de predicciones basada en medidas de
información. Nuevas Alternativas. Actas XIII Reunión Asepelt-España, Burgos.
LÓPEZ, A.J.; MUÑOZ, N. y PÉREZ, R.(1993): Base de datos Asturdat. Documento de
trabajo 2/93, Hispalink-Aturias.
MAKRIDAKIS, S. (1984): “Forecasting: State of the Art”, The Forecasting Accuracy of
Major Time Series Methods, John Wiley & Sons, 1-17.
MAKRIDAKIS, S. y HIBON, M. (1979): “Accuracy of Forecasting: An Empirical
Investigation (with Discussion)”, J. R. Statistical Society, Series A, 142, Part. 2, 97145.
MAKRIDAKIS, S. y otros (1982): “The Accuracy of Extrapolation (Time Series) Methods:
Results of a Forecasting Competition”, Journal of Forecasting, Vol. 1, 111-153.
MAKRIDAKIS, S. y WHEELWRIGHT, S. (1978): Forecasting: Methods & Applications,
John Wiley & Sons.
21
MORENO, B. (1999): “Técnicas de predicción en series temporales y medidas de
evaluación”. Memoria de Proyecto de Investigación. Departamento de Economía
Aplicada, Universidad de Oviedo.
NEWBOLD, P. y GRANGER, C.W.J. (1974): “Experience with Forecasting Univariate Time
Series and the Combination of Forecast”, Journal of the Royal Statistical Society,
Serie A, 137. Part. 2, 131-165.
NEWTON, H.J. y PARZEN, E. (1984): “Forecasting and Time Series Model Types of 111
Economic Time Series”, The Forecasting Accuracy of Major Time Series Methods,
John Wiley & Sons, 267-287.
OTERO, J.M. (1994): Modelos econométricos y predicción de series temporales, Ed. AC,
Madrid.
PULIDO, A (1998): Una apuesta por el futuro. Predicciones y profecías económicas. Ed.
Pirámide, Madrid.
PULIDO, A. y LÓPEZ, A.M. (1999): Predicción y Simulación aplicada a la economía y gestión
de empresas, Ed. Pirámide, Madrid.
QUANTITATIVE MICRO SOFTWARE (1998): EVIEWS User´s Guide, Command and
Programming Reference.
STECKLER, H.O. (1987): “Who forecasts better?”, Journal of Business and Economic
Statistics, 5, 155-158.
RASVIRTA, T.; TJOSTHEIM, D. y GRANGER, C.W. (1994): “Aspects of modelling
nonlinear time series”, en (R.F. Engle & D.L. McFadden, eds.) Handbook of
Econometrics, vol. IV, cap. 48, 2917-2957. Elsevier Science, New York.
THEIL, H. (1955): “Who Forecast Best?”, International Economic Papers, Vol. 5, 194-199.
THEIL, H. (1958): Economic Forecast and Policy, North Holland Publishing.
THEIL, H. (1966): Applied Economic Forecasting, North Holland Publishing.
THEIL, H. y SCHOLES, M. (1967): “Forecast Evaluation Based on a Multiplicative
Descomposition of Mean Square Errors”, Econometrica, 35, 70-88.
WHITE, H. (1994): Estimation, Inference and Specification Analysis. Cambridge University
Press, New York.
WINKLER, R.L. (1984): “Combinig Forecasts”, The Forecasting Accuracy of Major Time
Series Methods, John Wiley & Sons, 289-295.
WRINKLER, R.L. y MAKRIDAKIS, S. (1983): “The Combination of Forecast”, Journal of
the Royal Statistical Society, Serie A, 146. Part. 2, 150-157.
22