evaluación de predicciones.

Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
EVALUACIÓN DE PREDICCIONES.
1. Evaluación de una única predicción.
2. Evaluación de dos o más predicciones
alternativas: comparación de la precisión.
3. Aspectos prácticos en el seguimiento de las
predicciones y sus errores de predicción.
Técnicas avanzadas de series temporales
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
Elementos básicos de una predicción
¿Qué se necesita para predecir una variable?
•Información (datos): Univariante o Multivariante
•Un modelo: Univariante o Multivariante
Una vez que realizamos una predicción
¿Cuál es la incertidumbre acerca de dicha predicción?¿Es
óptima?
¿Cómo se compara con las de otros expertos?
Evaluación de las predicciones: Differentes medidas sobre
los errores de predicción.
Técnicas avanzadas de series temporales
1
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
Predicciones basadas en modelos
La predicción está sujeta a error. Al menos hay 3 fuentes
de error:
•Especificación
•Innovación
•Estimación de los parámetros
Técnicas avanzadas de series temporales
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
1. EVALUACIÓN DE UNA PREDICCIÓN
- en el contexto univariante
•
Las predicciones óptimas son insesgadas
Si las predicciones son insesgadas, el error de predicción debe tener media
cero.-> Contraste H0:E(e)=0
Hipótesis:
1. Errores de predicción: ruido blanco gaussiano-> Regresión de los
errores de predicción sobre una constante y usar el estadístico t.
2. Errores de predicción son iid, pero no gaussianos-> asintóticamente el
contraste sigue siendo válido.
3. Errores de predicción son MA(h-1): modelar el término de error antes
de hacer el contraste.
Técnicas avanzadas de series temporales
2
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
1. EVALUACIÓN DE UNA PREDICCIÓN
- en el contexto univariante
•
Los errores de predicción a un período son ruido blanco.
Realizar correlogramas. Estadístico de Durbin-Watson. Estadístico de LjungBox-Pierce.
•
Los errores de predicción a h períodos son como mucho un MA(h-1).
Realizar correlogramas. Estadístico de Ljung-Box-Pierce.
•
La varianza de los errores de predicción no decrece con h y
convergen a la varianza incondicional del proceso.
Varianza en función de h. ¿Se observa algún patrón?
Técnicas avanzadas de series temporales
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
1. EVALUACIÓN DE UNA PREDICCIÓN
- optimalidad con respecto al conjunto de información
Las predicciones óptimas producen errores de predicción que deben ser
“impredecibles” dado el conjunto de información que se tiene. Si se ha
utilizado información de las variables x, entonces
e t + h ,t = α
0
+
k −1
∑
i =1
α i x it + u t
Se contrasta la hipótesis de que todos los coeficientes son 0.
Técnicas avanzadas de series temporales
3
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
2. EVALUACIÓN DE DOS O MÁS PREDICCIONES
ALTERNATIVAS: COMPARACIÓN DE LA PRECISIÓN.
Error de predicción:
et + h ,t = Yt + h − Yˆt + h ,t
Medidas de precisión de las predicciones:
• Error medio:
EM =
•Error cuadrático medio:
1 T
∑ et +h,t
T t =1
ECM =
1 T 2
∑e
T t =1 t +h ,t
• Raíz cuadrada del error cuadrático medio: RECM =
1 T 2
∑e
T t =1 t +h ,t
Técnicas avanzadas de series temporales
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
Comparación estadística de la precisión de las predicciones:
(Test de Diebold y Mariano)
Se plantea la necesidad de saber si las predicciones de un modelo son
más precisas que las de otro. Para ello hay que comparar dos
propiedades poblacionales y se dispone de estimaciones muestrales de
los mismos.
2
ECM pob = E (et + h,t )
ECM =
1 T
2
et + h,t
∑
T t =1
Dada una función de pérdida L,
((
)) ( (
H 0 : E L et(+Ah),t = E L et(+Bh),t
))
Técnicas avanzadas de series temporales
4
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
H 0 : E (d t ) = E ( L(et(+Ah),t )) − E ( L(et(+Bh),t )) = 0
d=
1 T
∑ dt y bajo H 0 se tiene que T (d − µ ) ≈ N (0, f )
T t =1
Observaciones:
(1) Procedimiento: Formular un modelo ARMA para dt con constante y
contrastar la significatividad de la constante. Si es significativamente
distinta de 0, un método es superior al otro.
(2) El contraste anterior es asintótico. Exsiten versiones para
muestras finitas (Harvey, Leybourne, Newbold, International Journal
of Forecasting, 1997; Clark, Journal of Econometrics, 2001)
Técnicas avanzadas de series temporales
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
3. ASPECTOS PRÁCTICOS EN UN EJERCICIO DE
PREDICCIÓN
-Cuadro de errores de predicción
± ,no
σ ha ocurrido
- Si la observación está dentro del intervalo
nada inesperado
- Si lo anterior es falso, pero la observación está dentro
del intervalo ± 1.3σ ,algo inesperado de relativa importancia ha
ocurrido
- Si lo anterior es falso, ha ocurrido una innovación importante que
generará un cambio importante en las expectativas.
Técnicas avanzadas de series temporales
5
Dpto. de Estadística ,Estr.Eca.y O.E.I.
Universidad de Alcalá de Henares.
-Comparación con las predicciones anteriores
- Las diferencias entre dos sendas de predicción realizadas en
distintos momentos del tiempo se deben exclusivamente a las
innovaciones que han ocurrido entre ambos momentos.
- Comparando las sendas se puede evaluar la importancia de las
innovaciones más recientes.
- Si el modelo incluye variables causales, se puede evaluar la
contribución de dichas variables en relación con las innovaciones
registradas.
Técnicas avanzadas de series temporales
6