Machine Translated by Google Introducción a la previsión de la demanda. Evaluación de la precisión del pronóstico Maestría en Ciencias. María Belén Segovia Escuela Superior Polit´ecnica del Litoral 2022 Machine Translated by Google Evaluación del ajuste del modelo: diagnóstico residual Recordemos que podemos decir que nuestro modelo es 'bueno' si vemos que los residuos son 'aleatorios' y 'cercanos a cero', es decir, son aproximadamente ruido blanco. Esto significa que esperamos que los residuos sigan estas propiedades: 1. Los residuos no están correlacionados. Si están correlacionados, esto significa que todavía hay información en los residuos que se puede utilizado para la previsión. 2. Los residuos tienen media cero. Si esto no se cumple, entonces el los residuos están sesgados. Los métodos que no sigan estas propiedades se pueden mejorar o modificar para obtener mejores pronósticos. Revisar estas propiedades es una forma de saber si un método está utilizando toda la información disponible o no. Sin embargo, esta no es una forma de comparar el desempeño entre métodos de pronóstico. Machine Translated by Google Evaluación del ajuste del modelo: diagnóstico residual Además, si los residuos están sesgados, es decir, la media de los residuos es m (en lugar de 0). Esto se puede ajustar restando m de todos los pronósticos. Otras propiedades que son útiles (pero no necesarias) para que se mantengan los residuos son: 1. Los residuos se distribuyen normalmente. Esta propiedad facilita el cálculo de los intervalos de predicción. Sin embargo, un método de pronóstico que no satisface esta propiedad rara vez puede mejorarse. Las transformaciones de Box­Cox pueden ayudar en esta propiedad. Se utilizan otros enfoques para obtener intervalos de predicción cuando los residuos no siguen una distribución normal. Machine Translated by Google Error de pronóstico Denotamos el error en el pronóstico Xn n+h en(h) = Xn+h − Xn por en(h) como sigue: n+h En otras palabras, el error es la diferencia entre el valor observado y el valor pronosticado. Esta es la parte impredecible de la observación. Mencionaremos algunas medidas de precisión para errores de pronóstico. Machine Translated by Google Errores dependientes de la escala Los errores de pronóstico están disponibles en la misma escala que nuestras series temporales. Los métodos de precisión dependientes de la escala son aquellos que se basan únicamente en en(h). Estos métodos no deben utilizarse cuando comparamos series temporales en diferentes escalas. Las dos medidas dependientes de escala más comunes se basan en el error absoluto y los errores al cuadrado: Error/desviación absoluta media: MAE o MAD = 1 v |y | vt =1 MAD es una opción apropiada al seleccionar métodos de pronóstico si el costo de un error de pronóstico es proporcional al tamaño del error. Machine Translated by Google Errores dependientes de la escala Error medio cuadrado: EEM = 1 v 2y t=1 El MSE penaliza los errores grandes de manera mucho más significativa que los errores pequeños porque todos los errores están al cuadrado. Por lo tanto, es una buena idea utilizar el MSE para comparar métodos de pronóstico si el costo de un error grande es mucho mayor que las ganancias de pronósticos muy precisos (Chopra, 2016 Error cuadrático medio: RMSE = 1 v 2 yt t=1 La medida RMSE tiene las mismas unidades que la serie de datos. Machine Translated by Google Errores porcentuales El error porcentual viene dado por: 100et punto = yt La idea es que este error no tenga unidades, por lo que se usa comúnmente para comparar el desempeño del pronóstico entre diferentes conjuntos de datos. Error porcentual absoluto medio: MAPA = 1 v v t=1 y yt (100) Esta medida proporciona una puntuación porcentual de cómo los pronósticos se desvían (en promedio) de los valores reales. Es útil para comparar el desempeño entre series de datos que tienen diferentes escalas. Machine Translated by Google Señal de seguimiento Chopra (2016) sugiere lo siguiente: La señal de seguimiento (TS) es la relación entre la polarización y la MAD y se expresa como: T St = sesgado MADT (1) dónde norte sesgo = y (2) t=1 Si el TS en cualquier período está fuera del rango ± 6, esto es una señal de que el pronóstico está sesgado y está sobrepronosticando (TS < −6) o subestimando (TS > +6). Esto puede suceder porque el método de pronóstico es defectuoso o porque el patrón de demanda subyacente ha cambiado. Machine Translated by Google Evaluación del ajuste del modelo: sobreajuste No examinable A menudo existen varios modelos competitivos que pueden usarse para pronosticar una serie de tiempo particular. Por ejemplo, existen varias formas de modelar y pronosticar tendencias. En consecuencia, seleccionar un modelo de pronóstico apropiado tiene una importancia práctica considerable. La selección del modelo que proporciona el mejor ajuste a los datos históricos generalmente no da como resultado un método de pronóstico que produzca los mejores pronósticos de datos nuevos. Concentrarse demasiado en el modelo que produce el mejor ajuste histórico a menudo resulta en un sobreajuste. Machine Translated by Google Evaluación del ajuste del modelo: sobreajuste No examinable En general, el mejor enfoque es seleccionar el modelo que dé como resultado la desviación estándar más pequeña (o error cuadrático medio) de los errores de pronóstico de un paso adelante cuando el modelo se aplica a datos que no se utilizaron en el proceso de ajuste. Algunos autores se refieren a esto como desviación estándar del error de pronóstico fuera de la muestra (o error cuadrático medio). Una forma estándar de medir este rendimiento fuera de la muestra es utilizar alguna forma de división de datos; es decir, divida los datos de la serie temporal en dos segmentos: uno para el ajuste del modelo y el otro para las pruebas de rendimiento. A veces, la división de datos se denomina validación cruzada. Machine Translated by Google Intervalos de predicción No hemos discutido esto todavía... pero parte de la dificultad de pronosticar es que, a pesar de conocer la estructura y los parámetros de nuestro modelo estocástico, lo que estamos tratando de pronosticar es desconocido, entonces, la salida sigue siendo aleatoria . O podemos pensarlo como una variable aleatoria. Por ejemplo, queremos pronosticar el valor de las ventas del próximo mes; esto puede tomar un valor entre algún rango pero aún se desconoce hasta que realmente lo observamos. Entonces, hasta que llegue este momento, sigue siendo aleatorio Machine Translated by Google Intervalos de predicción Recuerde que estamos estimando el valor de Xn dada la observación n+h x1, . . . , para algún número entero h xn. Según (Hyndman,2021), cuando obtenemos un pronóstico, estamos estimando la mitad o media del rango de valores posibles que podría tomar la variable aleatoria. A menudo, un pronóstico va acompañado de un intervalo de predicción que proporciona un rango de valores que la variable aleatoria podría tomar con una probabilidad relativamente alta. Por ejemplo, un intervalo de predicción del 95% contiene un rango de valores que debe incluir el valor futuro real con una probabilidad del 95%. Machine Translated by Google Intervalos de predicción Un intervalo de predicción (PI) consta de límites superior e inferior entre los cuales se espera que se encuentre un valor futuro con una probabilidad prescrita. Este intervalo se puede calcular de varias maneras, según el método de pronóstico utilizado, las propiedades de los datos, etc. Machine Translated by Google Intervalos de predicción Con el supuesto de que los errores de pronóstico se distribuyen normalmente en El intervalo de predicción del 95% para el pronóstico del paso h es Xˆn _ n+h ± 1, 96ˆσh (3) Intervalos de predicción de un paso Para pronósticos de un paso, un intervalo de confianza del 95% para Xn+1 es xnn+1 ± 1,96σ (4) La MAD se puede utilizar para estimar la desviación estándar de la componente aleatorio suponiendo que el componente aleatorio está normalmente distribuido. En este caso, la desviación estándar del azar componente es σ = 1,25MAD (5) Machine Translated by Google Intervalos de predicción Intervalos de predicción a partir de residuos arrancados Cuanto más largo es el horizonte de pronóstico, más incertidumbre se asocia al pronóstico y se esperan intervalos de predicción más amplios. Esto es σh aumenta con h. Para pronósticos de varios pasos, se aplican métodos más complicados. Estos cálculos suponen que los residuos no están correlacionados. Cuando el supuesto de que los residuos siguen una distribución normal no se cumple, entonces otra opción para obtener intervalos de predicción es el bootstrapping. Este método también supone que los residuos no están relacionados con la varianza finita. El algoritmo simula un conjunto completo de valores futuros para nuestra serie temporal. Entonces, es posible calcular intervalos de predicción calculando percentiles de las trayectorias futuras de la muestra para cada horizonte de pronóstico. Machine Translated by Google Referencias Hyndman, RJ, Athanasopoulos, G. (2021) Previsión: principios y práctica, tercera edición, OTexts: Melbourne, Australia. OTexts.com/fpp3.
