Material de Clase. Tema 4

Universidad Carlos III de Madrid
OpenCourseWare
Redes de Neuronas Artificiales
Inés M. Galván - José Mª Valls
Tema 4
Predicción de Series Temporales
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
1
Series temporales
•
•
•
•
Introducción
Problema de predicción
Modelos neuronales
Ejemplos
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
2
Introducción
• Una serie temporal se puede definir como una colección
de datos o valores de un suceso determinado a lo largo
del tiempo
{x(0), x(1),....x(t − 1), x(t)...}
• Su evolución temporal no depende explícitamente de
la variable tiempo, sino que depende de
– los valores de la serie en instantes anteriores
– otras variables temporales
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
3
Introducción
Ejemplo: Función logística (logistic map) Ecuación en diferencias
x(t + 1) = ax(t)(1− x(t))
•
•
•
Modeliza la evolución de poblaciones en habitats con recursos
limitados, donde α es la razón de crecimiento de la población
0<a≤4
Para
y x(0) entre 0 y 1
Para ciertos valores de α , la serie tiene un comportamiento caótico
(ej: α =3.97)
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
4
Introducción
•
•
La predicción del comportamiento de una serie en el futuro es un
objetivo importante en muchas áreas (economía, física, biología...)
Si conocemos el proceso generador es posible construir modelos
analíticos:
– Ecuaciones diferenciales o ecuaciones en diferencias
• describen el comportamiento de la serie en función de sus valores
anteriores
– En la mayor parte de los casos con datos reales, esto no es
posible
• Normalmente sólo se dispone de datos observados
– Necesitan ser interpretados para construir un modelo
aproximativo (como las redes de neuronas)
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
5
Introducción
• Ventajas de las Redes de Neuronas
– Capacidad para aproximar y capturar relaciones a partir de
ejemplos
– Capacidad para construir relaciones no lineales
– Capacidad para funcionar con
• información incompleta
• información con ruido
– Facilidad de construcción y utilización
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
6
Problema de predicción de series
temporales
• Definición del problema
– Predicción del comportamiento de una serie a partir de un
conjunto de muestras
– Dos casos
• Predicción en un paso de tiempo
– Instante inmediatamente siguiente al instante actual (t+1)
x(t), x(t − 1), x(t − 2)... → x(t + 1)
• Predicción en múltiples pasos de tiempo
– Plazo más alejado (t+1, t+2, …, t+h+1)
x(t), x(t − 1), x(t − 2)... → x(t + 1), x(t + 2),...x(t + h + 1)
» h: horizonte de predicción
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
7
Problema de predicción de series
temporales
• La dificultad de la predicción depende del
comportamiento dinámico de la serie
– Hay series con comportamientos periódicos y estables
• Se pueden modelar con técnicas clásicas y lineales
– La metodología tradicional se basa
en descomponer las series en:
• tendencia
• variación estacional o periódica
• otras fluctuaciones irregulares
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
8
Problema de predicción de series
temporales
•
•
•
Otras series son más complejas, necesitan técnicas no lineales
Las series que nos interesan son las que pueden ser descritas por
modelos no lineales de regresión
Recogen el comportamiento temporal de la serie en (t+1) como una
función no lineal de los valores de la serie en los instantes
anteriores
x(t + 1) = F(x(t), x(t − 1), x(t − 2),..., x(t − r)) + e(t)
El ruido blanco es una señal
aleatoria que se caracteriza
porque sus valores de señal
en dos instantes de tiempo
diferentes no guardan
correlación estadística. la
señal contiene todas las
frecuencias y todas ellas
tienen la misma potencia
Donde:
•F: función no lineal
desconocida
•e: ruido blanco gaussiano
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
9
Modelos neuronales
Modelos Estáticos
•
•
– Perceptrón multicapa
– Redes de base radial
Arquitectura diseñada para búsqueda de relaciones independientes
de la variable tiempo
Entrada de la red: Incorporación de historia del patrón a predecir
– Secuencia temporal en el pasado
•
Salida de la red: valor de predicción en el futuro (t+1, t+2, etc.)
•
Simples y fáciles de construir
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
10
Modelos neuronales
Modelos Dinámicos
– Redes recurrentes
• Su arquitectura está diseñada para procesamiento de
información temporal
• La salida no sólo depende de la entrada sino de estados
anteriores de la red
• Están preparadas para captar comportamientos dinámicos
• Inconveniente: Complejos de construir
• Menos utilizados
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
11
Modelos neuronales estáticos
Predicción en un paso de tiempo
• Se considera el vector de entrada
(x(t), x(t − 1), x(t − 2)... x(t − r))
• La red se usa para ajustar el modelo de predicción
~
~
x(t + 1) = F(x(t), x(t − 1), x(t − 2)... x(t − r))
~ representa una aproximación neuronal a la función F
F
~
x (t + 1) predicción proporcionada por el modelo neuronal
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
12
Modelos neuronales estáticos
Predicción en un paso de tiempo
•
La red tiene r+1 entradas y una salida
x(t)
x(t-1)
.
.
.
Red de
Neuronas
x(t-r)
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
13
Modelos neuronales estáticos
Predicción en un paso de tiempo
•
Los patrones de entrenamiento se construyen a través de una
ventana deslizante de la forma:
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
14
Modelos neuronales estáticos
Predicción en un paso de tiempo
• El ajuste de los pesos se realiza para minimizar el error
cuadrático medio medido en la salida
• Para predecir, basta con presentar los valores de la
serie en los r+1 instantes anteriores
• Problema: especificación de r
– Depende de la serie temporal
– Se determina mediante
• Análisis de la serie temporal
• Prueba y error
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
15
Modelos neuronales estáticos
Predicción en múltiples pasos de tiempo
– Predicción en t+h+1 (h>=1)
– Predicción en el intervalo [t+1,t+h+1]
t-r
t-3
t-2
t-1
t
t+1
t+h+1
• Dos esquemas de predicción
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
16
Modelos neuronales estáticos
Esquema de predicción 1 para múltiples pasos
•
•
•
•
Utilizar de manera recurrente el modelo neuronal construido para la
predicción en un paso de tiempo
Dicho modelo necesita como entrada los valores de la serie en los r+1
instantes de tiempo inmediatamente anteriores
~
~
x(t + h + 1) = F (x(t + h), x(t + h − 1), K ~
x(t + h - r))
Pero no toda la información está disponible
Se utilizan como entradas al modelo neuronal los valores predichos por la
red en instantes anteriores de tiempo
~
x (t + h), ~
x(t + h − 1), K ~
x(t + 1)
En lugar de los valores reales, que son desconocidos:
x(t + h), x(t + h − 1), K x(t + 1)
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
17
Modelos neuronales estáticos
Esquema de predicción 1 para múltiples pasos
~
~
x (t + 1) = F (x(t), x(t − 1), x(t − 2)... x(t − r))
~
~
x (t + 2) = F ( ~
x (t + 1), x(t), x(t − 1),... , x(t − r + 1))
~
~
x (t + 3) = F ( ~
x (t + 2), x(t + 1), x(t),... , x(t − r + 2))
. .
.
~ ~
~
x (t + h + 1) = F ( x (t + h), ~
x (t + h - 1),..., ~
x (t + 1), ~x (t), ... , x(t − r + h))
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
18
Modelos neuronales estáticos
Esquema de predicción 1 para múltiples pasos
z-1
z-1
x(t)
x(t-r+h)
Red de
Neuronas
.
.
.
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
19
Modelos neuronales estáticos
Esquema de predicción 1 para múltiples pasos
•
•
Entrenamiento: es igual al caso de un paso de tiempo
Predicción: aplicación reiterada del modelo
t-r
t-1
t
t+1
t+h+
1
•
Inconveniente:
– Aprendizaje realizado para un paso de tiempo.
– Errores cometidos en la predicción de dichos valores son propagados
hacia las predicciones futuras
– Se usan como entradas valores estimados
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
20
Modelos neuronales estáticos
Esquema de predicción 2 para múltiples pasos
•
•
Predicción directa de x(t+h+1)
Se construye un modelo NAR para predecir el valor x(t+h+1) a
partir de la información disponible en el instante actual t
x(t)
x(t-1)
.
.
.
Red de
Neuronas
~
x (t+h+1)
x(t-d)
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
21
Modelos neuronales estáticos
Esquema de predicción 2 para múltiples pasos
• Los patrones de entrenamiento se construyen a través
de una ventana deslizante de la forma
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
22
Modelos neuronales estáticos
Esquema de predicción 2 para múltiples pasos
• El aprendizaje de la red se realiza para minimizar el error medido en
dicho instante
•
Tiene sentido siempre que exista una relación, desconocida a priori,
entre x(t+h+1) y la secuencia(x(t),x(t-1),...,x(t-d))
•
A medida que aumenta el horizonte de predicción, las relaciones
entre los valores temporales de la serie se pierde
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
23
Ejemplo de aplicación
Laguna de Venecia
•
•
•
•
Objetivo: predicción de mareas en la laguna de Venecia
Serie: observaciones tomadas con intervalos de una hora durante la
década de los 90
Se pretende predecir el nivel del agua con adelantos de 1, 4, 12, 24
y 28h
Se han realizado predicciones con
–
–
–
–
–
•
Modelos basados en ecuaciones hidrodinámicas
Modelos estocásticos lineales
Modelos basados en análisis no lineal de series temporales
…
Redes de neuronas
Análisis y resultados en: Forecasting high waters at Venice Lagoon using
Chaotic time series analisys and nonlinear neural netwoks. J. M. Zaldívar, E
Gutiérrez, I.M. Galván, F. Strozzi and A, Tomasin. Journal of Hydroinformatics,
Volumen: 02.1, 61- 84 (2000)
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
24
Ejemplo: Venecia
Planteamiento
•
Determinación de la estructura del modelo NAR
– Estimar el número de valores de entrada
•
•
Al analizar el espectro de frecuencias se observan periodicidades
de 12 y 24 h
Se considerarán modelos NAR con la siguiente estructura
•
•
Para valores de h=1,4,12,24,28 horas
Redes MLP de
– 25 neuronas de entrada (x(t), x(t-1),…x(t-24))
– 1 neurona de salida (x(t+1))
REDES DE NEURONAS ARTIFICIALES. INÉS M. GALVÁN, JOSÉ Mª VALLS
25