Redes neuronales dinámicas
Anuncio
Redes neuronales dinámicas Diego Milone Inteligencia Computacional Departamento de Informática FICH-UNL Inteligencia Computacional - FICH - UNL Introducción: ¿por qué dinámicas? Inteligencia Computacional - FICH - UNL Introducción: ¿por qué dinámicas? Aproximación 1: entradas desplazadas y(n) = f (x(n)) Inteligencia Computacional - FICH - UNL Introducción: ¿por qué dinámicas? Aproximación 1: entradas desplazadas y(n) = f (x(n)) Aproximación 2: realimentación de las salidas y(n) = f (x(n), y1 (n)) Inteligencia Computacional - FICH - UNL Introducción: ¿por qué dinámicas? Aproximación 1: entradas desplazadas y(n) = f (x(n)) Aproximación 2: realimentación de las salidas y(n) = f (x(n), y1 (n)) Aproximación 3: realimentación de estados internos y(n) = f (x(n), z1 (n)) Inteligencia Computacional - FICH - UNL Introducción: ¿por qué dinámicas? Aproximación 1: entradas desplazadas y(n) = f (x(n)) Aproximación 2: realimentación de las salidas y(n) = f (x(n), y1 (n)) Aproximación 3: realimentación de estados internos y(n) = f (x(n), z1 (n)) Caso general: y(n) = f (x(n), z1 (n), y1 (n)) Inteligencia Computacional - FICH - UNL Clasificación Redes neuronales dinámicas (DNN) • Redes con retardos en el tiempo (TDNN) Inteligencia Computacional - FICH - UNL Clasificación Redes neuronales dinámicas (DNN) • Redes con retardos en el tiempo (TDNN) • Redes recurrentes (RNN) • Redes totalmente recurrentes • Redes parcialmente recurrentes (PRNN) Inteligencia Computacional - FICH - UNL Clasificación Redes neuronales dinámicas (DNN) • Redes con retardos en el tiempo (TDNN) • Redes recurrentes (RNN) • Redes totalmente recurrentes • Redes de Hopfield (memorias asociativas) • Redes de Boltzman (supervisadas) • Teoría de la resonancia adaptativa (ART) • Redes parcialmente recurrentes (PRNN) Inteligencia Computacional - FICH - UNL Clasificación Redes neuronales dinámicas (DNN) • Redes con retardos en el tiempo (TDNN) • Redes recurrentes (RNN) • Redes totalmente recurrentes • Redes de Hopfield (memorias asociativas) • Redes de Boltzman (supervisadas) • Teoría de la resonancia adaptativa (ART) • Redes parcialmente recurrentes (PRNN) • Retropropagación a través del tiempo (BPTT) • Redes de Elman • Redes de Jordan Redes de Hopfield Diego Milone Inteligencia Computacional Departamento de Informática FICH-UNL Inteligencia Computacional - FICH - UNL Redes de Hopfield Arquitectura Inteligencia Computacional - FICH - UNL Redes de Hopfield Modelo matemático yj (n) = sgn(x) = sgn N X ! wji yi (n − 1) − θj i=1 wji = wij ∀ i 6= j wii = 0 ∀i x > 0 +1 x = 0 yj (n − 1) ··· x < 0 −1 Inteligencia Computacional - FICH - UNL Redes de Hopfield: generalidades • Cada neurona tiene un disparo probabilístico • Conexiones simétricas Inteligencia Computacional - FICH - UNL Redes de Hopfield: generalidades • Cada neurona tiene un disparo probabilístico • Conexiones simétricas • El entrenamiento es no-supervisado Inteligencia Computacional - FICH - UNL Redes de Hopfield: generalidades • Cada neurona tiene un disparo probabilístico • Conexiones simétricas • El entrenamiento es no-supervisado • Puede utilizarse como memoria asociativa Redes de Hopfield Almacenamiento y recuperación Diego Milone Inteligencia Computacional Departamento de Informática FICH-UNL Inteligencia Computacional - FICH - UNL Entrenamiento (almacenamiento) Dado un conjunto de patrones (memorias fundamentales o datos limpios): X ∗ = x∗k ∈ RN Inteligencia Computacional - FICH - UNL Entrenamiento (almacenamiento) Dado un conjunto de patrones (memorias fundamentales o datos limpios): X ∗ = x∗k ∈ RN Aprendizaje Hebbiano: wji = P 1X ∗ ∗ xkj xki N k=1 Inteligencia Computacional - FICH - UNL Entrenamiento: observaciones • El proceso de entrenamiento NO es iterativo Inteligencia Computacional - FICH - UNL Entrenamiento: observaciones • El proceso de entrenamiento NO es iterativo • wji es mayor cuando las neuronas i y j se tienen que activar juntas (regla de Hebb) Inteligencia Computacional - FICH - UNL Entrenamiento: observaciones • El proceso de entrenamiento NO es iterativo • wji es mayor cuando las neuronas i y j se tienen que activar juntas (regla de Hebb) • La capacidad de almacenamiento está limitada a: Pmax = con un 1 % de error. N 2 ln(N) Inteligencia Computacional - FICH - UNL Prueba (recuperación) Dado un patrón x (incompleto, ruidoso...) se fuerza: y(0) = x Inteligencia Computacional - FICH - UNL Prueba (recuperación) Dado un patrón x (incompleto, ruidoso...) se fuerza: y(0) = x Iteración: 1. j∗ = rnd(N) 2. yj∗ (n) = sgn N P wji yi (n − 1) i=1 3. volver a 1 hasta no observar cambios en las yj Inteligencia Computacional - FICH - UNL Prueba: observaciones • El proceso de recuperación ES iterativo (dinámico) Inteligencia Computacional - FICH - UNL Prueba: observaciones • El proceso de recuperación ES iterativo (dinámico) • En general no se utilizan los θj Inteligencia Computacional - FICH - UNL Prueba: observaciones • El proceso de recuperación ES iterativo (dinámico) • En general no se utilizan los θj • La salida final es y(M) cuando no hay cambios al “recorrer” todas las salidas Inteligencia Computacional - FICH - UNL Prueba: observaciones • El proceso de recuperación ES iterativo (dinámico) • En general no se utilizan los θj • La salida final es y(M) cuando no hay cambios al “recorrer” todas las salidas • Se pueden obtener estados espúreos y oscilaciones... Inteligencia Computacional - FICH - UNL Campos energéticos de Hopfield • Almacenamiento • Recuperación Retropropagación a través del tiempo Diego Milone Inteligencia Computacional Departamento de Informática FICH-UNL Inteligencia Computacional - FICH - UNL Retropropagación a través del tiempo (BPTT) Arquitectura con recurrencia total x1 (n) y1 (n) x2 (n) y2 (n) Inteligencia Computacional - FICH - UNL Retropropagación a través del tiempo (BPTT) Arquitectura con recurrencia total x1 (n) wI11 wI21 y1 (n) wI12 x2 (n) wI22 y2 (n) Inteligencia Computacional - FICH - UNL Retropropagación a través del tiempo (BPTT) Arquitectura con recurrencia total w11 x1 (n) wI11 wI12 x2 (n) y1 (n) wI21 w21 w12 wI22 y2 (n) w22 Inteligencia Computacional - FICH - UNL Expansión: propagación hacia adelante pura x1 (n) wI11 y1 (n) wI21 wI12 x2 (n) w11 wI22 w21 w12 y2 (n) w22 Redes neuronales con retardos en el tiempo Diego Milone Inteligencia Computacional Departamento de Informática FICH-UNL Inteligencia Computacional - FICH - UNL Arquitectura de una TDNN Inteligencia Computacional - FICH - UNL TDNN: clasificación espacio-temporal Inteligencia Computacional - FICH - UNL Arquitecturas neuronales de Elman y Jordan Elman Inteligencia Computacional - FICH - UNL Arquitecturas neuronales de Elman y Jordan Jordan
