Trabajo - DavidHorat.com

Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
- 1 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Índice
1. Problema a resolver.................................................................................................... 3
2. Estudio teórico de las redes de Hopfield................................................................... 4
Introducción........................................................................................................................................4
Estructura ...........................................................................................................................................5
Regla de aprendizaje.........................................................................................................................11
Identificación de Sistemas No Lineales.............................................................................................14
Capacidad de almacenamiento e interés práctico ............................................................................17
3. Resolución ................................................................................................................. 19
Creación de patrones........................................................................................................................19
Configuración del SNNS ...................................................................................................................23
4. Resultados y análisis................................................................................................. 25
5. Conclusiones.............................................................................................................. 33
6. Bibliografía................................................................................................................ 34
Libros................................................................................................................................................34
Webs..................................................................................................................................................34
- 2 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
1. Problema a resolver
En esta práctica se nos plantea la recuperación de caracteres alfanuméricos
ruidosos utilizando la red de Hopfield. Para ello tendremos que crear inicialmente un
conjunto entrenamiento formado por 6-11 de patrones originales, sin ruido, que serán
los que la red aprenda. Después habrá ir presentándole los mismos patrones pero con
ruido añadido para observar como la red es capaz de eliminar dicho ruido. Además le
presentaremos también patrones incompletos para comprobar si la red es capaz de
identificarlos.
- 3 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
2. Estudio teórico de las redes de Hopfield
Introducción
Una de las mayores contribuciones al área de las redes neuronales fue realizada
en los años 1980 por John Hopfield, quien estudió modelos aoutoasociativos que
presentaban algunas similaridades con los perceptrones, pero incluía también grandes
diferencias. Las redes de Hopfield son redes de adaptación probabilística, recurrentes,
funcionalmente entrarían en la categoría de las memorias autoasociativas, que aprenden
a de reconstruir los patrones de entrada que memorizaron durante el entrenamiento. Son
arquitecturas de una capa con interconexión total, funciones de activación booleana de
umbral (cada unidad puede tomar dos estados, 0 o 1, dependiendo de si la estimulación
total recibida supera determinado umbral), adaptación probabilística de la activación de
las unidades, conexiones recurrentes y simétricas, y regla de aprendizaje no
supervisado. Mientras que las redes en cascada (no recurrentes) dan soluciones estables,
los modelos recurrentes dan soluciones inestables (dinámicas), lo que no siempre es
aconsejable. La principal aportación de Hopfield consistió precisamente en conseguir
que tales redes recurrentes fueran así mismo estables. Imaginó un sistema físico capaz
de operar como una memoria autoasociativa, que almacenara información y fuera capaz
de recuperarla aunque la misma se hubiera deteriorado.
El concepto de memoria asociativa es bastante intuitivo: se trata simplemente de
asociar dos patrones. Dentro de este concepto definiremos diferentes tipos de memorias
asociativas:
Memoria heteroasociativa: Establece una correspondencia F entre dos vectores X,Y de
tal manera que F(xi)=yi, y si un x arbitrario está más próximo a xi que a cualquier otro
xj, entonces F(x)=yi. En esta definición, el estar más próximo quiere decir con respecto
a la Distancia De Hamming.
Memoria asociativa interpoladora: Establece una correspondencia F entre X e Y de
tal manera que F(x)=yi, pero si el vector de entrada difiere de uno de los ejemplares en
el vector d, de tal modo que x=xi+d, entonces la salida será yi+d.
Memoria autoasociativa: Supóngase que Y=X, y apliquemos lo que se dijo en la
primera definción.
- 4 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Estructura
En búsqueda de una implementación practica, Hopfield presentó su modelo básico
como un circuito eléctrico, el cual se muestra en la figura 2, donde cada neurona se
representa por un amplificador operacional y una red asociada formada por una
capacitancia y una resistencia, la entrada a cada amplificador es la suma de las
corrientes Ii mas las realimentaciones provenientes de otros amplificadores, por ejemplo
el segundo amplificador realimenta al amplificador S a través de la resistencia RS2, en
caso de necesitarse realimentaciones con signo negativo, estas se hacen por medio de la
salida inversora de cada amplificador; la ecuación para el modelo de Hopfield basado en
las leyes de Kirchhoff se muestra en la ecuación 1.
Figura 2: Circuito Eléctrico red Hopfield
Ecuación 1
Donde ni es el voltaje de entrada a cada amplificador y ai =f(ni) su salida, con
característica de amplificación f la cual es generalmente de tipo sigmoidal,
.
- 5 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Multiplicando a ambos lados de la ecuación 1 por Ri y definiendo ∈ =RiC, ω
ij=RiTij
y bi=RiIi, esta puede reescribirse en la ecuación 2 la cual describe el
comportamiento de cada una de las neuronas dinámicas que componen el circuito
eléctrico de la red de Hopfield.
Ecuación 2
Utilizando la ecuación 2 y escribiéndola en su forma matricial con a(t)=f(n(t)),
se obtiene la ecuación 3, en esta ecuación se describe el comportamiento de la red de
Hopfield
Ecuación 3
La red de Hopfield en notación compacta se muestra en la figura 3, en donde el
vector de p no se considera como la entrada a la red sino como la condición inicial de la
red
Figura 3: Notación compacta red de Hopfield
- 6 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Como se observa, la red de Hopfield esta compuesta de neuronas dinámicas
altamente interconectadas gobernadas por ecuaciones diferenciales no lineales, esta red
funciona como una memoria asociativa no lineal que puede procesar patrones
presentados de forma incompleta o con ruido, siendo útil como una poderosa
herramienta de optimización
En el libro "Neural Network Design" [Hagan-96], se muestra que una de las
principales contribuciones de Hopfield fue la aplicación de la teoría de estabilidad de
Lyapunov al análisis de las redes recurrentes, la teoría de estabilidad de Lyapunov se
aplica a través del teorema de LaSalle y para su utilización el primer paso es escoger
una función de Lyapunov, para lo cual Hopfield sugirió la siguiente función:
Ecuación 4: Lyapunov
Donde a es la salida de la red, W es la matriz de pesos y b es el vector de
ganancias. La escogencia de esta particular función, fue clave en el desarrollo de
Hopfield, pues el primer y el tércer termino de esta ecuación conforman una función
cuadrática, las cuales pueden aproximar gran cantidad de funciones en un pequeño
intervalo, especialmente cerca de puntos donde se encuentre un mínimo local.
Para usar el teorema de LaSalle se necesita evaluar la derivada de la ecuación 4, por
claridad se evaluará cada uno de los tres términos de forma independiente, tomando la
derivada del primer término de la ecuación 4 se obtiene:
Ecuación 5
Derivando el segundo termino de la ecuación 4, el cual consiste de una
sumatoria de integrales y considerando una de estas integrales se obtiene:
Ecuación 6
- 7 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Tomando en consideración todas las integrales, en forma matricial la derivada
del segundo termino es:
Ecuación 7
Derivando el tercer término de la ecuación 4 y apoyándose en las propiedades de
las funciones cuadráticas se obtiene la ecuación 8:
Ecuación 8
La derivada total de la ecuación 8 se obtiene al unir los resultados de las
ecuaciones 5, 7 y 8:
Ecuación 9
comparando con la ecuación 3 del modelo eléctrico de Hopfield, se tiene que:
Ecuación 10
Esto permite reescribir la ecuación 2.6.9 así como sigue:
Ecuación 11
ya que ni = f- –1(ai), es posible expandir la derivada de ni de la siguiente forma:
- 8 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Ecuación 12
Con esto la ecuación 11 puede ser reescrita como:
Ecuación 13
si se asume que f- –1(ai) es una función incremental, como sucede en los amplificadores
operacionales, entonces:
Ecuación 14
Este resultado implica en la ecuación 12 que:
Ecuación 15
- 1
De esta manera, si f – (ai) es una función incremental, todos los valores propios
de la función dV(a)/dt son no positivos lo cual implica que la red sea estable, entonces
V(a) es una función de Lyapunov valida.
Los atractores de Hopfield son puntos estacionarios de la función de Lyapunov
que satisfacen la ecuación 16:
Ecuación 16
- 9 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Estos puntos estacionarios son puntos donde se encuentra un mínimo de la
función V(a) descrita en la ecuación 4, en estos puntos el gradiente de la función V(a)
igual a cero.
Ecuación 17
La función de Lyapunov descrita por la ecuación 4 puede simplificarse si se
considera que la ganancia
es grande, como sucede en los amplificadores con los que
se implementa la red, una función de transferencia típica para estos amplificadores no
lineales se muestra a continuación:
Ecuación 18
Para evaluar el segundo termino de la función de Lyapunov se requiere el
calculo de f- –1(u).
Ecuación 19
Si la ganancia
es muy grande y la salida de la red se mantiene en el rango
1>a>–1, el segundo termino de la función de Lyapunov tiende a cero y puede definirse
la función de alta ganancia de Lyapunov como:
Ecuación 20
- 10 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Regla de aprendizaje
La red de Hopfield no tiene una ley de aprendizaje asociada, esto significa que la
red no es entrenada ni realiza un proceso de aprendizaje, sin embargo es posible
determinar la matriz de pesos por medio de un procedimiento basado en la función de
alta ganancia de Lyapunov descrita por la ecuación 20.
Ecuación 21
El procedimiento consiste en escoger la matriz de pesos W y el vector de
ganancias b tal que V toma la forma de la función que se quiere minimizar,
convirtiendo el problema que se quiere resolver, en un problema de minimización
cuadrática, puesto que la red de Hopfield minimizará a V .
Una red de Hopfield puede diseñarse como una memoria asociativa, en este caso
es llamada memoria de contenido direccionable, porque la memoria recupera la
información almacenada con base en parte de su contenido, en contraste con las
memorias estándar de computo, donde la información se recupera con base en sus
direcciones, por ejemplo si se tiene una base de datos de contenido direccionable que
contiene nombres y direcciones de los empleados de una empresa, la información
completa se recupera por ejemplo suministrando el nombre (o parte de él), este tipo de
memoria es la misma memoria autoasociativa excepto que en este caso se utilizará la
red recurrente de Hopfield en vez del asociador lineal.
Cuando se le presenta un patrón de entrada a la red de Hopfield, el estado inicial
de la salida será el mismo patrón de entrada y luego la red convergerá al patrón
prototipo almacenado que se encuentre más cercano (o que más se parezca) al patrón de
entrada, para que la red memorice un patrón prototipo, este debe ser un mínimo de la
función de Lyapunov.
- 11 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Asumiremos que los patrones prototipo son
y que cada uno de
estos vectores se compone de S elementos, al asumir que Q<<S, el espacio de estado
es amplio y los patrones prototipo se encuentran bien distribuidos y por lo tanto no están
cercanos uno de otro.
Para garantizar que los patrones prototipo a almacenar son mínimos de la
función de Lyapunov, se propone la siguiente función para evaluar el error en la
aproximación.
Ecuación 22
Si los elementos de a son restringidos a valores de ± 1, la función es
minimizada en los patrones prototipo como se mostrara a continuación:
Asumiendo que los patrones prototipo son ortogonales, y evaluando el error en
uno de ellos, se tendrá que
Ecuación 23
La segunda igualdad de la ecuación 23 se debe a la ortogonalidad de los patrones
prototipo y la ultima igualdad a que todos los elementos de pj son ± 1, evaluando el error
del patrón aleatorio de entrada, el cual presumiblemente no esta cercano a ningún patrón
prototipo, cada elemento de la sumatoria en la ecuación 22 es el producto punto entre un
patrón prototipo y la entrada, el producto punto se incrementara cuando la entrada se
mueva cerca del patrón prototipo, sin embargo, si la entrada no se encuentra cerca de
algún patrón prototipo, todos los términos de la sumatoria serán pequeños y por lo tanto
J(a) será la mayor (menos negativa) y cuando a sea igual a alguno de los patrones
prototipo J(a) será mas pequeña (mas negativa).
- 12 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
La ecuación 22 es una función cuadrática que indica con precisión el desempeño
del contenido de la memoria direccionable, el próximo paso es escoger la matriz de
pesos W y ganancias b, tal que la función de Lyapunov de Hopfield V sea equivalente
al desempeño de la función cuadrática J.
Si se utiliza la regla de aprendizaje supervisado de Hebb para calcular la matriz
de pesos (con patrones objetivo iguales a los patrones de entrada) entonces
y b=0
Ecuación 24
entonces la función de Lyapunov será:
Ecuación 25
y puede ser reescrita como:
Ecuación 26
Podemos observar que la función de Lyapunov es igual al desempeño del error
del contenido de la memoria direccionable, la salida de la red de Hopfield tendera a
converger a los patrones prototipo almacenados, en el caso que todos los patrones
prototipo sean ortogonales, cada uno será un punto de equilibrio de la red; la red puede
tener muchos otros puntos de equilibrio indeseables, una regla práctica para evitarlos
consiste en que cuando se utilice la regla de Hebb, el número de patrones almacenados
no debe superar el 15% del número de neuronas de la red.
- 13 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Identificación de Sistemas No Lineales
El comportamiento dinámico de las redes recurrentes hace que sean una
poderosa herramienta en la identificación de sistemas dinámicos no lineales.
En la forma estándar una neurona dinámica esta regida por la siguiente ecuación
y se muestra en la figura 4:
(2.6.27)
Figura 4: Neurona dinámica
o en forma matricial:
Ecuación 28
donde
,
,
,y
En la figura 5 se observa una red neuronal dinámica recurrente, donde cada
unidad de procesamiento es una neurona dinámica y cada punto es un peso. Como
vemos, es muy parecido a la figura 2, donde se mostraba el circuito eléctrico de la red
de Hopfield.
- 14 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Figura 5: Red neuronal dinámica recurrente
Para garantizar la estabilidad de las redes dinámicas recurrentes en el proceso de
identificación de sistemas no lineales, se formularon condiciones estrictas para los pesos
la red y su desarrollo se basa en la función de Lyapunov.
Para el entrenamiento de la red de Hopfield en identificación de sistemas, se
utiliza el algoritmo de Chemotaxis (figura 6), el cual permite entrenar redes neuronales
de cualquier tipo sin calcular el gradiente del error, este algoritmo fue formulado
considerando el movimiento de una bacteria en un medio donde hay un gradiente de
solución alimenticia; la bacteria se mueve inicialmente al azar hasta detectar un
aumento en la concentración de la solución y luego continua en esa dirección.
El algoritmo de Chemotaxis toma los pesos iniciales al azar con distribución
Gaussinana, cuando una iteración es exitosa (disminuye el valor de la función de error)
el algoritmo continua en esta dirección hasta que la función de error J no muestra
cambios.
- 15 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Figura 6: Algoritmo de Chemotaxis
it_max: Numero máximo de iteraciones
ω 2: Antigua matriz de pesos
it: Contador de iteraciones
Δ ω : Perturbacion en la matriz de pesos
i_s: Contador de iteraciones exitosas
gauss(
i_f: Contador de iteraciones no exitosas
aleatorios con distribución Gaussiana
α : Rata de aprendizaje
Ji: Indice de la función de error
ω 1: Antigua matriz de pesos
correspondiente a la matriz de pesos ω i.
):
Generador de números
La función de error Ji relaciona la salida del sistema a aproximar con la salida
de la red dinámica entrenada con NP patrones de entrenamiento.
Ecuación 29
dk: Salida deseada para el patrón de entrenamiento k.
yk: Salida actual de la red ante el patrón de entrenamiento k.
- 16 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Capacidad de almacenamiento e interés práctico
Esta capacidad se refiere a la cantidad de información que puede ser guardada
sin error, esta puede medirse como: C = (No de patrones guardados)/(No de Neuronas)
La capacidad depende de los pesos de la conexión, los patrones almacenados y la
diferencia entre los patrones de entrada y los guaradados
Dado el conjunto de entrenamiento P, donde se escogen aleatoriamente los
vectores i 1,..,ip donde cada ip Π{ 1,-1}, estos vectores son almacenados usando los
pesos de conexión: ¿Cuanto debe ser de grande P, de tal forma que la red responda a
cada il de manera correcta? La capacidad máxima de una RN Hopfield (Con n
nodos) está acotada en una cantidad cercana a: n/(4*ln(n))
Las redes de Hopfield pueden usarse desde un enfoque psicofisiológico, como
un modelo sencillo para explicar como ocurren las asociaciones entre ideas. Las ideas
parciales serían estados de activación en la zona de atracción de ideas más generales
(puntos fijos o puntos de equilibrio), de forma que al introducir la idea parcial se puede
llegar a alcanzar la idea general.
A su vez, debido a que las áreas de atracción indican sólo una probabilidad
(generalmente diferente de 1), este modelo permite explicar también la incertidumbre
que se produce en las asociaciones: una idea parcial, a pesar de tener alta probabilidad
de desembocar en la idea general, puede llevar a otras ideas diferentes que también
actúan como puntos de equilibrio.
Una posible aplicación informática de las redes de Hopfield es el desarrollo de
memorias direccionadas por contenido: los elementos de la memoria no estarían
ordenados según índices numéricos, sino según parte de su contenido. En las memorias
actuales es necesario conocer la dirección de memoria de un dato para poder
recuperarlo, mientras que en las memorias direccionadas por contenido se pueden
recuperar datos completos (puntos de equilibrio) a partir de datos parciales (que formen
parte de su área de atracción).
- 17 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Las redes de Hopfield se han aplicado a campos como la percepción el
reconocimiento de imágenes y optimización de problemas, mostrando gran inmunidad
al ruido y robustez. Incluso se han llegado a desarrollar chips específicos para este tipo
redes. El estudio de las representaciones de secuencias temporales es un área de gran
interés, con aplicaciones en reconocimiento automático de voces y movimientos.
Hopfield ha mostrado como aplicar los mismos principios con funciones de activación
continuas como la función sigmoidal, con muy pocas modificaciones.
Pero pese a sus evidentes ventajas no están exentas de problemas:
-
El número máximo de patrones no correlacionados que puede almacenar es igual
al 15% del número de neuronas de la red.
-
Requieren mucho tiempo de procesamiento hasta converger a una solución
estable, lo que limita su aplicabilidad.
-
Otro de los problemas achacados a las redes de Hopfield es su tendencia a caer
en mínimos locales, como en las redes de retropropagación. La solución pasa
por aplicar los métodos estadísticos que ya comentamos en el apartado dedicado
a las redes de retropropagación, el equilibrio termodinámico simulado.
- 18 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
3. Resolución
Creación de patrones
Para el desarrollo de la práctica codificamos inicialmente un conjunto de 5
patrones en una matriz de 24x24 que nos permitiera salvar con creces la poca capacidad
de almacenamiento de la red Kohonen. Escogimos los caracteres del alfabeto que nos
parecieron menos similares. Fueron los siguientes: “A”, “C”, “J”, “K”, y “T”. Vemos su
aspecto original a continuación:
- 19 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Adicionalmente, creamos un conjunto de patrones de las mismas letras pero con
ruido añadido, para comprobar la respuesta de la red ante esta situación. Eran así:
- 20 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Finalmente volvimos a crear los patrones de esas letras, pero esta vez eliminando
trozos de la imagen, de modo que ésta fuera parcial. Quedaron así:
- 21 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
- 22 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Configuración del SNNS
Una vez confeccionado el conjunto de entrenamiento, procedemos a la creación
de la red utilizando el SNNS mediante la pestaña BIGNETÆ Hopfield, y
posteriormente cargamos los patrones que acabamos de crear.
A continuación, a través del panel de DISPLAY establecemos la función de
activación y de la de salida de las neuronas de la red que en este caso serán: la función
signo para la activación y la función identidad para la salida. Por último, ya en el panel
de control, establecemos las distintas funciones que seran:
Función de aprendizaje: Hebbían. Esta función tiene 3 parámetros:
1. n: Parámetro de aprendizaje. Indica la cantidad lo largo del paso en el
descenso hacia el gradiente. Se recomienda un valor menor que 1/ nº
de nodos de la red.
2. Wmax: Indica el peso ( en valor absoluto) máximo permitido en la
red. Se recomienda un valor de 1.0
3. count: Indica el número de veces que la red es actualizada después
de calcular el error.
Función de actualización: Hopfield_Synchronous
- 23 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Función de Inicialización de Pesos: Hebb
Este tipo de redes no necesita de un proceso de aprendizaje por ciclos, al igual
que las estudiadas anteriormente, por lo que no será necesario, en este caso, darle al
botón de ALL para que la red aprenda. Será suficiente con pasarle mediante el botón
TEST una vez todos los patrones y a continuación darle al botón INIT para que se
adecuen los pesos y la red ya estará entrenada.
Es en este momento cuando comienzan las distintas pruebas que se le realizarán
a la red que quedarán recogidas en el apartado siguiente.
- 24 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
4. Resultados y análisis
Una vez entrenada la red con el conjunto de entrenamiento podemos comprobar
la carga de la matriz de pesos pulsando sobre el botón WEIGHTS de la ventana
principal del SNNS. Obtenemos la siguiente matriz:
- 25 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Comprobamos inmediatamente que la matriz es simétrica. También que, como
era de esperar, los valores están comprendidos entre -5 y 5, tomando sólo valores
impares.
Se observa que la diagonal de la matriz vale 5, en lugar de 0. Eso quiere decir
que el SNNS no ha puesto dichos valores a 0, con lo que realizará más cálculo del
necesario, ya que los valores de la diagonal no intervienen en el funcionamiento de la
red.
Una vez entrenada la red con el conjunto de entrenamiento procedemos a testear
la misma obteniendo los siguientes resultados para cada uno de los patrones originales:
Æ
Æ
- 26 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Æ
Æ
Æ
- 27 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Como podemos observar la red no asimila los patrones con total exactitud pero
si son claramente distinguibles. A continuación procedemos a mostrarle el mismo
conjunto de patrones pero esta vez con ruido introducido:
Æ
Æ
- 28 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Æ
Æ
Æ
- 29 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Vemos como la red ha sabido eliminar el ruido introducido en los patrones,
reconociéndolos.
Estos son los resultados para los patrones incompletos:
Æ
Æ
- 30 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Æ
Æ
Æ
- 31 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
Podemos observar cómo los resultados que da la red son muy variables: desde el
reconocimiento exacto hasta la total incerteza.
- 32 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
5. Conclusiones
Las redes de Hopfield son redes con un gran potencial y tienen numerosas
aplicaciones prácticas, entre las que destaca, con respecto al campo de la informática, la
posibilidad de crear memorias asociativas en las que los ficheros estén direccionados,
no por un índice, sino por su contenido.
Esto aumenta notablemente las velocidades y capacidades de búsqueda, tal y
como expusimos en la parte teórica, pero todas estas ventajas tienen el inconveniente de
la poca capacidad de almacenamiento que posee la red lo que hace muy costoso
almacenar grandes cantidades de información.
En cambio, cuanto mejores son los procesadores que simulan el comportamiento
de estas redes, más grandes podrán ser. Y cuanto más grandes son, la información que
pueden almacenar es mayor y de mayor calidad. Esto último se debe a que al aumentar
la dimensionalidad de los datos, el producto escalar de dos patrones aleatorios tiene una
mayor probabilidad de ser muy pequeño, tal y como muestra la siguiente gráfica:
Otro inconveniente de la red es que llega a almacenar gran cantidad de
información falsa (al igual que en la memoria biológica, donde la información se asocia
y se entremezcla) por lo que pierde fiabilidad a la hora del almacenamiento de datos.
- 33 de 34 -
Redes de Hopfield
David Horat Flotats y Jorge Cañizales Díaz
6. Bibliografía
Libros
Referencia
[Hagan-96]
TÍTULO Neural Network Design
AUTORES
Martin T. Hagan, Howard B. Demuth, Mark Beale
EDITORIAL
PWS Publishers
AÑO
1996
Webs
- Sobre la capacidad de almacenamiento de las redes de Hopfield (páginas 29 y 30):
http://platon.escet.urjc.es/~ovelez/docencia/cne/Hopfield.pdf
- Funcionamiento e interés práctico:
http://www.iiia.csic.es/~mario/Tutorial/RNA_hopfield.htm
- 34 de 34 -