Document

Redes Neuronales Artificiales
Redes Neuronales Artificiales
Adaline-Madaline
Utilizan un aprendizaje OFF LINE con supervisión
denominado LMS (Least Mean Squared) o regla del
mínimo error cuadrático medio (Widrow). También
denominado Regla Delta.
El aprendizaje busca encontrar el mejor vector de
pesos posible en términos del criterio de error
cuadrático medio.
ADALINE está limitada a una única neurona de
salida. Un vector x como su entrada y un número
real y como su salida. MADALINE es una
combinación de neuronas ADALINE.
2
Adaline-Madaline
x
x0=1
1
x
w
2
w
Redes Neuronales Artificiales
1
s
x
N
Salida
lineal
y
2
w
N
Conmutador Salida
binaria
Conmutador bipolar
adaptativo
lineal
Estructura de la red ADALINE
3
Redes Neuronales Artificiales
Adaline-Madaline
.
Capa de entrada.
.
.
.
.
.
.
.
Capa de salida
Capa oculta
Estructura red MADALINE
4
ART (Adaptive Resonance Theory)
Esta teoría se aplica a sistemas competitivos (redes
con aprendizaje competitivo).
Redes Neuronales Artificiales
La red busca categorizar los datos que le son
introducidos.
La teoría se basa en la idea de hacer resonar la
información de entrada con las categorías que ya
reconoce la red.
5
ART (Adaptive Resonance Theory)
Q
Estructura:
Capa competitiva (salida)
Oi
Redes Neuronales Artificiales
-N
A
wij
1
wij
Capa de comparación (entrada)
Vj
1
-1
R
p
xj
6
ART (Adaptive Resonance Theory)
El aprendizaje es de tipo ON LINE, no se distingue
entre etapa de entrenamiento y de funcionamiento.
Los pesos varían durante el funcionamiento de la red
cuando se aplica información de entrada a la misma.
Redes Neuronales Artificiales
Utiliza un aprendizaje no supervisado de tipo competitivo.
Se pueden dar dos tipos de aprendizaje:
Aprendizaje rápido. Se establece una nueva categoría.
Aprendizaje lento. Una información de entrada es asociada a
una categoría existente.
7
ART (Adaptive Resonance Theory)
Redes Neuronales Artificiales
Aplicaciones:
Tareas de reconocimiento de patrones
Modelamiento de procesos biológicos
Diseño de sistemas de control y diagnóstico
adaptativo.
8
Redes Neuronales Artificiales
Mapas autorganizados de Kohonen
Q
Principio de entrenamiento auto-organizado
(opuesto al aprendizaje supervisado).
Q
La red consiste básicamente de dos conjuntos de
unidades, cada unidad de salida conectada a todos
los n nodos de entrada.
9
Mapas autorganizados de Kohonen
Q
Redes Neuronales Artificiales
Q
La idea básica que yace en las SOFM es la
incorporación a la regla de aprendizaje
competitivo un cierto grado de sensibilidad con
respecto al vecindario o la historia.
Esto hace que el número de neuronas que no
aprenden desaparezca y ayuda a que se
destaquen propiedades topológica que aparezcan
en el mapeado de características.
10
Q
Redes Neuronales Artificiales
Q
Q
Suponiendo que un vector de entrada tiene N
características y se representa por un vector X en
un espacio de patrones N-dimensional.
La red mapea el patrón de entrada hacia un
espacio de salida.
Por ejemplo, el espacio de salida puede ser un
array unidimensional o bidimensioanl de nodos
de salida, que posee cierto orden topológico.
11
Mapas autorganizados de Kohonen
Estructura de la red
Redes Neuronales Artificiales
...
........................
...
Capa de Salida
Conexiones feedforward
...
Capa de Entrada
12
Redes Neuronales Artificiales
Mapas autorganizados de Kohonen
13
Mapas autorganizados de Kohonen
Q
Q
Redes Neuronales Artificiales
Q
Aprendizaje no supervisado de tipo competitivo.
Las neuronas de la capa de salida compiten por
activarse y sólo una de ellas lo consigue.
Es de tipo OFF LINE y se distinguen dos etapas:
– Aprendizaje
– Funcionamiento
14
Q
Redes Neuronales Artificiales
Q
La cuestión es cómo entrenar la red para que esa
relación de orden se preserve.
Kohonen propuso que las neuronas de salida
interactuaran lateralmente, llegando así a los mapas
de características autorganizativos.
15
Q
Redes Neuronales Artificiales
Q
Q
La característica más importante del modelo es
el concepto de aprendizaje en un vecindario
próximo a la neurona ganadora.
El tamaño del vecindario decrece en cada
iteración.
La fase de entrenamiento es la siguiente:
16
Q
Redes Neuronales Artificiales
Q
Q
(1) se selecciona la neurona ganadora con la
distancia Euclídea
Sea i* el índice del ganador, y sea I*el conjunto
de índices correspondiente a un vecindario
definido del ganador i*.
(2) los pesos asociados con el ganador y su
vecindario se adaptan de la siguiente forma:
17
Aprendizaje competitivo
con sensibilidad en la Historia
Q
Redes Neuronales Artificiales
Q
Q
Si se incorpora alguna sensibilidad a la historia o
frecuencia en la regla de entrenamiento, se obtiene
otra forma de evitar el problema de las neuronas que
no aprenden. Hay dos aproximaciones:
Modular la selección del ganador incorporando
sensibilidad a la frecuencia.
Modular la tasa de aprendizaje incorporando la
sensibilidad a la frecuencia.
18
Regla de aprendizaje competitivo
Selección de un ganador i*, por ejemplo,
como la neurona con la menor distancia
euclídea.
Q Adaptar los pesos asociados al ganador.
Redes Neuronales Artificiales
Q
19
Mapas autorganizados de Kohonen
El aprendizaje es un proceso iterativo de
presentar a la red patrones de entrada hasta
lograr un refinamiento adecuado del mapa
topológico de salida.
Q Para calcular la distancia entre vectores se
aplica:
dj=Σi=1,N(ei(k) - wji)2 para 1<=j<=M
Redes Neuronales Artificiales
Q
20
Mapas autorganizados de Kohonen
Redes Neuronales Artificiales
Q
Luego de localizar la neurona vencedora (j*) se
actualizan los pesos de las conexiones entre las
neuronas de entrada y dicha neurona, así como
las conexiones entre las de entrada y las neuronas
vecinas a la ganadora mediante:
wji(t+1)=wji(t)+α(t)[ei(k)-wj*i(t)]
para j∈ Zona j*(t)
21
Mapas autorganizados de Kohonen
Redes Neuronales Artificiales
Q
Funcionamiento:
– Cuando se presenta a la entrada una
información, cada una de las M neuronas de la
capa de salida la recibe por medio de las
conexiones feedforward con pesos wji.
– Las neuronas reciben las entradas debidas a las
conexiones laterales de las neuronas de salida
dependiendo su influencia de la distancia a la
que se encuentren.
22
Mapas autorganizados de Kohonen
Redes Neuronales Artificiales
Q
Aplicaciones:
– Reconocimiento de patrones (voz, texto,
imágenes, señales, etc.)
– Codificación de datos
– Compresión de imágenes
23
24
Redes Neuronales Artificiales