Modelación de Redes Neuronales

C Ü f T R G D t í N V í 'S T ' í í a C IS H Y ë t
ESTUDI OS k'ih N Z * P P S i c i
î. P. ¡s|„
B I B L I O T E C A
in g e n ie r ía e l e c t r i c a
CENTRO DE IN V E S T IG A C IO N Y DE E STUDIOS AVANZADOS
’
i 0
DEL IN S T IT U T O P O LIT E C N IC O NACIONAL
DEPARTAMENTO DE IN G E N IE R IA E LE CTR IC A
SECCION DE COMPUTACION
CENTRO Dt IN V E STI6*C ISN Y
ESTUDIOS J.VANZAB0S S t L
1. P. N.
¡s i b l -
I O
T
e:
c
a
’N H EN IER í A E L E C ! RICA
MODELACION DE REDES NEURONALES
CENTRO DE INVESTIGACION Y DE
ESTUDIOS AVANZADOS uEL
I.P .N
B !B L !0 T E C A
T e s is
o b te n er
de
el
que
p re s e n ta
gra d o
In g e n ie r ía
de
el
S r.
M a e s tro
E lé c t r ic a .
T r a b a jo
M a r tin
en
F ig u e r o a
C ie n c ia s
d ir ig id o
por
en
el
Mi r e í e s
la
D r.
Jan
H yan.
M é x ic o
D.
29 d e a g o s t o
F.
1990
p ara
e s p e c ia lid a d
B e c a r io
COSNET
de
Jan ecek
INDICE GENERAL
INTRODUCCION
1.
1»
MODELOS DE REDES NEURONALES.
4
1 .1
4
C o n c e p to s
de Redes
N e u r o n a le s .
Redes Neuronales Biológicas CRNB3.
4
Redes Neuronales Artificiales ( R NA3.
6
Niveles Ocultos en RNA.
11
Aprendizaje en RNA.
13
18
Aplicaciones de RNA.
1 .2
1 .3
M o d e lo d e R e d e s
N e u r o n a le s
A r t ific ia le s .
20
Modelo de Hopfield.
20
Modelo del Perceptron.
22
Modelo de Máquinas de Boltzmann.
23
Modelo Muíti-nivel.
26
A p r e n d iz a je
27
por
R e tr o - p r o p a g a c ió n .
2 C A R A C T E R IS T IC A S DEL TRANSPUTER
E IMPLEMENTA C IO N DE REDJAN.
35
2 .1
M á q u in a s
p a r a le la s .
2 .2
H a rd w are d e l
2 .3
L e n g u a j e d e P r o g r a m a c ió n OCCAM2.
2 .4 I n s t a la c ió n
2 .5
35
T ra sp u ter
del
T800.
36
40
T ra sp u ter.
42
I m p l e m e n t a d ó n d e REDJAN.
44
3 EXPERIMENTOS R E ALIZAD O S.
3 .1
3 .2
51
Sin Umbrales.
51
Con Umbrales.
53
Con diferentes pesos iniciales.
55
Con UNO = 1 y CERO = O.
57
R econ oced or de lin e a s
R a p id e z
3 .3
51
F u n c i ó n XOR.
co n D ife r e n t e .
d e A p r e n d iz a je .
R econ ocedor de la
V a r ia n d o l a s
T en sus
N eu ro n a s
del
58
4 P o s ic io n e s
N iv e l
O c u lto .
61
3. 4 R e c o n o c e d o r
3 .5
de lo s
N iím e ros d e l
V a r ia n d o l a
C a n t id a d
R econ ocedor
d e P a r id a d
el
N ü m ero d e N i v e l e s
0 —9
d e In te r c o n e x io n e s .
O c u lto s .
3 .6
R econ oced or
d e F ig u r a s
3 .7
R econ oced or
de L e tra s
63
V a r ia n d o
66
G e o m é t r ic a s .
68
H a n u e s c r ita s .
70
CONCLUSIONES.
74
REFERENCIAS.
76
APENDICE A.
S e s ió n
de T r a b a jo
con e l
I P
® 1® L
IO
S im u la d o r
N
T
r-
elec t a s
.
REDJAN.
81
A m is
p a d res:
A r c e lia
Por
a lc a n z a r
su
el
y José.
e je m p lo
de
h on rad ez
y
de
c o n s ta n te
é x ito .
Y a to d a
mi
fa m ilia
por
su in c o n d ic io n a l
apoyo.
e s fu e r z o
p ara
Un p r o f u n d o
por
De
M.
sus
ig u a l
e n C.
lle v a r
Un
a m ig o s ,
a g r a d e c im ie n to
s u g e r e n c ia s
m a n e ra
S e r g io
a cabo e l
al
D r.
C hap a V e r g a r a ,
a g ra d ezco
por
a sesor:
a lc a n z a r
D r.
lo s
G u ille r m o
lo s
Jan
Jan ecek
o b je tiv o s
M o r a le s - L u n a
c o m e n ta r io s
H yan ,
fija d o s .
y c o n s e jo s
y
al
p ara
d o c u m e n to d e t e s i s .
r e c o n o c im ie n to
q u ie n e s
al
y esm ero p a ra
fo r m a r o n
muy
e s p e c ia l
a
to d o s
un a m b ie n t e d e t r a b a j o
m is
com p añ eros
muy c o n f o r t a b l e .
y
INTRODUCCION
C o n s e g u ir
d e s a r r o lla r
in fo r m a c ió n
s ie m p r e
d is e ñ a r
y
p ro ceso s
de
uno
m a n e ra
de
c o n s t r u ir
un a
in t e lig e n t e s
s e m e ja n t e
al
lo s p r in c ip a le s
m á q u in a
en
el
que
s e a 'c a p a z
t r a ta m ie n to
cereb ro
hum ano,
o b je tiv o s
de
ha
la
de
de
s id o
la
d esde
in v e s tig a c ió n
c ie n tífic a .
En 1 9 4 3
p ara
M a c C u llo c h
s im u la r
n e u r o n a le s
s e s e n ta s
el
R o s e n b la tt
in t e r m e d io ,
p ero
E s te
p r in c ip a le s
en
la
años
n eu ron as
más
el
r e s o lv e r
cuya
a lg u n o s
s o lu c ió n
fa lta b a
el
p r o b le m a
RNA
a
n e c e s ita
de
lo s
de
la
de
s a lid a
y
su
por
c o n ta b a
e llo
Uno d e
lo s
de
2
te n ia n
c lá s ic o s
un
a p r e n d iz a je
un a
con
se
a g reg a n d o
por
n iv e l
que
la s
lo s
ra zon es
RNA.
p ara
p a r a le la s
r e a liz a r
t e c n o lg ia
segun da
d ife r e n te s
d e s a r r o lla d a
e s tru ctu ra
m a s iv a m e n t e
muy a l t a s
la
Se
s a lid a ,
fu e
área de
s e s e n ta s
s ie n d o
d e fin id o s .
en c u e n tra
m a t e m á t ic o
el
lo s
RNA b i e n
e n tra d a ,
a lg o r it m o
red es
década de
p r o b le m a s .
se
m á q u in a s
v e lo c id a d e s
década
de
m o d e lo
de
de la
P e rc e p tro n
la
o tro
p r im e r
m e d io
a p r e n d iz a je ,
de
del
e x ito s a ,
y
de
de
te o r ia
p a ra abandonar
c o n s t r u ir la s ,
la s
de
la
XOR,
m o d e lo s
el
por
p r in c ip io s
m ec a n is m o s
e n tra d a
p ara
fu n c ió n
P ara
d e s a r r o lla d o
fu e
de
d e fic ie n c ia s
Las
CRNA3.
e t c . La
C 2]
uno
tr a b a je n
cereb ro
C C a n t id a d
in t e r c o n e x ió n ),
apoyara.
p re s e n ta ro n
m e jo r e s
e s tru c tu ra s
la
C l]
del
h a b la n
e x p u s ie r o n
es
y
a r tific ia le s
se
n iv e le s ,
P itts
fu n c io n a m ie n to
ra zón
por
la s
era
lo
y
in s u fic ie n te
que
que
s im u la c io n e s ,
p ara
se
aban don aron
de
lo s
RNA.
C on
la
se
ha
c ir c u it o s
m o d e rn a t e c n o l o g í a
p e r m itid o
de
neu ron as
del
p a r a le lo
y a
m a t e m á t ic a s
d is e ñ a r
s ilic io
red es
cereb ro ,
con
v e lo c id a d e s
más
m ic r o e le c tr ó n ic a
e n tre v er
cu yo
una
a lta s ,
im p o rta n te s
la
de
p o s ib ilid a d
hace
c a p a c id a d
lo
más
una c o m p u ta d o r a c o n a r q u i t e c t u r a
tr a d ic io n a l,
en
que de
m an e ra
que s e
de
s im u la
de
reto m a n
c u a re n ta
a
tr a b a ja r
la s
al
ser
años
humano
en
la s
en
te o r ía s
p ara
t o ta lm e n te d i f e r e n t e
s e m e ja n te
1
ú ltim o s
c o n s t r u ir
fu n c io n a m ie n to
g ra n
por
de
a la
p ro cese
in t e lig e n t e m e n t e
c o g n o s c itiv a s
r e c o n o c im ie n to
c o m p u ta d o r a s
El
cereb ro
de
cD
Se
e t c },
sus
fa c u lta d e s
de
c o n c e p to s ,
c a r a c te r ís tic a s
de
la
t é c n ic a
de
au nque a c tu a lm e n t e s e
se
una
han f i j a d o
h e r r a m ie n t a
n e u r o n a le s
en
OCCAM2.
o p e r a c io n e s
que
la s
RNA e s
la s
crea r
pu ede c o n s id e r a r
s ig u ie n te s
un
com o un
p e r m ita
y
d e s a r r o lla r
T ra n s p u te r
u tiliz a r á
a lg u n o s
b á s ic o s
por
o b je tiv o s :
a p lic a c io n e s
de e lla .
T800,
e s tá
d e p u n to f l o t a n t e .
r e a liz a r á n
p a rá m e tro s
un
Se
lo s
que
a p a r tir
Im p le m e n ta r la
la s
te n g a
e la b o r a c ió n
no t ie n e n .
p r in c ip a l
t e s is
e s p e c ia liz a d o
p ara
que
ir r e a liz a b le .
R e a liz a r
de red es
y
r a z o n a m ie n to ,
im á g e n e s ,
a c tu a le s
o b je tiv o
En l a
b}
in fo r m a c ió n
a r tific ia l,
p ro y e c to
a}
la
C h a b ía ,
un
por
su
le n g u a je
su
v e lo c id a d
C V er
C a p i t u l o 2 3.
con
v a r ia c io n e s
e je m p lo s
ú ltim o
con
m á q u in a
recon oced or
de
de
lo s
c a ra c te re s
m a n ú s c r it o s .
En c a d a
a3
Las
d e s a r r o lla d a
0
N os
in t e r a c t iv a
e s tá
uno d e e l l o s
lo s
c a r a c te r ís tic a s
se
son
im p o r t a n t e s
lo s
s ig u ie n te s :
de
la
h e r r a m ie n ta
m e n c io n a n a c o n t i n u a c i ó n :
p e r m ite
con e l
ú ltim a
r e s u lt a d o s
más
fo r m a
e d ita r
la
e s tru c tu ra
de
u s u a r io o c on e l
e d ito r
se
a r c h iv o s
p u ed en
crea r
la
red
de te x to
p ara
en
fo r m a
d e TURBO C ,
lo s
p a tro n e s
de
de
a p r e n d iz a je .
1O
S e s a lv a n
¿¿O
el
e rror
P ara
el
g lo b a l
y d e s p le g a
en l a
y cargan
a r c h iv o s
a p r e n d iz a je
es
m enor
p a n t a lla
se
que e l
la
da
d e fo r m a c o m p a c ta y d e t e x t o .
un
u m b ra l
c a n t id a d
2
n ú m ero
de
ite r a c io n e s .
d e c o n v e r g e n c ia
d e b a r r id o s
se
Si
d e tie n e
e je c u ta d o s .
bD L a
v e lo c id a d
n eu ron al
es
c}
la s
C on
del
del
r e t r o - p r o p a g a c ió n
F in a lm e n te
fu n c ió n
de
la
r e a liz a r o n
p ro gra m a
Los r e s u lt a d o s
se
C.
c o r r ió
c o m p ro b ó
en
Las
por
son l o s
de
la
red
del
el
c o rre c to
a lg o r itm o
de
muí t i - n i v e l .
p ru eb a s
T u rbo
a p r e n d iz a je
m á q u in a s .
e fic ie n c ia
c o n una e s t r u c t u r a
se
el
y
el
a o tra s
r e a liz a d a s
p ro gra m a
p r o g r a m a c ió n
XOR y
m á q u in a s .
T800 p a ra
con r e s p e c t o
a p lic a c io n e s
fu n c io n a m ie n to
le n g u a je
tra n s p u te r
muy a l t o
d ife r e n te s
p ru eb a s
se
PC,
con
el
h ic ie r o n
con
la
un m in u to e n c a d a
una d e
la s
s ig u ie n te s :
PC/X T PRINTAFORM c o n 8 0 8 8 a 8. 4 M Hz, 2 3 0 i t e r a c i o n e s .
PC/A T SPERRY c o n 8 0 2 8 6 a 1 6 MHz,
660 it e r a c io n e s .
PC/A T JAMECO J E 2 0 1 9 c o n 8 0 3 8 6 a 2 0 MHz,
P C /A T VECTRA CON 8 0 2 8 6 A 1 6 MHz,
1600 it e r a c io n e s .
con c o p ro c e sa d o r
a r itm é t ic o ,
5200
it e r a c io n e s .
TRANSPUTER T 8 0 0 a 2 0 MHz c o n c o p r o c e s a d o r
En
el
fu n d a m e n to s
en
la
1
te ó r ic o s
n e c e s a r io s
que s e
é n fa s is
en
a p r e n d iz a je
En e l
T800,
c a p ítu lo
el
PC /A T
s u s te n ta n
la s
por
En e l
n e u r o n a le s
El
y
R edes
la
de
te s is ,
c o m p r e n s ió n
N e u r o n a le s
muí t i - n i v e l
se
de
dan
la
A r tific ia le s .
y
en
el
lo s
t e o r ía
Se
h ace
a lg o r it m o
de
2
de
la
se
d e s c r ib e
la
p r o g r a m a c ió n
a r q u ite c tu r a
OCCAM2,
i mpl e m e n t a d ó n
del
su
del
T ra n s p u te r
in s t a la c ió n
p ro gra m a
p ara
en
la
red es
REDJAN.
c a p ítu lo
3 se
a r tific ia le s ,
a p é n d ic e
e je m p lific a
d o c u m e n to
p ara
r e t r o - p r o p a g a c ió n .
c a p ítu lo
SPERRY
la s
e s te
e stru c tu ra s
le n g u a je
n e u r o n a le s
de
65000 it e r a c i o n e s .
con
p re s e n ta
A in d ic a
la
un c o n j u n t o
c a m b ia n d o a l g u n o s
fu n c ió n
al
u s u a r io
XOR.
3
d e e je m p lo s
p a rá m e tro s
com o t r a b a j a r
de
red es
b á s ic o s .
con
REDJAN.
Se
1.
1 .1
MODELOS DE REDES NEURONALES
CONCEPTOS B ASIC O S DE REDES NEURONALES
REDES NEURONALES B IO LO G IC A S CRNB)
El
cosas
ser
humano
nu evas,
lo
in fo r m a c ió n ,
e lla
asi
El
el
n eu ron as
lo
m en os
sen sor,
a
el
que
en
un
h a cen
tie m p o ,
n u e s tro
g ru p o s
de
que op eran
a c tu a le s
un e s t í m u l o
una
ir
n eu ron as
el
el
de
áreas
1 a 10
u m b r a l,
en e l
cereb ro
que
ord en
de c ie r t a
área
y
por
p ara
con
in fo r m a c ió n
p ara
c o n te n e r
cada
g ra n
c a n t id a d
es
p re s e n ta d o
del
y
com o
cereb ro
4
por
s a lid a
su cede
h a cen
el
a
con
cereb ro
se
tie n e n
muy l e n t o s
si
el
in s t r u c c ió n ;
m ayor
de
de
al
c o m p u ta d o r a s
a c tiv id a d ,
c o m p le jid a d
in d e p e n d ie n te .
a
cree
p ero
c a lc u la r
la s
d e nanosegu ndos
la
en
que
d is p o s it iv o s
m ili segu n dos
e s p e c ia liz a d a s
p a r a le lo
son
d e c ir
Se
áreas
qué
se
e n c u e n tra n
p od em o s
c o m p a r á n d o la s
p ro cesa
ver
muy
a d q u ir id o
c o n t in u a m e n t e .
a c tiv id a d e s
que s e
Las
ra n go
c o n o c im ie n to
c a m in a n d o ,
E s ta s
50 y
c a r a c te r ís tic a
se p a ra d a
puede
s is te m a
e n tre
m an e ra
de
la s
el
el
tie n e n
o tra s,
e s p e c ia liz a d a s
ta re a s .
un a
de
d iv id o
a c tiv id a d
voz,
v a r ia s
lo
d e t e r m in a d a
to ta lm e n te
se
una
v is ió n ,
es
red
e s tá
p orqu e
a n a liz a r lo .
qu e t r a b a ja n
en
con
cereb ro
que s e
m u r ie n d o
e n o rm e
en
to m a r
e tc .
p a r a le lo ,
por
en
ten er
e s tá n
d e t e r m in a d o
reb a sa
em b argo
t r a b a ja n
y
n eu ron a s
lu g a r
e s tím u lo
por
d e c ir ,
que no p ie r d e
en
s in a p s is
es
S e c o n s id e r a
se
tr a b a ja
a lr e d e d o r
d is tr ib u id a s
s in
n eu ron a s
com o
la
con
a c tiv id a d e s
un a
El
y
in t u ir ,
e s ta s
e s p e c ia liz a d o s
ta le s
r e c o b r a r la
im á g e n e s ,
por
g ru p o s.
in t e lig e n te
de
recon ocer
a p r o x im a d a m e n t e ,
h o m b re e s
cereb ro
neu ron as
m ism o
la s
e tc .
n eu ron as
en e l
a n á lis is ,
en
e llo s ,
m o to r,
de
s i,
co n sta n te m e n te
m an e ra
r e c o r d a r la ,
c o n s t itu id o
g ru p o s,
de
apren d er
de
cu e rp o que r e a l i z a
e s tá
50
de
le n g u a je ,
e n tre
uno
a u d ito r ,
im p o r t a n te
que
en
cada
b illo n e s
pese
cual
c o n e c ta d a s
e s p e c ífic a
100
el
de
p ro cesa r
c a p a c id a d
ú n ic o ó r g a n o en e l
el
c a p a c id a d
a lm a c e n a r la ,
c o m p ren d er
cereb ro ,
por
la
la
im p lic a
com o
a u m e n ta r
d e c is io n e s ,
tie n e
que
v e lo c id a d
la s
que
n eu ron as.
Si
r e s p o n d e s o la m e n t e
se
a c tiv a r á
o tra
De
a cu erdo
n eu ron as
tie n e n
el
la s
axón,
El
la
a
es
sus
la
m o d e lo
y la
más
p ara
de
la
una
de e x c ita c ió n
Las
d e n d r it a s
son
in fo r m a c ió n
e n tre
a la s
Una
y
d e c is ió n
del
Las
lle v a r
im p u ls o s
axón
y
fig u r a
F IG .
donde
si
se
reb asa
en v i a
el
el
u m b r a l,
o d e s h a b i1 i t a c ió n .
a s im is m o
del
axón
s ir v e n
p ara c o n e c ta r
p ara
e n v ia r
a
la
fu e rz a
c o n q u e m anda e l
e s tím u lo
la
n eu ron a
la r g o
s ir v e n
v a r io s
c ie n to s
a n a liz a
típ ic a s
n e r v io s o s
con
que
la
y
a
veces
in fo r m a c ió n
h a sta
que
m ile s
de
to m a
la
lle g a ,
d e im p u l s o q u e e n v i a r á
im p u ls o
c o m p o n e n te s
la
tie n e
vez
neu ron as
te r m in a
m ile s
es
t ip o
p ro p a ga n a l o
por
r e v is a
rec e p to ra s .
un a
un
la s
f u n c io n a m ie n t o :
e lla s .
n eu ron a
e n tra d a s
que
r a m ific a c io n e s
rec e p to ra s ,
La s in a p s is
e m is o r a
la s
n eu ron a
vez
pu ede s e r
neu ron as
d e s a r r o lla d o ,
su
s in a p s is .
s a lid a
r e c e p to ra s
c ereb ra l
f u n d a m e n t a le s
señal
la s
la
el
p a rte s
d e n d r it a s
axón
i m p u ls o
con
tre s
de
n e r v io s o
lo s
a
una
o r ig in a d o s
en
del
axón,
de
d e n d r it a s
de
la
el
c u e rp o
son
é s ta s
de
1 y un e j e m p l o d e i n t e r c o n e x i ó n
F IG .
NEURONA B IO LO G IC A
de
la
lle g a n
ilu s tr a d o s
fig u r a
2.
2 INTERCONEXION
DE NEURONAS
5
a
rec e p to ra s .
e n c u e n tra n
en l a
Los
c é lu la
que o t r o s .
o c a s io n e s
n eu ron a s
se
p u ed en
c o n s id e r a b le .
más l a r g o s
en
la s
n eu ron a
1 ESTRUCTURA DE UNA
v e rte b ra d o s
d is ta n c ia
a lg u n o s
r a m ific a c io n e s ,
p r in c ip a le s
a n im a le s
se
El
ser
Los
en
ya
se
e s p e c ia liz a d o s
Como
p ara
pensar
m e n c io n ó ,
r e a liz a r
qu e su e s t r u c t u r a
neu ron as
del
m o v im ie n to ,
o jo
la
e x is te n
cada
fis io ló g ic a
se
es
e s p e c ia liz a n
p o s ic ió n ,
g ru p o s
de
por
que
a c tiv id a d ,
in t e n s id a d
lo
d ife r e n te .
en
lu z ,
ló g ic o
Por
e je m p lo
el
c o lo r ,
c a p ta r
de la
neu ron as
es
la s
el
e tc .
REDES NEURONALES A R T IF I C I A L E S CRNA3
La
lo s
te o r ía
m o d e lo s
tr a b a jo s
143 ,
d e RNA t i e n e n
m a t e m á t ic o s
d e M c C u llo c h y P i t t s
M in s k y
y
P a p ert
P a p ert
c o n c lu y e l a
de
a lg o r itm o s
lo s
r e c ie n t e s
son
S e jn o w s k y
[1 0 3 ,
el
al
c ir c u it o s
Las
RNA
c om p u e sta s
RNA e l
La
la s
y
de
El
n u eva
y
te c n o lo g ía
y
p ara
o b v ia m e n t e
en
la s
b io ló g ic a s ,
se
in fo r m a c ió n
que
el
el
a
sus
c o n e x ió n .
n eu ron as
a la m b r e s
C u an d o
a le ja m o s
u m b ra l
e s tím u lo
o
del
de
tr a b a ja
la
es
de
c o n s t r u c c ió n
la
c re c ie n te
p ara
e n v ia r
la
que
e s ta
s in a p s is ,
y
é s ta
de la s
con
es
se
de
el
c o n ec ta d a ,
la
por
y
señal
Por
fu e rz a
c u a le s
se
re p re s e n ta
en
r e v is a
si
es
o
la
s im u la
que s e
con
c u a n to
in h ib ito r ia
axón,
con
e s tá n
En l a s
un c í r c u l o .
paso,
a n a liz a
un a
re c e p to ra s .
la s
y s in a p s is .
s im b o liz a
c o m p u e rta
e m is o r a s ,
r e c e p to ra s
v e rd a d e ro
una
la s
la s
La
o c o n e x io n e s
se
com o
v e c in a s
a
dado
área
humano.
in s p ir a d a s
c o n s id e r a
más
a lg o r itm o s
por
y
[9 3 ,
q u e h an
sob re e s ta
n eu ron a b i o l ó g i c a
se
W id r o w
M in s k y
t r a b a jo s
o tro s
y
de
lo s
d e fic ie n c ia s
Los
e s tru ctu ra s
[1 3 ,1 4 3
cereb ro
[1 2 3
n u evo i n t e r é s
n u evas
la
[2 3 ,
de
a la s
h a rd w a re.
con
R u m e ld h a r t an d M c C l e l l a n d
G rossberg
cam po.
d e b id o
de
años
tr a b a jo s
cu erp o de la
a la m b r e
lo s
R o s e n b la t
lo s
d e n d r it a s
e x c ita t o r ia
e n v ía
son
[3 3 ,
C on
d e RNA,
45
m an e ra d e a x o n e s ,
la
m ayor
el
H ebb
[6 ,7 ,8 3 ,
[1 1 3 ,
a e s te
d e s a r r o llo
de
d e ig u a l
n eu ron a
lle g a
a
F e lm a n
in te g r a d o s
por
[1 3 ,
El
más
o tro s.
e ta p a
H o p fie ld
[6 ,7 ,8 ,1 1 3 ,
fa s c in a c ió n
y
p r im e r a
d e s a r r o llo
a p r e n d iz a je
de
[5 3
h is to r ia .
hace
de a p r e n d iz a je
por
r e s u r g im ie n t o
d e b id o
una l a r g a
em p ezó
lo s
n eu ron a
con
un
e s tim u la
p esos
de
n eu ron as.
m o d e lo s
n e u r o n a le s
fu n c io n a m ie n to d e l
6
a r tific ia le s
c ereb ro ,
por
lo
ta n to
nos
es
común q u e a
e n tra d a ,
una n e u r o n a
u m b r a l,
p ro cesa d o r
de
la s
con
sus
r e s p e c tiv a s
c o n e x io n e s
y
la s
o e le m e n t o d e p r o c e s a m ie n t o o n o d o,
E x is te
c ir c u it e r ía
p ro cesa d o r
e s p e c ia liz a d a
e le c t r ó n ic o
a c tu a lm e n t e
que
a r tific ia l
pesos
p ara
h a y un a m á q u in a c o n
p e r m ite
i n t e r c o n e c t a r 1o s
p a r a le lis m o
muy
a lto .
p ara
cada
64 K d e
com o
E s ta s
se
s e ñ a le s
s a lid a s
ver
RNA,
la
se
fig u r a
la
cual
de
lla m e
3.
tra e
un
p ro cesa d o r
a r t ific ia l,
p ro c es a d o re s
e le c t r ó n ic o s
d esee
m á q u in a s
y
tr a b a ja r
r e c ib e n
el
con
un
n o m b re
de
n e u ro c o m p u ta d o re s .
Se tie n e
cada
m o d e lo
o
e n tr e n a m ie n to
una s e r i e
d e c o m p o n e n te s
a p lic a c ió n
d ifie r e n
y e s tru c tu ra s
de
que s e
b á s ic o s
acu erdo
u tilic e n .
p a r a RNA,
a
lo s
El
au n qu e en
a lg o r itm o s
de
m o d e lo m u l t i - n i v e l
q u e d a c o m p le t a m e n t e d e t e r m i n a d o p o r :
a)
Un c o n j u n t o d e p r o c e s a d o r e s
b)
Un p a t r ó n
de c o n e c t iv id a d
c)
Una r e g l a
d e p r o p a g a c ió n .
d)
R e g la s
e)
A m b ie n t e d e n t r o d e l
a>
Los
un
tr a b a jo
p ara e l
p ro c es a d o re s
c a lc u la r
a p r e n d iz a je
El
s is te m a
la
m ism a c o lu m n a
es
el
que
de s a lid a
in h e r e n t e m e n t e
p u ed en
ser
neu ron as a r t i f i c i a l e s .
lo s
de la
red .
en
que e n v ia r á
p a r a le lo ,
e v a lu a d o s
tr a b a ja .
s im p le s .
c o n s is te
7
p ro cesa d o res.
s is te m a
son r e la t iv a m e n t e
muy s e n c i l l o ,
un v a l o r
cu al
o
e n tre
a
ya
al
C ad a uno d e s a r r o l l a
r e c ib ir
la s
sus
v e c in o s
que
lo s
m ism o
e n tra d a s
p ro c es a d o re s
t ie m p o .
y
rec e p to re s .
Se
de
c u e n ta
con
tre s
tip o s
de
de
e n tra d a ,
de
p ro cesa d o res
a p lic a c ió n
del
que
p ro cesa d o res
n iv e l
que
se
e n tra d a ;
n iv e le s
b)
El
la
p a tró n
d e te r m in a n
de
lo s
la
c a p a c id a d
c o lu m n a ,
de
pesos
fig u r a
p ara
tie n e
que e s té n
lo s
del
o c u lt o s .
t o ta lm e n te
El
d e l’
p ro cesa d o res
s e c o n s id e r a
s a lid a
e x c ita t o r ia
de la s
P ara
que
y
la s
n iv e l
n ú m ero
tip o
de
se
pon en
com o e l
n iv e l
in t e r m e d ia s
p ro c es a d o re s
te n g a n
a lm a c e n a r
un
peso
a é l.
se
c o lo c a n
es
la
com o
cada
in flu y e
p ara
Un p e s o
p o s itiv o
por
y la s
la s
de
la
e s tru c tu ra
una
re p re s e n ta r
una s a l i d a
p esos
fá c ilm e n te
un e j e m p l o c o n fo r m e s e
poder
rep re se n ta n
lo s
depen de
de
in fo r m a c ió n ,
p ara
y uno n e g a t i v o
e n tie n d a n
d e n tro
p ro cesa d o r
in t e r c o n e x io n e s
se
lo s
se
c o n e c ta d o s
4 m u e s t r a cóm o s e
p re s e n ta rá
de
que
S e asum e q u e c a d a
v e c in o s
una e n t r a d a
red .
n e u r o n a l;
n iv e le s
En RNA l o s
el
c o n e c t iv id a d
c o n e x io n e s
in t e r c o n e x io n e s
Los
com o
lo s
depen de
cabo.
p r im e r a
un a r e d
y
u tiliz a n
a
ú ltim a ,
Las
c o n o c im ie n to .
de
la
en
s a lid a
o c u lt o s .
a p lic a c ió n .
la s
se
lle v a
en fo r m a m a t r i c i a l ;
de
de
la
de
el
e n tr a d a
in d ic a
in h ib ito r ia .
una m a t r i z .
c o n e x io n e s
La
e n una
c a r a c te r ís tic a s
se
a v a n ce en su e x p lic a c ió n .
E
N
T
R
A
D
A
F IG .
c3
P ara
4 FORMA DE CONEXION Y COLOCACION DE PESOS EN RNA
c a lc u la r
a r tific ia l,
se
m u ltip lic a d o s
re s ta
la
el
Es
por
u m b ra l
fó r m u la
el
suman
la s
de la
e s tím u lo
lo s
to ta l
p esos
s a lid a s
m ism a.
El
de
de
de
un
la s
lo s
p ro cesa d o r
c o n e x io n e s
e m is o r e s
e s tím u lo
y
de e n tra d a
o
n eu ron a
de
en tra d a
fin a lm e n te
s e c a lc u la
s ig u ie n te :
n e c e s a r io
a ju s ta r
el
u m b ra l
8
o
n iv e l
de
a c tiv a c ió n
se
con
en
cada
ite r a c ió n
fu e r z a
d e ja r á
e s ta d o
de
com o e l
en
lo s
n eu ron a
que
s ie m p r e
u n o.
La
de
lo s
al
m ism o.
se
r e q u e r ir á n
tip o s
tip o
con
En
su
el
lo s
u m b ra l
la
la
no
de
RNA s e
é s ta
de
fu e rt e m e n te
fig u r a
S,
de
c u a lq u ie r
del
es
la
y
su
p ara
son
una
es
la
e n tra d a
E x is te n
tre s
ló g ic o
y la
e c u a c ió n
de
La
s a lid a
de
d e u m b ral
s a lid a
s a lid a
p eso.
muy c o m p l e j o s ,
m an era.
la
n eu ron a
c a lc u la r
e s tim u lo
ig u a l
que
nu evo
m a n e ja r lo
c o n e x io n e s
n e c e s ita
lim ita d a ,
el
una
c o n e c tiv id a d
de
con
veces
a g reg a
e n tr a d a s
p re s e n ta m o s
O
se
com o
depen de
p r o p a g a c ió n
g r á fic a ;
la s
t ie n e
in d ic a
p e r m itie n d o
h a c e r lo
de
en
c u a l,
A lg u n a s
a n te r io r ,
a c tu a liz a n
p a tr o n e s
r e g la s
el
lle g a .
p ara
se
p r o p a g a c ió n
de s a lid a ;
del
pesos
p ro c es a d o re s ,
C u an d o
s ig m o id a l.
lo s
u m b r a le s ,
de
que
c o n e x ió n ,
y
s im u la
r e g la
de
e n tr e n a m ie n to ;
e s tím u lo
depen de
una
c o lu m n a
re p re s e n ta n
s a lid a
el
a c tiv a c ió n
p eso
cada
del
pasar
un
del
ú ltim o
e le m e n t o
de
pi J
p r o c e s a m ie n to .
F IG .
d)
Las
r e g la s
de
im p o r t a n c ia
p ara
en
de
fu n c ió n
c la s e s
la
a p r e n d iz a je
RNA,
é s ta s
p on er
b3
Q u ita r
c3
M o d ific a r
de
la
m o d ific a n
e x p e r ie n c ia .
d e m o d ific a c io n e s
a3 El
5 ECUACION DE S A L ID A
p ara
En
el
red
lo s
son
p esos
p r in c ip io
un
p u n to
de
la s
p u ed en
e x is tir
a p r e n d iz a je :
n u eva s c o n e x io n e s .
c o n e x io n e s
lo s
e x is te n t e s .
p esos
de la s
9
c o n e x io n e s
de la
de
red.
gra n
c o n e x io n e s
tre s
En
lo s
c o n s id e r a n
c o n e x ió n
es
e s ta b le c e
se
in c is o s
cero
E x is te n
el
te o re m a
la
la
ha
tr a b a ja d o
de
c ),
c a m b ia
de
B o lt z m a n n ,
p on en
en
a
caso
de
se
de
se
por
r e t r o - p r o p a g a c ió n .
a
c o n tin u a c ió n
p o s itiv o
si
se
la
é s to s
peso
o
se
de
una
n e fc ja t iv o
tie n e
r e g la
P e rc e p tro n ,
lo s
o
más
un
son
la
de
n e o c o g n itr o n ,
p ara
el
Se
de
v a lo r
se
y
em p ezó
a
W id r o w - H o ff,
r e g la
a c tu a le s
p r o p a g a c ió n
c o u n te r - p r o p a g a c ió n ,
que
el
a p r e n d iz a je .
C 1 9 4 9 ).
de
r e t r o - p r o p a g a c ió n
poco,
si
p ie r d e .
del
D e n tro
muy
que
un v a l o r
H e b b ia n
c o n v e r g e n c ia
ya
c o n tr a r io
a lg o r itm o s
r e g la
de
bO
c o n e x ió n
a s o c ia t iv a .
a lg o r itm o
y
é s te
m uchos
con
m e m o r ia
de
y
se
e s p e c ia le s
una c o n e x i ó n ,
c a m b ia a c e r o
tr a b a ja r
a)
com o c a s o s
d e lta
te n e m o s
y
el
erro res,
m á q u in a s
e tc .
f ó r m u la s
a lg o r it m o
Las
de
a p r e n d iz a je
D E R IV A D A DE L A FU N C IO N
P R O P A G A C IO N .
ERROR
DE
ERROR
O C U L TO .
C A M B IA
D
= E s tim u lo d e s a l i d a
S A L ID A .
PESOS.
d e una n e u r o n a .
p«-j
L
= P a tró n
de ca rga
de la s
n eu ron as
de s a lid a ,
píj
5
= E rro r
de la s
neu ron as o c u lt a s
y de s a lid a .
p>-j
5
= Es e l
p<t-*-l>k:
n eu ron a a qu e s e
q
= R a p id e z d e a p r e n d i z a j e .
El
La
de la
= P eso de la s
i.jk
e>
error
W
a lg o r it m o
a m b ie n ta d ó n
n ú m ero d e
p a tr o n e s
s e rá
se
c o n ec ta .
c o n e x io n e s .
e x p lic a d o
en 1 .3 .
c a r a c te r iz a
de a p r e n d iz a je
su e n t r e n a m ie n t o .
10
por
el
que s e
tip o
de
p re s e n ta n
a p lic a c ió n
a la
red
y
el
p ara
NIV E LE S OCULTOS EN RNA
E n tr e
la
e n tra d a
m o d e lo s a n t i g u o s ! )
que
se
lla m a n
in t e r é s
en
b)
se
t ip o
¿
la
Cómo
u n id a d e s
el
lo s
a
lo s
del
u n id a d e s
la
e n tra d a s
C en
de
ta m b ié n
con
década
dos
n iv e le s
p o te n c ia
p ara
c la s ific a r
muy b a j o .
se
n iv e le s
En l a s
en tra d a
c la s ific a
de
ser
lo s
n iv e le s
de lo s
de
n iv e le s
red ?
o
de
lo s
u m b ra l
p a tr o n e s
y
que
e n tra d a .
no
se
pone
M in s k y y
fu tu r o ,
a lg u n o s
muy b u e n a y
el
pensó
a lg o r itm o s
ya
E s ta
la s
P a p ert
que
que
red
lo s
fo r m a ,
la s
ya
no
más
s e r ía n
e s tru ctu ra s
una
se
fu e
Su
es
a lg u n a s
dos
la
a lo s
de
a
la
la s
s u fic ie n te
c a p a c id a d
p ara
in fo r m a c ió n
la
red ,
p u d ie r a n
razon es
lo s
p ero
es
no
abarcar
m a t e m á t ic a s
p ro c es a d o re s
de s a lid a .
fu n c ió n
lo s
que
tr a b a ja r
d écada s.
n iv e le s ,
g r á fic a
11
que
una d e l a s
dos
pu ede
no t e n ía n
a p r e n d iz a je
RNA p o r
de
d e m u e s tr a n
s ó lo
más n i v e l e s
d ir e c ta m e n te
en
p esos
la
com o una e n t r a d a
p orqu e
a lm a c e n a m ie n t o
p on er
de
n e u r o n a le s
c o r re c ta m e n te
o
que
D ic h o d e o t r a
y é s ta s
c o n ec ta d o s
o c u lt o s
c o n fu s ió n ).
50’ s
a aban donar
d e te c to re s
r e - r e p r e s e n ta c ió n ,
p ara
p r o b le m a s .
e s ta s
lo s
p u n tos
lla m a d a s
de
r e s o lv e r
red es
e s tá n
c lá s ic o
lo s
a d ic io n a le s .
que o b lig a r o n
p ara
C e n tra d a y s a l i d a )
de
dos
a c tiv a c ió n
c o n s id e r a r la s
XOR
tie n e n
O b v ia m e n t e s e
d is p o n ía n
e s to s
de
no
no e r a
H ay
de la
c o d ific a d o s
de
fa c tib le s
fu n c ió n
n e u r o n a le s
de
o c u lt a s
u n id a d e s
de
e s tá n
s o la m e n te y c r e a r í a
En l a
red es
de
de p ro c es a d o re s ,
c o n e x io n e s
p u ed en
o
a c tiv id a d
p a tró n
son
la
u n its ).
de la s
u n id a d e s
a p r e n d id a s
e s te
o c u lta s
red
(¡c a r a c t e r ís t ic a
c o n o c im ie n to
p a tro n e s
la s
c o m b in e com o c a r a c t e r i s t i c a s
de
red
a d ic io n a le s
C h id d e n
p esos
o c u lt a s
p a tró n
rep re se n ta n
la
?
c a r a c te r ís tic a s
porqu e
o c u lt a s
c a m b ia n
tie n e n
v a n a a lm a c e n a r
de
n iv e le s
d e m o d e lo s :
r e p r e s e n ta c ió n
in flu e n c ia
Las
de
s a lid a
¿ Cómo i n f l u y e n
o c u lto s
qué
u n id a d e s
en e s t e
a)
y
pu ede haber
XOR,
p u n tos
de
Un p r o b le m a
la
cual
p o s itiv o s
no
y
n e g a tiv o s
com o m u e s t r a l a
en
una u n id a d
cu ad rad a
de
p ro cesa d o res
e n tre
fig u r a
com o e n
la
6 o c la s ific a r
la
fig u r a
e n tra d a
y
la
7.
Si
s a lid a
c la s e s
se
de
p a tro n es
a g reg a n
se
n iv e le s
r e s u é lv e
e s te
p r o b le m a .
F IG . 6 REPRESENTACION DE L A
F IG .
FUNCION XOR CON SIG N O S
F IG .
7 REPRESENTACION DE LA
FUNCION XOR CON PATRONES
8 REPRESENTACION DE LA FUNCION XOR EN RNA
CON ESTRUCTURAS DE DOS N IV E LE S
Se
lín e a ,
de la
puede o b s e rv a r
la
cu al
fig u r a
Como
o dos
F IG .
hem os
9
la
e c u a c ió n
sep a ra r
A de la s
o c u lt o
lo s
a la
com o i n d i c a n
el
de la
fig u r a
p u n tos
B en l a
m e n c io n a d o
un n i v e l
p ro cesa d o res
que
pu ede
6 y la s
ya
a g r e g á n d o le
no
fig u r a
p r o b le m a
ESTRUCTURA CON 1 N IV E L
fig u r a s
F IG .
OCULTO DE UNA NEURONA
y
una
n e g a tiv o s
7.
a n te r io r
e s tru c tu ra s ,
la s
8 da s ó lo
p o s itiv o s
é s te
9 y
se
r e s u e lv e
puede te n e r
uno
10.
10 ESTRUCTURA CON 1 N IV E L
OCULTO DE DOS NEURONAS
12
Si
nos
sep a ra r
lo
se
h ace
e n tre g a ra n
lo s
F IG . 11
Si
se
La
de
a u m e n ta
dos
p o te n c ia l
que
n iv e le s
s a lid a
11
n e g a tiv o s
e s ta s
la s
y
e s tru c tu ra s ,
c u a le s
la s
es
le t r a s
p o s ib le
A y
B,
com o
y 12 r e s p e c tiv a m e n te .
lo s
F IG .
n iv e le s
fig u r a
de
se
12 C L A S IF IC A C IO N DE
LA S LETRAS CON UN
N IV E L OCULTO
o c u lt o s ,
se
c la s ific a r á
con
13.
á rea s
y
muy
red
13
uno d e
se
lo g r a
s a lid a .
e s p e c ífic a s .
de e n tra d a ,
la
o c u lt o s ,
con
Con
Si
c a n t id a d
c la s ific a c io n e s
n e u r o n a l.
n iv e le s
y de lo s
s o la m e n te
fig u r a
r e a liz a n
de lo s
p ara
la
o c u lt o s
e n una s o l a
im p o r t a n t e
a p r e n d iz a je
lo s
dos
la
sep a ra r
p ro cesa d o res
Es
a
ver
p ro c es a d o re s
de p a tro n e s
el
y
de
m e d ia n t e
C L A S IF IC A C IO N DE
AMBOS SIG NO S CON
UN N IV E L OCULTO
p o s ib le
lo s
fig u r a s
c la s ific a c ió n
nú m ero d e
y
m a t e m á t ic a
re c ta s
1 3 C L A S IF IC A C IO N DE PATRONES CON VAR IO S N IV E L E S OCULTOS
e n tra d a ,
es
lin e a s
p o s itiv o s
la s
p r e c is ió n ,
F IG .
d e m o s t r a c ió n
s ig n o s
m a n ifie s ta n
m ayor
la
dos
se
de
de
un
e s ta
n iv e l
in c r e m e n t a
n iv e le s
un a
de
e s tru ctu ra
gra n
el
o c u lto s
c a n t id a d
A c t u a lm e n t e s e d e s c o n o c e aún
de la s
in t e r c o n e x io n e s
de lo s
u m b r a le s .
h acer
la
e s tru c tu ra s
tie n e n
dos
a c la r a c ió n ,
que
c o n tie n e n
n iv e le s
d ife r e n te s .
13
que
lo s
n iv e le s
C e n tra d a
y
a lg o r itm o s
o c u lto s
s a lid a ),
y
son
de
p ara
muy
La
con
fig u r a
el
s o la
u n id a d
peso
de
de
u m b ra l
de
cu an do
lle g u e
de
s a lid a
e je m p lo
reb asa
el
La
fig u r a
de
se
la
se
a c tiv e
u m b ral
de
la
de
15.
N o te
s a lid a ,
la
u n id a d
c om o s e
a p r e c ia
ve rd a d
que
la
es
de
con
la
es
ta b la
la
el
u m b ra l
de la
que
la
C 1 ,1 D .
a segu ra
El
que
se
El
peso
u n id a d
de
s a lid a
e n tr a d a s
en
de lo
XOR
de
com o
sean
se
v is ta
una
u n id a d .
se
v a lo r
de
-2
P ara
será
O UTPUT
u n id a d
F IG .
15 TABLA XOR
F IG .
14
si
en
la
u n id a d
de
más
e n tra d a ,
1 0.
IN P U T
e s te
un 0.
en c u e n tra
la
la
que
b in a r io s ,
1 4 RNA PARA LA FUNCION XOR CON UNA UNIDAD OCULTA
IN P U T
de
a segu ra
1.
de
el
lo s
s a lid a
UNIDAD O CU LTA
F IG .
una
a c tiv a r á
de
n ú m e ros
c o n tr a r io
fu n c ió n
p u n to
con
re p re s e n ta n
m a yo r.
s e rá
tr a ta d a
XOR e n c o n t r a d a
p r o c e s a m ie n to ,
e n tra d a
am bas
un 1 ,
el
de
a segu ra
s a lid a
n eu ron a
d esde
o c u lta
en l a
o c u lta
de
cu an do
s a lid a
fle c h a s
r e p re s e n ta
p o s itiv a
la
la s
u n id a d e s
p re s e n te
o c u lt a
p r o b le m a
r e t r o - p r o p a g a c ió n ,
sob re
u n id a d
u n id a d
al
por
la s
c ír c u lo s
la
u n id a d
ta b la
e n tre
e n tra d a
s a lid a
s o lu c ió n
n ú m e ros
p ara
una
la
no
la
Los
cu an do
+ 0 .5
una
a p r e n d iz a je
de lo s
+ 1 .5
s ó lo
c o n e x ió n
de
c o n e x ió n
d e n tro
u m b ra l
a c tiv a r á
la
expon e
o c u lt a .
la
e s c r ito s
El
14
a lg o r itm o
OUTPUT
16 TAB LA AUMENTADA
APREND IZAJE DE LA S RNA
¿
Q ué
n u evo ? T a l
d esde e l
se
su cede
cu an do
vez
e n tie n d a ,
lo
p u n to
de v is t a
p u ed en c r e a r
q u e e s tim u la n
un p a t r ó n .
p erso n a ,
que se t r a t a
a la s
r e c e p to ra s
c o n s id e r a n
el
m á q u in a s
de
p re s e n ta n
p a tro n e s
cu al
Von
o q u it a r la s ,
o s e re e n tre n a
se
un
c o n b c im ie n to
si
es
en
el
v a r ía
el
tie n e n
d e á n im o ,
p ero
cereb ro
la
fu e rz a
?
con
c o m p o r t a m ie n t o d e
v a r ia c io n e s
en
cada
su i n t e r é s
el
te m a
de
e tc .
s ó lo
no
Neumann,
a d q u ie r e
recu erd e y se re c o b re ,
¿ Qué c a m b ia
p s ic o ló g ic a m e n te
e n e s e m om en to,
En RNA s e
lo s
humano
fis io ló g ic o
com o su e s t a d o
e n tr e n a m ie n to ,
red
ser
a lm a c e n e ,
n u evas c o n e x io n e s
T a m b ié n
asi
el
a lg u n o s
se
h a cen
s in o
por
de e n tr a d a
p u n tos f i s i o l ó g i c o s
p o r p ro gra m a
en señ an za;
com o a c u a l q u i e r
p ara e l
com o
e s to
en
es,
se
humano h a s t a
la s
le
que la
a p ren d e.
Los
pesos
c o n o c im ie n to
de
en
la s
la
red
y
in t e r c o n e x io n e s
p e r m it e n
al
reco n ocer
m ism o
t ie m p o
a lm a c e n a r
lo s
el
p a tr o n e s
qu e s e e n tr e n a r o n .
El
e n tr e n a m ie n to
b á s ic a m e n t e
en
el
in te r c o n e x io n e s ,
Se tie n e n
d a to s
se
in te r n o s ,
a lg ú n
g ru p o
m é to d o s
el
en
la
en
I n i c i a l m e n te
cu an do
se
p ara
el
En e l
y
lo s
p ro ceso
se
n u e v a m e n te .
y
otro
la
se
de lo s
a s ig n a n
muy i m p o r t a n t e
de
red
de
13
c o n s is te
pesos
de
p esos
En e l
se
r e v is a
la s
si
la
El
lo s
s in
de
e x is te
en
a u t o - s u p e r v is a d o
se
d eseada,
a u to m o n ito r e a
por
a ju s ta n
a g r u p a m ie n t o s
s a lid a
a le a t o r e o s
él
e n tr e n a m ie n to :
N o - s u p e r v is a d o
fo r m a n
la
d a to s
p esos
pues
RNA
lo s
p o n e un n u e v o p a t r ó n
no c r e a r l o
in t e r p r e ta c ió n
paso e s
p r in c ip a le s
dee n tr a d a
e rror
la s
de
m anual o a u t o m á t ic a m e n t e .
e n tra d a
ocu rre
e s te
h a c e r lo
e s te
a p r e n d iz a je
en l a
de
a ju s te
A u t o - s u p e r v is a d o .
cu an do s e
p ara
p a tró n
a p r e n d iz a je
p o s ib le
humana,
d a to s
un
y
c o lo c a n
in t e r v e n c ió n
da
es
dos
N o -S u p e r v is a d o
o
c o n sta n te
y
c o r r ig e
el
el
r e t r o a lim e n ta c ió n .
a
la s
depen de que l a
c o n e x io n e s ,
red
a p ren d a
r á p id a m e n t e .
pesos
La r e d
lle g a
qu e son a s o c ia d o s
La e c u a c ió n
c o n e x io n e s
v a lo r e s
del
de
ó s to
m ism a
la
p ara
dar
in fo r m a c ió n
D u ran te
el
a lg o r itm o s
de
en c u e n tra n
lo s
PERCEPTRON
su
de
fu é
d e s a r r o llo
e s c r ito s ,
e le m e n to s
com o
c o m p lic a d a s
r o t a c ió n ,
com o l o s
se
RNA
y
Fue
son
W erb os,
lo s
años
a lt a ,
uno
a c tu a lm e n t e ,
no e s
la
lo s
r e g la
el
lo s
y
de
t ie m p o
p esos
de
asi
o r g a n iz a r
u tiliz a d o
más
la
d ife r e n te s
im p o r t a n t e s
lo
d e s a r r o lló
de
se
poder
F ra n k
p a tro n e s
e s c r ito s ,
recon ocer
p a tro n es
s e n s ib le
a
A c t u a lm e n t e
y
e n fo c a d o
es
e
la
la s
ra ra
d ife r e n c ia s
vez
se
a
por
r e c o n o c im ie n to
r e q u e r ir
un
in t e r c o n e x io n e s ,
ir r e le v a n t e s
p ara
d e s a r r o lla d o
al
de
la
u sa,
la
c a ra c te re s
K u n ih ic o
de
g ra n
e s ta s
e s c a la ,
reco n ocer
D a v id
es
la s
y
d e su ópoca.
in v e n t a d o
E s ta
muy h á b i l
no
es
r o ta c ió n .
lim ita c ió n
lo
de
[1 9 ,2 0 ,2 1 ,2 2 ,2 3 3 .
E s te
en
p a tro n es
n ú m ero
red es
son
tr a s la c ió n
c o m p le jo s
de
muy
y
la
C ta le s
c h in o s ).
Paul
voz
han
lo s
a lg o r itm o
RETRO-PROPAGACION
en
p esos
pasa
a d a p ta
r e c o n o c im ie n to
por
d u ra n te
lo s
una e n t r a d a
e n tre
el
p r o c e s a m ie n to
y
de
c h in o s },
m e jo r e s
[1 8 3 .
es
red
a
El
es
lo s
1 9 7 8 -8 4 .
de
la
de lo s
d e e n tra d a
e fe c to ;
c o n fo r m e
d esead a
usó p ara
tr a s la c ió n
su
que
de
s e ñ a le s
En
v a lo r
d e c a m b ia r .
s ig u ie n te s :
p r in c ip a l
en
p esos
a p r e n d iz a je ,
C ta le s
NEOCOGNITRON
o a lg u n o s
a la s
e s tím u lo .
s ig n ific a
cu an do e l
d e ja n
de e lla .
uno d e l o s
F u k u s h im a
lo s
[2 ,0 ,1 5 ,1 0 ,1 7 ].
e s c a la s ,
p ero
c a m b ia r
en 1957 s e
d e fe c to
c o m p le jo s
to d o s
al
res p u e s ta
d e n tro
c o n e x io n e s
res p o n d e
acu erdo
p e r m ite
e n tr e n a m ie n to ,
R o s e n b la t
m o d i l 'i c a
p ro c es a d o r
c a m b ia n
a p r e n d iz a je
que
a un a e s t a b i l i d a d
con la s
de
P ark er,
1 9 7 4 -8 5 ,
c o n tro l
de
lo s
ocu pa
el
de
se
a lg o r itm o
en
r e c o n o c im ie n to
a lg o r itm o s
lu g a r
muy c o m p l i c a d o .
16
más
en
r a p id é z
se
le c tu r a
de
p o p u la r e s
la
fu e
R u m e lh a r t ,
ha u t i l i z a d o
ro b o t,
p r im e r
E s te
D a v id
in v e n t a d o
d e s a r r o lló
de
te x to s
im á g e n e s ,
que
de
se
e tc .
t ie n e n
a p r e n d iz a je
y
MAQUIÑAS
DE
BOLTZMANN
d e s a r r o lla r o n
in t r o d u jo
usado
en
p ara
J o ffr e y
DE
1 9 8 5 -6 ,
se
el
le n to
que e l
segu n d o
GROSSBERG
CAUCHY
lu g a r
T erry
fu n d a m e n ta
r e c o n o c im ie n to
ocu p a
de
en
[3 1 ,3 2 3 .
Con
d is e ñ ó
una
que
e fic ie n c ia
se
el
la
y
te o r ía
sonar
y
Joh n
La
H o p k in s ,
se
t e r m o d ín á m íc a .
Es
ra d a r,
e s te
au nque su a p r e n d iz a je
apoyo
de
e s tru ctu ra
enseñan
y
la
te o r ía
que
fo rm a
e n tre n a
g ra n
c a n t id a d
causa
s e r io s
p ro b le m a s ,
c o n s id e r a r
dos
p a tro n es
s im ila r e s
es
y
puede
de
se
de
r á p id o
en
im á g e n e s ,
a lm a c e n a r
r u id o
[ 2 4 , 2 5 , 2 6 , 2 7 , 2 8 , 2 9 . 3 0 3.
S e jn o w s k y
m é to d o
es
más
d e r e t r o - p r o p a g a c ió n .
a d a p ta t iv a
p a tro n e s
Y
H in t o n ,
in fo r m a c ió n ,
a lm a c e n a r
un
s in
de
la
p ara
lo s
s u p e r v is ió n ,
p ero
una p e q u e ñ a
c o n ju n to
de
h a sta
puede
c a n t id a d
u m b r a le s
com o d i f e r e n t e s ,
p a tr o n e s
r e s o n a n c ia
g ru p o s
que
puede
el
a p r e n d iz a je
se
acaben
la s
neu ron as.
H O PFIELD
u tiliz ó
[7 ,8 ,9 3 .
en
im á g e n e s ,
o b te n id o
la
Es
d e s a r r o lla d o
r e c u p e r a c ió n
su im p le m e n ta c ió n
buenos
a p lic ó
c om o
en
red e s
,
c o n te n id o
h a lla
t ie n e
lo s
ap ren d en
e d u c a c io n a l,
se
el
lim ita c ió n ,
in fo r m a c ió n
pu ede s e r
o a lta
1982,
se
fra g m e n to s
en
de
e s c a la .
S e han
ser
B a rk
K osko en 1985,
de
p r o p ia m e n t e
es
a s o c ia t iv a ,
a lm a c e n a m ie n t o
muy
c o d ific a d o s ,
buena
d e im á g e n e s c o n
de
la
é s ta s
h e r r a m ie n ta
una c o m p le t a
qu e ya
e tc .
[3 3 3 .
E s te
a lg o r itm o
R o b e r t -H e n c h -N ie ls e n
de
n e c e s ita r
p ara
de
d ir e c c io n a b le
d e n s id a d
fa c ilid a d ,
es
c o n e x io n e s
b a ja
fr a g m e n to s
c o m p r e n s ió n
de
o
Lo e s t a b l e c i ó
con
COUNTER-PROPAGACI0N
la
H o p fie ld
d a to s
a b a ja
m e m o ria
p u ed en
a p r e n d id o ,
por
una
de
d a to s
a s o c ia
d e s a r r o lla d o
John
de
r e s u lt a d o s .
MEMORIA A S O C IA T IV A B ID IR E C IO N A L .
se
por
c o m p le t a
im á g e n e s ,
dar
a n á lis is
una
g ra n
p r e c is ió n
b asa en r e t r o - p r o p a g a c ió n
no e s
en
e s tá tic o s
c a n t id a d
en
ta n
17
la s
fu e
1986
in v e n t a d o
lo
y o tro s,
de
u tiliz ó
su l i m i t a c i ó n
p ro c es a d o re s
c la s ific a c io n e s ,
e fic ie n te .
y
en
y
au n qu e
de
se
A P L IC A C IO N E S DE REDES NEURONALES
Las
RNA t i e n e n
r e c o n o c im ie n to
ex p erto s,
de
una v a r i e d a d
voz,
a n á lis is
de
a p lic a c io n e s
C on
la
El
r e c ib e )
fin a lid a d
C 34 ]
a
lo
de
de
una c a r r e t e r a
a un a u n id a d
se
una
la
n iv e l
r e t in a
de
dos
la
en
La
red
la s
a d e la n t e
c e n tro
El
im á g e n e s
de
de la
en
de
el
de
se
tie n e n
del
la
a n te s
T errestre
C n o m b re
e s p a c io
una
de
de
del
c á m a ra
v id e o
NAVLAB.
de cada
im á g e n d e v i d e o .
de
o b je to s
un
lá s e r ,
que
e s tá n
c o r r e s p o n d ie n te
c o n s id e r a n
son
La
con
el
en
la
d e c a d a u n id a d e n e l
lá s e r )
se
v id e o
c o rresp o n d e
a c tiv a c ió n
en l a
que
an ch o.
de
d is ta n c ia
e s tá s
de
c o n ec ta d a s
s a lid a
donde e l
to d a s
rep re se n ta n
es
v e h íc u lo
re p re s e n ta n
a u t ó m o v il,
red
V e h íc u lo
del
p ix e le s
lo s
y
b á s ic o s
de e n tra d a
de
o d e u m b ral
la
n iv e l
por
s a lid a
a
el
en
la
n iv e l
de
un s ó l o
n iv e l
la s
la s
la s
una
r e p r e s e n ta c ió n
v ia ja r á
.
c o n d ic io n e s
u n id a d e s
fo rm a s
de
del
lo s
la d o
El
c e n tro
de
avan ce
e x tre m o s
d erech o
e
c a rre te ra .
e n tr e n a m ie n to
de
d a to s ,
p ro ceso s,
u n id a d d e s a l i d a .
d ir e c c ió n ,
u n id a d e s
iz q u ie r d o
de
de
NAVLAB
c ie r to
n iv e l
p ix e l
8 X 32
C v id e o
n eu ron al ,
El
del
de
r e p re s e n ta n
con
C ad a p i x e l
de a c tiv a c ió n
r e t in a s
un
v e h íc u lo
p ix e le s
red .
d is ta n c ia
re s p u e s ta
de la
la
im á g e n
c o n ce p to s
dos s e n sores
30X32
b r illa n te s
y fin a lm e n te a l a
lin e a l
h a c ia
es
El
Las
e n tra d a
o c u lt o
la
de
el
v e h íc u lo .
e n tra d a
m id e
de
im a g e n .
del
de
e n tra d a
v id e o
de
te c h o d e l
in d ic a
c a rre te ra .
tie n e
una im á g e n
m o n ta d a e n e l
cual
bases
c o n tro l
com o
s i s te n ia s
r e a l.
A u tón o m o d e
la r g o
es
lo
te x to ,
A c t u a lm e n t e
lo s
m a n e ja r
c o m p u ta d o ra )
o tra
en te n d e r
p ara
A L V IN N C í a
u n id a d
e tc .
una a p l i c a c i ó n
es
El
p rim e r o
de
m é d ic o ,
c o n fu s a ,
PROYECTO A L V IN N C M a n e jo
RNAD
a p lic a c io n e s ,
c o m e r c ia le s .
m e n c io n a d o s a b o r d a r e m o s
con
m a n e jo
d ia g n ó s tic o
in fo r m a c ió n
de
m a n u s c r it o s ,
fin a n c ie r o s ,
p r o c e s a m ie n to d e s e ñ a le s ,
c o r r e c c ió n
muy a m p lia
c a ra c te re s
c a rre te ra s
de
la
con
red
un a
es
d ifíc il.
an ch o
18
Se
v a r ia b le ,
lle v a
com o
a
es
cabo
muy
con
poco
p r á c t ic o
lle v a r
a p ren d a,
se
El
a ju s ta d o s
se
con
la
es
C a r n e g ie
el
M e l l o n 's
y a ju s ta
que
y
se
la
lá s e r
p ara
la
la s
im á g e n e s
con
cada
p ara
por
1200
m a n e ja r
por
no
pesos
to m ó
30
m in u to s
La
a p lic a c ió n
E le c tr ic ,
por
r e a liz a
100
segu n do.
con
p r e c is ió n
el
La
v e lo c id a d
ta n
a lc a n z a
de
fu e ro n
s y s to lic - a r r a y .
por
h o ra .
que
im á g e n e s
lo s
é s ta
G en eral
p ara
c o m p u ta d o r a .
u n a,
M e llo n * s
d e c o n e x io n e s
en
c a rre te ra s
a c tú a n
v a r ia b le s .
de
la
a
de
an ch o
d e te c to re s
c a rre te ra s
v e h íc u lo
b a ja
es
p ro cesa r
to d a
fijo ,
u n id a d e s
ta m b ié n s o n
im á g e n
e
la
fu s ió n
o c u lt a s
de
lo s
d e t e r m in a n
p r e c is ió n
en
r e p r e s e n ta c io n e s
la
d a to s
la
lo s
de
la
cu an do
La
o b s tá c u lo s
c á m a ra
y
en
el
y
el
o r ie n ta c ió n
red
se
la s
de é s ta s .
o b s tá c u lo s
p o s ic ió n
c a rre te ra .
in t e r n a s
por
lo s
y
v a r ia b le ,
bord es
e x c ita d a s
por
p o s ic io n e s
an ch o
de lo s
in h ib id a
la s
de
de
com o d e t e c t o r e s
C on l a
u n id a d e s
con
com o
P ara
a c tu a ro n
m ism a.
c a m in a r
d ife r e n te s
fís ic a s
r e t r o - p r o p a g a c ió n ,
m illa s
u n id a d e s o c u l t a s
de
d e s a r r o lló
e n tre n ó
con
d e an ch o v a r ia b le .
Si
lim ita m o s
d e s a r r o lla r
c la s ific a r
Es
de
c o n s t r u id a
e n tre n a
p e r ife r ia
c e n tro
h iz o
C a r n e g ie
c o m p u ta d o r a
o c u lta s
Las
la
se
t ie m p o s
A L V IN N p u e d e
red
o r ie n ta c io n e s
u n id a d e s
m e d io d e l a
r á p id a m e n t e .
C u an d o
o c u lt a s
c a rre te ra s
por
e s p e c ia lm e n te
de 3 .5
la
in fo r m a c ió n
la s
red
40
20 m illo n e s
Ya e n t r e n a d o ,
d e b id o
por
la
m e c a n is m o
d is e ñ a d a
a una v e l o c i d a d
en
de
p re s e n ta ro n
s u p e rc o m p u ta d o ra
m á q u in a
M flo p s
v e h íc u lo
p ara e n tr e n a r s e
a p r e n d iz a je
c a rre te ra s ,
con
el
film ó
la s
u n id a d e s
d e te c to re s
c o rre c ta m e n te
im p o rta n te
de
el
g ra n
en te n d e r
que
a c tiv id a d
c o le c tiv a
d e te r m in a r
el
de
o c u lta s ,
la
c a r a c te r is tic a s
to d a s
c o m p o r t a m ie n t o d e l
c o n ju n to
una
la s
19
se
o c u lt a
n eu ron a s
fu e r z a
a p r o p ia d a s
de p a tr o n e s
u n id a d
NAVLAB.
red
de
a
p ara
d e e n tra d a .
se
ocu pa
e n tra d a
de
la
p ara
1 .2
MODELOS DE REDES NEURONALES A R T IF IC IA L E S
D u ran te
h an
el
e x p u e s to
a p r e n d iz a je
y
c la s ific a n
d ife r e n te s
p u ed en
ser
la
la s
te o r ía s
con
de
por
el
tip o
o
red es
d ife r e n te s
e s tru c tu ra s .
b in a r io s
de a p r e n d iz a je
d e ta lla d a m e n te
de
m o d e lo s
p r in c ip a lm e n t e
e n tra d a ,
m étod os
d e s a r r o llo
d iv e r s o s
de
Las
con y s in
H AM M IN G
CARP EN TE R
O RO SS B E R O
P ER
CEP
lle g a n
se
a
p e r m ite n
La fig u r a
su
lo s
17 m u e stra
1 7 C L A S IF IC A C IO N
P A RA
M U LTI-NIV E L
PERCEPTRON
TR°N’
CLASIFICADOR
I
O P T I M I Z A C I O N . A L G O R IT M O
DE A G R U P A M I E N T O
CON G U I A .
F IG .
de
c la s ific a c ió n .
C L A S I F I C A C I O N DE R ED E S N E U R A L E S
PATRO NE S F I J O S .
H O P F I ELD
que
Ambos
s u p e r v is ió n .
se
e s tru c tu ra s
v a lo r e s
c o n tin u o s .
n e u r b n a le s
m e c a n is m o s
KUMUNtJN
I
|
AL GOR IT MO
M E Z C L A CON
E L V E C I N O MAS
C E RC ANO .
DE S E I S
DE A O R U P A MIENTO.
REDES NEURONALES
MODELO DE HOPFIELD
Las
red es
b in a r ia s ,
s ó lo
n iv e l
cada
es
el
p ara
y n eg ro ,
uno
H o p fie ld
de
n o r m a lm e n te
r e p r e s e n ta c io n e s
s ir v e n
ASCCI
dado
u sadas
s u p e r v is a d o
y
r e tr o a lim e n ta c ió n
en d on d e l a
e llo s
c ó d ig o
son
un a p r e n d i z a j e
d e neu ron as con
a p r o p ia d a s
b la n c o
de
tie n e n
b in a r ia ,
p a n t a lla
de
e n tra d a
que
un
n ú m e ro s b i n a r i o s .
20
tie n e
a
la s
c a ra c te r
su
.
p ara
E s ta s
com o
en
una m a t r i z
n eu ron as,
se
e n tra d a s
e s tru c tu ra
red es
es
im á g e n e s
de p ix e le s
o tro
rep re se n ta
un
s o n muy
en
y
e je m p lo
con
8
Se
red es
tie n e n
se
d ife r e n te s
De l a
optimización.
q u e p e r m ita
a p lic a
ser
La r e d
c o n s id e r a n
n eu ron as
C 4 ],
-1
es
o r ig in a l
s a lid a
El
de
c ir c u ito s
la
fig u r a
e s ta d o s ,
reb asa
el
c o n e x ió n .
a s ig n a
es
cada
18
de
se
r e a liz a n
la
red
com o
p eso
la
en
m a tr iz
regresar
Las
u san
a la
más
70
lim ita c ió n
lo s
es
m é to d o
U ,
n eu ron a
al
v e r s ió n
de
y
c u a le s
es
y
d en o ta d o
la
y
V. =
s im u la d o
c o n e c ta
de
se
Las
M c C u llo c h
e n tra d a
se
Se
t é c n ic a .
n eu ron as.
de
i
re s to
d iv id e
p eso
es
que
que
con
a
la
C no
se
com o
red
T
= T
«•J
tie n e n
d ir e c c io n a b le
y
red
lo
pesos
a
.
>-J
El
otro
de la s
p a tró n
e je m p lo
in e s ta b le
a e n tre n a r.
21
si
10
5000
Se
es
la
paso
c o n s is te
en
e n tra d a .
cuando s e
P r im e r o
b its
que
con verge
el
con
son
n ú m ero
p r e c is ió n
pu eden
c o n e x io n e s .
a lg u n o s
En
red
e ta p a
d ic e
c o n e x io n e s
a la
p a tro n es
.
la
te rc e ra
lim ita c ió n
c o n te n id o .
a
red
a lm a c e n a d o s y r e c o n o c i d o s
por
neu ron as
fo r z a r
En l a
La
c o n e x io n e s
ap ren d e.
ú ltim o
d os g ra n d es
e ta p a s .
la s
de la s
p ara
qu e cu an do l a
por
a p r o x im a d a m e n te
será
c u a tro
d e e n tra d a .
la
dos p ara c o lo c a r
lim ita d o ,
nodos
e s ta d o s
d e s c o n o c id o
c o m p ro b a ro n
s im é tr ic a ,
en
in ic ia l
c a m b io d e l o s
q u e p u ed en s e r
p a tro n e s
E s ta s
c o n fu s a .
lo s
o
e s tím u lo
c o n e x ió n
se
un
p a tró n
h a sta
de H o p fie ld
m e m o r ia
s e ve ra m en te
de
y o tro s
e ta p a
red es
d e p a tro n e s
es
em p a te c o n e l
pesos
com o
uná
con e s tá
n nodos,
un u m b ral
la
un p a t r ó n
ite r a c io n e s
H o p fie ld
de
el
el
la
a
red
a s ig n a r
c o n v e r g e cu an do e l
m ín im o ,
hacer
in fo r m a c ió n
tie n e
r e t r o a l i m en ta
de
en
p re s e n ta
que su s a l i d a
se
H o p fie ld .
p r o c e s a m ie n t o
u m b ra l
C u an d o
un
nodo
c o n s is te
segu n da
p o s ib le
in te g r a d o s
u s a n d o un a f ó r m u l a q u e d e p e n d e d e l o s
la
de
resolver problemas de
m is m o ).
a p r e n d iz a je
p r im e r a
red es
recobrar
C ada n e u r o n a t i e n e
le
a si
p ara
en
dos
una
se
C l]
d is p o s itiv o s
V = 1 si
de
j
c o n e c ta
m o s tr a d a
com o l o s
m en or.
p eso
n eu ron a
la
red
c o n stru y e n
t ie n e n
P itts
si
p ara
u s a d a com o memoria direccionable por contenido.
p r in c ip a lm e n t e
A c tu a lm e n t e s e
el
v e r s io n e s
u s a n p a r a memoria asociativa o p a r a
La
r e q u e r ir
segun da
com u n es
en
MODELO DEL PERCEPTRON
El
p e rc e p tro n
c o n tin u a s ,
de
dos
el
[2 ,5 ]
puede
a p r e n d iz a je
n iv e le s ,
uno
de
es
e n tra d a
p r in c ip a lm e n t e
p ara
recon ocer
d iv id ir
lin e a
dos
la
por
una
e s tru c tu ra
P ara
del
el
pesos
y
El
u m b r a le s
e n tra d a
te rce r
pesos
de
la
la s
v a r ia b le
e ta p a
se
si
c a lc u la
regresa
lo s
se
s a lid a .
La
o
c o n s is te
Se
u tiliz a
por
fig u r a
la
u m b ra l
o
e je m p lo
19
m u estra
cual
nos
debe e s ta r
que
a lg ú n
a ju s te
R o s e n b la tt
se
Los
d iv id e
y
en
de
un p a t r ó n
de
p e rc e p tro n e s .
lo s
o
al
p a tró n
a ju s ta n
h a cen
que
el
r a n g o d e 0 .1
el
lo s
5
lo s
de
En l a
Si
la s
de carga,
lo s
p ara
o b te n e r
c a m b io s
En l a
un n u e v o p a t r ó n .
la
c o n tie n e
a p r e n d iz a je
y 0 .9 .
de
C 2 ].
m ism o.
p ara e n tre n a r
22
con
el
La
no.
p ara
se
p e r m ite
en e l
si
p re s e n ta
d ife r e n te s
un
la s
d esead a
a d a p ta n
con
a
por
u m b ra l.
-1
c o n e x io n e s
segun da s e
s a lid a
el
y
p ara
por
la s
e n tra d a
e n tra d a
a ju s ta d o s
p e rc e p tro n
de
s a lid a
son
se
la
del
de
de
re s ta n d o
el
fijo s
pesos
la
fó r m u la
dos
e s tím u lo
c o n v e r g e n c ia
En l a
y
La
a la
el
reb asa
c o n v e r g e n c ia
c o n e x io n e s
r¡ ,
de
s im p le s ,
c o n e x io n e s
fu e d e s a r r o lla d o
p e rc e p tro n e s
su v a lo r
b in a r ia s
e s tru c tu ra
le tr a s .
la s
de
i n i c i a l iz a d o s .
desead a.
r á p id o ,
de
N e le m e n to s
se
de
e n tra d a s
la
o tro
fin a lm e n t e
1
p u ed en
p r im e r a
de lo s
el
c a lc u la
y
será
P e rc e p tro n
e ta p a
con
y
p a tr o n e s
de
p r o c e d im ie n to
la
son
con
s a lid a s
s a lid a
e m is o r e s
a lg o r it m o
En
se
pesos
u m b r a le s
El
p ara e l
e ta p a s .
lo s
s a lid a
lo s
a lg o r itm o .
pesos
lo s
de
y
c la s e s
a p r e n d iz a je ,
de
re s p u e s ta
u sado
P e rc e p tro n .
nodo m u ltip lic a n d o
s a lid a s
ser
s u p e r v is a d o
sea
más
ú ltim a
Un
p ro b le m a .
P e rc e p tro n
es
C 1 S ,1 6 ,1 7 ]
lo
con
que
el
p r o c e d im ie n to
o s c ila
m o d ific o
d u ra n te
u tiliz a n d o
b u enos
r e s u lt a d o s .
C o n s is te
en
a c tu a l
y el
de ca rga
del
El
P e rc e p tro n
s ím b o lo s
h a cer,
p a tró n
por
ta l
cosa
d e m o stra d a
p on er
un a
por
pu ede
lín e a ,
su cede
o c u lt o s
c o n v e r g e n c ia
cu ad rad os,
el
error
del
W id r o w - H o f f
O b t e n ie n d o
e n tre
la
s a lid a
P e rc e p tro n .
p e rfe c ta m e n te
cu an do
la
son
fu n c ió n
P a p e rt
[5 3 .
d e neu ron as
e n tr e n a m ie n to q u e lo s
F IG .
m ín im o s
sep a ra r
con
de
e n t r e n a m ie n t o .
m in im iz a r
p ero
M in s k y y
n iv e le s
el
más
XOR.
dos
E s ta
Se p en só en
p ero
dos
de
no s e
g ru p o s
no
lo
d e fic ie n c ia
la
te n ía
de
puede
fu e
p o s ib ilid a d
de
un a l g o r i t m o
de
s o p o rta rá .
19
ESTRUCTURA DEL PERCEPTRON
MODELO DE MAQUINAS DE BOLTZMANN
Las re d e s
t e o r ía
c a lie n ta
in te r n a
lo s
se
n e c e s a r io
qu edan
C se
a s ig n a n
lo g r a
p o s ib le
p u n to.
a lc a n z a
que
En
un p e s o y
T a
e n c o n tra r
En e s t e
la
P ara
n iv e le s
cuando
la
no
la s
de
se
red
m ín im o s
s ó lo
a
un
te m p e r a tu r a
n iv e l
r e g r e s a r lo
de
le
in te ta
su
no
la s
a lc a n z a r
lo s
lo c a le s
y
que
a p ren d er
del
23
la
la
su
se
in ic ia l
red
en c u e n tra
el
c o n e x io n e s
se
g lo b a l
b ru s c a m e n te
nu nca s a l g a
a lg u n o s
s is te m a .
es
e le c tr o n e s
d is m in u y e n d o
hace
se
e n e r g ía
m ín im a e n e r g í a
p a tro n e s )
Si
y
lo s
y
a p o y a en l a
a m b ie n t e
e s ta d o
c o n tr a r io
a
p equ eñ os.
puede
a
lo
o tro
n eu ron al e s
ap ren d e
m ín im a g l o b a l
a
co rresp o d en
red es
in t e r v a lo s
caso
e n e r g ía
cu erp o
le n ta m e n te ,
T é r m ic o .
"T e m p e r a tu r a "
un
flu y e n
in c r e m e n t a .
en
c o n m á q u in a s d e B o ltz m a n n s e
Si
e le c t r o n e s
e n fr ia r lo
E q u ilib r io
le s
n eu ron al e s
T e r m o d in á m ic a .
p a tro n e s
de
y
no
la
es
ese
se
La
M á q u in a
g e n e r a liz a c ió n
u n id a d e s
de
de
B o ltz m a n n
la s
red es
a c tu a liz a n
e s to c á s tlc a .
u n id a d e s
de que l a
la
la
"T e m p e ra tu ra ",
a lc a n z a r
el
e q u ilib r io
j
e s ta d o s
en
de
la
cual
de e n tra d a
v a r ia
té r m ic o .
de la
se
d e fin e
una
la s
0
y
la
dado p or:
J - é s im a
en i n t e r v a l o s
AE^
o
e s ta
es
cu al
de» d e c i s i ó n
1
a d o p t e un e s t a d o
e n e r g ía
la
[7 ,8 ,9 3 ,
d e a c u e r d o a un a r e g l a
tie n e n
u n id a d
En d o n d e AE ^ =X ^ e s
y T es
H o p fie ld
sus e s ta d o s
Las
p r o b a b ilid a d
[2 4 ,2 5 ,2 6 ,2 7 ,2 8 ,2 9 ,3 0 3
de
u n id a d
p equ eños
por
la
p ara
f ó r m u la
s ig u ie n te :
==W
A cad a c o n fig u r a c ió n
lla m a d o
"E n e r g ía ".
in t e r p r e ta d o
p r o d u c ir
s a lid a
es
a lta
el
del
c o n fig u a c ió n
la
e s tá
p ara
lo
un a
p esos
un
se
es
a s ig n a
de
p a tró n
si
la
D u ran te e l
g lo b a l
red
n e u r o n a l.
la s
c o n e x io n e s
P ara
un
c ic lo
el
de
bu sca e l
ver
con
j
el
a n n e a lin g
de
el
p a tró n
e q u ilib r io
e n tre g a
e n e r g ía
de
el
una
e s
<- i
v
va
un v a l o r
a p r e n d iz a je ,
nos
la
g lo b a l
la s
u n id a d e s
t y j.
y O d e s a c t iv a .
n e u r o n a i.
si
a p r e n d iz a je
p r im e r a s e c o l o c a
se
de la
"s im u la te d
p ara
Si
e n e r g ía
red
La
D on d e W e s e l p e s o d e l a c o n e x i ó n e n t r e
»■j
S e s 1 , s i l a u n id a d i e s t á a c t i v a
m ín im a
e n tra d a .
la
es
p ara
p or:
k
U m b ral
c o n e x io n e s
de
que
m ín im a .
E = - £ WS S. + r
.
ij i j
0
un n ú m ero r e a l ,
c o n fig u r a c ió n
de la s
d ic e
c o n tr a r io
e n e r g ía
d e fin id a
le
g lo b a l
deseado
de
se
de lo s
adecuada
p a tró n
s is te m a ,
desead o
e n e r g ía
c a p a c id a d
s a lid a
a le ja
en
p a tró n
com o l a
una
se
La
j
de e s ta d o s
se
pu ede
d is m in u y e n d o
la
red ,
de cero .
cu al
se
El
se
d e en tra d a
t é r m ic o
se
i n i c i a l iz a n
s ig u ie n te
d iv id e
y
p a ra d ic h o
24
c a lc u la r
c o n fo r m e
el
en
de
p a tró n
la
e n e r g ía
e n tre n a
lo s
paso es
p esos
de
r e a liz a r
dos
fa s e s .
s a lid a
en
C d e fin íd o
la
En
la
red
la
y
com o l a
s itu a c ió n
en
u tiliz a n d o
en
ir
la
la
cual
d is m in u y e n d o
c o n te o
de
a c tiv o .
la s
d is tr ib u c ió n
de
la
c o n e c ta d a s
p r o c e d im ie n to
y
se
de
"S im u la te d
c a lc u la
p r o b a b ilid a d
A n n e a lin g ".
"T e m p e ra tu ra "
u n id a d e s
E s te
a p r e n d iz a je
la
té c n ic a
T
p ara
e n tre
el
si
se
a p lic a
un
p r o m e d io
a
La
es
e s ta b le )
cual
c o n s is te
p a tró n
que
y
tie n e n
to d o s
lo s
CP )
de
lle v a r
un
p a tro n es
la s
un
e s ta d o
de
u n id a d e s
<-j
in t e r c o n e c ta d a s
e n tr a d a
que
.
busca e l
la
p rim e r
en
in t e r c o n e c t a d a s
se
En l a
y se
a p lic a
a
ob te n er
C P _ ).
a ju s ta n
lo s
e n tre
segun da
fa s e
c o n te o
de
si
un
qu e te n g a n
lo s
p a tro n es
Una
vez
que
con
Es l a
<P¿j>
^s
la
se
la
< P ¿j>
e s té n
de
e s té n
P ara
la
a c tiv a s ,
saber
si
fó r m u la
red
un
dos
u n id a d e s
e s te
p ro ceso
p r o m e d io
p r o b a b ilid a d e s
p ara
se
En d o n d e
que
la s
lo s
que
u n id a d e s
y
j
c o n ec ta d a s
de e n tra d a
y s a lid a .
i y
c o n ec ta d a s
e n tre
si
e n tr e n a m ie n to
se
la s
ap ren d e
i
p a tro n es
j
p a tró n d e e n tra d a .
d u ra n te
el
s ig u ie n te :
G = £
P +CV 3 l n
a
P C V^)
P r o b a b ilid a d
con lo s
P CV )
P r o b a b ilid a d
s ó lo
ex
la s
de
ig u a l
f ó r m u la .
s o la m e n te c o n e l
la
la s
p a tró n
d e a p r e n d iz a je .
con
de
el
lle v a n d o
a c tiv o ,
c a lc u la
- < P > 3
ij
a c tiv a s
p r o b a b ilid a d
a p lic a
tie n e n
s ig u ie n te
p r o b a b ilid a d
sí
se
s ó lo
red ,
to d a s
un e s t a d o
y
c o n s ta n te d e r a p id e z
e n tre
c o lo c a
de la
to d o s
pesos
se
t é r m ic o
AW = 7) C < P >
vj
7?
fa s e
e q u ilib r io
P +CV 3
----=----- ---P CV 3
p a tro n es
con e l
En d o n d e :
de e n tr a d a
p a tró n
y s a lid a
d e e n tr a d a
C fa s e
1 ).
C fa s e 2 ).
NEURONA
PARA SIMULAR
L06 UMBRALES
ENTRADA
F IG .
OCULTO
S A L ID A
2 0 REPRESENTACION DE LA FUNCION XOR CON MAQUINAS DE BOLTZMANN
25
MODELO
La
e s tru ctu ra
n iv e le s
un
n ú m ero
fin ito
n iv e l,
s ig u ie n te
s e ñ a le s
y
a
u sados
de
Muí t i - n i v e l
la s
la
red .
Los
s a lid a
reten er
El
un
e n tr e n a m ie n to .
in fo r m a c ió n
se
p ro p a ga
n o ta r
que
la
red
e n tre g a
en
no
se
la
red
un s ó l o
d is tr ib u y e
la
re s p u e s ta
que
qu ed an
de
es
de
Es
com o
lo s
el
la
que
p a tro n es
ya
im p o r t a n t e
en
la s
e n tre
u n id ir e c c io n a l,
s e n tid o .
r e t r o a l i m en ta
de
El
en l a
in fo r m a c ió n
r e le v a n te s
La r e d
v a r io s
p r o c e s a m ie n t o .
p r o c e s a m ie n to
c a r a c te r ís tic a s
el
de
y la s
o c u lt o s
e*i
C ad a u n o p u e d e t e n e r
e le m e n to s
ú ltim o ,
d u ra n te
c o n s is te
21.
d e e n tra d a
n iv e le s
r e a liz a n
la s
fig u r a
o
s e ñ a le s
e n tra d a .
la
de
la
n eu ron a s
r e c ib e
capa
de
e n tra d a
la
red es
d e n e u r o n a s com o i n d i c a
p r im e r
ayuda
p ara
M U LT I-N IV E L
que
hacer
m o d e lo
de
H o p fie ld .
La
n ú m eros
será n
e n tr a d a
r e a le s
r e a le s
de
e n tre
p orqu e lo s
F IG .
21
La e s t r u c t u r a
T800,
p ero
n iv e le s
El
el
con
la
p u ed en
rango
pesos
de
ta m b ié n
ENTRADA
OCU LTA
N IVEL
NIVEL
1
ser
n ú m e ros
C 0 .1 ,
0 .9 ).
lo
s a lid a s
C 0 ,1 )
o
s ie m p r e
son.
OCU LTA
2 NIVEL
b in a r io s
Las
S ALID A
3
NIVEL
4
ESTRUCTURA PARA REDES M U L T I-N IV E L E S
de la
fig u r a
p o s ib ilid a d
21
de
se
im p le m e n t ó
ten er
una
en
el
c a n t id a d
T ra n s p u te r
v a r ia b le
de
y d e n e u ro n a s en c a d a uno d e e l l o s .
a lg o r it m o
r e t r o - p r o p a g a c ió n ,
que
el
se
cu al
u sa
se
p ara
e x p lic a
1 .3 .
26
e s ta s
red es
d e t e n id a m e n t e
es
en
el
el
de
p u n to
1 .3
ALGORITMO DE APREND IZAJE POR RETRO-PROPAGACION
El
a lg o r it m o
p ara
red es
com o
un a
[ 43,
n eu ron as
r á p id o
p ero
o c u lt a s .
o c u lt a s ,
más
E s to s
dos
A lg u n o s
de
Para e l
la s
neu ron as
que
Los
el
b)
e rrores
en
red es
tie n e
la s
es
más
es
n eu ron as
m uchos
más u t i l i z a d o s
es
g ra n d es
n iv e le s
a c t u a lm e n t e .
que la s
n eu ron a s
nos e
[3 5 3
con
y el
r e t r o - p r o p a g a c ió n
m a n e jo a u t o m á t i c o d e
red
la
se
es
n e c e s a r io
com o
segun do
el
es
el
c o n s id e r a
red
cu an do
p re s e n ta n
p re s e n ta r
vecto r
de
p a tró n
com o
haya
la
un p a r
e n tra d a ,
de
el
carga
p ara
res p u e s ta
que
a p r e n d id o
a le a t o r ia m e n t e
o
el
p a tró n
de
m an e ra
c a d a uno.
A d e la n t e .
p a tró n
El
c o n s is te
usa e l
Una v e z
vecto r
una
de
fu n d a m e n t a lm e n t e e n d o s
s a lid a ,
carga
c o lo c a d o s
de e n tra d a
lo s
p ara
p ara
v a lo r e s
poder
lo s
fa s e s :
p a tr o n e s
p r o p a g a r lo
o b te n id o s son
c a lc u la r
el
en
la
red ,
a tra v é s
dela
com p a ra d o s
error
de
la s
de s a lid a .
R e tro c e s o .
y s e a ju s ta n
lo s
de
lo s
in c r e m e n t a n
r e le v a n te s
a lta
se
p a tr o n e s
un a v e z
p r o d u c ir
n eu ron as
se
s is t e m a
u sado
red .
s a lid a ,
H a c ia
con
la
es
e n tre g u e
a)
y
más
en v o z
de
a lg o r itm o
red
t r a b a jo s
nos
El
s is te m a
erro re s
r e t r o - p r o p a g a c ió n
au n q u e p a r a
lo s
c o n s id e r a
de
c ereb ro .
p rim e r o
apren d er
e n tra d a .
de c a lc u la r
en r e t r o - p r o p a g a c i ó n
de in g lé s
El
debe
el
lo s
el
son
e n tr e n a m ie n to d e l a
cu al
s e c u e n c ia l
cuando
Se
c o r r e c c ió n
con
c o n fo r m e
más p o p u l a r e s
[3 4 3 .
p a tr o n e s .
deseam os
c a p a c id a d
le n to
uno d e l o s
muí t i —n i v e l .
de
a p r e n d iz a je
com o e n e l
s o n un l e c t o r
un a u t o m ó v i l
la
r e g la
a lg o r itm o s
Un p u n t o i m p o r t a n t e
r e t r o a lim e n ta n
la
d e B o lt z m a n n ,
e s p e c ia lm e n te
o c u lt o s .
de
con
El
es
e s tru ctu ra s
de
q u e c o n m á q u in a s
e x p o n e n c i a l m e n te
de
con
g e n e r a liz a c ió n
W id r o w - H o f f
la s
d e r e t r o - p r o p a g a c ió n
n e u r o n a le s
e rro res
lo s
Se c a lc u la n
pesos
o c u lto s
de
la s
lo s
e rro res
c o n e x io n e s .
e n un a f a s e
de la s
de re tro c e s o
27
neu ron as
o c u lt a s
S e p u ed en c a l c u l a r
y en o t r a
to d o s
a ju s ta r
lo s
pesos
o
en
una
n eu ron a d e l
s o la
ú ltim o
A c o n tin u a c ió n
a lg o r it m o ,
fa s e
n iv e l
h acer
la s
o c u lt o
s e e x p lic a r á n
d iv id ié n d o la s
dos
y se
cosas.
reco rre
Se
e m p ie z a
h a c ía
d a ta lla d a m e n t e
la
con
la
e n tra d a .
la s
dos
fa s e s
del
en 6 p asos.
FASE H AC IA ADELANTE
P a so 1.
I n i c i a l i z a c i 6n d e 1 o s
De
m an e ra
v a lo r e s
d eben
in ic ia le s
P a so 2.
n ú m ero
m an e ra
al
el
y
el
"j"
de carga
el
y
"j"
la
s a lid a
un p a t r ó n
p a tró n
n eu ron al
a)
h a sta
p esos
de
de
-0 .9 9 .
"i"
d esead a
es
c a n t id a d
de
ig u a l
El
de
p a tró n
donde
a lm a c e n a
n ú m e ro
del
n iv e l
de
el
en
de
4
e n tre n a r
de
será
el
n iv e l
de
e n tra d a .
vecto r
n iv e le s
de
de
e n tra d a
s u b ín d ic e
n iv e l
se
a
e n tra d a ,
de e n tra d a
el
"i"
al
e n tra d a
de
v a lo r e s
m om en to,
n eu ron as
p a tró n
Los
pesos
o r a p id e z .
p a tró n
n iv e l
Los
en
en e s e
al
del
carga.
O
De l o s
s a lid a .
y.
o e n te ro s .
c o n e x io n e s .
le n tit u d
n ú m ero d e n e u r o n a d e l
s a lid a
un
de
lla m a d o
el
la s
y
re p re s e n ta n
neu ron as
tr a b a ja
a
0 .9 9
ap ren d a con
que
c o n tin u o s
in d ic a
tie n e
P ro p a ga r
El
d iv id e
se
red
p a tró n
ve cto r
o de
22
P a s o 3.
el
s u b ín d ic e
fig u r a
ra n go
p a tr ó n de e n tra d a
p a tró n qu e s e
donde
más d o s
el
n ú m ero
p ara
en
e s tru c tu ra
p a tró n
en
a s ig n a n
e le m e n to s
p u ed en s e r
a lm a c e n a d o
in d ic a
el
de
ig u a l
y s a lid a
en
e s ta r
p esos.
se
depen de de que la
ser
ig u a l
de
P re s e n ta r
El
debe
a le a to r ia
la
El
t^ _ „
o c u lt o s
s a lid a .
e le m e n to s
*'p‘ *
y
En
la
en
la
d e 3 e le m e n to s .
el
de
p a tr ó n de e n tra d a
e n tra d a
lle g a r
al
debe
n iv e l
en 1a r e d .
p ro p a ga rs e
de
s a lid a ,
a
tra v é s
é s te
en d o s p a r t e s :
C a lc u la r
el
e s tim u lo
bD C a l c u l a r
la
re s p u e s ta
de e n tra d a
de la
de la
n eu ron a.
28
n eu ron a.
de
la
p r o c e d im ie n to
red
se
Se u t iliz a r á
la
fig u r a
22 p a r a e x p l i c a r
con
p r e c is ió n
la s
dos
f ó r m u la s .
F IG .
a)
2 2 ESTRUCTURA PARA CALCULAR ENTRADA Y S A L ID A DE UNA NEURONA
El
e s tím u lo
s ig u ie n te
de
E st
pij
n eu ron a
el
e s tím u lo
" j ” que s e
un a
R e p re s en ta e l
peso
el
" i" con
S a lid a
de la
n eu ron a
se
c á lc u la
con
la
En d o n d e :
en tra d a
en e l
c o n e x ió n
n iv e l
de s a lid a
de la
de
en c u e n tra
n iv e l
c o n e x io n e s
O
=
p<i-i>j
p ara
= Z W
O
-6
(i-i)jk
p(t-i>j
d-l>Ok
E s t . .= R e p r e s e n t a
4) k=
e n tra d a
fó r m u la .
"L -i",
de la
n eu ron a " j "
*'k"
del
"p "
"i".
de la
n eu ron a
s ig n ific a
n eu ron a
del
p a tró n
n iv e l
n iv e l
el
p ara
"j"
la
del
n ú m ero
de
"j” .
"L - i"
p ara
el
p a tró n
"p ".
6
<i.-l)Ok
= U m b ral
de
la
n eu ron a
en
la
que
se
c a lc u la
el
e s tím u lo
de
e n tra d a .
Como y a
hem os
un a
c o n e x ió n ,
se
y la
c o n e x ió n
m e n c io n a d o
to m a
de s a lid a
el
s ie m p r e
u m b ral
de
"k ".
Por
e.
.= w .
lo
29
la
se
s im u la
n eu ron a
que:
* i
con
-o- d e l
el
peso
n iv e l
de
La fó r m u la
fin a lm e n te
qu eda:
E st . = Z W
O
PLJ
<T.~i>jk p<l-l>j
Los
e n v ía
p esos
el
de
la s
e s tím u lo ,
e s tím u lo s
La
de s a lid a
fó r m u la
CW
D
<t-i>jk
la
22.
por
1
del
e s tím u lo
E st
b)
La
el
s a lid a
= W
lO O
de
*
la
la s
e s tim u lo
2.
p ara
CO
.)
p<i-i>j
la
la
n eu ron a
de
lo s
que
pesos
s ig u ie n te
1 + W
120
*
O
n eu ron a
de
que
la
de
e n tr a d a
nos
y
1 no
la s
de
e n v ía n
1 d e l n iv e l
n iv e l
la
la s
2d e
la
s e c o n e c ta a
fó r m u la
p ara
c a lc u la r
m a n e ra .
+ W
p l2
s u m a t o r ia
n eu ron a
D e s a r r o lla n d o
m ism a
la
c o n e x io n e s
n eu ron a 1 d e l
nos queda d e l a
p21
de
e s tím u lo
n iv e l
en
v a r ia b le
r e a lic e m o s
p esos
el
a lm a c e n a n
la
s u b í n d i c e "i-i".
que
lo s
se
ra zón
el
O b servem os qu e l a
n eu ron a
el
tie n e
de
Se c a lc u la r á
fig u r a
e s ta
in d ic a
m u ltip lic a c io n e s
n eu ron a
c o n e x io n e s
por
*
O
+ W
*
O
c a lc u la
con
la
f ó r m u la
que
s ie m p r e
se
130
se
p l3
140
p l4
a p a r e c e a c o n tin u a c ió n :
El
r e s u lt a d o
e n c o n tra rá
en e l
T e r m in a n d o d e
con
la
2,
p a ra to d o s
Paso
4.
h a sta
lo s
del
p a tró n
a ju s ta r
se
n iv e le s ,
se
el
la
la
con
de
s a lid a
el
p r o p a g a c ió n
error
se
de
n iv e l.
fin a liz a n d o
la
n eu ron a
De i g u a l
con e l
1
se
c o n tin u a
m a n e ra s e
r e a liz a
de s a lid a .
d e 1 a s n e u r o n a s d e s a l i d a.
o b tie n e n
p ro p a g a d o ,
es
fu n c ió n
c a lc u la r
p o s te r io r m e n t e
u tiliz a
la
te r m in a r
C a lc u la r
En c u a n t o
de
r a n g o d e O y 1.
lo s
v a lo r e s
c a lc u la n
lo s
p esos
lo s
de la s
s ig u ie n te :
30
en
la s
erro re s
n eu ron as
de s a lid a
c o n e x io n e s .
de
p ara
s a lid a
poder
L a f ó r m u la
que
ó
= Ct
ptj
-
ptj
O
fC E s t . 5 = O
p tj
ó
=
R e p re s en ta
D fC E s t
pv-j
C1
-
pi-J
el
error
)
En d o n d e
P*-J
O .
P^J
de
la
n eu ron a
"j" d e l
n iv e l
"i."
p ara
el
c a lc u la
la
ptj
p a tró n
fC E s t
)
es
-p"
la
d e r iv a d a
de
la
fu n c ió n
de
p r o p a g a c ió n ,
pi-j
v a r ia c ió n
Se
carga
de la
re s ta
Ct
s a lid a
la
con
s a lid a
res p e c to
a c tu a l
D y se m u ltip lic a
a la
de la
por
la
e n tra d a
de la
n e u r o n a CO
a
pij
n eu ron a.
el
p a tró n
de
d e r iv a d a .
FASE DE RETROCESO
P a so 5.
C a lc u la r
La
1os e r r o r e s
c a p a c id a d
in t e r m e d io s
de
de
la
red ,
r e t r o - p r o p a g a c ió n .
carga
c a lc u la r
el
error
La fó r m u la
por
pvjk
=
V a r ia b le
o c u lt o
6
p<i.+l>jk
=
Se
la
la
p od ero so
s ig u e
la
el
el
error
n iv e l
n iv e l
del
o c u lt o
al
lo s
n iv e le s
de
de
p r o c e d im ie n to
n eu ron as
*
de s a lid a .
es
la
s ig u ie n te :
vjk
del
c á lc u lo
de
error
"I".
"in ",
la
cual
r e c ib e
n iv e l
'V ,
en
don de
se
de
n eu ron a
1 del
n iv e l
la
p ara
W
r e s u lt a d o
del
n eu ron a
pa+i>jk
en
n o te n e m o s un p a t r ó n
o c u lto s
,
p esos.
a lg o r itm o
otro
n iv e le s
V &
"j** d e l
n eu ron a
o c u lt o .
P ara
saber
n eu ron a
el
c a lc u la r á
lo s
lo s
o c u lto s
o c u lt a s
se
p tj
de
fig u r a
que
a lm a c e n a r
e s tím u lo
error
h a ce
= fC E s t .
p ij
de la
de
que
n eu ron as
p ara c a lc u la r
p ara
E rror
a ju s ta r
e rrores
lo
lo
y.
lo s
con que c o n tr ib u y e a la s
ó
6
es
En l a s
d e t e r m in a d o ,
ocu l to s
c a lc u la r
el
c a lc u la
2
de
23 p a r a e j e m p l i f i c a r .
c a lc u la r
el
error
con qu e p o r c e n t a je
de
una
de e rro r
31
n eu ron a
o c u lt a
c o n tr ib u y e en
la s
es
n e c e s a r io
n eu ron as a que
en v i a in fo r m a c ió n .
de la s
c o n e x io n e s
y fin a lm e n te
fó r m u la
se
error
= fC E s t
p20
T e r m in a n d o
a ju s ta n
lo s
é s to ,
lo s
con
pesos
ó
el
suman l o s
p30
la
d e r iv a d a .
*
W
+ 6
*
200
p31
del
fo r m u la
error
p<u+l>k
= E rro r
O
=
de la
que
e n v ía
lo s
pesos
D e s a r r o lla n d o
s ig u ie n te
o c u lt o
la
m an era:
W
D
202
de
la
n eu ron a
se
c a lc u la
el
s ig u ie n te :
En d o n d e :
n eu ron a qu e r e c ib e
E s tim u lo
de
a que s e c o n ec ta
W
+ ó
*
201
p32
W
= W
+ r)6
O
ijk
ijk
p<i+i>k ptj
ó
p ro d u c to s
neu ron as
nos queda d e l a
c á lc u lo
con l a
de la s
por
o c u lt o
pij
se
erro re s
m u ltip lic a
p ara e l
ó
P ara
con
la
el
e s tím u lo O
n eu ron a
en
donde
pt.j
.
se
pm
e rror
o c u lt o .
77 = R a p i d e z d e a p r e n d i z a j e .
En
el
c a m b io s
p r o c e d im ie n to
sean
pesos.
El
in fin ita
a lg o r itm o
de
a p r e n d iz a je
v a lo r e s
en
nos
p ara
o s c ila ,
caso
de
que
el
v a lo r
P ara
fig u r a
a p r e n d iz a je
por
la
r a p id e z
a ju s ta r
que
la
lo s
C on
en l a
un
r e q u ie r e
con
la
La
c a n t id a d
c o n ce p to
de
n e c e s ita
a p r e n d iz a je
de
la
de
lo s
una s e r i e
pasos.
la
momentom
e
lo s
a
r a p id e z
red
d is m in u ir
a p r e n d iz a je
que
res p e c to
m ín im o .
n e c e s a r io
el
r a p id e z
pesos
fó r m u la s
a
de
es
se
e rro res
d e s c e n d ie n t e
d is m in u ir
lo
de a p r e n d iz a je
2 2 , la s
lo s
lle g a r
ocu rra.
de
a
g r a d ie n te
p ara
p e r m ite
a u m e n ta r
v e lo c id a d
de
pasos
g ra n d es
o c a s io n e s
de
p ro p o r c io n a le s
en
de
P ara
a lg u n a s
c o n s ta n te
se
puede
in c r e m e n t a r
la
red .
de
la
n eu ron a
q u e d a n com o s e
W
210
= W
+ r¡6
O
210
pSO p20
W
211
= W
+ T)ó
O
211
p31 p20
W
212
= W
+ f)6
O
212
p32 p20
32
1
del
n iv e l
2,
de
p r e s e n ta n a c o n tin u a c ió n :
la
T e r m in a d o
neu ron as
al
de
de
a ju s ta r
un n i v e l ,
se
lo s
p esos
retro ced e
de
p ara
la s
c o n e x io n e s
to m a r
otro ,
de
h a sta
la s
lle g a r
de s a lid a .
Paso 6.
R egresa a l
C u and o
p re s e n ta
el
el
e n tre n a r
paso 2 p ara
p a tró n
ha
s ig u ie n te
to d o s
lo s
s id o
p ara
p a tro n es
p re s e n ta r
un n u e v o p a t r ó n.
p ro p a ga d o
y
que
la
red
a ju s ta d o
lo
s e c u e n c ia lm e n te
lo s
p esos,
a p ren d a.
Se
se
p u ed en
o d e m a n e ra a l e a t o r i a .
ERROR GLOBAL
Con l a
el
p ro ceso
fin a lid a d
de
de saber
p r o c e d im ie n to c o n s is t e
C a lc u la r
el
E rro r
por
b)
C a lc u la r
el
E rro r
G lo b a l
a>
Se p ro p a ga e l
neu ron as
c o n tin u a c ió n
de
s a lid a ,
p a tró n
de
e s ta
c a lc u la
a p r e n d ie n d o
el
erro r
d u ra n te
g lo b a l.
El
c a lc u la r
el
error
en
que
p re s e n ta
a
pasos:
P a tró n .
de e n tra d a
s a lid a .
s e c a lc u la
p ara
la . r e d
se
en d os
a)
la s
si
e n tr e n a m ie n to
el
o b te n er
C on
p ara poder
la
f ó r m u la
p r o m e d io d e l o s
el
error
del
se
e rro res
p a tró n
de la s
e n tre n a d o
n eu ron as
en
ese
i n s ta n te .
e
b)
2
= -
p
G e n e r a l m e n t e e n un a r e d
p a tro n e s ,
por
lo
que
p a tró n ,
es
rct
.
i -o
n eu ron al
por
fó r m u la
qu e a p a r e c e a c o n tin u a c ió n :
p ara
o b te n er
E
d is m in u y e n d o
p ro ceso
en
caso
m a n t ie n e c o n s t a n t e
de
de
s e e n tre n a n c i e r t a
c a lc u la r
un
error
n
c a n t id a d
p r o m e d io
g lo b a l,
de
u tiliz a n d o
de
lo s
la
p
e n tr e n a m ie n to ,
que
el
= £E
g
el
ptj
n e c e s a r io
e rro res
En
o ..)2
ptj
la
red
e n un m ín im o l o c a l
33
el
erro r
a p ren d a,
de
u o s c ila .
g lo b a l
lo
debe
c o n tr a r io
ir
se
M INIMOS LOCALES
D u ran te e l
t r a y e c to r ia
de
la s
p u n tos
el
depen de
c o n e x io n e s .
C m ín im o s
e rror
p ara
e n tr e n a m ie n to d e l a
que
E s ta
g lo b a l
y
m a rc a d o s
en
la
en
donde
n e c e s ita
En
la
un
la
erro r
muy
23
del
g lo b a l
in ic ia l
p u ede
n ú m ero
son p r o b a b le s
MINIMO
F IG .
el
a lg u n a s
no
fig u r a
m in im iz a c ió n
c o n una c r u z
red ,
c o n fig u r a c ió n
t r a y e c to r ia ,
lo c a le s D
a b a n d o n a r lo s .
t r a y e c to r ia
de
de
o c a s io n e s
c o n tin u a r
g ra n d e
se
erro r
e ig u e
lo s
en c u e n tra
m in im iz a n d o
de
m u e stra
una
pesos
ite r a c io n e s
una
g lo b a l,
lo s
p o s ib le
p u n tos
m ín im o s l o c a l e s .
GLOBAL
2 3 TR AYE C TO RIA DEL ERROR GLOBAL CON
ALGUNOS M INIM OS LOCALES
UMBRAL DE CONVERGENCIA
P ara
p r e c is o ,
v a lo r ,
red es
n ú m ero
que
es
el
con
c u a l,
un
de
c o n v e r g e n c ia
de lo s
el
r e c o n o c im ie n to
n e c e s a r io
r e c ib e
n ú m e ro
p a tro n e s
C O .0 5 },
dos fa c t o r e s
de
m i n i m iz a r
el
a lto
a
ya
a n te s
n o m b re
de
el
de
umbral
se
error
m e n c io n a d o s .
34
p a tro n e s
erro r
neu ron as
e n tre n a r
que
lo s
el
de
debe
g lo b a l
e n tre n a d o s
g lo b a l
h a sta
de convergencia.
s a lid a
te n e r
o
un
d epen de
con
sea
c ie r to
un
u m b ra l
P ara
gra n
de
d ir e c t a m e n t e
2.
C A R A C T E R IS T IC A S DEL TRANSPUTER E IM PLEM ENTACION DE REDJAN
2 .1
MAQUINAS PAR ALE LAS
P a r a s im u la r
v e h íc u lo
el
c o m p o r t a m ie n t o d e
en c o l i s i ó n ,
e la b o r a d o s
c ir c u ito s
una
m o lé c u la
que
te n g a n
o
el
una
gra n
in s t r u c c io n e s ,
d e b id o
a
que
de
e fe c tu a r
en
base a
u n id a d e s
p e r m itir
s u p e r io r e s
a la s
que
usan do
v a r io s
b a ra to s
por
s e r ie s .
e s ta r
y con
en
caras,
d esea
de
de
la s
de
o p e r a c io n e s
u n id a d e s
la s
m enos
Adem ás l a s
d is e ñ a d a s
E s ta
a r q u ite c tu r a s
vez,
tip o
n ú m ero
de
p a r a le la s
que
la
se
p a r a le la s
respon der
m e jo r
m á q u in a s
h an d e
e
in c lu s o
más b a j o s .
p u e d en
ser
v e lo c id a d
se
p e r m ite
p ro d u zca n
un a
no
capaces
p ro c es a d o re s
p re s e n ta n
a
e s ta s
h o m ó gen ea s,
y a p r e c io s
de
p a r a le lo ,
de
e q u iv a le n te s
que
ya
p ero
en
n u evo
c a r a c te r ís tic a
y
la s
la s
de
t o d a v ía ,
la
de
v e lo c id a d
c o m p u ta d o r a s
de c á lc u lo
ya
c o m p le jo s
p ara
un
m á q u in a s
secu en ci a l e s ,
a
E s te
g ra n
p o te n c ia
c o n s t r u ir
con
de
capaces
a
La
p re s ta c io n e s
p ro cesa d o res.
ser
son
un
c o m p u ta d o r a s
a r q u ite c tu r a
a u m e n ta r á
de d a to s.
de
d is e ñ a r
s e c u e n c ia lm e n te
m o d e lo s
c o m p u ta d o r a s c l á s i c a s
p ro cesa d o res
le n t o s
La
el
c o m p o r t a m ie n t o
fa lta
s im u lt á n e a m e n t e
p a r a le la s ,
o b te n c ió n
el
h a cen
c á lc u lo .
m uchos
se
n ú m ero
e x te n d íb le
e s tu d ia r
e je c u ta n
muy
c a n t id a d
m a s iv a m e n t e
la
en v u e lo ,
c o m p le ja s ,
e s p e c ia liz a d a s .
ser
e llo
un g r a n
o
fá c ilm e n te
Los
em bargo
una g r a n
p a r a le la s
de
o p e r a c io n e s
Por
o
un a v i ó n
im á g e n e s
n e u r o n a l,
hoy,
s u e le n
in d e fin id a m e n t e .
red
p o te n c ia
s in
sus
m á q u in a s ,
una
de
a lg u n a s
in t e r p r e ta r
in te g r a d o s
de
s u p e rc o m p u ta d o ra s
e fe c tu a r
p ara
que
en
la
más
s u p le
sean
g ra n d es
v e n ta ja
a m p lia
gam a
de
de
n e c e s id a d e s .
T o d a v ía
y
de
m á q u in a s
e m p le o .
de
es
n e c e s a r io
d e s a r r o llo
y
p ara
a u m e n ta r
el
P o rq u e p o n e r la s
c o n e c ta r
n e c e s ita n
un
in d is p e n s a b le
e n tre
m illó n
hacer
si
de
hacer
un g r a n
a d q u ir ir
un
m uchos
n e c e s a r io
un
p ro c es a d o re s ,
lo
e s tu d io
35
in v e s tig a c ió n
p r á c t ic o
fu n c io n a m ie n to e s
c a b le s ,
de
d o m in io
c o n o c im ie n to
en
e s fu e r z o
p e rfe c to
cual
p ara
no
es
c o m p le jo .
ya
que
de
No s e
con
r e a liz a b le
d e fin ir
la
e s ta s
p ara
su
tra ta
m il
aún;
se
es
to p o lo g ía ,
s in c r o n iz a c ió n
la b o r a to r io s
y
que
in t e r c a m b ie n
buscan
in t e r c o n e x io n e s .
la
S in
a r q u ite c tu r a ,
lo
p r o g r a m a c ió n
que
es
in fo r m a c ió n
to p o lo g ía
em b argo
ta m b ié n d e
que
el
e fic a z m e n te .
m in im iz a r ía
p r o b le m a
"s o ftw a re ",
h a b ít u a lm e n t e s e
n ú m e ro
de
es
4s ó l o
de
no
ya que lo s
e m p le a n
se
M uchos
el
le n g u a je s
han c r e a d o
de
p ara
m á q u in a s s e c u e n c i a l e s .
Los
p e se n ta n
b a jo
m ic r o p r o c e s a d o r e s ,
la
v e n t a ja
p r e c io .
de
D esde
c o m p o n e n te q u e s e r í a
es
el
tr a n s is to r
fu n d a m e n ta l,
in te g r a r s e
en
1979,
de
un
1985
al
mm ,
con
en
en
fu n d a m e n t a l
en
v a r io s
d a to s
2 .2
de
un
la s
s o lo
de
con o tro s
se
que
p ro gra m a
fu e
El
a b arca
e fic a z
un a
v a r ia s
in t e r c o n e x ió n
r á p id o s ,
e s tu d io
un
c h ip
de
que
de
45
se
ha
c o m p le ta
com o
com o
y a b a jo
una
T ra n s p u te r
c á lc u lo ,
p e r m it e n
la
im p o r t a n t e ,
p a r a le lo s
c o m p o n e n te s
en
o fr e c e n
n ú m ero
C ad a
a
lu g a r
fa m ilia
T ra n s p u te r
u n id a d e s
o con o t r o s
p ara
INMOS
u tiliz a d o s
d e s is te m a s
p a r a le la s .
d io
to d o
un
al
que
p ie z a
T ra n s p u te r
sob re
en
el
a
un
lo
una
in ic ia
p r o g r a m a b le s ,
m á q u in a s
T ra n s p u te r
p a r a le la s ,
e s e n c ia le s
v e r s ió n
p ero
y
e n c o n tra r
g é n e ro , d e s t in a d o
E s te
1 9 8 3 ).
c o n s id e r a
c h ip
n u evo
p r im e r
g e n é r ic o
c h ip ,
La e m p resa b r i t á n i c a
red .
de
s o lo
e le c t r ó n ic o s ,
un
in te r c o n e c ta r s e
a n te r io r
e n la c e s
p ie z a
pu ede
m e m o r ia
y
in t e r c a b ia r
a su a l r e d e d o r .
HARDWARE DEL TRANSPUTER T 8 0 0
El
R IS C
C La
un
c a n t id a d e s
d esea
in v e s t ig a d o r e s
en
fin a le s
una r e a l i z a c i ó n
lo
se
c o n d ic io n e s
de
in te g r a d o s
de
p e r m itie n d o
Por
a
en
gra n d es
m a s iv a m e n t e
p a r a le la .
in d e p e n d ie n te s ,
p o s ib ilid a d
r e u n ir
la s
d e c ir ,
un n o m b re
p ro cesa d o res
c o s to .
es
T ra n s p u te r
c o m p o n e n te s
t ie m p o
p e r t e n e c ie n t e a
g ru p o ,
c á lc u lo
en
c o m p o n e n te s
r e u n ie r a
p re s e n tó
c o n v e r tid o
de
m á q u in a s
la s
un p e q u e ñ o g r u p o
p r im e r
se
a
a una a r q u i t e c t u r a
c o m p o n e n te
tr a b a ja r
m ucho
lo s
de
fa b r ic a r s e
h a ce
a
que
u n id a d e s
poder
T ra n s p u te r
C R edu ced
c a r a c te r iz a n
tr a b a ja r
con
[3 0 ,3 7 ,3 8 ,3 9 3
In s tr u c tio n
por
te n e r
" p ip e lin e ".
un
Set
es
n ú m ero
Aun que,
d e s c r ito
C o m p u te r )
pequeño
t a m b ié n
36
com o
[4 0 3 ,
de
c u e n ta n
un
p ro cesa d o r
lo s
c u a le s
in s t r u c c io n e s
con
un n ú m e ro
se
y
de
in s tr u c c io n e s
m e n s a je s .
c o n c e r n ie n t e s
Un
p ro gra m a
T ra n s p u te r.
el
"h a rd w a re ",
s in
c o m u n ic a c ió n
e n tre
pu ede c o r r e r
en v a r i o s
la
cu al
tie n e
es
" s c h e d u lin g "
m a n e ja
la
in t e r v e n c ió n
s in c r o n iz a c ió n
T ra n s p u te r
ai
c o n c u rre n te
p ro ceso s
a
por
4 e n la c e s ,
m e d io
del
de
"s o t tw a re "
es
c o m p lic a d a .
y el
en
por
El
o
La
del
la
p ro gra m a
d e m e n s a je s
c o m u n ic a c ió n
e n tre
de
s ó lo
k e r n e l}*
m ism o
e n la c e s ,
c o n e c ta n
un
m e d io
Cun
in t e r c a m b io
"h a rd w a re ".
se
in t e r c a m b io
c o n c u r r e n c ia
c o n e x io n e s
c u a le s
ai
correr
de
p ro c es a d o re s
tra v é s
lo s
no
y
pu ede
cada
e llo s
y
e n tre
T ra n s p u te r
o
a lg ú n
otro
d is p o s itiv o .
Los
T ra n s p u te r
T212
es
un
p ara
el
T800
Mf l o s
se
c á lc u lo
2. S
M flo p s .
86000 d e D i g i t a l
Por
p o s ib le
ser
el
de
i m p le m e n t a r
en
T ra n s p u te r
d e s e ñ a le s .
El
p e r m itie n d o
él
que
una
un p r o g r a m a
u tiliz a n
y
son
de
que
por
T800.
32
El
b its ,
c a lc u la
1 .5
Segundo}
una
y el
p o te n c ia
que
a segu ra
c o rre c to
com o
se
tr a b a ja
en
v e lo c id a d
p ara
en
la
p a r a le lo
muy a l t a ,
s im u la c ió n
T800,
por
eso
a p i ic a c io n e s ,
s ín te s is
in t e r n a m e n t e
r e a liz a r
de
flo ta n te
que
b in a r ia
a
la
g ra n d es
h ace
cada
e s p e c ific a
im a g e n
de
de
y
es
red es
s e e x p lic a r á
la
com o,
la
p r o c e s a m in e to
p ara
ta le s
d e p u n to f l o t a n t e ,
v e lo c id a d e s .
e x te n s iv o
o p e r a c ió n
por
ta le s
y
e fic ie n c ia
un c o p r o c e s a d o r
o p e r a c io n e s
el
uso
p ro d u zca
A N S I . IE E E
de
un
S ta n d a rd
La
u n id a d
té c n ic a s
r e s u lt a d o
7 5 4 -1 9 8 S
d e p u n to f l o t a n t e .
IM S T 8 0 0 c o n t i e n e
s ó lo
a
un T r a n s p u t e r
r o b o t,
fo r m a le s
ta n
T-414
d e un a m in ic o m p u t a d o r a VAX
IM S T 8 0 0 p u e d e in c r e m e n t a r
te n e r
p ara a r it m é t ic a
T 8 0 0 -2 0
p re s e n ta
m á q u in a
flo ta n te
se
p u n to
El
T800
c e n tra l
de
p ara
y es
el
dos
d e ta lle .
c o n tro l
d is e ñ a d a
el
una
p u n to
Se c u e n ta con
por
T212,
o tro s
d e P u n to F lo t a n t e
u n id a d
T ra n s p u te r
s im u la c ió n ,
s is te m a s
lo s
lo s
v e r s io n e s ,
Aun que,
a la
s u h a r d w a r e a m ayor
Los
dos
son
b its ,
E q u itm e n t.
c á lc u lo s
n e u r o n a le s .
16
d e O p e r a c io n e s
e q u iv a le n t e
r e a liz a r
c o n o c id o s
de
tie n e n
C M illo n e s
T 8 0 0 -3 0
más
p ro cesa d o r
un 20% más
in t e r n a m e n t e
g ra n d e
que
37
la
T414.
u n id a d
El
d e p u n to f l o t a n t e
p ro c es a d o r
de
p u n to
flo ta n te
El
r e lo j
W TL1167 p a r a e l
T800
es
d ir e c c io n a
80386 d e I n t e l
4
G ig a b y te s
d e 2 0 MHz, e j e c u t a
S e g u n d o ),
In te r n a .
t ie n e
P ara
s o ftw a r e
4 M b y te s
m ín im o ,
d ir e c c io n e s
y to d o s
un d i a g r a m a d e l
lo
C ada
fá c ilm e n te
4 de
red
de
4
red
se
c o n s id e r a
con
o tro s
fr e c u e n c ia
de
m u estra
red.
la
1 .7
con
de
un
M e m o ria
c o s to
tr a n s m itir
en
La f i g u r a
de
am bas
24 m u estra
c o n 4 E n la c e s .
tie n e
sus
T ra n s p u te rs ,
4
e n la c e s
h o m ó lo g o s .
p a r c ia l
o
que
R e s u lta
to ta lm e n te
com o una s u p e r c o m p u t a d o r a ,
tra n s p u te r
DMA
de
Por
2 4 ENLACES DE UN TRANSPUTER
T ra n s p u te r
con
fr e c u e n c ia
y 4 K B y te s
el
p u ed en
la
d e In s t r u c c io n e s
h a c e n s im u lt á n e a m e n t e .
T ra n s p u te r
F IG .
u t iliz a
e n la c e s
d e 3 c h ip s .
m e m o r ia ,
m e m o r ia e x t e r n a
d a to s
lo s
de
1 0 M IP S C M i l I o n e s
de
tr a n s fe r ir
r e q u ie r e
s u c e s iv a m e n t e .
M e g a B y te s
por
La
segu n d o
38
le
p e r m it e n
s e n c illo
in t e r c o n e c t a d o s .
que
p o d r ía
in fo r m a c ió n
en
d ia lo g a r
c o n e c ta r
el
T 8 00 .
c o n ec ta rs e
c ir c u la
La
una
E s ta
a
fig u r a
una
23
La
s e r ie
INMOS e s t a
e s q u e m a t iz a
una o d o s
al
en
fig u r a
C,
res e t,
e tc .),
de
p a r a le la s .
y
de
a
Se
p ro g ra m a s
de
26.
la
Se
F PU ) ,
de
e s to s
el
una
e x te rn a s
in t e r fa z
ha
por
c a r a c te r iz a n
C dos p a r a
s e ñ a le s
una
p e r m it e n
E s ta s
c o n s id e r a b le
d e s a r r o lla d a
la
fir m a
una m ism a a r q u i t e c t u r a
de c á lc u lo
CPU
h o m ó lo g o s .
d ific u lta d e s
sob re
fig u r a
g e s tió n
que
su s
la
la
de
con
tra n s p u te r
u n id a d e s
u n id a d
e n la c e s
de
e la b o r a d a
de
d is e ñ a d o
de
in te r n a ,
a n á lis is ,
e x te rn a
d ia lo g a r
que
y
pueda
c o n s ig u e n
r e u n ir
c u a le s
una
error,
c u a tro
e je c u ta r
p ara
lo s
de
de
s im u lt á n e a m e n t e
e s p e c ia lm e n te
a r q u ite c tu r a s
p ro c es a d o re s ,
se
en
m e m o r ia
p ara
que
T 8 0 0 com o s e o b s e r v a
m e m o r ia
la
b r it á n ic a
base
p r e s e n c ia
C r e lo J ,
c o m p o n e n te s
e s c r ito s
por
de
c o la b o r a n
s in
a r q u ite c tu r a s
un
en
una
n ú m ero
m ism a
ta re a .
F IG .
El
2 6 ARQUITECTURA B A S IC A DE LA S E R IE DE TRANSPUTERS
T ra n s p u te r
es
o r ig in a l
p orqu e
39
p e r m ite
que
el
p ro cesa d o r
c e n tra l
C C P ID ,
v ía s
de
el
c a r a c te r ís tic a
T ra n s p u te r
que
la
de
CPU
o
p ie r d a
CFPU,
cerca
de
cada
la
CPU
que
c o n cu rre n te s
lo s
in c r e m e n t a n d o l a
2 .3
por
la
u s an
con
de
c u a tro
el
E s ta
m ié n tr a s
h o m ó lo g o s .
el
E v ita n d o
re s to
e tc .).
m em o ria
de
lo s
p u e s to
que
in te r n a ,
v e lo c id a d
c o n s id e r a r
acceso
c a m b io s
v e lo c id a d
sus
m a n te n e r
el
tr a b a je n
e x te rn a ,
puede
es
la s
a
la
com o
m e m o ria
m ayo r
de
un a
in s tr u c c io n e s
m em o ria
lo s
e x te rn a
b lo q u e s
fr e c u e n c ia .
c o n te x to
se
a d a to s
b lo q u e s
en
que
de a cc e so
son
por
c o n tie n e n
En
muy
p ro ceso s
r á p id o s ,
d e p r o c e s a m ie n to .
LENGUAJE DE PROGRAMACION OCCAM2
El
d is e ñ o
a r q u ite c tu r a
fo r m a lm e n t e
un
Occam 2
T ra n s p u te r
se
O ccam 2 e s
d e s t in a d o
in c o m p le t o s i n
[4 1 ,4 2 ,4 3 ,4 4 ]
a n te s
e m p le a
en e l
del
c o m p o n e n te
s e r ía
d e fin id o
in t e r e s a n t e
s u r g id o
de
p a r a le la
p ro gra m a d ó n .
El
se
y
ta m b ié n in c r e m e n t a s u v e l o c i d a d
e je c u ta r ,
se
de
en d o n d e l a
e v ita r
a
FPU
c o n tr o la r
T ra n s p u te r
m a y o r,
p ara
in s tr u c c io n e s
p ara
CFPID
s im u lt á n e a m e n t e .
y
m e m o r ia
p r in c ip a l
in s tr u c c ió n
flo ta n te
in fo r m a c ió n
c h ip ,
es
fu n c ió n
CPU
in fo r m a c ió n
del
in s tr u c c io n e s
su
El
p u n to
la
t ie m p o
de
d e n tro
que
e n la c e s ,
p r o c e s a m ie n to
cache,
de
fu n c io n a n
r e c ib e
s o n a u tó n o m o s .
en c u e n tra
e
p e r m ite
e n v ía
c o m p o n e n te s
to d o s
p ro cesa d o r
c o m u n ic a c ió n
de
com o
un l e n g u a j e
m o d e lo
de
P r o c e s s e s ), d e s a r r o lla n o
por
s im p lic id a d
c o rre c ta
com o
s is te m a s
c o le c c ió n
e je c u ta r lo s
en
O ccam 2
un a
e n to rn o ,
e q u ip o
s in tá c t ic a
de
un a
el
es
de
y
un
de
e n tid a d
por
que
o tra s
o
p a r a le la
p a r a le la
en
H o a re .
d e ja
en
in t e r c a m b ia
e n tid a d e s
40
del
p ero
es
en l a
p ara
la
exp resar
que
U n iv e r s id a d
un a
n o ta b le
c o n s t r u c c ió n
un
p ro gra m a
es
p o s ib le
p a r a le lo s .
Un p r o c e s o
in fo r m a c io n e s
m ism o
n iv e l,
C C o m m u n ic a tin g
P re s e n ta
c o n c u rre n te s
v a r io s
le n g u a je
T ra n s p u te r.
de a lto
CSP
in ic ia lm e n te
0 cca m 2
p ro ceso s
una
com o r e d .
fo r m a lis m o
p a r a le lo s .
un t r a n s p u t e r
fo rm a d o
C .A .R .
un
del
a
adecuado de
in d e p e n d ie n te ,
d e p r o g r a m a c ió n
de
de
h a rd w a re
p ro cesa d o r
p r o g r a m a c ió n
in t e g r a r s e
tra ta
el
m om ento e n q u e s e u t i l i z a
S e c u e n t ia l
O x fo r d
se
d is e ñ a r
a
un l e n g u a j e
tip o ,
con
su
m e d ia n t e
m e n s a je s
e n v ia d o s
verd a d ero s
E s te
p r o to c o lo
h a rd w a re con
Las
son
el
de
a tra v é s
c o n ta c to s
b á s ic o
lo s
s im b o lo
lo s
de lo s
P ara
la
? p ara e n tra d a
e
v
c a n a le s ,
y
c u a le s
e n la z a n
se
c o n s t itu y e n
lo s
e s ta b le c e
p ro ceso s.
a ’n iv e l
de
T ra n s p u te r.
del
le n g u a je
c o m u n ic a c ió n
!
lo s
que
c o m u n ic a c ió n
o p ro ceso s
n iv e l.
ch !
ch ?
El
de
e n la c e s
p r im itiv a s
a lto
de
u n id ir e c io n a le s
p ara la
d e p r o g r a m a c ió n
e n tre
s a lid a ,
pocesos
por
se
Occam 2
u t iliz a
e je m p lo :
s a lid a
e n tra d a
c o n stru c to r
s e c u e n c ia lm e n te .
SEQ
por
p e r m ite
e je c u ta r
una
s e r ie
de
p ro ceso s
e je m p lo :
SEQ
A : = 4
B : — A + 42
ou t ! B
El
por
c o n s tru c to r
PAR e j e c u t a
una s e r i e
de
p ro ceso s
en p a r a l e l o ,
e je m p lo :
PAR
A : = 4
B : = A + 42
ou t ! B
P ara e je c u ta r
se
usa e l
una s e c u e n c i a
c o n stru c to r
WHILE,
por
h a sta
que s e
c u m p la una c o n d i c i ó n
e je m p lo :
WHILE A < 1 0 24
in ? A
A : = A * A
Out ! A
P ara
r e a liz a r
c o n s tru c to r
lo s
i
c o n stru c to re s
p a r a le lo
a la
Var
la s
un n ú m ero
= O FOR N,
SEQ,
neu ron as
PAR,
de la
e s p e c ific o
en d o n d e V ar
IF ,
red ,
ALT.
de
E s te
o h acer
it e r a c io n e s
pu ede s e r
se
c o n s tru c to r
fu n c io n a r
u sa
s u s titu id o
v a r io s
e v a lú a
el
por
en
p ro ceso s
vez.
PAR 1 = 1
PAR
P C I)
Q C I)
PAR
PAR P = O FOR
N
WHILE TRUE
SEQ
C [ PJ ? X
CCP+13 • X
P ara
a s ig n a r
c o n stru c to r
p ro ceso s
PLACED PAR,
por
a
d ife r e n te s
e je m p lo :
41
FOR
T ra n s p u te r
se
e m p le a
el
PLACED PAR
PROCESSOR 1
PI
PROCESOR 2
P2
2 .4
IN S T A L A C IO N DEL TRANSPUTER
El
T ra n s p u te r
c o m p u ta d o r a
P C /A T
c o m u n ic a c ió n
h a c ia
c o n ju n to
p ara
de
lo
la
p u e rto s
e n v ia r
m u estra
y
el
se
e n cu en tra
SPE R R Y,
la
n o d r iz a
y
h a c ia
otro
p ara
in s ta la d o
cu al
se
el
s ir v e
lle v a
a
tra n s p u te r
r e c ib ir
d e n tro
com o
cabo
por
a
tra vé s
dos
in fo r m a c ió n .
de
un a
n o d r iz a .
La
de
c a n a le s ,
La
un
uno
fig u r a
27
m e n c io n a d o a n t e r i o r m e n t e .
F IG .
2 7 ENLACE ENTRE E L TRANSPUTER Y LA NODRIZA
PUERTOS DE COMUNICACION
A c o n tin u a c ió n
p u e rto s
e m p le a d o s
se d e s c r ib ir á
p ara
la
c a d a una d e l a s
c o m u n ic a c ió n
del
fu n c io n e s
tra n s p u te r
de lo s
h a c ia
la
n o d r iz a .
L IN K . READ.
el
Por
e s te
p u e rto
la
n o d r iz a
r e c ib e
lo s
d a to s
que
e n v ía
T ra n s p u te r.
L IN K . W RITE.
Por
m e d io
de
e s te
p u e rto
manda
d a to s
la
n o d r iz a
al
T ra n s p u te r.
L IN K . I N . STATU S.
n o d r iz a
que
Es
esp era
e m p le a d o
un
por
m e n s a je .
el
T ra n s p u te r
Adem ás
42
es
p ara
u sado
in d ic a r
p ara
a
la
h a b ilit a r
o p e r a c io n e s
d e A c c e so D ir e c to
L IN K . OUT. STATU S .
que t i e n e
A tra v é s
un d a t o
p ara
de
a M e m o ria .
él
e lla .
in d ic a
T a m b ié n
el
es
T ra n s p u te r
u sado
p ara
la
n o d r iz a
A cceso
a
D ir e c to
a M e m o ria .
L IN K . RESET.
Es
e m p le a d o
por
la
n o d r iz a
p ara
in ic ia liz a r
al
T ra n s p u te r.
L IN K . ERROR.
En e s t e
s is te m a
T ra n s p u te r.
del
L IN K . ANALYZE.
T ra n s p u te r,
Es
p u e rto
u sado
p ero
se
s e ñ a la
ju n to
con
p reserva n d o e l
si
ha s u c e d i d o
L IN K . RESET
e s ta d o
del
p ara
un e r r o r
en e l
in ic ia liz a r
p ro c es a d o r
del
el
m ism o.
CANALES DE COMUNICACION
Son
c a n a le s
T ra n s p u te r,
lo s
m á q u in a n o d r i z a ,
FROM. L IN K .
to d o s
canal
d a to s
TO. L IN K .
Se
a s o c ia d o s
son
se
u sa
p ara
se
la
que
c a n a le s
fís ic o s
p a r a c o m u n ic a r s e
del
con
la
d e s c r ib e n .
e m p le a
que e n v íe
con
e m p le a d o s
a c o n tin u a c ió n
E s te
lo s
ló g ic o s
c u a le s
por
el
T ra n s p u te r
p ara
r e c ib ir
m á q u in a n o d r i z a .
el
T ra n s p u te r
m ande
in fo r m a c ió n
a
la
n o d r iz a .
P ara
la
p ro g ra m a s
un p r o g r a m a
de
s e r v id o r
r e c ib ir
T ra n s p u te r,
T ra n s p u te r
de
c o m u n ic a c ió n
p ara d e fin ir
lla m a r
fu n c ió n
n o d r iz a ,
a
m á q u in a s s e c u e n t a c o n
v a r io s
lo s
p r o to c o lo s
E x is te
que
corre
en
la
in t e r p r e ta r
la
el
p ro gra m a
ll a m a
la
el
r u tin a
se
se
p ro gra m a
p ro gra m a
c om o
HARNESS n o s
dos
e
co rre
del
de la s
y m a n e ja r
del
pu ede
es
p e r m ite c o r r e r
HARNESS,
p ara
en
en p a r a l e l o
F IL T E R .
43
cual
que
la
el
el
se
cual
que
se
2 8.
en
El
el
el
en carga
p ro ceso .
l a c o m u n ic a c ió n
fig u r a
en ca rga
t r a n s m ite
c r e a r un n u e v o
e n ta b la r
a p r e c ia r
el
AFSERVER. M i e n t r a s
lla m a d o
u s u a r io
F IL T E R
n o d r iz a ,
in fo r m a c ió n
n e c e s a r io s .
con
La
la
p ro gra m a
p ro gra m a d e u s u a r io
y el
F IG .
El
es
el
d e fin ir
p r o to c o lo
le n g u a je
e s tru c tu ra s ,
lo
en
un
del
e s ta
se
d ir e c t a m e n t e
c o n s is te
el
c o m u n i c a c ió n
lo s
p ro ceso s
c o n ju n to
te rce r
d iv id o
tr e s
n iv e le s .
de
F IL T E R
p r im itiv a s
Y
b á s ic o ;
El
por
A F server.
que
s ir v e n
El
p ara
n iv e l.
que
es
d e p r o g r a m a c ió n
com o
le n g u a je s
T u rbo
u sar
c o n ju n to
de
la s
un
v a r ia b le s
más i m p o r t a n t e s
A la s
p e r m ite n
Occam 2 n o t r a b a j a
h a cen l o s
con a p u n ta d o re s
C Y P a s c a l.
a r r e g lo s
Por
p ara
la
d e REDJAN.
Se e x p lic a r á n
fu n c io n e s
lo
n e c e s a r io
i m p le m e n t a d ó n
v a r ia b le s
h acer
la s
con
dar
d im e n s io n e s
tip o
y s u m áxim a c a p a c i d a d
e s tá tic a s
p ara e l
e s tá tic a s
c a m b io s
p ara
se
le s
s e n c ille z
en l o s
se
a s ig n a
a r r e g lo s .
p re s e n ta n
100.
N eu ro n a s d e l n i v e l
de
:=
100.
N eu ro n a s d e l n i v e l
de
M ax. N i v . O cu
:=
5 .E n t r e
de
un
a r r e g lo s
v a lo r
c o n s ta n te ,
del
Las v a r ia b le s
p ro gra m a ,
de
e s te
e n tra d a
e n tra d a .
s a lid a .
y
de
s a lid a
tie n e
más 5 n i v e l e s .
M ax. C o n e x . N eu : =
M ax. N eu . O cu : =
100.
100.
C o n e x io n e s
C a n tid a d
de en tra d a
o d e s a lid a .
d e neu ron as d e l o s
44
y
p ro gra m a .
a c o n tin u a c ió n :
:=
n iv e l
del
d e n tro
M ax. N eu . S a l
el
y d i n á m ic a s ,
e n te n d im ie n to
M ax. N eu . E n t
a lo
en
b a s a e n un p r o t o c o l o
IMPLEM ENTACION DE REDJAN
El
y
de
d e más b a j o n i v e l ,
m a n e ja d o
segu n do,
2 .5
PROCESOS DE ENLACE ENTRE TRANSPUTER Y N O D R IZ A .
s is te m a
p r im e r o ,
él
28
n iv e le s
o c u lt o s .
Max. Num. P a t
te n e r
:=
100.
100 p a r e s
Una
vez
n ú m ero d e
n eu ron as
de
que
lo s
de
P ara
el
p a tro n es
es
de
n iv e le s
e je c u ta d o
o c u lt o s ,
s e ocu pan la s
la
n eu ron as
de
n eu ron as
N o. N l v . O cu .
N ú m ero
de
n iv e le s
N o. C o n e x . S a l .
N úm ero d e c o n e x i o n e s
P orc.
R a p id e z d e a p r e n d i z a j e .
N ú m ero d e p a r e s
E r.P a t.
E rror
E r. G lo b a l.
A
E rro r
la s
el
o p c io n e s
que
se
en
u m b ral
y
la
el
red.
d in á m ic a s .
de s a lid a .
e n una n e u r o n a .
p u ed en
lo s
p a tro n es
se
le s
ser
e n tre n a d o s .
a s ig n a r á
c a m b ia d o s
por
un
m e d io
v a lo r
de
un a
al
de
menú.
:=
n e c e s ita m o s
d e tie n e
v a r ia b le s
p ro gra m a ,
U m b ra l. C o n v e r g
de
a e n tre n a r.
p r o m e d io d e t o d o s
del
s a lid a
o c u lt o s .
de e n tra d a
de p a tro n es
el
p a tró n .
s ig u ie n te s
e je c u ta r s e
la s
por
de
d e e n tr a d a .
de
N úm ero
p u ed en
d e fin ir
e s tru c tu ra
v a r ia b le s
N ú m ero
se
n iv e l e s o c u lt o s ,l a c a n t id a d d e
s ig u ie n te s
N o. N eu . S a l .
N o .P a t.
red
n eu ron as
fo r m a r
N o. N eu . E n t.
A p ren d .
la
d e s e a d a ).
d e b e m os
de
c u a n ta s
p ara
de
y s a lid a
e n tra d a *
a p r e n d iz a je ,
a n te r io r
e n tr e n a m ie n to
C e n tra d a
e l p ro gra m a
n eu ron a s
p o r c e n ta je
P ara l o
de
O .0 0 0 S .
se
el
La v a r ia b le
a ju s te n
lo s p esos
m om ento
que s e
nos
de
in d ic a
la
a lc a n z a
red ,
un
con que p r e c is ió n
el
e n tr e n a m ie n to
v a lo r
m enor
al
de
d e c o n v e r g e n c ia .
UNO : = 0. 9
CERO : = 0 . 1
Las
v a r ia b le s
s im é tr ic o s
Si
g r a fic a m o s
e n tre
que
e n tre
se
usam os
0
y
1,
la
p ero
de
y
CERO
por
fu n c ió n
r e c o m ie n d a
v a lo r e s
UNO
0 y 1,
de
a lc a n z a r
a s ig n a r
1
p ara
p e r m ite n
e je m p lo
e x p e r im e n t a r
0 .8
p ara
p r o p a g a c ió n
sus s a lid a s
lo s e x tre m o s
es
v a lo r e s
UNO y
0
45
e n tre
p ara
con
v a lo r e s
UNO y 0. 2 p a r a
d ifíc il,
ra n g o
CERO e l
de
CERO.
s e en c u e n tra n
razón
0. 9
y
por
0 . 1.
a p r e n d iz a je
de
lo
Si
la
red
es
más
Los
por
a r r e g lo s
neu ron al
la s
le n to
se
tra ta r
y fu n c io n e s
e x p lic a n
d im e n s io n e s
de
se
lle g a r
p ara
1
fo r m a r
a c o n tin u a c ió n ,
p r o p o r c io n a r o n
al
el
y 0 en
la
a r r e g lo
se
neu ron as.
Los
e s tím u lo s ,
p ara
n iv e l
la
por
1
lo
de
ta n to
s ig u ie n te
a lm a c e n a n
p esos
se
lo s
fig u r a
2
29,
pesos.
pesos
cu al
: = O. 0 2 8
b)
PES. RED. NEUC1 ] CO] C23
:=
N IVEL
tie n e
la
red
de
c o n e x io n e s
n eu ron a
la
2
que
n eu ron a
a r r e g lo
e n v ía
de
En
la s
lo s
O C cero)
c o n e x io n e s
del
de
del
s a lid a
quedan
de
y
la
- 0 .7 3
1
NIVE L
2
2 9 ESTRUCTURA PARA MOSTRAR
DE S A L ID A ,
la
c a n t id a d
n eu ron a
NIVEL
3
LA CANTIDAD DECONEXIONES
DE ENTRADA YSUS RESPE CTIVO S PESOS
íM a x .N e u . E n t ) I M a x .C o n e x .N e u l
c o n tr o la r
la
de
v a r ia b le s
m an era:
PES. RED. NEUC1] C O ]C 1 ]
P ara
la s
R E AL32 PES. RED. NEU.
la s
la
e le m e n to s
a)
F IG .
en
de
u tiliz a r e m o s
la
Los
de
a n te r io r m e n te .
gu arda n
e je m p lific a r
s a lid a s .
e s tru c tu ra
v a lo r
[ Max. N i v . Ocu+1 ] [ M ax. N eu . E n t ] í M ax. C o n e x . N e u l
e s te
la s
de
O C c e ro D
IN T
N o. C o n e x . S a l .
c o n e x io n e s
n iv e l
1 de la
de
s a lid a
fig u r a
Se
de
29 e l
cada
usa
p ara
n eu ron a.
a r r e g lo
queda
com o s i g u e :
N o. C o n e x . S a l [ 1 ] [ 03
:= 2
[ Max. N eu . E n t 1 I Max. C o n e x . N eu l
c a n t id a d
1 del
d e c o n e x io n e s
n iv e l
2 de la
IN T
No. C o n e x . E n t .
de e n tra d a de cada
fig u r a
29,
al
46
a r r e g lo
A lm a c e n a
n e u r o n a .P a r a l a
c o n tie n e :
n eu ron a
la
N o .C o n e x .E n t C 2 3 C 1 3 : =
3
[ Max. N i v . Ocu+1 1 l Max. N eu . E n t 1 t Max. C o n e x . N eu i
e s te
a r r e g lo
c o n e x io n e s
el
n iv e l
se
de
a lm a c e n a
e n tra d a a
Cun d í g i t o ) ,
La
n eu ron a 1
c o n e x io n e s
de
e n tra d a ,
y 2.
La d ir e c c ió n
el
n iv e l,
p ara
el
n ú m ero d e
a r r e g lo
lo s
n e u ro n a .L a
la
p r im e r
00
c o n e x ió n .
la
se
y
la
29,
n eu ron a
de
y
en
3
n e u r o n a O,
donde 1 es
lo s
lo s
por
C dos
t ie n e
1y d e l a
10000,
En
la s
c om p on e
c o n e x ió n
la fig u r a
es
de
ú ltim o s
tre s
00
e le m e n to s
q u e d a n com o s i g u e :
:=
10000
D i r . P e s .C o n e x C 2 3 [ 0 3 C 13 : =
10100
c)
D ir
10200
P e s . C o n e x t2 3 C 0 3 C 2 3
in c is o
que s e
de e n tr a d a .
a ),
tra ta
c o n v ie r te
en
lo s
:=
lo s
del
s u b ín d ic e s
n iv e l
La d ir e c c ió n
su c o n t e n i d o
del
2,
del
n eu ron a
p eso de la
s u b ín d ic e s
del
a r r e g lo
D i r . P e s . C on ex nos
1
c o n e x ió n
y
la
c o n e x ió n
a r r e g lo
es
0 C cero)
10000,
el
cual
PES. RED. NEUC1 3 C03 [ 03
y
e s 0 . 2 8.
í M ax. N i v . O c u + 2 ]
de
p esos
d e ln i v e l
c o n te n id o
D i r - P e s . C onexC21 [0 3 C 0]
se
de
p ara
b)
En e l
2
c o n e x ió n
El
D ir - P e s .£ o n e x .
lo s
d íg it o s )
qu e v ie n e n
a)
d ic e n
de
d ir e c c ió n
C dos
n iv e l
p rim e r o s
la
IN T
d ir e c c ió n
n eu ron a
del
p ara
p ara
del
una
la
d íg it o s ).
la
IN T
N o. N eu . O cu.
S ir v e
p ara
a lm a c e n a r
la
c a n t id a d
n eu ron as d e cad a n i v e l .
C rea . N e u ro n a s O .
lim p ia r
to d o s
c a n t id a d
c a n t id a d
de
neu ron as
la
n iv e l,
n eu ron as.
Una
con
Al
I ni c . P es. R edO
a le a to r ia m e n t e
e n tre
a
la
fu n c ió n
u sarán .
e n tra d a ,
cada
uno,
que
se
fu n c ió n
te r m in a r
p ara
lla m a
que s e
L im p . R e d O
D espu és
n ú m ero
n ú m ero d e
de
nos
n iv e le s
n eu ron a s
p ara
p re g u n ta
la
o c u lt o s ,
de
s a lid a
y
d e a p r e n d iz a je .
vez
e s ta
de
de
r a p id e z
C re a . C o n e x O .
cada
in ic io
a r r e g lo s
neu ron as
de
fin a lm e n te
Al
lo s
a s ig n a
se
la s
c a n t id a d
la s
c o n e x io n e s
a s ig n a r le
-0 .9 9
la
crea n
un
y 0. 99.
47
peso
de
neu ron as
c o n e x io n e s
lla m a
a
la s
la
e n tre
en
la s
fu n c ió n
c o n e x io n e s
1
S a lv a . A r c h O .
m a g n é tic o .
La
Lo
fu n c ió n
pu ede
S a l v a . Compt I N T
p e r m ite
hacer
f i l e , id )
S a lv a . T x tC IN T
de
y
s a lv a r
m a n e ra
en
fo r m a
file .id ),
e s tá s
C on
fu n c ió n
la
e s tru c tu ra
c o m p a c ta
de
fu n c io n e s
con
te x to
son
en
la
con
la ’
l la m a d a s
d is c o
fu n c ió n
por
fu n c ió n
m e d io
de
un subm enú.
C a rg a . A r c h O .
d is c o
e s ta
m a g n é tic o .
fu n c ió n
Es
p o s ib le
p od em o s
h a c e r lo
C a r g a . C om pC INT f i l e . i d )
C a rg a . T x tC IN T
file .id ),
e s tá s
cargar
de
la
m a n e ra
e s tru c tu ra
c o m p a c ta
y en fo r m a d e t e x t o
fu n c io n e s
son
con
lla m a d a s
con
la
por
de
la
fu n c ió n
m e d io
de
un subm enú.
P ara
la s
el
a lg o r it m o
d e a p r e n d iz a je
lo s
a r r e g lo s
[ Max. N i v . O c u + 2 ] I Max. N eu . E n t )
REAL32 D e l t a s . R e d .
a lm a c e n a n
n e u ro n a s O c u lta s
lo s
errores
de la s
[M a x . N i v . O cu+21 [M a x . N eu . E n t l
e s tím u lo s
de s a lid a
de e n trd a
de la
REAL32
de la s
A p r e n d . R edC ) .
p re g u n ta
Al
C a m b ia . P a t C )
de
la
p ara
to d a s
REAL32
p a rte s ,
en
la
la s
a
C o n t ie n e
se
lo s
G u a rd a
P a t.A p r e n .S a l.
fu n c io n e s
la
o p c ió n
se
red .
P ara
c a m b ia r
P r o p a g . R e d C E s t. N eu . N i v )
de
P a t. E s t.
P a t.A p r e n .E n t.
REAL32
veces
P ro p a g a m o s e l
erro re s
a r r e g lo
de s a lid a .
lo s
A lm a c e n a
lo s
desead as.
e n tra r
c u a n ta s
e n tr e n a m ie n to
deseada.
s a lid a s
T ie n e
n e u r o n a l.
En e s t e
y d e la s
red.
íM a x . Num. P a t J [ M a x . N eu . E n t 1
p a tro n e s
lo s
son
d e ca d a n eu ron a.
[ M ax. Num. P a t l í M a x .N e u . E n t í
p a tro n e s
red
y fu n c io n e s
s ig u ie n te s :
y
r e p e tir á
la
p r im e r
lo s
p a tró n
p ara
p a tro n e s
con
la
La
fa s e
p r im e r a
con
la
fu n c ió n
de
de
por
en
el
l la m a d o
se
l la m a
e n tra d a
la
red
se
de
y de
la
m enú,
p ara
la
con la
E r r o r . S a lC )
retro ceso
fu n c ió n
48
a p r e n d iz a je
su
fa s e ,
de e n tra d a
s a lid a .
el
d ea p r e n d iz a je
el
fu n c ió n
s a lid a
fu n c ió n
c a lc u la m o s
d iv id e
en
dos
E r r o r e s . O c u C E s t. N eu . N i v )
c a lc u la m o s
to d o s
segu n da con
la
de
la s
la
c a n t id a d
E rr o r .P a tC ).
de
haber
a lc a n c e
el
d ic e
o b te n e r
el
el
si
p a tró n
de
será .
vez
e n tra d a
y
si
Si
el
la
dos
la s
n iv e le s .
red
van c a lc u la n d o
ap ren d e
ite r a c io n e s
el
o
n o.
y
que
e n tr e n a m ie n to
se
acabo.
se
C on
c a lc u la
un
En c a s o
la
red
d e tie n e
e s ta
y
fu n c ió n
p r o m e d io
p ara
el
e n tr e n a m ie n to ,
a p r e n d id o s ,
p r o p a g a r lo
tie n e
una
se
y
to d o s
le e
n e c e s a r io
nos p id e e l
una
s a lid a .
Se
m en or d e O . 2.
g ra n d e
e n tra d a
te c le a r
fu n c ió n
es
c a n t id a d
de
es
fu n c ió n
e n tre g a rn o s
y CERO s i
n eu ron as
te d io s o
y
la
de
de
p a tro n es
s a lid a
lo s
es
p a tro n es
d e un a r c h i v o
con
a
a lto ,
to d o s
de
lo s
E s ta
En a l g u n a s
m ism a r a p i d e z
c u a n ta s
S ir v e
o p c io n e s .
carga
con
la
m e d io
de
d em ás.
to d o s
lo s
p a tro n es
por
lo s
d u ra n te
d e s p lie g a
fu n c ió n
c o lo r e s
rep re se n ta
la
La
red
no
fu n c ió n
ap ren d e
p e r m ite
un
p a tró n
c a r g a r lo
y
c o n e x io n e s
y
s u e n t r e n a m ie n t o .
d e s p le g a r
c a m b io s
La p r im e r a ,
don de cada c o lo r
o c a s io n e s
lo s
r e p ita
p ara
lo s
c o n e x io n e s
por
que
veces
a p r e c ia r
d e s p lie g a
fu n c ió n
t e c la d o .
D e s p .P e s C ).
poder
t e r m in a
red
C on e s t a
U n .P a t .A p r e n d O
d e c ir le
la
p esos
a e n tre n a r
m e d io d e l
la
la
y
m ayor d e 0 . 8
T o d o s .P a t.A p r e n d O .
con
uno d e l o s
lle v a r o n
p a tró n
han s i d o
p ara
es
d e m a s ia d o
p a tro n es
que
n ú m ero d e
e n tr e n a m ie n to .
se
en
E s t . N eu . N i v i Max. N i v . 0cu42J
g ra n d e
c o n v e r g e n c ia ,
p a tro n es
UNO,
C a rg a . P a t O .
e n tre n a r
muy
si
y
lo s
g lo b a l.
Una
lo s
c o n s id e r a
n ú m ero
por
o c u lt a s
a ju s t a m o s
d e e n tr e n a m ie n to s e
checar
e rror
n eu ron as
de cada
p ro ceso
ite r a c io n e s
error
la s
p a ra m e tro
p ara
de
c u a n ta s
R eo. P a t O .
checar
un
u m b ral
c a lc u la m o s
El
d e n eu ron as
g lo b a le s
p e d id o
de
C a m b ia . P e s C E s t . N e u . N i v )
D u ran te e l
e rro res
nos
e rro res
c o n e x io n e s .
c o n tie n e
lo s
lo s
fu n c ió n
p esos
el
en fo r m a
D e s p . Num O
con
un v a l o r .
49
de
la s
e n tr e n a m ie n to ,
la
n u m é r ic a
y
fu n c ió n
la
c u e n ta
lo s
pesos
segu n da
D e s p .G r a fO .
con
de
lo s
en
N egro.
R o jo .
P ara
v a lo r e s
P ara
V e rd e .
P ara
A z u l.
e n tre
v a lo r e s
e n tre
v a lo r e s
el
r a n g o d e C-1 ,
e n tre
C 0 .0 , 0 . 2 ) .
P a r a v a l o r e s e n t r e C0. 4 1 , 0 6 ) .
C a fe .
P a r a v a l o r e s e n t r e C0. 6 1 . 0 . 8 ) .
G r is .
P a r a v a l o r e s e n t r e C0 . 8 1 , 1 . 0 ) .
Si
n egro
v a lo r
el
n ú m ero e s
p ara
in d ic a r
que s e
es
que
que
es
m e jo r
d e 1 o m enor
se
n eg ro
el
c o lo r e s
se
es
a p r e c ia
g ra n d es
c o lo r
u t iliz a
lo s
in d ic a n d o
d e c ir n o s
se
un
se
m o s tra rá n
m ayor
que
debe
tie n e
la
te n er
r o jo
r o jo
y
ayuda
una
p ara
que
v is ió n
un
se
p ara
por
-6 .2
m u ltip lic a r
nos
g lo b a l
de
e je m p lo ,
En
e je m p lo ;
10,
el
P ara
b r in d a r ,
lo s
p ara e l
c u a lq u ie r
d e s p lie g a
a n a liz a r
p esos
c o lo r
c u a lq u ie r
se
c a fe .
puede
d ifíc il
d ie z
por
por
el
a n te p o n e e l
por
C ya n .
d e n o ta r lo ;
fin a lm e n t e
ya que e s
-1
de é l;
d esp u és
y a z u l,
que
n e g a tiv o
muy ú t i l ,
y
de
m u ltip lic a r
p r e s e n te a c o n tin u a c ió n
m o s tr a rá ,
n e g a tiv o
no
y C1 , 1 0 ) .
P a r a v a l o r e s e n t r e C0 . 2 1 , 0. 4 ) .
C ya n .
se
-1 0 )
n e g a tiv o s .
-0 .2 5
p ero
p ora
c h ic a s
en
lo s
se
n egro
r o jo
red es
to d o s
por
el
4
caso
red es
p esos
m e d io
de
y
lo s
c o lo r e s .
P a r a s im u la r
de
s a lid a
m e n c io n ó
Por
lo
de
la s
lo s
no t ie n e
que es
d e neu ron as
u m b r a le s
n eu ron a s
e s tim u lo
n e c e s a r io
d e cada
al
n iv e l
de
se
la
u san l o s
fila
0
de e n tra d a
e d ita r
com o l o
la
pesos
y su
red
d e la s
C c e r o ).
s a lid a
a u m e n ta r
m u estra l a
E s ta s
s ie m p r e
e n una e l
tig u r a
30.
F I L A PARA LA
S I M U L A C I O N DE
UMB R A L E S .
F IG .
3 0 ESTRUCTURA PARA LA FUNCION
XOR SIMULANDO LOS UMBRALES
50
c o n e x io n e s
com o
ya
se
será
1.
n ú m ero
3.
Uno
de
lo s
a p lic a c io n e s
p re s e n ta rá
la
a p r e n d iz a je
p a rá m e tro s
3 .1
vez
que
c o n ju n to
c o rre c ta m e n te
de
p r o p ó s ito s
un a
un
EXPERIMENTOS REALIZADOS
de
de
e s te
se
ha
e je m p lo s
im p le m e n t a d ó n
de
la
tr a b a jo
red .
de
Se
de
te s is
i mpl e m e n ta d o
p ara
la
el
d e m o stra r
e s tru c tu ra
e x p e r im e n ta r á
e s ' r e a liz a r
p ro gram a.
que
y
Se
fu n c io n a
el
a lg o r itm o
c a m b ia n d o
a lg u n o s
b á s ic o s .
FUNCION XOR
La
fu n c ió n
n e u r o n a le s ,
n eu ron as,
se
con
in ic ia le s
es
u m b r a le s ,
en
v a r ia b le s
XOR
una
e x p e r im e n tó
la s
a p lic a c ió n
con
con
e lla
d ife r e n te s
c o n e x io n e s
UNO = 1 . 0
y
s e n c illa
q u it a n d o
lo s
p ara
c o n fig u r a c io n e s
to m a n d o
lo s
red es
u m b r a le s
a
de
e x tre m o s
la s
pesos
de
la s
y CERO = 0 . 0 .
FUNCION XOR S I N UMBRALES
Sí
con
una
n eu ron a
v a lo r e s
m o d ific a r s e
lo s
m enor
con
s in
n eu ron a s e
la
red
ya
u m b r a le s .
c o n s id e r a
0
de
e n tre n a n d o
la s
r e s u lt a d o s .
p a tro n es
32,
lo s
el
Lo
lo
v a lo r
a n te r io r
lo s
de
de
e n tra d a
la s
del
se
u m b ra l
p ro b ó
p a tro n es
el
un
e s tím u lo
de
y
um b ral
p u e d en
reco n ocer
m a n u a lm e n te
con
qu e a p a re n te m e n te e s
c a lc u la r
y
c o n e x io n e s
una
en
p r e c is ió n
ig u a l
tr a b a ja r
e n tr a d a
de
una
= 0 . D u ra n te e l p r o c e s o d e e n tr e n a m ie n to
pij
a l g u n o s p a t r o n e s e n e l m e jo r d e l o s c a s o s , s i s e
de lo s
U tiliz a n d o
p esos
e n tre
Por
P ara
c o n o c im ie n to
peso
r e c o n o c ie n d o
u m b r a le s .
ap ren d e
c o n tin u a
c o n e x io n e s
el
e n tre n a d o s.
ya e n tre n a d a ,
que con
o
tre s
d iv id ié n d o lo s
p a tr o n e s
una r e d
tie n e
d e te r m in a d o s ,
4
ap ren d e
c o n fig u r a c io n e s
c o n e x io n e s
Las
se
La
la
que
hadan
fig u r a
33,
la
in ic ia le s
e n tre n ó
s u b s ec u e n te
a p r e n d ió .
fin a le s ;
lo s
fa lta
y
p ie r d e
el
y a a p r e n d id o s .
la
g r á fic a s
31,
51
son
m u e stra
v e lo c id a d
de
d ife r e n te s
red ,
lo s
p ara
o b te n i en d ose
de
la
pesos
red
lo s
m a lo s
que
más
in ic ia le s ;
c o n v e r g e n c ia
de
la
red
la
y
la
34,
el
n ú m e ro d e p a t r o n e s
a p r e n d id o s
d esp u és d e c i e r t a
c a n t id a d
de ite r a c io n e s .
RAPIDEZ
UM BR AL
UNO
F IG .
F IG .
F IG .
Los
pesos
31
DE
DE
= O. S>
APR EN DIZ AJ E
C O NV E RO EN C I A
Y
CERO
= 0 .2 5
= O. 0 0 5
= 0 .1
XOR CON PE SO S I N I C I A L E S
3 3 G R AFIC A DE R A P ID E Z DE CONVERGENCIA
3 4 G R AFIC A DE RECONOCIMIENTO DE PATRONES
de
la s
c o n e x io n e s
52
en
fig u r a
32
es
la
m e jo r
c o n fig u r a c ió n
p a tró n
de
lle g ó
a e s to s
P arece
lo s
o b v io
p esos
reco n oce
p esos
que
O
lo s
o tro s
con
c o n c lu ír m o s
que
un
lo s
la
y
cual
se
recon oce
s a lid a
despu és
si
O
p ero
da
s ó lo
una
3
el
p ie r d e
casos.
re s p u e s ta
d e 50000 i t e r a c i o n e s ,
c o n tin u a
y ap ren d e lo s
p a tró n
el
0
adecuados,
P ara
un
a lc a n z a d a ,
e n tra d a
e n tr e n a m ie n to
c o n o c im ie n to
de
P ara
errón ea .
el
Se
en
7. 5 ’ m in u to s .
se
e n c o n tr a r ía n
p a tro n es
que
ya
qu e fa lta b a n .
3
casos
n ú m ero
que
muy
u m b r a le s
p r o c e s o d e e s n s e fía n z a
de la
se
e x p e r im e n tó ,
g ra n d e
en
la s
de
s ó lo
a p r e n d ie r o n
b a r r id o s .
n eu ron as
son
Por
lo
que
n e c e s a r io s
p ara
red .
FUNCION XOR CON UMBRAL
Se e x p e r im e n tó
r e s u lt a d o s .
XOR
con
La
pesos
fig u r a
u m b ra le s ;
c o n v e r g e n c ia ;
la
en
37,
red es
35,
la
el
con
u m b r a le s
m u e stra
36,
la
la
g r á fic a
r e c o n o c im ie n to
o b te n ié n d o s e
e s tru c tu ra
de
de
p ara
la
p a tro n e s
e x c e le n te s
la
fu n c ió n
v e lo c id a d
y
en
la
38
de
lo s
fin a le s .
F IG .
35
ESTRUCTURA PARA LA FUNCION XOR CON LOS PESOS I N I C I A L E S
ERROR
O LO B A L
<M I L E S >
F IG .
3 6 G R AFIC A DE R A P ID E Z DE CONVERGENCIA
53
ÍO OOO
F IG .
F IG .
38
El
12000
IT E R A C IO N E S
37 G RAFIC A DE RECONOCIMIENTO DE PATRONES
ESTRUCTURA PARA LA FUNCION XOR CON LOS PESOS F IN A L E S
e n tr e n a m ie n to s e
lle v o
a cab o con
lo s
v a lo r e s
s ig u ie n te s :
UNO = 0 . 9
CERO = O. 1
U m b ral
d e C o n v e r g e n c ia
R a p id e z
C o n v e r g ió a la s
C on l o s
u m b r a le s
que
se
no s e
que
E s to
e n tre n a n .
el
al
de
red
ap ren d e c o r re c ta m e n te
la
C on
red
im p lic a
el
de
de
0 .9
d is m in u ir lo
h a sta
e s ta
que
lo s
p a tr o n e s .
error global e s m enor q u e e l
que
u m b ral
s a lid a
v a lo r
n e c e s a r io
en tren a n d o
0 .0 0 0 0 5 .
C on
e s tím u lo
a p r o x im a n
es
la
17 S e g .
converge c u a n d o e l
de convergencia.
0 .0 0 0 5
= 0 .2 5
19000 i t e r a c i o n e s .
T ie m p o d e a p r e n d i z a j e :
La r e d
= O .0005
de A p r e n d iz a je
la
de
red
c o n v e r g e n c ia
la s
neu ron as
p ara
a
en
54
UNO y
0 .0 0 0 0 5 ,
a lc a n c e
c o n d ic ió n
y a a p r e n d ió
un
la s
con
del
O. 1
p ara
v a lo r
de
CERO.
poder
g lo b a l
n eu ron a s
umbral
p a tro n es
un
n iv e l
p ara
error
lo s
Por
lo
s e g u ir
m enor
de
de
s a lid a
que
s a lid a
p r á c t ic a m e n t e
te n g a
d is m in u ir
Si
un
se
se
ob s e rv a
en
r e c o n o c im ie n to
p equ eño.
En c a s o
g lo b a l
no
se
m ín im o
lo c a l,
fig u r a
lo s
se
o b s ta n te ,
38 s e
En
se
nos
lo g r a
p e rc a ta m o s
en
a lg u n o s
d ifíc il
que
se
a la s
red
un
debe
red .
que
y
lle g a
que
el
in t e r v a lo
p a tro n es
nos
la
de» l a
r á p id a m e n t e
que
a lc a n z a r o n
que
c o n v e r g e n c ia
s a lid a s
p r o b a b le
es
caso
de
en l a s
y 37,
ap ren d an
es
CERO.
u m b ra l
con verge
p a tr o n e s
no
EL
el
36
red
d e c r e m e m te
no
y
p r e c is ió n
g r á fic a s
la
que
UNO
n eu ron as,
m ayor
la s
que
de
el
de
p a ra a lc a n z a r
m om ento
de la
a lc a n z a
un n ú m e ro m ayor
y
el
e n c o n tre m o s
p re s e n te .
muy
erro r
en
Los
un
pesos
36000 i t e r a c i o n e s .
FUNCION XOR CON D IFERENTES PESOS I N I C I A L E S
Para
pesos
e s tim a r
in ic ia le s
r a p id é z ,
se
r e fe r e n c ia
lo s
de
fig u r a
más
la
ite r a c io n e s
F IG .
39
en
se
la
reco n oce
36,
de
la
de
37,
la
y
que
36;
fig u r a
la
p a tro n es
la
una
red
La
que
en
y la
la
in d ic a
42,
XOR
red
v e lo c id a d
41,
c o n fig u r a c ió n
ap ren d a
fu n c ió n
3 8 ).
d ife r e n te s
ob serva
lo s
escoger
que
caso
35,
in ic ia le s
40,
que
p ara
otro
fig u r a s
p esos
le n ta
im p o r t a n c ia
m o s tra rá
la s
tie n e
la
adecuada
lo s
de
la
en
com o
fig u r a
la
que
pesos
39
g r á fic a
c o n v e r g e n c ia
en
de
m ayor
CTom ar
de
35,
con
n ú m ero
es
de
fin a le s .
ESTRUCTURA PARA LA FUNCION XOR CON LOS PESOS I N I C I A L E S
Con l o s
u m b r a le s l a
red
ap ren d e c o rre c ta m e n te
UNO = 0 . 9
CERO = 0. 1
55
lo s
4 p a tro n es .
U m b ral
d e C o n v e r g e n c ia
R a p id e z
d e A p r e n d iz a je
C o n v e r g ió
a la s
= 0 .0 0 0 5
= 0 .2 5
23000 it e r a c i o n e s .
T ie m p o d e a p r e n d i z a j e :
20 S eg .
F IG .
40
G RAFIC A DE R A P ID E Z DE CONVERGENCIA
F IG .
41 G RAFIC A DE RECONOCIMIENTO DE PATRONES
13000
F IG .
42
IT E R A C IO N E S
ESTRUCTURA PARA LA FUNCION XOR CON LOS PESOS F IN A L E S
En e l
m e jo r
17000
p r im e r
e je m p lo ,
c o n fig u r a c ió n
n e u r o n a le s ,
es
que
de
el
la
red
pesos.
con verge
El
a p r e n d iz a je
56
má.s r á p i d o
p r in c ip a l
en
red es
d e b id o
p r o b le m a
gra n d es
es
a una
en
red es
muy
le n to .
por
lo
q u e a c tu a lm e n t e s e
buscar
lo s
p esos
FUNCION XOR
Si
p re te n d e
y a s ig n a r lo s
e n tre n a m o s
la
red
con lo s
es
n e c e s ita
n ú m ero muy g r a n d e d e
la s
s a lid a s
pesos
de
v a lo r e s
de
la s
la red
ex tre m o s
red
fig u r a
de
43,
p r im e r a s
44,
la
d e 1 .0
e n tre n a d o s
lo
fig u r a
en
lo s
1 .0
a la s
de
un
v a lo r e s
m ec a n is m o s
c o n e x io n e s .
Y CERO = 0 . 0
U N O = l. O y
tie m p o ,
it e r a c io n e s
cre c e n
p ara
d e UNO
d e m a s ia d o
al
CER0=0. 0 e l
por
lo
poder
y
CERO,
in t e t a r
que
ad em á s
lle g a r
a n te r io r
35
p ara
se
n ú m ero
p a rte de
e n tre n a r
red
y d esp u és
de
lo
la
p esos
pesos
con verge
Si
a
lo s
lo s
in ic ia le s
de
a n a liz a m o s
la
r á p id a m e n t e e n l a s
h a c e le n ta m e n t e ;
ite r a c io n e s
lo s
lo s
red .
reco n oce
fin a le s
de
lo s
y la
45,
c o n tie n e
F IG .
43
G R AFIC A DE R APID E Z DE CONVERGENCIA
la
la
4
fig u r a
p a tr o n e s
red .
<M I L E S >
5500
F IG .
se
a p r o x im a r
y 0 .0 .
ite r a c io n e s
que
m e d io d e a lg u n o s
v a lo r e s de
d esp u és
n o s dam os c u e n t a q u e l a
9 m il
e x h ib e
a
c o n e x io n e s
P a ra d e m o stra r
la
le n to
CON UNO -
a p r e n d iz a je
un
muy
por
d ir e c ta m e n te
<5000
IT E R A C IO N E S
4 4 G R AF IC A DE RECONOCIMIENTO DE PATRONES
57
F IG .
45
ESTRUCTURA PARA LA FUNCION XOR CON LOS PESOS F IN A L E S
C o m p a ra n d o
d ife r e n c ia s
o c u lt a s
a
a lc a n z a r
la s
el
Los
lo s
pesos
fu e r t e s
de
en
s a lid a ,
O .0 y e l
v a lo r e s
UNO = 1 . 0
U m b ral
de
lo s
1 .0
la
45
c r e c im ie n to
se
de
se
a p r e c ia n
la s
debe
al
neu ron as
in t e t o
de
la
red
son l o s
s ig u ie n te s :
a la s
= 0 .0 0 0 5
= 0 .2 5
90000 it e r a c i o n e s .
75 S e g .
RECONOCEDOR DE L IN E A S CON DIFERENTE R A P ID E Z DE APRENDIZAJE
P ara
p ro b a r
se
h o r iz o n t a le s ,
lin e a s
una l i n e a
de
dos
la
m a tr iz .
por
con
CERO = O. 0
d e A p r e n d iz a je
a p r e n d iz a je
Las
38
c o n e x io n e s
r e s p e c tiv a m e n te .
T ie m p o d e a p r e n d i z a j e :
3 .2
la s
con que s e e n tre n ó
y
C o n v e r g ió
fig u r a
el
d e C o n v e r g e n c ia
R a p id e z
la
pesos
lo
n iv e l
La
se
a la
una
25
d e 10 n eu ro n a s.
y sus
y
red
e
de
h o r iz o n t a le s
lo s
n eu ron as
lo s
de
4
La f ig u r a
5x5
se
a la
fo rm a
por
lo s
e n tra d a ,
46,
r a p id e z
de
por
5
la
lin e a s
p re s e n ta
s a lid a s
iz q u ie r d a .
en
don de
al
m enos
p u n to s
de la
en
de
v e r tic a le s ,
p u n to s,
25 p u n to s
tip o s
r e s p e c tiv a s
58
la
lin e a s
in c lin a d a s
s e n tid o
será n
de
de
m a tr iz
c u a lq u ie r
c la s ific a r
de cada t ip o
c o n s ta n te
d erech a
por
de la
u t iliz a n
poder
la
recon oced or
v e r tic a le s
e n tr a d a
p ara
o c u lt o
una l i n e a
la s
h a c ia
de
un
re p re s e n ta n
in c lin a d a
que
e fe c to
in c lin a d a s
se
p u n tos,
n eu ron a s
el
p re s e n ta
de
m a tr iz ,
s a lid a
y
con
4 m a tr ic e s
y e n tra d a s .
2
un
con
ENTRADAS
00000-11111
0 0 0 0 0 -0 0 0 0 0
OOOOO
01000-01000
0 1 0 0 0 -0 1 0 0 0
O IO O O
00010-00100
0 1 0 0 0 -1 0 0 0 0
OOOOO
10000-01000
0 0 1 0 0 -0 0 0 1 0
OOO O l
SA L ID A S
00
01
F IG .
En e l
cada
con
la
una,
lo s
El
el
ord en
24 p a tr o n e s
p r im e r
o s c ila c io n e s .
de
la
c ie r ta
y
la
c a n t id a d
F IG .
La
a lto
La
48,
muy g r a n d e .
a
C ver
11
la s
es
tie n e
47,
n ú m ero
se
fig u r a
p re s e n ta n
46,
5 v e r tic a le s ,
h a sta
7
un a v e z
te r m in a r
in c lin a d a s
a
d e r e c h a ).
una
muy a l t o
fig u r a
el
a la
lin e a s
en l a
r a p id e z
de
a p r e n d iz a je
no s e e n c o n t r a r o n
in d ic a
de
la
r a p id e z
p a tro n es
C7p
de
m ín im o s l o c a l e s
de
c o n v e r g e n c ia
r e c o n o c id o s
d esp u és
de
d e ite r a c io n e s .
47
v e lo c id a d
g r a c ia s
red
C5 h o r i z o n t a l e s ,
e je m p lo ,
v a lo r
ni
red
de la
que a p a rece
y 7 in c lin a d a s
A u n qu e e l
10
M ATR IZ DE PUNTOS PARA LA S L IN E A S
e n tr e n a m ie n to
en
iz q u ie r d a
0 .9 .
46
G RAFIC A DE R APID E Z DE CONVERGENCIA
de a ju s te
que
la
de
lo s
c o n sta n te
e x p lic a c ió n
en 1 .3 )
59
pesos
de
de
la s
r a p id e z
c o n e x io n e s
de
es
a p r e n d iz a je
muy
es
2100
F IG .
El
e n tr e n a m ie n to
UNO = 1 . 0
U m b ral
y
s e e fe c tú o
d e A p r e n d iz a je
C o n v e r g ió
a la s
P ara
p re s e n ta rá
c o m p ro b a r
in flu y e
el
con
49
v a lo r e s
s ig u ie n te s :
= 0 .0 0 0 5
2 M in u t o s
que
e je m p lo
38 S eg .
que
la
la
red
c o n s ta n te
ap ren d a
c o n un v a l o r
de
más
muy b a j o ,
r a p id e z
de
r á p id o
se
r) = 0 . 1 .
G R AFIC A DE R A P ID E Z DE CONVERGENCIA
12300
F IG .
lo s
= 0 .9
c la r id a d
p ara
s ig u ie n te
F IG .
con
10600 i t e r a c i o n e s .
T ie m p o d e a p r e n d i z a j e :
a p r e n d iz a je
IT E R AC IO N E S
CERO = O. O
d e C o n v e r g e n c ia
R a p id e z
2500
48 G R AFIC A DE RECONOCIMIENTO DE PATRONES
15700
IT E R A C IO N E S
5 0 G RAFIC A DE RECONOCIMIENTO DE PATRONES
60
Los v a lo r e s
con que s e
UNO = 1 . 0
Um bral
y
e n tre n o la
a la s
=0.1
71500 i t e r a c i o n e s .
T ie m p o d e a p r e n d i z a j e :
En
la
v e lo c id a d
47.
E s to
de
debe
a
d e r a p id e z
1 7 M in u t o s 3 8 S e g .
la
c o n v e r g e n c ia
se
co n sta n te
3 .3
g r á fic a
de
s ig u ie n te s :
= 0 .0 0 0 5
d e A p r e n d iz a je
C o n v e r g ió
son lo s
CERO = 0 . 0
d e C o n v e r g e n c ia
R a p id e z
red
la
fig u r a
es
muy
49
se
puede
le n ta
con
del
v a lo r
d ife r e n c ia
a p r e c ia r
re s p e c to
d e a p r e n d iz a je en ca d a
que
se
a
que
la
a s ig n a
uno d e l o s
la
fig u r a
a
la
e je m p lo s .
RECONOCEDOR DE LA T EN SUS 4 P O S IC IO N E S VARIANDO LA S NEURONAS
EN EL N IV E L OCULTO
P ara
com p ro b a r
c la s ific a c ió n
le t r a
T
en
e s tru c tu ra
de
sus
9
p o s ic io n e s .
P ara
la
m u estra
Para
de
la
el
v e lo c id a d
T
en
p r im e r
9
el
y
de
2
de
segu n do,
se
4
la
n eu ron as
P ara
u sarán
al
en
s ó lo
2
m a tr iz
de
la
a una d e t e r m i n a d a c a n t i d a d
la
la
e je m p lo
la
n eu ron a s
de
fig u r a
el
c o n s is te
c la s ific a r
e je m p lo .
53,
en
reco n oce
p r im e r
una
y la
o c u lt a s
que
m a tr iz
p ara
p r im e r
g r á fic a
red
p ara
el
C ía
s a lid a ,
p o s ic io n e s
e je m p lo ,
la s
una r e d
e n tra d a
ig u a l
d e c o n v e r g e n c ia d e l a
r e c o n o c id o s
de
e n tre n ó
p o s ic io n e s .
e s tru ctu ra
sus
se
n eu ron a s
o c u lt a s
el
re s to
n e c e s id a d
c u a tro
te n d rá
e le m e n t o s },
la
p a tr o n e s
La
la s
de
51
3 x3 .
la
n ú m ero d e p a t r o n e s
de ite r a c io n e s .
M ATRICES DE PUNTOS PARA LA S T EN SUS 4 P O S IC IO N E S
61
y
51,
expon e
ENTRADAS
F IG .
9
4
o c u lta s
fig u r a
p u n tos
52,
de
NO.
F IG .
52
800
F IG .
El
IT E R A C IO N E S
<C IE N T O S >
G R AFIC A DE R A P ID E Z DE CONVERGENCIA
850
IT E R A C IO N E S
5 3 G R AFIC A DE RECONOCIMIENTO DE PATRONES
e n tr e n a m ie n to
s e e fe c tú o
con lo s
v a lo r e s
s ig u ie n te s :
UNO = O. 9
CERO = O . 1
U m b ral
d e C o n v e r g e n c ia
R a p id e z
C o n v e r g ió
a la s
El
n ú m e ro
d e c o n v e r g e n c ia
P ara
el
la
v e lo c id a d
de
p a tro n es
R eco rd em os
n iv e l
de
s o la m e n te
es
o c u lt a s
c u a tro
p a tro n e s ;
muy a l t a
C ver
e je m p lo ,
c o n v e r g e n c ia
a p r e n d id o s
que
18 S e g .
n eu ron a s
segun do
de
= 0 .2 5
2700 it e r a c io n e s .
T ie m p o d e a p r e n d i z a j e :
a lm a c e n e
= 0 .0 0 0 5
d e A p r e n d iz a je
en
e s te
d esp u és
caso
se
muy g r a n d e
por
fig u r a
la
de
es
e s ta
de
red ;
c ie r ta
tie n e n
o c u lt o .
62
la
que la
red
v e lo c id a d
5 2 ).
g r á fic a
la
p ara
ra zón ,
de
la
la
55,
fig u r a
m u e stra
c a n t id a d d e
s ó lo
dos
54,
in d ic a
el
n ú m ero
ite r a c io n e s .
neu ron as en
el
NO.
F IG .
54
G R AFIC A DE R A P ID E Z DE CONVERGENCIA
F IG .
5 5 G R AFIC A DE RECONOCIMIENTO DE PATRONES
1500
En l a
es
muy
o c u lta s
fig u r a
54,
se
se
e s to
C en e l
c a s o a n te r io r
con verge
ltíO O
ob serva
b a ja ;
La re d
3 .4
IT E R A C IO N E S
< C IE N T O S >
debe
a la s
a
IT E R A C IO N E S
que
que
la
v e lo c id a d
s o lo
se
de
c o n v e r g e n c ia
tie n e n
dos
neu ron as
9D.
9000 i t e r a c i o n e s
RECONOCEDOR DE LOS NUMEROS DEL 0 - 9
e n 1 M in u t o .
VARIANDO LA CANTIDAD DE
CONEXIONES EN L A S NEURONAS
El
c o n o c im ie n to
c o n e x io n e s
de
d em o stra r
ap ren d e
c a n t id a d
v e r ific a r
el
que
lo s
con
un
n ú m ero
dos
r e c o n c im ie n to
por
red
En
n eu ron as
lo s
la
red.
p a tr o n e s .
de
rep re se n ta n
de
la
una
rep re se n ta
s ig u ie n te
pequeño
de
Una c a r a c t e r í s t i c a
es
p u n tos
de
se
el
que
reco n cen
a n te r io r e s
n ú m e ros
m a tr iz
se
e n te ro s
g r á fic a
63
por
lo s
red es
in fo r m a c ió n
de
la s
p re te n d e
la
red
con
no
una g r a n
c o n fu s a .
P ara
una a p l i c a c i ó n
m a n u s c r it o s
6x6
se
c o n e x io n e s
de la s
r e a liz ó
de
pesos
e je m p lo ,
p u n tos,
del
por
0
al
lo
p ara
9,
se
que
se
n e c e s ita n
S en e l
la s
36 n e u ro n a s d e e n tr a d a ,
n iv e l
o c u lto .
neu ron as
s a lid a .
En
de
la
e n tra d a
fig u r a
n ú m eros c o n s u s
SALIDA
En e l
a
36,
r e s p e c tiv a s
OOOl
4 de s a lid a
p r im e r
la s
c in c o
se
ilu s tr a
e n tra d a s
SALIDA
ENTRADA
001000,011000
001000,001000
001000,011100
p ara
e x p e r im e n to s e
o c u lta s y
com o
fo r m a r
e s ta s
OOIO
SALID A
E N TR A D A
001100,010110
000110,001100
011000,011110
F IG .
57
G RAFIC A DE R APID E Z DE CONVERGENCIA
D u ra n te
c o n v e r g e n c ia
el
es
1POO
de
lo s
OlOO
E NT RA DA
110110,110110
111110,000110
000110,000110
M ATR IZ PARA LOS NUMEROS DE ENTRADA
1400
la s
y s a lid a s .
56
58
a’
y
to d a s
s e re p re s e n ta n
F IG .
F IG .
4 b its
c o n ec ta ro n
IT E R A C IO N E S
G R AFIC A DE RECONOCIMIENTO DE PATRONES
e n tr e n a m ie n to
muy
a lta
en
de
la s
64
la
p r im e ra s
red
3000
la
v e lo c id a d
ite r a c io n e s
de
y
el
r e s to
la
es
red .
58,
muy l e n t o
E s to
se
m u estra
recon ocer
El
d e b id o
pu ede
el
a
que
a p r e c ia r
n ú m ero
de
es
en
a lto
la
el
n ú m ero d e
g r á fic a
it e r a c io n e s
de
la
n eu ron as
fig u r a
n e c e s a r ia s
57,
p aré*
de
la
em p ezar
p a tro n es .
e n tr e n a m ie n to
se
r e a liz ó
con
lo s
v a lo r e s
s ig u ie n te s :
UNO = O. 9
CERO = 0 . 1
U m b ral
d e C o n v e r g e n c ia
R a p id e z
= O .0005
d e A p r e n d iz a je
C o n v e r g ió a la s
= 0. 6
48000 i t e r a c i o n e s .
T ie m p o d e a p r e n d i z a j e :
Se
45%.
d is m in u y ó
la
c a n t id a d
n eu ron as
de
e n tra d a
Las
o c u lt a s
y
r e d u c c ió n
ap red er
é s ta s
de
in t e t o
a
la s
to d o s
c o n t in u a m o s
cual
9 M in u t o s
to d a s
red
de
s a lid a .
es
muy
p a tro n e s ;
en
a lg u n o s
e n tr e n a m ie n to
lo s
in ic ia lm e n te
la
c o n e x io n e s
c o n ec ta ro n
la s
c o n e x io n e s
lo s
el
de
se
10 S egu n d o s.
con
o s c ila
una r a p i d é z
de
y
a p r o x im a d a m e n te
fo r m a a l t e r n a
En
e s te
fu e rte ,
o lv id a
fu e r t e m e n te
en
en
la
casos
p ara
0 .1
com o
o s c ila
ap ren d e
apren d er
a p r e n d iz a je
con
caso
red
3
un
la s
la
s in
y
si
o tro s.
Se
de 0 .6 ,
o s c ila
a
con
la
lig e r a m e n t e ,
a p r e n d ie n d o 5 p a tr o n e s .
P ara
u tiliz a r á ,
fig u r a
d e m o stra r
que
el
4
n ú m ero
la
con
red
la s
recon oce
v a r ia c io n e s
in fo r m a c ió n
que
se
c o n fu s a
a p r e c ia n
en
se
la
5 9.
E NTR AD A
S A L. I D A
0 1 00
O O O O I O .O O O O O O
F IG .
La
p e r c ib ir
red
recon oce
la s
v a r ic io n e s
5 9 NUMERO 4 DEFORMADO
p e rfe c ta m e n te
com p a ra r
la
65
el
fig u r a
n ú m ero
4.
56 c on l a
P ara
59.
p oder
C o n c lu im o s
im p o rta n te
red es
p ara
que
la s
c o n e x io n e s
a lm a c e n a r
n e u r o n a le s
de
la s
m ayor c a n t i d a d
a r tific ia le s
n eu ron as
son
un
d e c o n o c im ie n to
p e r m it e n
recon ocer
fa c to r
y que la s
in fo r m a c ió n
c o n fu s a .
3 . S RECONOCEDOR DE PARID AD VARIANDO EL NUMERO DE N IV E LE S OCULTOS
P ara
se
d em o stra r
expone
tie n e
son
un
c ie r ta
32
e n tra d a ,
para e l
u tilid a d
de
c o m p lic a c ió n
s a lid a
de
e je m p lo ,
se
un
n iv e l
00000
o
00001
00010
o
red
u tiliz a
o c u lt o
se
lo s
con
n iv e le s
p ara
5
o c u lt o s
b its .
m ín im a
es
ta n s ó l o
una
e s tru ctu ra
18
y
1
fo r m a n d e l a
en
la
la
la
uno
5
s a lid a .
ya que
y
n eu ron a.
con
red ,
p r o b le m a
red ,
e n tre
una
de
E s te
m om ento d e e n t r e n a r
d ife r e n c ia
la
e n tr e n a m ie n to
de
p a r id a d
en e l
p a t r o n e s c o n una
a d e m á s ,l a
p r im e r
la
recon oced or
o tro ,
P ara
n eu ron as
Los
el
de
p a tr o n e s
m a n e ra s i g u i e n t e :
o
00011
1
00100
o
00101
1
11111
o
La
g r á fic a de
c o n v e r g e n c ia
r e c o n o c id o s
de
d esp u és
F IG .
la
la red
60
fig u r a
y
la
de c ie r t a
6 0 , m u e stra
61, la
c a n t id a d
l a v e lo c id a d
c a n t id a d
de ite r c lo n e s .
G R AFIC A DE R A P ID E Z DE CONVERGENCIA
de
de
p a tro n es
80
lOO
2 P5
305
IT E R A C IO N E S
( MILES >
F IG .
En l a
un
lo c a l
el
r e fle ja
de
c o n v e r g e n c ia
e n tre
a p r e n d iz a je
en
la
de p a tro n e s
El
G R AFIC A DE RECONOCIMIENTO DE PATRONES
g r á fic a
m ín im o
ra zón
61
g r á fic a
se
la
ite r a c ió n
de
la
de
d e tie n e
e n tr e n a m ie n to
la
la
es
a
muy
61,
aban donar
r e a liz ó
fig u r a
100000
fig u r a
h a sta
se
red
de
60,
la
le n to .
Lo
en d on d e e l
el
se
en cu en tra
280000.
Por
e s ta
a n te r io r
se
r e c o n o c im ie n to
m ín im o l o c a l .
con lo s
v a lo r e s
s ig u ie n te s :
UNO = 0. 9
CERO = O. 1
U m b ral
d e C o n v e r g e n c ia
R a p id e z
C o n v e r g ió
de
a la s
=0.6
352000 i t e r a c i o n e s .
T ie m p o d e a p r e n d i z a j e :
5 2 M in u t o s
En e l
se
segu n d o e je m p lo ,
e n tra d a ;
s a lid a .
to ta l
son
= O .0005
de A p r e n d iz a je
2
Es
con
18.
n iv e le s
im p o r t a n t e
lo s
E s ta
uno,
fin a lid a d
con
la
el
lo
se
dos
e fe c to
lo s
m ayor
red es
la s
c a p a c id a d
c o n e x io n e s
el
segu n do
de
c o n v e r g e n c ia
c ie r ta
e je m p lo ,
c a n t id a d
y
de
se
7
que
la
en l o
tie n e n
p ara
el
o c u lt o s ,
es
la
fig u r a
p a tr o n e s
de ite r a c io n e s .
67
que
de
en
e je m p lo
c a n t id a d
de
9
o tro .
En
p ara
la
la
q u e uno
la s
r e s u lt a d o s
r e c o n o c id o s
P ara
ten er
e v ita r
de
cada
d e n eu ron as.
Los
62,
y
p r im e r
m ayor
p ara
el
pesos.
1
n eu ron a s
n e c e s a r io
d os e je m p lo s ,
en
15
c o n stru y en
m ism a c a n t i d a d
m ism os
lo s
en
g en e ra n
se
a lm a c e n a m ie n t o
lo s
tie n e n
que
o c u lto s
con 5 n eu ron as
r e s p e c tiv a m e n te
se
a que s e
n iv e le s
tie n e n
63,
y
m ie n tr a s
debe
de te n e r
de
una e s t r u c t u r a
8
n o ta r
n iv e le s
m ism o n ú m ero d e c o n e x i o n e s
te n g a
de
o c u lt o s ,
r e d u c c ió n
si
d em o stra r
h acer
n iv e le s
c o n e x io n e s ,
tie n e
o c u lto s
40 S egu n d o s.
dos
p ara
v e lo c id a d
desp u és
de
F IG .
62
G R AFIC A DE R A P ID E Z DE CONVERGENCIA
22
F IG .
63
A n a liz a n d o
c o n c lu ir
una
que
v e lo c id a d
c o m b in a r
la s
la s
el
25
70
73
IT E R A C IO N E S
<M I L E S >
G RAFIC A DE RECONOCIMIENTO DE PATRONES
g r á fic a s
e je m p lo
más
de
con
a lta
fig u r a s
dos
d e b id o
c a r a c te r ís tic a s
la s
lo s
a
n iv e le s
que
de lo s
60
t ie n e
p a tro n e s
y
63,
o c u lt o s
m ayor
p od e m o s
con vergen
c a p a c id a d
a
de
d e e n tra d a .
3 . 6 RECONOCEDOR DE FIG U R AS GEOMETRICAS
A
c o n tin u a c ió n
g e o m é tr ic a s ,
c ir c u lo .
de
fig u r a s .
e s tru c tu ra
de
de
P ara
4,
de la
la
p a tro n e s
el
p ara
s a lid a .
p a tro n e s ;
se
red
la
d e p u n tos
cu ad rad o
el
La
65,
p re s e n ta
un
com o un c u a d r a d o ,
En un a m a t r i z
tr iá n g u lo
2
ta le s
c ir c u lo
recon oced or
un t r i á n g u l o ,
d e 5x5 s e
se
y
p ara
el
c o n t i e n e 25 n e u ro n a s
fig u r a
64,
v e lo c id a d
r e c o n o c id o s
r e p re s e n ta n
o b tu v ie r o n
4
m u e stra
de
despu és
i t e r a c io n e s .
68
11
lo s
y
p ara
la
1.
10 o c u lt a s
e je m p lo s
c ie r ta
y
66,
el
un
4 tip o s
s o la m e n t e
de e n tra d a ,
a lg u n o s
un a
fig u r a s
ro m b o
p a tro n es ,
ro m b o
c o n v e r g e n c ia
de
de
un
de
el
La
y
lo s
n ú m e ro
c a n t id a d
de
SAL. IDA OO
SALIDA
OO
E N T R AD A
11111,10001
10001,10001
SALID A
00000,00000
01111,01000
IO
SALIDA
E N TR A D A
00100,01010
10001,01010
OOIOO
11
E N T R A DA
00000,01100
10010,10010
OllOO
SALIDA
OI
ENT RA DA
11111,10001
01010,01010
SALID A
OI
E N T RA DA
00100,01010
01010,01010
11111
F IG .
6 4 FIG URAS GEOMETRICAS ENTRENADAS
F IG .
65
NO.
F IG .
En l a
es
muy
66
fig u r a
a lta ,
IT E R AC IO N E S
( C IE N T O S >
GRAFICA DE R A P ID E Z DE CONVERGENCIA
G RAFIC A DE RECONOCIMIENTO DE PATRONES
66,
d e b id o
se
a
ob serva
que
son
que l a
pocos
69
v e lo c id a d
p a tro n e s
de
p ara
c o n v e r g e n c ia
una
red
ta n
g ra n d e.
P ara
fo r m a r
ocu p aran
dos
que s ó lo
to c a ra
El
fila s
lo s
de
la s
p a tro n es
la
m a tr iz
e s q u in a s
e n tr e n a m ie n to
se
de
se
de
lo s
r e a liz ó
tu v o
p u n tos
p u n tos
con lo s
c u id a d o
y
en
caso
en
que
del
no
c ir c u lo
d e m a tr iz .
v a lo r e s
s ig u ie n te s :
UNO = 0 . 9
CERO = 0 . 1
U m b ral
d e C o n v e r g e n c ia
= 0. 005
R a p id e z d e A p r e n d i z a j e
C o n v e r g ió a la s
= 0 .6
38000 i t e r a c i o n e s .
T ie m p o d e a p r e n d i z a j e :
3 .7
30 S e g u n d o s .
RECONOCIMIENTOS DE CARACTERES MANUSCRITOS
El
r e c o n o c im ie n to
c o n v e r s ió n
m á q u in a .
le c tu r a
de
El
de
s is te m a s
rango
de
C on RNA s e
Un r e c o n o c e d o r
Un
com u n e s
lin e a s
de
de
v e lo c id a d
p r o b le m a
son
c r ític o
p ara
a m p lio ,
p ara
b a n c a r ia s ,
m a n u s c r it o s
p ro c es a d o re s
la s
la
una
c om o,
d a to s
de c a ra c te re s
r e u n ir
com o
p ara
ta le s
de
t r a n s a c c io n e s
lo s
debe
c a ra c te re s
el
de
m a n u s c r it o s
v e r tic a le s
fin a l
e
n e u r o n a le s
a r t ific ia le s
p u ed en
fle x ib ilid a d
ya
de te x to .
c a r a c te r ís tic a s
son
la s
r e a liz a r á
un
del
recon ocer
se
que
cu rva s,
a lg u n a s
im á g e n e s
p erson a
más
h u ecos,
recon oced or
a b e c e d a r io ).
c o le c c io n a r o n
que cada
es
c a r a c te r ís tic a s
e tc .
le t r a s
70
la s
in c lin a d a s ,
se
C a lg u n a s
una m ism a l e t r a ,
r e c o n c im ie n to
a lg u n a s
m a n u s c r ito s
e s tu d ia n t e s
d e fin id o
e n te n d ió le
y fle x ib ilid a d .
lo s
e s ta
muy
y r e c o n o c im ie n to
a u to m a tiz a r ía
c a ra c te re s
s id o
a u t o m á t ic a
gra n d es,
c a ra c te re s
in c r e m e n ta r
es
e n tra d a
muy
s e m e ja n te s ;
a p lic a c ió n
ha
a c ó d ig o
a p lic a c io n e s
muy
h o r iz o n t a le s ,
Como
un t e x t o
p o s ta le s ,
a to m á tiz a d a
p r e c is ió n ,
c a ra c te re s
de
a d m in is tr a tiv o s
c a r t o g r a fía
le tr a s
de
c a ra c te re s
c ó d ig o s
o a m á q u in a .
de
1 0 M in u t o s
Las
c o n fu s a s
con
tie n e
de
red es
y
p ara
d ife r e n te s
una
m a n e ra
muy
p a r tic u la r
v a r ie d a d
P ara
g r á fic a r
del
A,
la
B,
cada
e s c r ib ir ,
le tr a s
Por
lo
n iv e l
o c u lt o
G,
N,
P,
S,
R,
e lla s .
T,
La
de
V,
1 2.
X,
más 3 p a r a s i m u l a r
Se
un
e n tre n o
La
to ta l
fig u r a
de d ife r e n te
67
de
96
m u estra
m a n e ra y l o s
SALID A
u tiliz ó
y
la
OlO OO OO l
ENTRADA
La
Y,
y
lo s
p a tro n es
Z;
con
C 12
una
E N TR A D A
OIOO OO IO
E N TR A D A
1111000-1000100
0 100 100-0 111100
01000 10-0 1000 10
O llllO O
Y "B "
71
con
la s
p ara
A S C II
de e n tra d a ,
8 de
le t r a s
d ife r e n te s
neu ron as
p ara
le t r a s
de
con
una
8
tip o s
le tr a
y s a lid a .
SALID A
OltíOOOOl
E N T R A DA
SALID A
6 7 T IP O S DE " A "
7x7
c ó d ig o
de
la
y 704 in t e r c o n e x io n e s .
de e n tra d a
OlOOOOOl
de
el
tip o s
69
e je m p lo s
SAL. I DA
F IG .
8
u m b r a le s
p a tro n es
m a tr iz
e n tre n ó
c o n tie n e
a lg u n o s
SALIDA
se
0100010-1000010
1111110-1000001
Í O OO O OI
ENTRADA
0011110-0010011
0010001-0011110
0010001-0010001
O O llllO
reco n ozca
s e ra
49 n eu ro n a s
0010100-0100010
0111110-1000001
1000001
O IOOO OIO
que
un a
s a lid a
red
e s tru ctu ra
a p lic a c ió n ,
u n a }.
p e r m ite
que s e n e c e s ita n
un
de
se
m a n u s c r ita s
y
una
e s to
m ism o c a r a c t e r .
i mpl e m e n t a d ó n
la s
c a ra c te r
s a lid a
de
más a m p l i a d e l
0010100-0010010
0111110-0100010
ÍO O O O O I
SALID A
OIOOOOIO
E N T R A DA
0011110-0010011
0010001-0011110
0010001-0010001
O O llllO
RESPECTIVAMENTE
cada
e s c r ita
La f ig u r a
n ú m en ro
de
68,
in d ic a
ia
v e lo c id a d
d e c o n v e r g e n c ia
d esp u és
de
y la
p a tr o n e s
r e c o n o c id o s
c ie r ta
F IG .
G R AFIC A DE R A P ID E Z DE CONVERGENCIA
69,
c a n t id a d
el
de
i te r a c io n e s .
NO.
68
IT E R A C IO N E S
<C I E N T O S >
IT E R A C IO N E S
F IG .
A n a liz a n d o
p r im e r a s
n ú m ero
de
e n tre n a r
e s te
la s
1000
es
no
c o n v e r g e n c ia
El
fig u r a
g ra n d e.
m om en to l a
el
la
es
68,
ite r a c io n e s
neu ron as
s a lid a s
gra n d es
69 G R AFIC A DE RECONOCIMIENTO DE PATRONES
red
son
de
la
La r e d
muy
con verge
ap ren d e
que e l
a lto .
e s tru c tu ra
y
a
el
d e c o n v e r g e n c ia
e n tr e n a m ie n to s e r e a l i z ó
se
n ú m ero
lo s
CERO,
96
a
R a p id e z
= 0 .2
de A p r e n d iz a je
= 0 .6
C o n v e r g ió a la s
no d e b e s e r
lo s
2 0 M in u t o s
72
p a tro n e s
la s
3000,
de
s ig u ie n te s :
40 S egu n d o s.
el
a
en
au n qu e
aqui
g ra n d e.
v a lo r e s
a la s
que
p a tro n e s ,
25500 it e r a c io n e s .
T ie m p o d e a p r e n d i z a j e :
a
más s e c o m p ru e b a q u e p a r a
con
d e C o n v e r g e n c ia
de
p a r tir
UNO = O. 9 y CERO = O. 1
U m b ral
g lo b a l
debe
r á p id a m e n t e h a s t a
UNO y
Una v e z
error
E s to
p rá c t ic a m e n t e
a p r o x im a d a s
muy l e n t a .
u m b ral
a p r e c ia m o s
es
la
red es
Se
u sar
8
p rep a ra rón
p ara
enseñados
a
12
la
red .
lo s
ta n
20%. .
m a n tie n e n
67,
e s tá n
o tra
le tr a
red
un
de
r e c o c id o s ,
Lo
d ife r e n c ia s
es
de la s
en
el
era
E x is te n
por
por
de
la
la
y
en
m a tr iz
la
té c n ic a s
p ara
73
que
e je m p lo ,
segu n da
le tr a .
es
de
m ayo r
ta m a ñ o s y p o s i c i o n e s .
a
la s
p u n to s .
de
12
fig u r a
c o lu m n a ,
in c r e m e n ta r
tra ta r
lo s
en
p a tro n es
B de la
La
de
vez
r e c o n o c id o s
te rc e ra
P ara
p a rte
un a
e n tre n a d o s ,
lo s
y
n e c e s a r io
fin a lid a d
son
no fu e r o n
debe
p r im e r a ,
r e c o n o c id a s
la
p ru eb a s
e n tre n a d o s
c u a le s
se
con
r e a liz a r
1 o 2 neu ron as d e s a l i d a
a lg u n a s
dependen d e lo s
lo s
ta m a ñ o
le t r a s
neu ron as
la
le tr a ,
p ara
p a tro n e s
muy f u e r t e s ;
to ta lm e n te
8
96
4
a n te r io r
d e s p la z a d a s
ocupe
es
Los
cada
y
4 re s ta n te s ,
d ife r e n c ia
p o r c e n ta je
de
e n tr e n a m ie n to
e n un 100% y
s ó lo
tip o s
el
el
de que la
s a lid a
de
la
p a tro n e s
no
C1 o 2 b i t s l ) .
recon ocer
p a tro n es
que
no
CONCLUSIONES
Como r e s u l t a d o
un
p ro g ra m a
CREDJAN}
de neu ron as.
un
n ú m ero
n iv e le s
El
que
a
de
e s te
s i m u la
s im u la d o r
v a r ia b le
o c u lt o s ,
p a tro n es
p r in c ip a l
el
REDJAN n o s
de
neu ron as
la
vez
de
tr a b a jo
de
te s is ,
c o m p o r t a m ie n t o
de
p e r m ite
crea r
e n tra d a ,
de
e n tre n a r
una
de
se
o b tu vo
un» c o n ju n t o
e s tru c tu ra s
s a lid a
red
y
y
con
de
lo s
reco n ocer
lo s
a p r e n d id o s
El
a lg o r itm o
un g r a d o
de
el
e n tr e n a m ie n to
el
a p r e n d iz a je
a lg o r it m o
de a p r e n d iz a je
c o m p le jid a d
de
de la
fu e
nuy
red
muy
por
a lto
se
su
más
Lo
pocos
a n te r io r
s e n c illo
y
no p re s e n tó
im p le m e n ta d ó n .
e n c o n tra ro n
r á p id o .
a p r e n d iz a je
r e t r o - p r o p a g a c ió n
p ara
m in im o s
c o m p ru e b a
e fe c tiv o
que
D u ran te
lo c a le s
que
y
es
un
M á q u in a s
de
B o ltz m a n n .
A n a liz a n d o
lo s
e je m p lo s
r e a liz a d o s
se
lle g ó
a
la s
s ig u ie n te s
c o n c lu s i o n e s :
Los
u m b r a le s
m om en to d e l
p re s e n ta n
en
o s c ila c io n e s
La c o n fig u r a c ió n
fa c to r
d e te r m in a n te
le n tit u d
Es
u o s c ile
red
La
p o s ib le
ta r d e
de
e n c o n tra r
p a tro n es
te n e r
la
red
in ic ia l
p ara
son
red ,
en
muy
de lo s
la
de
no
to d o s
p esos
red
im p o rta n te s
caso
no a p re n d e
que
lo s
en
m a n e ja r lo s
lo s
de la s
ap ren d a
en a lc a n z a r
de
el
s in o
el
se
p a tr o n e s .
c o n e x io n e s
con
es
r a p id e z ,
en
un
con
de O y
la
e v ita r
d e c o n v e r g e n c ia .
C rp ,
red ,
1 p ara
p ara
nos
p ero
p e r m ite
si
es
a c e le r a r
muy
g ra n d e
la
es
lo c a le s .
de n iv e le s
una m ayor
la
b in a r io s
una a p r o x im a c ió n
u m b ra l
a p r e n d iz a je
n ín im o s
a e n tre n a r.
n ú m e ros
p a tro n e s ,
c o n v e r g e n c ia
La c a n t id a d
p e r m ite
y la
n o to m a r
de lo s
c o n s ta n te
v e lo c id a d
neu ron as
de
c o n s ta n te m e n te .
im p o r ta n te
r e p r e s e n ta c ió n
que la
la s
e n tr e n a m ie n to
o c u lto s
c o m b in a c ió n
Además e l
en l a
de
a p r e n d iz a je
74
e s tru c tu ra
la s
de la
c a r a c te r ís tic a s
es
más r á p i d o .
red
nos
de
lo s
La a r q u it e c t u r a
e n tr e n a m ie n to
la s
P C ).
y
u n id a d e s
de
la
le n g u a je
T ra n s p u te r)
m an e ra
de
C o m p ila d o r
Las
fu e
tr a b a jo
un
de
p ara
le c to r
un
de
0CCAM2
ab re
p ara
s in
a
p u n to
to d a s
sus
la
v e lo c id a d
al
en
y
p a r a le lo
e fic ie n c ia
u tiliz a r
té c n ic a
C por
e je m p lo
una n u e v a l i n e a
d e s a r r o lla r
la
e s ta
y
que
en
a lg u n a s
el
p ara
del
in ic ia lm e n te
y
a n a liz a r
p r o g r a m a p ai a q u e
y
la
o r ie n ta c ió n
e s to s
p r o b le m a s ).
de
por
un e d i t o r
y
del
tam añ o
r e s o lv e r
c a ra c te re s
d e e x p e r im e n ta c ió n
a p lic a c io n e s
e íic ie n c ia
depen der
que
lo s
e s p e c ia lm e n te
o p e r a c io n e s
p r in c ip a le s
d e s a r r o lla r
ya
C d is e ñ a d o
in fo r m a c ió n
REDJAN p u e d e s e r
p a ra r e c o n o c im ie n to
c o n c lu im o s
c a m in o
más
ex p e rto s ,
"h a rd w a re "
de
se
te x to
puedee n tr e n a r
la en tra d a
dela
red
O tra
m e d io
la
s e r ía
de
red
la
ó p tic o .
s im u la d o r
s is te m a s
sea
s e r ía
F in a lm e n t e
a b ren
a cabo e l
i e ^ p e c - to
v a r ia b le s ).
adecuadas
recon ozca
de e fic ie n c ia
C con
s im u lt a n e m e n t e
d e fic ie n c ia s
in c r e m e n ta r
ó p tic o ,
del
El
a lg u n a s
c a ra c te re s
in t e r é s
que
s a lid a
lle v a r
a lta s
cop rocesa d or
c a lc u la r
de
de t e s is
t é c n ic a s
le c t o r
al
a u m e n ta n d o
fa lta
ya
s u c o m p o r ta m ie n to ,
recon ozca
muy
tr a b a ja r
lim ita c io n e s
la
in v e s tig a c ió n ,
C e x is te n
de
p e r m itió
no in c r e m e n ta r
E s te
g r a c ia s
p r o g r a m a c ió n
nos
p re s e n ta
o c a s io n e s
T800 p e r m it i ó
v e lo c id a d e s
muy s e n c i l l a ,
T ra n s p u te r.
á rea
tra n s p u te r
a
FPU y e n t r a d a \ s a l i d a ) .
el
c o m p u ta d o r a
e
del
red
c a p a c id a d
CCPU,
El
un a
del
la
f u n d a m e n t a lm e n t e
flo ta n te
p ara
de
p e r m ite
p ara
e tc .
la
que
el
a p lic a d o
con
la s
Redes
N e u r o n a le s
r e c o n o c im ie n to
Adem ás
un g r a d o
muy a l t o
de p a tro n es .
que
c o n s t r u c c ió n
de
e l d e s a r r o llo
A r tific ia le s
p a tro n es ,
voz,
te c n o ló g ic o
d e m á q u in a s q u e s im u la n
del
un a r e d
n eu ron as.
El
tra n s p u te r
g e n e r a c ió n
gra d es
y el
le n g u a je
d e c o m p u ta d o ra s ,
lo s
OCCAM2 s o n e j e m p l o s
c u a le s
v e lo c id a d e s .
73
n o s p e r m it e n
de
una
n u eva
e v a lu a c io n e s
a
REFERENCIAS
C l]
M c C u llo c h
W.
Im m an en t
B io p h y s ic s ,
[2 3
C3 ]
Book,
1 9 39 .
D.
H ebb,
O.
C4 3 B.
IR E
V o l.
A cad.
J.
Sc
J.
N a tl.
D.
E.
T.
"N e u r o n
N etw ork
W it h
S p a rta n
Joh n W ile y
& Sons,
D.
G.
E.
J.
L.
L earn
an d
to
Tank,
233,
By
in
C. R.
an d
th e
J H U / E E C S -8 6/ 0 1 , 1 9 8 6 .
76
of
H ave
J.
N e u ro n s ",
mAYO 1 9 8 4 .
"C o m p u tin g
6 2 5 -6 3 3 ,
W it h
A g o s to
P a r a lle l
M ic r o s t r u c tu r e
of
N eu ra l
1 9 86 .
W illia m s ,
P r o p a g a tio n ",
C E d s ).
C o lle c tiv e
T w o -S ta te
3 0 8 8 -3 0 9 2 ,
R.
W it h
N a tl.
"L e a r n in g
in
D.
E.
D is tr ib u te d
C o g n itio n ",
1 9 86 .
R o s b e rg ,
A lo u d ",
P ro c.
to
1982.
R esponse
E rro r
M IT P r e s ,
R ead
A b r il
W.
M c C le lla n d
E x p lo r a tio n
F o u n d a t io n s
S y s te m s
P h y s ic a l
A b ilitie s ",
81
1900
In tr o d u c tio n
an d
V ol
H in t o n
An
1 9 69 .
T hose
V o l.
C ir c u its ",
C a m b r id g e MA,
G raded
L ik e
USA,
R e p r e s e n ta tio n
S e jn o w s k y
R ep o rt
Id e a s
A g o s t o d e 1960.
"P e r c e p t r ons:
P r o p e r tie s
an d
P r o c e s s in g :
That
th e
M a t h e m a t ic a l
New Y o r k ,
S w itc h in g
9 6 -1 0 4 ,
M IT P r e s ,
A M o d e l" S c in s e ,
&
4,
79 2 5 5 4 -2 5 5 8 ,
H o p fie ld
R u m e lh a r t
C103
B e h a v io r ",
C o m p u t a t io n a l
V o l.
R u m e lh a r t ,
1,
of
"A d a p tiv e
"N eu ra l
S e i.
In te rn a l
V o l.
of
of
N e u r o d y n a m ic s " ,
P art
S.
Acad.
C ir c u its :
C 9]
Paper t
H o p fie ld ,
J.
C a lc u lu s
B u lle tin
1943.
of
H o ff,
G e o m e try ",
USA,
C o m p u ta tio n a l
[8 ]
E.
C o lle c tiv e
S e i.
P ro c.
1 1 3 -1 3 3 ,
R e co rd ,
H o p fie ld ,
J.
L o g ic a l
"T h e O r g a n iz a t io n
M.
J.
"A
A c tiv ity ",
"P r in c ip le s
WESCON C on v .
E m ergen t
C 7]
5,
W id r o w an d M.
M in s k y
J.
P itts ,
1 9 49 .
C o m p u ta tio n a l
[6 ]
&
N ervu s
R. R u s e n b l a t t ,
N ew Y o r k ,
C 5]
S.
in
" N E T t a lk :
Johns
A P a r a lle l
H o p k in s ,
Uni
N etw ork
T e c h n ic a l
[1 1 ]
J.
A.
F eld m a n
T h e ir
[1 2 ]
S.
And
D.
P r o p e r tie s ",
G rossberg,
"
R e in fo r c e m e n t
V is io n ,
H.
The
an d
A d a p tiv e
S peech,
C.
A.
M ead,
C o m p u te r
V o l.
B r a in
an d
I:
6,
an d
VLSI
an d
N eu ra l
C a lifo r n ia
B r a in
M o to r
S y s te m s "
II:
C o n t r o l",
New Y o r k ,
1 9 75 .
C ou rse
In s titu t e
an d
1982.
L e a r n in g ,
A d a p tiv e
Joh n W ile y & S o n s,
D e p t,
M o d e ls
2 0 5 -2 5 4 ,
C o g n itio n ,
"T h e
Lan guage
" A n a lo g
S c ie n s e
"C o n n e c tio n is t
S c ie n s e ,
R h y th m ",
E l s e i v e r / N o r th - H o lla n d ,
[1 3 ]
B a lla r d ,
C o g n itiv e
of
N o te s ,
T e c h n o lo g y .
19 86 .
[1 4 ]
H.
P.
G r a f,
D en k er,
L.
W.
D.
im p le m e n t a t io n
H u n dreds
of
[1 5 ]
B.
W id r o w
B.
151,
an d
W id r o w
R. O.
M.
an d
in
E.
S.
H o ff,
S.
B.
an d
For
S tra u gh n ,
D.
J.
S c h w a rtz,
M em ory
D en k er
W it h
CEd)
A IP
C o m p u tin g ,
D.
E.
" A d a p tiv e
P art
4,
J.
"V L S I
S evera l
C o n fe r e n c e
S n o w b ir d
U ta h ,
H a rt,
V is u a l
R e c o g n it io n "
IE E E
13C5)
"N e u r o c o m p u t in g :
F o u n d a t io n s
A r tific ia l
N eu ra l
P r o c e s s in g "
C la s s ific a tio n
an d
S cence
M od el
and
fo r
Takayuki
a
T r a n s a tio n
I to
M e ch a n is m
of
S y s te m s
Man
on
pp 8 2 6 -8 3 4 S e p t ie m b r e / O c t u b r e 1 9 8 3 .
of
A n d e r s o n an d E d w ard R o s e n f e l d .
S o c ie t y
S ig n a l
M iy a k e
N e tw o r k
an d C y b e r n e c t i c s
"C p m p u te r
IR E
New Y e r s e y 1 9 73 .
Sei
A
P a tte rn
"A d a p tiv e
"P a tte rn
F u k u s h im a ,
N eu ra l
C ir c u its "
A g o s t o 1960.
1985.
J oh n W i l e y & S o n s ,
K u n ih ik o
S w itc h in g
pp 9 6 -1 0 4 ,
S tea rn s,
"N e o c o g n itr o n :
In
H ow a rd ,
N e tw o r k
J.
N etw ork
New j e r s e y
Duda an d P.
A n a lis y s ",
[1 8 ]
E.
Tennant
N eu ra l
N eu ra l
R e co rd ,
P r e tic e -H a ll,
[1 7 ]
a
R.
M.
1 9 86 .
WESCON C on v .
[1 6 ]
of
D.
N eu ro n s ",
P r o c e d in g s
A IP ,
Jackel ,
H u bbard,
P ress
N etw o rk s:
R e se a rc h ",
C a p itu lo 31,
T e c h n o lo g y
T h e o r ic a l
1 3 6 -1 4 4 .
77
E d ite d
b y Jam es
pp 5 2 3 - 5 3 4 ,
S e r ie s
N eu ra l
c o n ce p ts .
V.
In
A.
1986.
N etw o rk ,
V em u ry
pp
D.
E.
R u m e lh a r t,
In te rn a l
D is tr ib u te d
C 20]
C o g n itio n .
en
N e u r o c o m p u t in g ,
A.
A n derson
D.
E.
V ol
And
1,
H in t o n
o
R.
J. W i l l i a m s ,
F o u n d a t io n s
in
th e
R esearch .
R o s e n fe ld .
C a p itu lo
E.
H in t o n
an d
P a r r a ll e i
M ic r o s t r u c tu r e s
M IT P r e s s ,
of
G e o ffr e y
" L e a r n in g
P r o p a g a tio n "
MA,
pp
3 1 8 -3 6 2 ,
A. A n d e r s o n
an d
by
41,
6 7 3 -6 9 5 ,
R.
F o u n d a t io n s
E d w ard
o
E d ite d
pp
J.
of
R o s e n fe ld ,
Jam es
W illia m s ,
b y B a c k - p r o p a g a ting E r r o r s " ,
e n N e u r o c o m p u t in g ,
b y Jam es
pp 6 9 6 -6 9 9 ,
an d
E rro r
E x p lo r a tio n s
R e p r e s e n ta tio n s
3 2 3 :5 3 3 - 5 3 6 ,
W illia m s
by
C a m b r id g e ,
E d w ard
R u m e lh a r t ,
E d ite d
E.
P r o c e s s in g :
of
"L e a r n in g
C 21]
G.
R e p r e s e n ta tio n
N a tu re
R esearch ,
C a p it u l o
42
19 86 .
P.
J o n e s an d
G e n e r a liz e d
J o s ia h
D e lt a L e a r n in g
H o s k in s ,
R u le ",
"B a c k - p r o p a g a tion ,
BYTE
O c tu b re
1987,
A
pp
1 5 5 -1 6 2 .
[2 2 ]
R o b ert
M.
K u czew sk i ,
"E x p lo r a tio n
of
S e l f -O r g a n ize d
C o n fe r e n c e
2 1 -2 4
[2 3 ]
on
G.
B a rto
C a lifo r n ia ,
D a v id
H.
C o g n itiv e
G.
E.
C a m b r id g e ,
W illia m
IE E E
N etw o rk s,
F ir s t
S an
an d
D ie g o
M ic h a e l
in
as
a
In te r n a tio n a l
C a lifo r n ia ,
on
I.
Jord an ,
N etw ork s",
N eu ra l
N etw o rk s,
A c k le y ,
E.
H in t o n
G e o ffr e y
L e a r n in g
S c ie n c e 9 ,
J.
M a c h in e s "
M IT P r e s s ,
"G r a d ie n t
L a yered
II,
an d T .
C r a w fo r d ,
J u n io
pp 8 9 -9 6 .
C o n fe r e n c e
"A
J.
P r o p a g a tio n
V oi
H in t o n
B o ltz m a n n
M yers,
E rro r
J u n io 2 1 - 2 4 1 9 8 7 ,
S e jn o w s k i,
[2 5 ]
II,
B a c k - p r o p a g a tio n
In te r n a tio n a l
[2 4 ]
N eu ra l
V oi
A d re w .
H.
S tru c tu re ",
1987,
w ith o u t
M ic h a e l
b ack w ard
A lg o r ith m s
F o llo w in g
IE E E
F ir s t
S an
D ie g o
pp 6 2 9 -6 3 6 .
fo r
an d
T e rren ce
B o ltz m a n n
J.
M a c h in e s " ,
pp 1 4 7 - 1 6 9 1 9 8 5 .
S e jn o w s k y ,
P a r a lle l
Voi
1,
78
" L e a r n in g
an d R e l e a r n i g
D is t r ib u t e d
C a p itu lo
7.
in
P r o s s e s in g ,
[2 6 ]
H.
J.
S u ssm an n ,
P r o c e d in g
A u s tin
C27]
[2 8 ]
Ia n
of
Texas,
N etw ork .
V ol
II,
H.
E m ile
L.
L.
G.
on
[3 3 ]
J
M.
R.
an d
S o c ie t y
H a r tig a n ,
on
"
M em ory,
P re s s
" B o ltz m a n n
A
M a c h in e s
L a b o r a t o r ie s ,
O p tim iz a tio n
IE E E
S an
an d
AAAS
T h e o r ic a l
A lg o r itm s ,
F ir s t
D ie g o
"N e u ra l
T e c h n o lo g y
N etw ork s:
in
25 8.
M a c h in e "
N ew b u rg h
M a c h in e :
p p 1 2 9 -1 4 5 .
R esearch
A tt e n tio n ,
C lu s te r in g
N eu ra l
C o m p u ta tio n s
B o ltz m a n n
K u rst,
S c ie n c e
G rossb erg,
D a v is
N eu ra l
K u rst,
" C o m b in a t io n a l
an d
B o ltz m a n n
U s in g
C a lifo r n ia ,
D y n a m ic s
of
J u n io
C a te g o ry
M em ory C o n s o l i d a t i o n
E
Wegman C E d s . ) ,
Sym p o siu m
S e r ie s .
Joh n
S e r ie s ,
N eu ra l
C o n c e p ts .
a
In te r n a tio n a l
V.
W ile y
an d
B r a in
1986,
N etw ork ,
V e m u ri.
& Sons,
New
1975
R o b ert
F ir s t
H e c h t- N ie ls e n ,
In t e r n a tio n a l
C a lifo r n ia ,
[3 4 ]
H.
N etw o rk s,
L e a r n in g
A.
M.
based
pp 7 2 1 -7 3 4 .
S tru c tu re
J.
H.
III,
in
A r tific ia l
C o m p u t a t io n " ,
of
P h illip s
B o ltz m a n n
A m n e s ia ",
Y ork
Jan
and R e c o g n it io n :
C o m p u te r
"R e la tin g
N eu ra l
V ol
C o n t r o l,
S e ln itg e r ,
C o m p u tin g 9 C l 988/19892)
an d
M a c h in e s "
an d
M o d e ls
Jan
C om p u ter
C a rp en ter
L e a r n in g
in
an d
G u tzm an n ,
1987,
A.
in
S ta te
C o n fe r e n c e
B o ltz m a n n
D e c is io n
»
N etw ork s
A a rts
N o te s
M.
fo r
on
1989.
A p p lic a tio n s ",
C o n t in o u s
2 1 -2 4
A a rts
P a r a lle l
H.
K u rt
pp 5 9 - 6 7 ,
P a r a lle l
T h e ir
L e c tu re
[3 2 ]
G eorge
C o n v e n t io n a l
an d
[3 1 ]
an d
to
E m ile
A lg o r ith m s
C o n fe r e n c e
D ic ie m b r e 1988.
P a u b erry
R e v ie w " ,
[3 0 ]
2 7 th
M a c h in e
m a s s iv e ly
[2 9 ]
"L e a r n in g
th e
D a v id
h id d e n
S.
" C o u n te r p r o p a g a tio n
C o n fe r e n c e
J u n io 2 1 -2 4 1 9 8 7 ,
T o u re tz k y
L a y e r s '? " ,
an d
D ean
BYTE A g o s t o
79
on
V ol
A.
N eu ra l
II,
S an
IE E E
D ie g o
pp 1 9 -3 2 .
P o m e r le a u ,
1989,
N etw o rk s",
N etw ork s,
" W h a t’ s
p p 2 2 7 -2 3 3 .
H id d e n
in
[ 35]
T erren ce
J
p a r a lle l
n e tw o r k
S e jn o w s k i
F o u n d a t io n s
of
T r a ía n
M u n tea n ,
C ie n tífic o
[3 7 ]
J oh n
No.
pp 0 7 - 7 7 ,
[3 8 ]
M.
40,
R osen b erg ,
a lo u d ".
by
Jam es
D om ic
Vol
1 3 No.
H u ll
2,
N o r th - H o lla n d
a
A. A n d e r s o n
an d
de
T ra n s p u te r"
Mundo
19 89 .
P r io r ,
"S o lv in g
P r o b le m s
B u tte rw o rth
w it h
ä Co LTD
m a rz o 19 89 .
an d
Im p le m e n ta tio n
" N E T t a lk :
N e u r o c o m p u t in g
pp 6 0 1 -6 7 2 .
Su pero rd e n a d ores
V o lu m e n 9 ,
and
R
rea d
B a c k g r o u d an d e x p e r i e n c e " ,
E l i z a b e t h C.
S y s te m
"L o s
to
E d ite d
C a p ítu lo
87,
W e x le r
T ra n s p u te rs :
C h a r le s
le a r n s
R esearch ,
E d w ard R o s e n f e l d ,
[3 6 ]
an d
th a t
A d ib
th e
Z a r e a - A lia b a d i,
T ra n s p u te r
M ic r o p r o c e s s in g
an d
an d
"R e a l-T im e
Occam
A lte r n a t iv e "
M ic r o p r o g r a m m in g ,
pp
7 7 -8 4
20C 1 9 8 9 }.
[3 9 ]
J e a n - D a n ie l
T ra n s p u te r
M ic o u n d
an d
T414 I n s t r u c t i o n
A n d re w
S e t",
M a r tin
IE E E MICRO,
T y r r e ll,
pp 0 0 - 7 4 ,
"T h e
J u n io
1 9 89 .
[4 0 ] Tabab
D.
W ile y ,
[4 1 ]
[4 2 ]
INM OS,
0 cca m 2
MANUAL,
19 89 .
A la n
B u rn s ,
C om pany,
[4 3 ]
[4 4 ]
"R IS C
A r c h ite c tu r e
C h ic h e s te r
UK,
R esearch
S t u d ie s
P ress/
Joh n
1 9 87 .
S t a n d io n e
C o m p ile r
" P r o g r a m m in g i n
fo r
th e
T ra n s p u te r
USER’ S
O ccam 2 " A d d is o n - W e s l e y P u b l i s h i n g
1987.
INMOS L i m e n t e d ,
G e r a n it
Jon es,
P r e n tic e
H a ll,
Occam 2 REFERENCE MANUAL,
M ic h a e l
G o ld s m it h ,
1 9 88 .
80
P r e n tic e
" P r o g r a m m in g
H a ll,
in
19 88 .
O ccam 2 "
APENDICE A
MANEJO DEL SIMULADOR REDJAN
A
c o n tin u a c ió n
s im u la d o r
en
la
H,
m u e stra
de
red es
fu n c ió n
C c e r o l)
XOR p a r a
la
s ir v e
se
e x p lic a
n e u r o n a le s
e je m p lific a r
e s tru ctu ra
p ara
com o
p ara
s im u la r
lo s
N IVEL
m a n e ja r
a r tific ia le s
la
cada
una
fu n c ió n
u m b r a le s
1
NIVEL
la s
REDJAN.
de
XOR.
de la s
2
o p c io n e s
N os
e lla s .
C n ote que
del
a p oyarem o s
La
fig u r a
la
fila
0
n e u r o n a s ).
NIVEL
3
F IG H ESTRUCTURA PARA LA FUNCION XOR
Al
e je c u ta r
p r in c ip a l
NENU
1:
el
p ro gra m a en e l
qu e p re s e n ta
la s
T ra n s p u te r
s ig u ie n te s
se
d e s p lie g a
un menú
o p c io n e s :
P R IN C IP A L
C rea r
N eu ro n a s.
2:
C rea r
c o n e x io n e s
3:
SALVAR l a
E s tru ctu ra .
E s tru ctu ra .
e n tre
4:
CARGAR l a
5:
FUNCIONES DE LA RED.
6:
Abandonar e l
la s
n eu ron as.
p ro gra m a .
E s c r i b e O PCION:
CREAR ESTRUCTURAS
P ara c r e a r
la
a)
La in t e r a c t i v a
b)
C on e l
e d ito r
e s tru ctu ra
con e l
de te x t o
de la
red ,
u s u a r io .
d e TURBO C.
81
se
c u e n ta
c on d o s fo r m a s :
Para
el
in c is o
a)
se
n e c e s ita l a
o p c io n
1
y
2
del
Menú
P r in c ip a l.
1:
C re a r
N eu ro n a s.
-
Número
d e neuronas d e Entrada:
-
Número
de
niveles Ocultos:
-
Número
de
neuronas
del nivel Oculto No. 13
-
Número
de
Neuronas
de salida: 2
-
Valor de la Rapidez de Aprendizaje:
Es
im p o rta n te
n eu ron a
p ara
n e c e s a r ia ,
v e lo c id a d
El
p ero
del
ser
que
2 5 . 0 E -0 2
en c a d a
c o lu m n a
u m b r a le s , au n q u e
s im p lific a
de
la
la
r a p id é z
C 2 5 .0 E - 0 2 ).
p r o g r a m a c ió n
en
se
la
p ara
a g reg a
ú ltim a
C re a r
una
no
in c r e m e n ta r
Si
de a p r e n d iz a je
d eb e s e r dado en
e s c r ib im o s .2 5 ó 0 .2 5
el
v a lo r no
r e c o n o c id o .
P ara c re a r
2:
n o ta r
lo s
1
es
la
a p r e n d iz a je .
v a lo r
e x p o n e n c ia l
h acer
m a n e ja r
3
la s
c o n e x io n e s
c o n e x io n e s
e n tre
-
Número de conexiones para la
Conexión
-
Número de conexiones para la
-
Conexión
1
1 0
Conexión
2
1 1 0
Conexión
3
1 2
1 0
u tiliz a
la
o p c ió n
2.
neu ron as.
-
1
se
nexirona
Ocul ta 2 1 3
neurona
Oculta 2 2 3
0
0
1
- Conexión
2
1 1 1
-
Conexión
3
1 2
-
Número de conexiones para la neurona de Salida 3 1
-
Conexión
1
2 0 0
-
Conexión
2
2 1 0
-
Conexión
3
2 2 0
1
82
3
fo r m a
puede
P ara
que
c o n tr u ir
lle g a n
C ic e r o )
lo s
del
n iv e l
neu ron as 0 ,
Al
le s
la
2
1 y 2 del
t e r m in a r
de
Por
tre s
n iv e l
1.
hacer
El
p r o c e d im ie n to
p ara
erro res
n e c e s a r io
es
Para
la
c o lo c a m o s
la
en
ú ltim a
en
la
fig u r a
n eu ron a
H la
dee n tr a d a ,'
c o n e x ió n ,
a
la
n eu ron a O
de
la s
a u t o m á t ic a m e n t e
se
un p e s o .
g ra n d es
e m p e za r
es
a
e s tru ctu ra
queda d e l a
la
c o n e x io n e s
in t e r a c tiv o
red es
crea r
a r c h iv o
nos
e je m p lo
tie n e
a s ig n a a le a t o r ia m e n t e
pequeñas,
el
c o n e x io n e s
e s tím u lo s .
e d ita r
con
s ig u ie n te
es
muy
el
e fic ie n te
cansado
to d a
y
p ara
si
la
e d ito r
se
red es
c o m e te n
red .
de
te x to
de
T u rbo
C,
m an era:
CONNECT
2/1
TO
1/0
WEIGTH
0 .7 4 3 2 7 8 4
CONNECT
2/1
TO
1/1
WEIGTH
-0 .0 7 6 8 3 2
CONNECT
2/1
TO
1/2
WEIGTH
0 . 18346S
CONNECT
2/2
TO
1/0
WEIGTH
0 .9 7 8 3 5 6 5
CONNECT
2/2
TO
1/1
WEIGTH
0 .0 0 4 3 2 4
CONNECT
2/2
TO
1/2
WEIGTH
-0 .3 9 7 6 7
CONNECT
3/1
TO
2/0
WEIGTH
0 .0 2 4 2 5 7 6
CONNECT
3/1
TO
2/1
WEIGTH
0 .5 2 8 5 3 4
CONNECT
3/1
TO
2/2
WEIGTH
0 .2 3 9 4 3 7 1
/ * UMBRAL * /
/ * UMBRAL * /
/ * UMBRAL * /
END
R A P ID E Z DE APRENDIZAJE 0 . 2 5
P ara
lle g a n
fo r m a r
lo s
P ara
m a rc a r
y com o d a t o
que
la s
m a yo re s
c o n e x io n e s
el
fin a l
p a la b r a s
ig u a l
fin a l
se
d ará
c la v e s
nos
que en l a
de
la s
la
r a p id e z
sean
c o lo c a m o s
en
la
n eu ron a
que
fo rm a i n t e r a c t i v a .
c o n e x io n e s
de
m a y ú s c u la s
se
usa
la
a p r e n d iz a je .
y
que
la s
p a la b r a
Es
END
n e c e s a r io
lin e a s
no
sean
d e 6 0 c o lu m n a s .
C u an d o
te x to ,
la s
e s tím u lo s ,
lo s
la
red
p esos
es
g ra n d e
es
c o n v e n ie n te
y u m b r a le s s e a s i g n a n
83
ú tiliz a r e l
m a n u a lm e n te.
e d ito r
de
SALVAR Y CARGAR
Una v e z
en d is c o
3:
que s e
te r m in ó d e c r e a r
m a g n é t ic o co n l a s
S a lv a r
la
ARCHIVOS
la
s ig u ie n te s
e s tru ctu ra
s e p u e tie s a l v a r
o p c io n e s :
E s tru ctu ra .
La o p c ió n
d e s p le g a r á
el
s ig u ie n te
1 .-
SALVAR en forma de TEXTO.
2. -
SALVAR en forma. COMPACTA.
subm enú:
Escri be la OPC1ON:
En e l c a s o
debe ser
.T X T
a r c h iv o s
es
au nque e s
1,
muy
el
de
red
queda
s e n c illo
b a s ta n te
En e l c a s o
que
la
p ara d is t in g u ir
2,
el
a r c h iv o
tam añ o
se
te x to ,
si
hay
la
e x te n s ió n
c o m p a c to s .
C on e s t o s
c o n e x io n e s
errón ea s,
a r c h iv o .
de
tip o
s ig u ie n te
de
lo s a r c h iv o s
a n a liz a r
g ra n d e e l
lo s
e n fo r m a
de
lo s a r c h iv o s
te x to ,
r e p re s e n ta
la
es
en
un
e x te n s ió n
com o s e
45% m enor
es
.R E D
a lm a c e n a r ía
la
p ara
fu n c ió n
XOR e n f o r m a c o m p a c ta .
1
3
3
10001
2
0
10101
1
El
la
s e ñ a le
n eu ron as
c u a n ta s
la
p r im e r
e n tra d a s
c o n s id e r a r
tie n e
la s
e n tr a d a .
c o n e x io n e s ,
e m p e za n d o p o r
lo s
lo s
la s
9
la s
v a lo r e s
tre s
la
c a n t id a d
o c u lt a s
é s te
2
y
de en tra d a
1
son
n iv e le s
de
te rce ro
c o lu m n a s
que
nos
c u a rto
C23
la s
el
la s
d ic e n
n eu ron as de
o b v ia m e n t e
0 .2 5
la
lo s
es
desp u és
s a lid a s
1
o c u lt o s ;
s a lid a ,
en c u e n tra n
la s
el
n ú m e ro s C 0 , 3 , 3 , 0 , 3 }
de
y fin a lm e n te
84
de
1;
1
- 0 .8 3 4 5 4 3 8
e n tra d a ;
la s
10200
2
- 0 .0 4 1 4 2 3 6 7 1
em pezan do p or
v a lo r
que s e
p ara
c in c o
n eu ron as
El
de
caso
cada n eu ron a,
h a sta
2
0 .1 4 8 5 4 3 9 9
n eu ron a s
s ig u ie n te s
o c u lt a
a p r e n d iz a je ;
de
en
10100
2
-0 .8 1 7 6 2 5 3 4 4
in d ic a
n eu ron as
lo s
10000
20200
0 .3 1 6 5 4 9 3 0 1
n ú m e ro ,
de
0 .2 5
20100
c a n t id a d
de
de s a lid a ;
c o lu m n a
3
0 .6 2 5 6 5 4 3 4
N úm ero C ID ,
C 3 ),
c a n t id a d
el
0
- 0 .5 4 6 5 6 0 1 0 9
p r im e r
segu n do
C3D,
la
3
20000
- 0 .9 9 4 5 4 3 4 9 3
0 .5 5 1 5 3 4 2 9 5
el
3
10201
de
p esos
r a p íd é z
0 .2 5
la s
de la
son
s in
de
la s
n eu ron as
red.
d ife r e n c
SALVAR Y CARGAR
Una v e z
en d i s c o
3:
que s e
la
la
s ig u ie n te s
e s tru ctu ra
se
p u e tie s a l v a r
o p c io n e s :
E s tru c tu ra .
La o p c ió n
1 .-
te r m in ó d e c r e a r
m a g n é tic o c o n l a s
S a lv a r
ARCHIVOS
d e s p le g a r á
el
s ig u ie n te
subm enú:
SALVAR e n forma d e TEXTO.
2. -
SALVAR en forma. COMPACTA.
Escribe la OPCION:
En
e l caso
debe se r
1,
a r c h iv o s
es
au n q u e e s
muy
el
de
1
3
3
a r c h iv o
2
0
10101
se
si
de
hay
lo s
la
e x te n s ió n
C on e s t o s
c o n e x io n e s
a r c h iv o s
te x to ,la
r e p re s e n ta
3
3
10201
la
s e ñ a le
es
en
e x te n s ió n es
com o s e
n eu ron as
c u a n ta s
la
errón ea s,
un
43% m enor
.R E D
a lm a c e n a r ía
c o lu m n a
la
p ara
d ife r e n c ia r .
fu n c ió n
lo s
e n tr a d a .
c o n e x io n e s ,
em pezan do p or
lo s
lo s
la s
9
la s
v a lo r e s
tre s
c a n t id a d
é s te
s ig u ie n te s
h a sta
a p r e n d iz a je ;
la
2
y
de e n tra d a
1
2
son
n iv e le s
de
te rc e ro
c o lu m n a s
que
nos
c u a rto
C22)
la s
el
la s
d ic e n
n eu ron as de
s a lid a ,
o b v ia m e n t e
la
lo s
es
desp u és
s a lid a s
1
o c u lto s ;
0 .2 5
e n c u e n tra n
la s
el
n ú m e ros C 0 , 3 , 3 , 0 , 3 2 )
de
y fin a lm e n te
84
de
1;
1
- 0 .8 3 4 5 4 3 8
e n tra d a ;
la s
10200
2
-0 .0 4 1 4 2 3 6 7 1
e m p e za n d o p o r
v a lo r
que s e
p ara
c in c o
n eu ron as
El
de
caso
cad a n eu ron a,
o c u lta
10100
2
0 .1 4 8 5 4 3 9 9
n eu ron as
o c u lt a s
en
la s
de
de
n eu ron a s
tie n e
10000
20200
- 0 .8 1 7 6 2 3 3 4 4
in d ic a
n ú m e ro ,
de s a lid a ;
c o n s id e r a r
0 .2 3
0 .3 1 6 5 4 9 3 0 1
c a n t id a d
de
p r im e r
e n tr a d a s
3
20100
0 .6 2 3 6 3 4 3 4
N úm ero C ID ,
C3 ) ,
c a n t id a d
el
0
20000
- 0 .5 4 6 5 6 0 1 0 9
p r im e r
segun do
C32),
te x to ,
c o m p a c to s .
a r c h iv o .
ta m a ñ o
- 0 .9 9 4 3 4 3 4 9 3
El
la
el
de
a r c h iv o s
a n a liz a r
g ra n d e e l
2,
en fo rm a
de lo s
tip o
0 .5 3 1 3 3 4 2 9 3
el
queda
f o r m a c o m p a c ta .
10001
1
s e n c illo
lo s
s ig u ie n te
XOR e n
red
d is tin g u ir
b a s ta n te
En e l c a s o
que
la
.T X T p a r a
de
pesos
r a p id é z
0 .2 5
la s
de la
son
s in
de
la s
n eu ron as
red .
P ara
cargar
a
m e m o r ia
lo s
a r c h iv o s
se
u tiliz a
la
s ig u ie n te
o p c i ón:
4:
C a rg a r
la
E s tru c tu ra .
La o p c i ó n
d e p lie g a
el
subm enú:
1 . - CARGAR en forma, de TEXTO.
2 .-
CARGAR tm forma COMPACTA.
Escribe OPCION:
La
o p c ió n
g en e ra d o s
es
p ara
5. -
con
lo s
1,
el
s ir v e
e d ito r
a r c h iv o s
p ara
cargar
lo s
d e T u rb o C y su
en
fo r m a
a r c h iv o s
e x te n s ió n
es
c o m p a c ta c o n e x t e n s i ó n
que
fu e ro n
.T X T ;
la
dos
.RED.
FUNCIONES DE LA RED.
C on
r e a liz a r
lo s
la
o p c ió n
el
e n tr e n a m ie n to ,
S
r e c o n o c im ie n to s
d e s p lie g a
el
se
de
s ig u ie n te
pasa
a
dar
lo s
un
lo s
n u evo
m enú,
p a tro n es
p a tro n es
de
se
puede
a p r e n d iz a je ,
en
hacer
e n tre n a d o s,
donde
e tc .
La
o p c ió n
menú:
FUNCIONES DE LA RED.
1:
C a rg a r
2:
C a m b ia r
3:
APREND IZAJE d e l a
4:
D e s p le g a r
S:
RECONOCER p a t r o n e s .
6:
R egresa r
E s c r ib e
1 #-
C a rg a r
2.
V a lo r e s
p esos
al
la
d e APRENDIZAJE.
de la
red .
RED.
de la
red .
menú p r i n c i p a l .
OPCIONs
P a tro n es
La o p c ió n
1 .-
P a tro n es
d e APRENDIZAJE
m u e stra e l
s ig u ie n te
submenú:
Meter un patrón.
-
Meter todos los patroñes.
3 . - Cargar un Archivo con
los Patrones.
Escribe la OPCION:
En
el
caso
1»
se
p r o p o r c io n a
85
un
p a tró n
que
no
ha
s id o
a p r e n d id o c on
c u a n ta s
tie n e
ia
veces
p orqu e
n e c e s ita
en
ser
r a z o n a b le
s e r ia
se
caso
caso
3,
neu ron as
El
la
IN
Es
de en tra d a
e n tre n a r.
. p a t.
de
p e r m ite
El
a r c h iv o
fu n c ió n
el
de
la
no
es
y 20 e l
p reg u n ta
c u a n to s
va p id ie n d o
la
cargar
a r c h iv o s
ú til
p ara
e d ita
que c o n tie n e n
red es
con
un
que c o n tin u a c ió n
se
C
p re s e ta
y
c o n tie n e
00
OUT 0
END
La o p c ió n
de la
2 d e s p lie g a
R ed .
el
lo s
p a tr o n e s
a lto
tie n e
T u rbo
XOR.
V a lo r e s
de
y la
en
01
C a m b ia r
p a tro n es
e n tra d a
g ra n d e d e p a tr o n e s
10
-
De l o
y una c a t i d a d
OUT 1
2.
y
c a n t id a d
res to .
n ú m ero
OITT 1
IN
se
red .
11
IN
p reg u n ta
a p r e n d id o
Una
oirr o
IN
vez
p o s ib ilid a d
veces.
p a tró n
d esp u és
a
E s ta
uno d e e l l o s .
muy
se
d em ás,
p a tró n
en l a
e n tra d a
y de s a lid a
a r c h iv o
un
SO v e c e s
van a e d i t a r ,
e n tr e n a m ie n to .
p ara
2,
lo s
c a n t id a d
a p r e n d id o
d esea d a p ara cad a
El
de
m ayor
lo
que
e n tr e n a m ie n to .
o c a s io n e s
p re s e n ta r
p e r d e r ia
el
el
a lg u n a s
e n tr e n a m ie n to s e
s a lid a
r e p e tir
e n tr e n a d o
c o n tr a r io
P ara
m ism a v e l o c i d a d
va
s ig u ie n te
submenú.
CAMBIAR VALORES.
1 .-
Cambiar RAPIDEZ DE APRENDIZAJE.
2 .-
Cambiar- UMBRAL DE CONVERGENCIA.
3 .-
Cambiar frecuencia de maestreo del ERROR GLOBAL.
Escribe la OPCION:
86
una
lo s
de
a
e x te n s ió n
p a tro n es
E s ta s
o p c io n e s
p re s e n ta n
el
v a lo r
que
a c t u a lm e n t e
tie n e n
y
p id e n su n u ev o v a l o r .
3. -
APREND IZAJE d e l a
Para
u m b ral
el
de
g lo b a l,
a p r e n d iz a je
lo s
c u a le s
v a r ia b le
m o s tra r
el
la
La
e n tr e n a m ie n to ,
Con
la
p reg u n ta
n ú m ero
por
de
es
b a r r id o s ,
3,
Si
que
la
1 .-
En forma NUMERICA.
2 .-
Pesos
o p c ió n
de
de la
la
el
v a r ia b le s
del
0 .0 0 0 5
y
c u a lq u ie r
del
error
de
e s te
red .
A n te s
p r o p o r c io n a r
p a tro n es
lo s
del
erro r
de
10 0
m om ento
g lo b a l
se
tr a b a jo
es
de
e m p e za r
p a tro n e s
de
menú.
e n tr e n a m ie n to
la
se
c a n t id a d
p ara
la
de
la
red ,
e je c u ta r á n .
de
XOR
y
El
p a tr o n e s
p e d im o s
20
cad a p a tró n .
fr e c u e n c ia
D e s p le g a r
m u e stre o
e n tre
del
no d e s p le g a r á
4 .-
Con l a
lo s
4
de
en
p r e s e n ta c io n e s
5 veces
la s
m u estreo
d e fe c to
1 del
e m p ie z a
o
de
fin a lid a d e s
o p c ió n
d iv id e
ten em os
n ú m ero d e b a r r i d o s
de
la s
n e c e s a r io
se
u tiliz a n
c a m b ia d o s
c o n v e r g e n c ia
se
s e e n tre n a rá n
En c a s o
de
b a r r id o s
b a r r id o s
e x is te n t e s .
un a
se
por
ser
fr e c u e n c ia
de
o p c ió n
red
fr e c u e n c ia
v a lo r e s
m e d io d e l a
c u a n to s
la
la
p u ed en
p orqu e
v e lo c id a d
a p r e n d iz a je
y
tie n e n
E s to s
e n tr e n a m ie n to .
tie n e
de
c o n v e r g e n c ia
r e s p e c tiv a m e n te .
del
R ed .
erro r
g lo b a l
sea
m ayor
que
el
nada en p a n t a lla .
R ed.
4 ap arece e l
s ig u ie n te
subm enú.
En forma GRAFICA.
Escribe OPCION:
El
caso
1,
d e una n e u r o n a ,
a
la
n eu ron a
d e s p lie g a
fin a l
una
n eu ron a
dá
la s
c o n e x io n e s
lo s
e m p ie z a c o n
un
de
la
RETURN
y c o n tin u a
la
p esos
ú ltim a
p ara
con
de cada
n eu ron a 0 d e l
c o lu m n a
que
la
se
una d e
n iv e l
o c u lt a .
a p r e c ie
la s
1,
Al
m e jo r
n eu ron a s u b s e c u e n te .
87
c o n e x io n e s
h a sta lle g a r
t e r m in a r
lo s
pesos
con
de
El
caso
2,
n eu ron a O d e l
d e s p lie g a
n iv e l
lo s
pesos
1 h a sta l a
II.
4 5.
5 .-
RECONOCIMIENTO DE PATRONES.
Con
la
o p c ió n
Al
in ic io
p id e
la
s a lid a
deseada,
c o n tr a r io
el
e n v ia r á
Con l a
S,
se
p a tró n
en
6,
que
en e l
se
lo s
y
la
lu g a r
regresa
al
c o lo r e s
de lo s
e m p e za n d o
n iv e le s
de
com o r e s p u e s t a
red
del
lo
haya
con
o c u lt o s .
r e c o n o c im ie n to s
e n tra d a
caso
un -1
o p c ió n
h a cen
de
con
ú ltim a
la
ClVer
p a tro n es .
nos
e n tre g a
a p r e n d id o ,
de
lo
O y 1.
Menú P r i n c i p a l .
RECOMENDACIONES PARA EL USO DE REDJAN
P ara
c o m p ro b a r
que
c o r re c ta m e n te
cu an do s e
s a lv a
en
la
red
fá c ilm e n te
y lo s
la s
pesos
la
red
a r c h iv o
c o n e x io n e s
c o n e x io n e s
por
m e d io d e l
c o m p a c to
de s a lid a
y
y
é s te
de
la
e d ito r
nos
e n tra d a ,
red
de
qu ed aron
T u r b o C,
se
p e r m ite
a n a liz a r
n ú m e ro d e
neu ron as
d e c a d a c o n e x ió n .
U tiliz a r
si
un
la s
crea n
al
fr e c u e n c ia
de
m u estreo
v a a p r e n d ie n d o d u r a n t e e l
88
del
e rror
e n t r e n a m ie n t o .
g lo b a l
p ara
ver
C E N T R O DE IN VE ST IG A C IO N Y DE ES T U D I O S A V A N Z A D O S DE L I.P.N.
APARTADO PO STAL 14 740
MEXICO 0 70 0 0 , O .F.
EL JU R ADO D E S IG N A D O POR L A S E C C IO N
IN G E N I E R IA
E L E C T R IC A , A C E P T O E L
D E L ARO 1 9 9 0
D E SA R R O LL A D O
EL T R A B A JO DE T E S I S
POR E L ALU M NO :
DE C O M PU TA C IO N D E L
D IA
"
M A R T IN
11
D EL M E S DE
M O D E L A C IO N DE R E D E S N E U R O N A L E S
F IG U E R O A M IR E L E S _____________________
_________________________________________________ ; P A RA SU
R R E S P O N D IE N T E S DEL EXA MEN DE G RADO.
' Ida.
D EPARTAM ENTO DE
J U N IO ______________
IM P R E S IO N
V T R A M IT E S CO ­