SESGO

UNIVERSIDAD AUTONOMA DEL ESTADO DE MEXICO
CENTRO UNIVERSITARIO UAEM ATLACOMULCO
LINEA DE APRENDIZAZJE: REDES NEURONALES
INGENIERO: MARCO ANTONIO LOPEZ PAREDES
ALUMNO: ROGELIO VALDES SANCHEZ
ICO-17
INVESTIGACION: SESGO EN BACKPROGATION
SESGO EN BACKPROGATION
Una red neuronal 3-4-2 completamente conectada requiere de 3*4 +
4*2 = 20 valores de ponderación y 4+2 = 6 valores de sesgo, lo que
suma un total de 26 ponderaciones y sesgos. Estas ponderaciones y
sesgos se inicializan en valores más o menos arbitrarios. Los valores
de entrada genéricos se establecen en 1,0, 2,0 y 3,0. Con los valores
iniciales de ponderación, sesgo y entrada, los valores de salida
iniciales que calcula la red neuronal son {0,7225; -0,8779}. El
programa de demostración supone que los dos valores de salida
correctos son {-0,8500; 0,7500}. La finalidad del algoritmo de
propagación inversa es encontrar un nuevo conjunto de ponderaciones
y sesgos que generen resultados muy próximos a los valores correctos
para las entradas {1,0; 2,0; 3,0}. La propagación inversa requiere de
dos parámetros libres. La velocidad de aprendizaje, generalmente
designada con la letra griega eta en la literatura sobre propagación
inversa, controla la velocidad con la que el algoritmo converge en el
cálculo final. El momento, designado generalmente con la letra griega
alfa, permite que el algoritmo de propagación inversa evite las
situaciones donde el algoritmo oscila sin converger en un cálculo final.
El programa de demostración establece la velocidad de aprendizaje en
0,90 y el momento en 0,04. Normalmente estos valores se encuentran
por ensayo y error. El proceso de encontrar el mejor conjunto de
ponderaciones y sesgos para una red neuronal a veces se denomina
entrenamiento de la red. En el caso de la propagación inversa, el
entrenamiento es un proceso iterativo. En cada iteración, la
propagación inversa calcula un nuevo conjunto de valores de
ponderación y sesgo que, en teoría, generan valores de salida que
estarán más cercanos a los valores esperados. Después de la primera
iteración de entrenamiento del programa de demostración, el algoritmo
de propagación inversa encontró los nuevos valores de ponderación y
sesgo, que generaron los resultados nuevos {-0,8932; -0,8006}. El
primer valor de salida de -0,8932 está mucho más cercano al primer
valor esperado de -0,8500. El segundo valor nuevo de salida de 0,8006 sigue estando muy alejado del valor esperado de 0,7500. El
proceso de entrenamiento se puede terminar de diferentes formas. El
programa de demostración itera el entrenamiento hasta que la suma
de las diferencias absolutas entre los valores de salida y los esperados
sea menor que <= 0,01 o el entrenamiento llegue a 1.000 iteraciones.
En la demostración, después de seis iteraciones de entrenamiento, la
propagación inversa encontró un conjunto de valores de ponderación y
sesgo que generaron salidas de {-0,8423; 0,7481}; muy próximas a los
valores esperados de {-0,8500; 0,7500}.