Red neuronal: algoritmo BP
Para los principiantes, comprender la importancia de un algoritmo a menudo hará que presten atención al algoritmo en sí. El algoritmo BP (Back Propagation) tiene una importancia histórica extraordinaria y una gran importancia práctica.
En 1969, Marrin Minsky, el fundador de las redes neuronales artificiales, y Seymour Papert publicaron conjuntamente el libro "Perceptron", demostrando que un perceptrón lineal simple tiene funciones limitadas y no puede resolver problemas básicos como el "exclusivo". OR" (XOR), y también se muestra pesimista respecto a las redes multicapa. Estos argumentos supusieron un duro golpe para la investigación de redes neuronales. Muchos científicos abandonaron este campo uno tras otro, y la investigación de redes neuronales entró en un período bajo en 10 años.
De ahí la importancia histórica del algoritmo BP: niega claramente las opiniones erróneas de Minsky y otros, y tiene una importancia decisiva para el segundo clímax de las redes neuronales.
Este punto hace referencia al estado y trascendencia del algoritmo BP en el campo de las redes neuronales.
El algoritmo BP es, con diferencia, el algoritmo de aprendizaje de redes neuronales más exitoso. Cuando las redes neuronales se utilizan en tareas de la vida real, la mayoría de ellas se entrenan utilizando el algoritmo BP [2], incluida la convolución recientemente. Concepto popular de aprendizaje profundo: redes neuronales (CNN).
La red neuronal BP es un modelo de red neuronal que consta de una capa de entrada, una capa de salida y una o más capas ocultas. Su función de activación utiliza la función sigmoidea y se entrena mediante el algoritmo neuronal de avance multicapa. red.
El nombre completo del algoritmo BP se llama algoritmo de retropropagación de errores (error backpropagation, o también llamado algoritmo de retropropagación de errores). La idea básica del algoritmo es: en la red de avance descrita en 2.1, la señal de entrada ingresa a través de la capa de entrada y la capa de salida la emite mediante el cálculo de la capa oculta. El valor de salida se compara con el valor marcado. Si hay un error, el error se revierte y se envía a la capa de salida. Se propaga a la capa de entrada. En este proceso, se utiliza el algoritmo de descenso de gradiente para ajustar los pesos de las neuronas.
La herramienta matemática central del algoritmo BP es la regla de cálculo de derivación de cadena.
La primera deficiencia del algoritmo BP es el problema del mínimo local.
El algoritmo BP es esencialmente un descenso de gradiente y la función objetivo que quiere optimizar es muy compleja, lo que hace que el algoritmo BP sea ineficiente.
[1], "Pensamiento filosófico del algoritmo BP", escrito por Cheng Sumei y Hao Zhonghua
[2], "Aprendizaje automático", escrito por Zhou Zhihua
[3], Notas del documento de aprendizaje profundo (4) Derivación e implementación de la red neuronal convolucional CNN
2016-05-13 Primera versión
2016-06-04 Comparativo sustancial revisiones, mejorando el proceso de derivación y modificando el nombre del artículo
2016-07-23 Se corrigió un error en la derivación de la fórmula y se corrigió un error en la declaración