Un algoritmo de aprendizaje inspirado en el cerebro permite la metaplasticidad en redes neuronales artificiales y de impulsos
Algoritmo permite metaplasticidad en redes neuronales artificiales y de impulsos
La asignación de crédito en redes neuronales para corregir errores globales en la salida se ha determinado utilizando muchas reglas de plasticidad sináptica en redes neuronales naturales. La plasticidad a corto plazo, el aprendizaje Hebbiano y la plasticidad dependiente del tiempo de disparo (STDP) han sido los principales enfoques de intentos anteriores para incorporar principios de plasticidad biológicamente relevantes en ANNs espigantes y no espigantes. STDP va más allá del aprendizaje Hebbiano al considerar el orden temporal de los disparos pre y postsinápticos para alterar las sinapsis. Las reglas de plasticidad sináptica en ambos casos se basan únicamente en la actividad neuronal local en lugar de representar de manera precisa los mensajes instruccionales globales. Neuromoduladores como la dopamina, la noradrenalina, la serotonina y la acetilcolina actúan en muchas sinapsis y provienen de axones ampliamente dispersos de neuronas neuromoduladoras específicas para producir una modulación global de las sinapsis durante el aprendizaje asociado a la recompensa.
Los métodos de neuromodulación biológica han inspirado varios algoritmos de plasticidad en modelos de redes neuronales. Existe un retraso significativo entre la modificación Hebbiana y la recompensa, pero la regla ha inspirado otras formas de aprendizaje por refuerzo. Por ejemplo, la regla de tres factores para el aprendizaje por refuerzo utiliza la actividad neuronal pre y postsináptica como los dos primeros factores y los niveles de neuromoduladores dependientes de la recompensa distal como el tercer factor. Los modelos de traza de elegibilidad almacenan un registro de los disparos pre y postsinápticos anteriores que ocurrieron simultáneamente para facilitar los cambios sinápticos dependientes de la recompensa retrasada. La amplitud y polaridad sinápticas se han determinado en modelos de neurociencia computacional a nivel de neuromodulador, pero estos métodos aún deben incluirse en ANNs o SNNs. En lo que respecta al aprendizaje supervisado de reconocimiento de imágenes y voz, el algoritmo NACA no solo ha reducido significativamente el problema del olvido catastrófico durante la CL de clase, sino que también ha mejorado la precisión del reconocimiento y ha reducido el costo computacional. Los cambios en los pesos sinápticos en la capa enterrada se mapearon aún más, revelando que la distribución de los cambios de peso de NACA evitaba una potenciación o depresión sináptica excesiva, protegiendo así una alta proporción de sinapsis con pequeños ajustes. Nuestros hallazgos presentan colectivamente un nuevo algoritmo inspirado en el cerebro para la neuromodulación global basada en expectativas de la plasticidad sináptica, que permite el rendimiento de la red neuronal con alta precisión y bajo costo computacional en una variedad de tareas de reconocimiento y aprendizaje continuo.
Para abordar el problema del olvido catastrófico en ANN y SNN, los investigadores del Instituto de Automatización de la Academia China de Ciencias presentaron un nuevo enfoque de aprendizaje inspirado en el cerebro (NACA) basado en la plasticidad dependiente de la modulación neuronal.
Esta técnica se basa en un modelo matemático de la vía de modulación neuronal en forma de codificación de matriz anticipada, que a su vez se basa en la estructura del cerebro de la vía de modulación neuronal. Se generan señales supervisoras de dopamina de diferentes intensidades en respuesta a la señal del estímulo e influyen en la plasticidad de las neuronas y sinapsis cercanas.
- Dos nuevos esfuerzos de Meta AI para la equidad en la visión por co...
- Asistentes de correo electrónico de IA principales (septiembre de 2...
- Este artículo de investigación de IA presenta una encuesta exhausti...
Tanto las ANNs como las SNNs pueden ser entrenadas con la ayuda de la aprobación de NACA de técnicas de aprendizaje de flujo puramente directo. Se sincroniza con la señal de entrada e incluso propaga la información hacia adelante antes de que finalice la llamada entrante. NACA demuestra beneficios significativos en convergencia rápida y reducción del olvido catastrófico cuando se combina con una modificación específica de la plasticidad dependiente del tiempo de disparo. Además, el equipo de investigación amplió la modulación neuronal al rango de plasticidad neuronal y probó la capacidad de aprendizaje continuo de NACA en el aprendizaje continuo de clases.
Los investigadores definieron los niveles de neuromoduladores en subpoblaciones de sinapsis en las capas ocultas y de salida durante el entrenamiento de la red utilizando el algoritmo NACA, considerando el tipo de entrada y el error de salida. La dependencia de la eficacia sináptica en el nivel de neuromoduladores o calcio inspiró la modulación no lineal de la amplitud y polaridad de LTP y LTD en cada sinapsis en SNNs. La unión de la dopamina a las sinapsis que contienen receptores similares a D1 o D2, por ejemplo, puede activar de manera variable cascadas de señalización intracelular, lo que resulta en la modificación de LTP o LTD inducida por la actividad.
Implementamos la plasticidad sináptica dependiente de la neuromodulación en un algoritmo de aprendizaje llamado NACA para SNNs y ANNs. Encontramos mejoras significativas en la precisión y una disminución drástica en el costo computacional al aplicar la red a tareas comunes de reconocimiento de imágenes y voz. La técnica NACA redujo en gran medida el olvido catastrófico en cinco tareas de CL de clase de complejidad variable. Si bien se han desarrollado otros algoritmos de aprendizaje de redes inspirados en la neuromodulación, como la teoría del espacio de trabajo neuronal global en redes neuronales espigantes (SNNs) y la neuromodulación de la probabilidad de abandono en redes neuronales artificiales (ANNs), NACA se destaca por tres cualidades distintas que pueden contribuir a su éxito. El nivel de neuromodulador en neuronas y sinapsis específicas en las capas ocultas y de salida se ajusta mediante expectativas basadas en el tipo de entrada y el error de salida. En segundo lugar, el nivel de neuromodulador afecta de manera no lineal la plasticidad sináptica local, como LTP o LTD. En tercer lugar, el BP global de señales erróneas no es relevante para el aprendizaje de la red, que depende por completo de la plasticidad local.
El algoritmo NACA redujo drásticamente el costo computacional de todos los trabajos en comparación con los algoritmos de aprendizaje existentes. El uso de NACA ayudó a reducir el olvido extremo que a menudo ocurre durante el aprendizaje continuo. Además, el mapeo de los cambios de peso sináptico en las sinapsis de la capa oculta durante la clase CL reveló que NACA resultó en cambios de peso sináptico distribuidos de manera normal sin una potenciación o depresión excesiva, y preservó muchas sinapsis con una modificación mínima durante la clase-CL. La capacidad de NACA para reducir el olvido extremo puede basarse en cómo se distribuyen los cambios de peso sináptico.
A continuación se presentan algunas restricciones impuestas al algoritmo NACA propuesto:
- En primer lugar, en redes neuronales más profundas, el algoritmo NACA muestra cierta falta de estabilidad durante la neuromodulación de los cambios sinápticos. En las primeras pocas épocas, por ejemplo, la neuromodulación paralela en sinapsis multicapa contribuye a una disminución temporal en la precisión de las pruebas.
- En segundo lugar, siguiendo el código predictivo, el algoritmo NACA no se integra fácilmente con el algoritmo BP tradicional, ya que su neuromodulación global ocurre con o incluso antes de la propagación local de los spikes.
- En tercer lugar, NACA introduce e investiga solo neuronas LIF excitatorias y un solo tipo de neuromodulador sin examinar la interacción de las neuromodulaciones de varios tipos de neuronas.
El algoritmo NACA, que incorpora reglas de aprendizaje biológicamente plausibles sin recurrir a cálculos globales de descenso de gradiente similares al BP, podría impulsar el aprendizaje en redes para SNN y ANN, en resumen. Demuestra que se puede lograr alta eficiencia y bajo costo computacional en el aprendizaje automático mediante el uso de métodos inspirados en el cerebro. El algoritmo NACA, si se implementa en dispositivos neuromórficos, podría allanar el camino para sistemas de aprendizaje continuo en línea que sean eficientes en energía y tiempo. Desde la perspectiva de la neurociencia computacional, el éxito de NACA demuestra que la flexibilidad de los circuitos neuronales del cerebro para el aprendizaje continuo puede derivar de la diversidad basada en metaplasticidad de la plasticidad local.
