Investigadores del MIT y Harvard han producido una hipótesis que podría explicar cómo se podría construir un transformador utilizando elementos biológicos en el cerebro
Investigadores del MIT y Harvard proponen construir un transformador utilizando elementos biológicos en el cerebro.
Las redes neuronales artificiales, modelos prevalentes en el aprendizaje automático capaces de ser entrenados para diversas tareas, reciben su nombre por su similitud estructural con los métodos de procesamiento de información de las neuronas biológicas dentro del cerebro humano. Su funcionamiento se inspira en el cerebro humano.
El surgimiento de los Transformers, una categoría distintiva de arquitectura de inteligencia artificial, ha generado una influencia profunda en el campo del aprendizaje automático y está penetrando de manera constante en el ámbito de la neurociencia computacional. Estos modelos revolucionarios exhiben una extraordinaria capacidad para lograr niveles de rendimiento inigualables, como lo demuestra su habilidad para generar texto a partir de indicaciones con una precisión notablemente similar a la humana. Es importante destacar que marcos prominentes de IA como ChatGPT y Bard se construyen sobre la base de los Transformers.
Recientemente, un esfuerzo colaborativo de investigadores del MIT, el Laboratorio de IA MIT-IBM Watson y la Escuela de Medicina de Harvard ha formulado una hipótesis que describe la posible construcción de un transformer utilizando componentes biológicos encontrados dentro del cerebro. Su propuesta gira en torno al concepto de que una red biológica, compuesta por neuronas junto con otras células esenciales del cerebro conocidas como astrocitos, podría ser capaz de ejecutar los cálculos fundamentales análogos a los realizados por una arquitectura de transformer.
El grupo de científicos llevó a cabo investigaciones computacionales exhaustivas sobre las funciones cognitivas realizadas por los astrocitos dentro del cerebro. Sus esfuerzos también llevaron al desarrollo de un marco matemático sofisticado que ilustra con precisión las interacciones colaborativas entre los astrocitos y las neuronas. Este marco sirve como un modelo para diseñar un modelo de transformer que imite de cerca los procesos biológicos intrincados del cerebro.
- La IA puede descifrar la mayoría de las contraseñas en menos de un ...
- Un enfoque simple (pero efectivo) para implementar pruebas unitaria...
- Cinco formas de manejar espacios de acción grandes en el Aprendizaj...
Los investigadores sentaron las bases estableciendo una correspondencia entre los modelos, utilizando pesos compartidos y presentando el escenario general. También desarrollaron un enfoque no astrocítico alternativo para implementar Transformers dentro de un contexto biológico para garantizar una comprensión integral.
Central en su investigación se encuentra la sinapsis tripartita, una conexión tridireccional ubicua que implica un astrocito, una neurona presináptica y una neurona postsináptica. Los investigadores enfatizaron que estas sinapsis tripartitas tienen el potencial de desempeñar un papel significativo en la realización de tareas de normalización dentro del mecanismo de autoatención de un modelo de Transformer.
Utilizaron los componentes matemáticos fundamentales inherentes a un transformer y construyeron modelos biofísicos sencillos que ilustran las interacciones entre los astrocitos y las neuronas durante la comunicación cerebral. Este proceso se basó en una exploración exhaustiva de la literatura existente y se benefició de los conocimientos proporcionados por neurocientíficos colaboradores. Al combinar hábilmente estos modelos utilizando combinaciones inteligentes, llegaron a una ecuación de red de neuronas-astrocitos que captura de manera hermosa el mecanismo de autoatención de un transformer.
Los investigadores ahora están pasando de los conceptos teóricos a las aplicaciones prácticas. Su próxima tarea implica analizar las predicciones de su modelo frente a los resultados observados en experimentos biológicos, una fase crucial que podría refinar o desafiar su hipótesis formulada.
Una idea interesante de su investigación es el posible papel de los astrocitos en la memoria a largo plazo. Esta idea surge porque la red necesita almacenar información de manera efectiva para posibles acciones futuras, lo que sugiere cómo los astrocitos podrían estar involucrados en este proceso de memoria.
Aunque las posibilidades intrigantes de combinar Transformers y el cerebro son cautivadoras, es importante reconocer las disparidades significativas en los procesos de aprendizaje de los humanos y los Transformers. Los Transformers muestran un hambre insaciable de datos, lo que requiere una cantidad considerable de energía para su entrenamiento. Por otro lado, el cerebro humano funciona con un presupuesto de energía relativamente modesto, similar al de una computadora portátil común. No requiere enormes conjuntos de datos de entrenamiento a escala de internet para desarrollar habilidades lingüísticas.
