Conoce ChatDB Un marco de trabajo que aumenta los LLMs con memoria simbólica en forma de bases de datos.
Conoce ChatDB, un marco de trabajo para incrementar los LLMs con memoria simbólica en bases de datos.
Los modelos de lenguaje grandes, como GPT-4 y PaLM 2, se han convertido en una parte crucial de los sistemas de IA contemporáneos, revolucionando su comprensión del procesamiento del lenguaje natural y cambiando diversos sectores. A pesar de los grandes avances en la comprensión y producción de respuestas contextualmente apropiadas, los MLL todavía tienen ciertas desventajas. Uno de los problemas clave es el hecho de que las interacciones de múltiples turnos con los modelos de lenguaje generan muchos tokens que fácilmente superan el límite de tokens de entrada de los MLL, como lo es el caso de GPT-4, que está limitado a 32.000 tokens. Los MLL deben mantener información contextual durante el encuentro y producir respuestas en función de la información recopilada.
Sin embargo, simplemente concatenar toda la información contextual y comprimirla en los MLL puede fácilmente exceder las capacidades de procesamiento de los MLL y acumular errores, lo que hace que el modelo pierda el hilo de la conversación y produzca respuestas menos precisas. Se han explorado algunos mecanismos de memoria neuronal para superar el problema de entrada limitada de tokens de los MLL. Los componentes de memoria sirven como un sistema de almacenamiento y recuperación de información relevante de interacciones previas. Sin embargo, la incorporación de memoria neuronal convencional en los MLL suele generar dificultades para almacenar, recuperar y manipular información histórica en la memoria, especialmente para tareas que requieren un razonamiento complejo de múltiples saltos.
Las dos razones principales son que no retienen los datos históricos de forma estructurada y no los manipulan simbólicamente, ya que todos se basan en cálculos de similitud de vectores, que pueden ser erróneos y causar una acumulación de errores. Los investigadores de la Universidad de Tsinghua, la Academia de Inteligencia Artificial de Beijing y la Universidad de Zhejiang abogan por el uso de bases de datos como memoria simbólica innovadora para los MLL para resolver los problemas mencionados anteriormente. ChatDB es el nombre de todo el marco. La figura 1 a continuación muestra las dos partes que componen ChatDB: un controlador MLL y su memoria. Las operaciones de lectura y escritura en la memoria son controladas por el controlador MLL, que puede ser cualquier MLL ampliamente utilizado.
La memoria de los MLL, que puede ser simbólica, no simbólica o una combinación de ambas, es responsable de hacer un seguimiento del pasado y difundir datos según sea necesario para ayudar al MLL a reaccionar ante la entrada humana. ChatDB enfatiza el aprovechamiento de las bases de datos como memoria simbólica, lo que permite el almacenamiento organizado de datos históricos a través de la ejecución de lenguaje figurativo, es decir, comandos SQL. El MLL crea estas declaraciones SQL. Una base de datos se puede utilizar como memoria simbólica en situaciones que requieren un registro, actualización, consulta, eliminación y análisis de datos históricos precisos. Por ejemplo, un gerente de tienda debe hacer un seguimiento de las cifras de ventas diarias. Por lo tanto, utilizar matrices o texto plano como memoria es inapropiado.
- Comprendiendo los gráficos de mosaico
- Rendered.ai integra NVIDIA Omniverse para la generación de datos si...
- Documentación de datos 101 ¿Por qué? ¿Cómo? ¿Para quién?
Sin embargo, el uso de una base de datos como memoria simbólica externa es bastante apropiado. La base de datos utiliza comandos SQL para realizar acciones precisas como inserción, eliminación, actualización y selección de datos. Como resultado, el uso de bases de datos como memoria simbólica externa garantiza la corrección y eficiencia en la gestión y manipulación de datos históricos, lo que mejora considerablemente el rendimiento de los MLL en situaciones que requieren la captura y el procesamiento de datos muy precisos y largos. En el marco de ChatDB, sugieren la estrategia de cadena de memoria para utilizar de manera más hábil la memoria simbólica externa, lo que aumenta aún más la capacidad de razonamiento de los MLL.
La entrada del usuario se convierte en una secuencia de etapas intermedias de operación de memoria mediante la técnica de cadena de memoria, lo que produce las salidas deseadas. Un problema complejo se divide en varias etapas de operación de memoria utilizando la técnica de cadena de memoria, lo que reduce considerablemente la dificultad de resolución de problemas. Cada paso intermedio en ChatDB implica una o más declaraciones SQL. El campo de los MLL se beneficia enormemente de su ChatDB. En primer lugar, sugieren agregar bases de datos a los MLL como su memoria simbólica externa. Esto permitiría el archivo organizado de datos históricos y habilitaría manipulaciones de datos simbólicos y complicados utilizando declaraciones SQL.
En segundo lugar, pueden manipular eficazmente la memoria transformando la entrada del usuario en operaciones intermedias de memoria de varios pasos utilizando su técnica de cadena de memoria. Esto mejora la eficiencia de ChatDB y le permite gestionar transacciones de bases de datos complicadas y multitasas con más precisión y estabilidad. Finalmente, su investigación muestra que agregar memoria simbólica a LLM mejora las habilidades de razonamiento de múltiples saltos y reduce la acumulación de errores, lo que permite que ChatDB funcione mejor en un conjunto de datos sintéticos que ChatGPT.
(Note: the HTML code has not been changed in the translation)
