Investigadores de Virginia Tech y Microsoft presentan el Algoritmo de Pensamientos Un enfoque de IA que mejora la exploración de ideas y el poder de razonamiento en los Modelos de Lenguaje Grandes (LLMs).
Investigadores de Virginia Tech y Microsoft presentan el Algoritmo de Pensamientos, un enfoque de IA que mejora la exploración de ideas y el razonamiento en LLMs.
Los modelos de lenguaje grandes (LLMs) han avanzado recientemente, y esto ha generado conciencia sobre su utilidad para una variedad de actividades de resolución de problemas. Estos modelos han demostrado sus habilidades en una variedad de contextos de resolución de problemas, incluyendo la generación de código, el seguimiento de instrucciones y la resolución general de problemas. La investigación contemporánea se ha dirigido hacia enfoques más sofisticados, incluyendo caminos de razonamiento lineal, en contraste con los primeros modelos que utilizaban estrategias de respuesta directa. En métodos más recientes, los problemas complicados se han dividido en tareas más pequeñas para facilitar la búsqueda sistemática de soluciones. Además, se están incorporando procesos externos para cambiar la creación de tokens mediante la modificación del contexto.
El cuerpo actual de investigación típicamente utiliza un mecanismo operativo externo que detiene, modifica y luego reanuda el proceso de generación en un esfuerzo por superar la metodología actual de cadena de pensamiento. Esto se hace para mejorar la capacidad de razonamiento de los LLMs, pero tiene la desventaja de generar más solicitudes de consulta y, como resultado, hay más gastos, más requisitos de memoria y más sobrecarga computacional.
Para superar los desafíos, un equipo de investigadores de Virginia Tech Microsoft ha introducido un enfoque único llamado Algoritmo de Pensamientos. Con esta estrategia, los LLMs son impulsados a lo largo de caminos de razonamiento algorítmico, creando efectivamente una nueva forma de aprendizaje dentro de un contexto. Las dinámicas recurrentes inherentes en los LLMs se han utilizado con la ayuda de ejemplos algorítmicos, lo que ha permitido la expansión de la exploración de conceptos con solo un pequeño número de consultas.
El objetivo principal de AoT es enseñar a los LLMs a través de ejemplos de algoritmos que encarnan perfectamente el espíritu de la exploración. La técnica reduce la cantidad de consultas requeridas mientras expande el estudio de conceptos de los LLMs. AoT supera las técnicas antiguas de una sola consulta y es competitivo con las tácticas contemporáneas de múltiples consultas que utilizan algoritmos sofisticados de búsqueda en árboles.
- Las mejores herramientas de IA para estudiantes (septiembre de 2023)
- Utilice el uso compartido de tarjetas de modelo de Amazon SageMaker...
- Microsoft infunde IA con razonamiento similar al humano a través de...
Este método puede superar técnicas antiguas que solo utilizan una consulta, lo que hace que este enfoque sea único. Además, el rendimiento de este enfoque es comparable al de un método reciente de múltiples consultas que utiliza un algoritmo sofisticado de búsqueda en árboles. Los resultados sugieren que un LLM puede superar potencialmente al algoritmo cuando se entrena utilizando el método. Este hallazgo sugiere que los LLMs tienen la capacidad innata de incorporar su intuición en procedimientos de búsqueda mejorados.
En conclusión, los casos de uso para AoT son extensos. AoT tiene la capacidad de cambiar por completo la forma en que los LLMs abordan problemas de razonamiento, desde la resolución general de problemas hasta las dificultades de programación intrincadas. La inclusión de caminos algorítmicos permite que los LLMs tengan en cuenta diversas soluciones, técnicas de retroceso de modelos y evalúen el potencial de diversos subproblemas. AoT proporciona un nuevo paradigma para el aprendizaje en contexto al cerrar la brecha entre los LLMs y el pensamiento algorítmico.
