Algo-de-Pensamientos en LLM Prompting Una visión general del razonamiento estructurado en LLM
Visión general del razonamiento estructurado en LLM en Algo-de-Pensamientos
Chain-of-Thoughts (CoT), Tree-of-Thoughts (ToT), Graph-of-Thoughts (GoT) y más, … ¿Qué son estos pensamientos?
En la era de los teléfonos inteligentes y los hogares inteligentes, imagina una IA que no solo sigue instrucciones, sino que realmente piensa, lidiando con lógica compleja como lo hacemos nosotros. Suena como ciencia ficción, ¿verdad? Sin embargo, si has jugado con ChatGPT, es probable que hayas presenciado esta asombrosa capacidad de primera mano. Incluso Hector Levesque, una figura destacada en el razonamiento de IA, quedó tan asombrado que una vez comentó al legendario Geoffrey Hinton: “¿Cómo puede un método tan estúpido (refiriéndose a las redes neuronales) lidiar con el razonamiento?”
Si bien esta historia subraya los avances monumentales en IA, la verdadera esencia de estos avances se encuentra en la danza intrincada de los Modelos de Lenguaje Grande (LLM) con el razonamiento. El punto de entrada a esta danza es la Ingeniería de Consignas, el arte y la ciencia de optimizar la entrada textual proporcionada a los LLM para obtener resultados deseados. En su núcleo, se trata de comprender las complejidades de cómo los modelos de lenguaje como ChatGPT, Bard, Claude, LLama y otros responden a diferentes consignas, y luego aprovechar este conocimiento para lograr resultados específicos.
Piensa en los LLM como vastos reservorios de conocimiento. La forma en que formulas tu pregunta o declaración (la consigna) determina cómo accedes a ese reservorio. Al igual que los seres humanos pueden ofrecer respuestas diferentes según cómo se formule una pregunta, los LLM también pueden dar respuestas variadas según la entrada.
En este artículo, recibirás una visión general concisa de varios marcos de ingeniería de consignas diseñados para mejorar el razonamiento de los LLM, que incluyen:
- Chain-of-Thought (Cadena de Pensamiento)
- Chain-of-Thought-Self-Consistency (Cadena de Pensamiento Autoconsistente)
- Tree-of-Thoughts (Árbol de Pensamientos)
- Graph-of-Thoughts (Gráfico de Pensamientos)
- Algorithm-of-Thoughts (Algoritmo de Pensamientos)
- Skeleton-of-Thought (Esqueleto de Pensamiento)
- Program-of-Thoughts (Programa de Pensamiento)
Chain-of-Thought (Cadena de Pensamiento – CoT)
En lugar de emitir directamente una respuesta, proporciona al modelo de lenguaje ejemplos de razonamiento intermedio para guiar su respuesta.
La técnica de promoción Chain-of-Thought (CoT) ha sido reconocida como una de las técnicas de ingeniería de consignas más innovadoras y con mayor impacto, mejorando los procesos de toma de decisiones en modelos de lenguaje grande. A diferencia de las metodologías de promoción convencionales que enfatizan las interacciones de entrada-salida directas, CoT obliga a un modelo a segmentar su razonamiento en pasos intermedios. Este método establece paralelos con los procesos cognitivos humanos, donde los desafíos complejos se segmentan en componentes más pequeños y manejables.
Para ilustrar, considera un problema matemático: “Roger posee 5 pelotas de tenis y posteriormente compra 2 latas de pelotas de tenis, cada una con 3 pelotas. ¿Cuántas pelotas de tenis posee ahora?”. En lugar de deducir directamente la respuesta como 11, una persona podría razonar: “Inicialmente, Roger tiene 5 pelotas. El total combinado de 2 latas, cada una con 3 pelotas, equivale a 6 pelotas. Sumando los valores, 5 + 6, obtenemos 11.” Al integrar este razonamiento analítico paso a paso en la consigna de entrada, no solo se aumenta la precisión de la respuesta del modelo, sino que también se logra esto sin necesidad de conjuntos de datos de entrenamiento adicionales o modificaciones en la configuración fundamental del modelo.
Chain-of-Thought-Self-Consistency (Cadena de Pensamiento Autoconsistente – CoT-SC)
Construye múltiples cadenas de pensamiento, evalúa cada una y, en última instancia, selecciona la cadena más efectiva y coherente.
Un avance posterior del marco de Chain of Thought es CoT-Self-consistency. Este método inicia múltiples vías de razonamiento simultáneas en respuesta a una consulta y aplica mecanismos de ponderación antes de finalizar una respuesta. Este enfoque se asemeja a las técnicas de conjunto observadas en el aprendizaje automático tradicional, pero se aplica a secuencias de pensamiento en modelos de lenguaje grande.
Árbol de Pensamientos (ToT)
Amplíe las cadenas de pensamiento en un formato de árbol. Esto permite retroceder, explorar múltiples ramas de razonamiento que se derivan de una única idea principal.
Árbol de Pensamientos (ToT) ofrece un marco de referencia más estructurado para el razonamiento de LLM al descomponer problemas complejos en partes más manejables. A diferencia de CoT, que razona en una cadena vinculada, ToT organiza su estrategia de resolución de problemas en un formato de árbol. Cada nodo, llamado ‘pensamiento’, es una secuencia coherente de palabras que sirve como un paso hacia la respuesta final. Al dividir los problemas en estas unidades discretas de ‘pensamiento’, desde una breve serie de palabras en un crucigrama hasta un componente de una ecuación matemática, ToT garantiza que cada fase del problema se aborde sistemáticamente.
La fortaleza operativa de ToT radica en su organización metódica. En primer lugar, el sistema descompone un problema y, a partir de su estado actual, genera una lista de posibles pasos de razonamiento o ‘pensamientos’ candidatos. Estos pensamientos se evalúan, y el sistema evalúa la probabilidad de que cada uno conduzca a la solución deseada. Se utilizan algoritmos de búsqueda estándar, como la búsqueda en anchura (BFS) y la búsqueda en profundidad (DFS), para navegar por este árbol, lo que ayuda al modelo a identificar la secuencia de pensamientos más efectiva.
La importancia de ToT radica en su diseño holístico, su adaptabilidad y su eficiencia. La cadena de pensamiento puede verse como una instancia específica dentro del marco de ToT. Su naturaleza modular indica que los componentes individuales, desde la descomposición inicial de un problema hasta los algoritmos de búsqueda utilizados, pueden funcionar de manera independiente.
Grafo de Pensamientos (GoT)
Evolucione la estructura de árbol en Grafos Acíclicos Dirigidos. Esto introduce bucles autónomos que pueden consolidar una línea de pensamiento particular o agregar varios pensamientos en uno cohesivo.
El marco de referencia Grafo de Pensamientos (GoT) representa una progresión avanzada de las metodologías CoT y ToT. El centro del marco de GoT es la conceptualización de ideas como vértices en un Grafo Acíclico Dirigido (DAG). En este contexto, cada vértice corresponde a un pensamiento o solución específica, ya sea preliminar, intermedia o terminal, provocada por un estímulo de entrada. Las aristas dirigidas dentro de este grafo representan la interdependencia entre estos pensamientos. Específicamente, si una arista se extiende desde el pensamiento t1 hasta t2, significa que t2 se concibió en función de t1. Esta sistematización permite una multiplicidad de pensamientos, ya que los nodos pueden clasificarse en categorías distintas como “planes” o “resultados”.
La novedad de GoT radica en su capacidad para aplicar transformaciones a estos pensamientos, refinando aún más el proceso de razonamiento. Las transformaciones cardinales incluyen Agregación, que permite la fusión de varios pensamientos en una idea consolidada; Refinamiento, donde se realizan iteraciones continuas en un pensamiento singular para mejorar su precisión; y Generación, que facilita la concepción de nuevos pensamientos que se derivan de los existentes. Tales transformaciones, con énfasis en la amalgamación de rutas de razonamiento, ofrecen una perspectiva más intrincada en comparación con modelos anteriores como CoT o ToT.
Además, GoT introduce una dimensión evaluativa a través de la Puntuación y Clasificación. Cada pensamiento individual, representado por un vértice, se somete a una evaluación basada en su pertinencia y calidad, facilitada por una función de puntuación designada. Es importante destacar que esta función contempla toda la cadena de razonamiento, asignando puntuaciones que pueden contextualizarse en relación con otros vértices en el grafo. El marco también dota al sistema de la capacidad de jerarquizar estos pensamientos en función de sus respectivas puntuaciones, una característica que resulta fundamental para discernir qué ideas merecen prioridad o implementación.
Algoritmo de Pensamientos (AoT)
Mantiene una única cadena de contexto en evolución, eliminando la necesidad de consultas redundantes como en el Árbol de Pensamiento. Explora un camino mutable de razonamiento.
Mientras que ToT y GoT abordan el desafío del razonamiento LLM a través de mecanismos basados en la búsqueda, produciendo una miríada de caminos de razonamiento en forma de gráficos. Sin embargo, su dependencia excesiva en numerosas consultas LLM, a veces en cientos para un problema único, plantea ineficiencias computacionales.
El Algoritmo de Pensamientos (AoT) ofrece un método innovador que presenta un camino de razonamiento dinámico y mutable. Al mantener una única cadena de contexto de pensamiento en evolución, AoT consolida la exploración del pensamiento, mejorando la eficiencia y reduciendo la carga computacional.
La genialidad detrás de AoT surge de la observación de que los LLM, aunque poderosos, a veces vuelven a soluciones anteriores cuando se enfrentan a problemas nuevos pero familiares. Para superar esto, AoT asimila ejemplos en contexto, aprovechando algoritmos de búsqueda probados en el tiempo, como la búsqueda en profundidad (DFS) y la búsqueda en anchura (BFS). Al emular el comportamiento algorítmico, AoT subraya la importancia de lograr resultados exitosos y obtener conocimientos de intentos fallidos.
El fundamento de AoT radica en sus cuatro componentes principales: 1) Descomponer problemas complejos en subproblemas comprensibles, considerando tanto su interrelación como la facilidad con la que se pueden abordar de forma individual; 2) Proponer soluciones coherentes para estos subproblemas de manera continua e ininterrumpida; 3) Evaluar intuitivamente la viabilidad de cada solución o subproblema sin depender de indicaciones externas explícitas; y 4) Determinar los caminos más prometedores para explorar o retroceder, basándose en ejemplos en contexto y pautas algorítmicas.
Esqueleto de Pensamiento (SoT)
Genera primero un esquema de respuesta antes de desarrollar los detalles de manera paralela, reduciendo el tiempo necesario para generar una respuesta completa.
El paradigma del Esqueleto de Pensamiento (SoT) está diseñado de manera distintiva no principalmente para aumentar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLMs), sino para abordar el desafío fundamental de minimizar la latencia de generación de extremo a extremo. La metodología opera en base a un enfoque de doble etapa que se centra en producir un esquema preliminar de la respuesta, seguido de su expansión exhaustiva.
En la etapa inicial del “Etapa de Esqueleto”, en lugar de producir una respuesta completa, se le solicita al modelo que genere un esquema de respuesta conciso. Esta representación abreviada, impulsada a través de una plantilla de esqueleto meticulosamente elaborada, captura los elementos clave de la respuesta prospectiva, estableciendo así una base para la etapa posterior.
En la subsiguiente “Etapa de Expansión de Puntos”, el LLM amplía sistemáticamente cada componente delineado en el esqueleto de respuesta. Aprovechando una plantilla de expansión de puntos, el modelo elabora simultáneamente cada segmento del esqueleto. Este enfoque dicotómico, que separa el proceso generativo en una formulación esquelética preliminar y una expansión detallada paralela, no solo acelera la generación de respuestas, sino que también se esfuerza por mantener la coherencia y precisión de los resultados.
Programa de Pensamientos (PoT)
Formular el razonamiento detrás de la respuesta de una pregunta en un programa ejecutable, incorporando la salida del intérprete del programa como parte de la respuesta final.
El Programa de Pensamientos (PoT) es un enfoque único para el razonamiento de LLM, en lugar de simplemente generar una respuesta en lenguaje natural, PoT exige la creación de un programa ejecutable, lo que significa que se puede ejecutar en un intérprete de programas, como Python, para producir resultados tangibles. Este método contrasta con modelos más directos, enfatizando su capacidad para descomponer el razonamiento en pasos secuenciales y asociar significados semánticos con variables. Como resultado, PoT ofrece un modelo más claro, expresivo y fundamentado de cómo se derivan las respuestas, mejorando la precisión y comprensión, especialmente para preguntas lógicas de tipo matemático donde se requieren cálculos numéricos.
Es importante tener en cuenta que la ejecución del programa de PoT no necesariamente apunta a la respuesta final, sino que puede ser parte del paso intermedio hacia la respuesta final.
En el siempre cambiante campo de la IA, los marcos de razonamiento estructurado como Chain-of-Thought han transformado drásticamente cómo percibimos y aprovechamos el poder de los Modelos de Lenguaje Grande. Representan un cambio hacia modelos que no solo regurgitan información, sino que también se involucran en un razonamiento intrincado, muy similar a los procesos cognitivos humanos. A medida que miramos hacia adelante, los horizontes potenciales parecen ilimitados. Imagina una IA capaz de generar no solo respuestas precisas, sino también soluciones programables sólidas o con la capacidad de visualizar sus procesos de pensamiento, haciendo que la colaboración entre IA y humanos sea aún más fluida. Estos avances, basados en los marcos fundamentales explorados en este artículo, anuncian un futuro en el que los Modelos de Lenguaje Grande se conviertan en compañeros indispensables en la resolución de problemas, la creatividad y la toma de decisiones, catalizando un cambio de paradigma en nuestra relación simbiótica con la tecnología.
