Investigadores de Stanford presentan DSPy un marco de inteligencia artificial AI para resolver tareas avanzadas con modelos de lenguaje (LMs) y modelos de recuperación (RMs).
Investigadores de Stanford presentan DSPy, un marco de inteligencia artificial para resolver tareas avanzadas con LMs y RMs.
Se pueden resolver fácilmente varias tareas complejas utilizando Modelos de Lenguaje y Modelos de Recuperación. Los modelos de lenguaje, como GPT-3, están diseñados para generar texto similar al humano basado en la entrada que reciben. Por otro lado, los modelos de recuperación se utilizan para recuperar información relevante de una base de datos o colección de documentos. Definir claramente la tarea que se desea resolver determina si requiere generar nuevo texto o recuperar datos de fuentes existentes.
Con GPT-3 u otros modelos similares, es necesario proporcionar una indicación que describa la tarea y permitir que el modelo genere texto basado en ella. Requiere experimentar con la redacción y estructura de la indicación para obtener el resultado deseado. Implica combinar el texto generado por los modelos de lenguaje con la información recuperada de las bases de datos. Esto podría incluir la generación de resúmenes o ideas basadas en la información recuperada.
Investigadores de Stanford han desarrollado un marco de trabajo para resolver tareas avanzadas con modelos de lenguaje (LM) y modelos de recuperación (RM). Lo llaman DSPy. DSPy consta de varias técnicas para indicar y afinar los LMs y mejorar su razonamiento y recuperación. DSPy se basa en una sintaxis pythonica para proporcionar módulos componibles y declarativos para instruir a los LMs.
DSPy también tiene un compilador automático que entrena al LM para ejecutar los pasos declarativos en su programa. Este compilador puede afinar a partir de datos mínimos sin etiquetas intermedias manuales. Utiliza un espacio sistemático de piezas modulares y entrenables en lugar de manipulación de cadenas.
- ETL vs ELT vs Streaming ETL’ ‘ETL vs ELT vs Streaming ETL
- 6 Ejemplos de Modelos de Lenguaje Específicos de Dominio
- ¿Qué es MetaGPT? Agentes LLM colaborando para resolver tareas compl...
DSPy utiliza dos conceptos simples llamados “Firmas” y “Teleprompters” para compilar cualquier programa que escribas. Una firma es una especificación declarativa del comportamiento de entrada/salida de un módulo DSPy. En cambio, los teleprompters son optimizadores potentes (incluidos en DSPy) que pueden aprender a iniciar y seleccionar indicaciones efectivas para los módulos de cualquier programa.
La firma consta de una descripción mínima de la sub-tarea y una o más preguntas de entrada que se le harán al LM. También explica la respuesta que esperamos del LM a la pregunta. Los teleprompters son indicaciones automáticas a distancia. Dicen que en comparación con otros, DSPy requiere muy poco etiquetado. Iniciará cualquier etiqueta intermedia necesaria para respaldar el pipeline del usuario, que implica múltiples pasos complejos.
Dado que el marco de trabajo DSPy difiere significativamente de otras bibliotecas, es bastante fácil justificar cuándo usarlo según nuestro caso de uso. Los investigadores afirman que este marco unificado es útil para un investigador de NLP/IA o alguien que esté explorando nuevos pipelines o nuevas tareas para resolver problemas avanzados y complejos. Para hacerlo accesible a todos, han publicado un manual de usuario de instalación. También afirman que se publicarán diversos tutoriales introductorios y demostraciones con material de referencia en el futuro.
