Modelos de lenguaje y amigos Gorilla, HuggingGPT, TaskMatrix y más

Modelos de lenguaje y amigos Gorilla, HuggingGPT, TaskMatrix y más' -> 'Modelos de lenguaje y amigos

¿Qué sucede cuando damos acceso a LLMs a miles de modelos de aprendizaje profundo?

Recientemente, hemos sido testigos del aumento de la popularidad de los modelos base en la investigación de aprendizaje profundo. Los modelos de lenguaje grandes pre-entrenados (LLMs) han llevado a un nuevo paradigma, en el que un solo modelo puede ser utilizado, con sorprendente éxito, para resolver diferentes problemas. A pesar de la popularidad de los LLMs genéricos, sin embargo, los modelos afinados en una tarea específica tienden a superar a los enfoques que aprovechan los modelos base. En resumen, ¡los modelos especializados siguen siendo muy difíciles de superar! Dicho esto, podríamos empezar a preguntarnos si los poderes de los modelos base y los modelos especializados de aprendizaje profundo pueden ser combinados. En esta visión general, estudiaremos investigaciones recientes que integran LLMs con otros modelos de aprendizaje profundo especializados, aprendiendo a llamar a sus APIs asociadas. El marco resultante utiliza el modelo de lenguaje como un controlador centralizado que forma un plan para resolver tareas complejas relacionadas con la inteligencia artificial y delega porciones especializadas del proceso de solución a modelos más apropiados.

“Al proporcionar solo las descripciones de los modelos, HuggingGPT puede integrar de manera continua y conveniente diversos modelos expertos de las comunidades de IA, sin alterar ninguna estructura ni configuración de entrada. Esta manera abierta y continua nos acerca un paso más a la realización de la inteligencia artificial general”. – de [2]

Antecedentes

Antes de explorar cómo los modelos de lenguaje pueden integrarse con otros modelos de aprendizaje profundo, debemos cubrir algunas ideas de antecedentes, como herramientas LLM, recuperación de información y autoinstrucción [11]. Para obtener más información de antecedentes genéricos sobre modelos de lenguaje, consulta los siguientes recursos.

• Conceptos básicos de modelado de lenguaje (GPT y GPT-2) [enlace]
• La importancia de la escala para los modelos de lenguaje (GPT-3) [enlace]
• LLMs modernos [enlace] y especializados [enlace]
• Ingeniería básica [enlace] y avanzada [enlace] de indicaciones

Uso de herramientas con…