Todo lo que necesitas saber sobre el aprendizaje en contexto
Aprendizaje en contexto - todo lo que necesitas saber
| APRENDIZAJE EN CONTEXTO | MODELOS DE LENGUAJE GRANDES | LLMs
¿Qué es y cómo funciona lo que hace que los Modelos de Lenguaje Grandes sean tan poderosos?
“Para mí, el contexto es la clave, de ahí surge la comprensión de todo”. – Kenneth Noland
El aprendizaje en contexto (ICL) es una de las habilidades más sorprendentes de los modelos. Observado con GPT-3, llamó la atención de los autores. ¿Exactamente qué es el ICL? Más importante aún, ¿qué lo genera?
Este artículo se divide en diferentes secciones, para cada sección responderemos a estas preguntas:
- ¿Qué es el Aprendizaje en Contexto (ICL)? ¿Por qué es interesante? ¿Por qué es útil?
- El misterio del ICL: ¿cómo funciona? ¿Es el conjunto de datos de entrenamiento? ¿Es la indicación? ¿Es la arquitectura?
- ¿Cuál es el futuro del ICL? ¿Cuáles son los desafíos restantes?
Consulta la lista de referencias al final del artículo, también proporciono algunas sugerencias para profundizar en los temas.
¿Qué es el Aprendizaje en Contexto (ICL)?
“Los límites de mi lenguaje significan los límites de mi mundo”. – Ludwig Wittgenstein
Antes de que se publicaran los Modelos de Lenguaje Grandes (LLMs), un modelo de inteligencia artificial estaba limitado a los datos en los que fue entrenado. En otras palabras, los LLMs solo podían resolver tareas para las cuales su entrenamiento estaba diseñado.
GPT-3 y los LLMs de hoy en día, por otro lado, muestran una nueva capacidad: la habilidad de aprender nuevas habilidades y resolver nuevas tareas simplemente proporcionando nuevos ejemplos en la entrada (indicación). Además, en este caso, no estamos entrenando el modelo; no hay actualización de gradiente ni cambios en los parámetros del modelo. Esta habilidad se llama Aprendizaje en Contexto (ICL).
