Ajuste fino eficiente de parámetros (PEFT) para LLMs Una introducción completa
Ajuste fino eficiente de parámetros (PEFT) para LLMs
Una encuesta conceptual de los métodos de PEFT utilizados por Hugging Face, Google’s Vertex AI y eventualmente OpenAI
Los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) son bastante grandes por su nombre. Estos modelos suelen tener desde 7 hasta 70 mil millones de parámetros. ¡Cargar un modelo de 70 mil millones de parámetros en precisión completa requeriría 280 GB de memoria GPU! Para entrenar ese modelo, actualizarías miles de millones de tokens en millones o miles de millones de documentos. La computación requerida es considerable para actualizar esos parámetros. El entrenamiento auto-supervisado de estos modelos es costoso, costando a las empresas hasta $100 millones.
Para el resto de nosotros, existe un interés significativo en adaptar nuestros datos a estos modelos. Con nuestros conjuntos de datos limitados (en comparación) y la falta de potencia informática, ¿cómo creamos modelos que puedan mejorar a los principales actores a una fracción del costo?
Aquí es donde entra en juego el campo de investigación de Ajuste Fino Eficiente en Parámetros (PEFT, por sus siglas en inglés). A través de diversas técnicas, que exploraremos en detalle pronto, podemos aumentar pequeñas secciones de estos modelos para que se adapten mejor a las tareas que buscamos completar.
Después de leer este artículo, comprenderás conceptualmente cada técnica de PEFT aplicada en Hugging Face y podrás distinguir las diferencias entre ellas. Uno de los resúmenes más útiles que encontré antes de este artículo fue un comentario en Reddit. También hay otro artículo excepcional disponible en lightning.ai (los creadores de pytorch lightning). Además, hay una encuesta exhaustiva en la que se basa gran parte de este artículo, escrita por Liali et al [2]. En mi artículo, pretendo abordar las brechas que identifiqué al revisar este material. En el momento de escribir este artículo, sirve como una guía conceptual de todos los métodos de PEFT presentes en la biblioteca Hugging Face. El objetivo para los lectores es abordar la literatura de investigación de otras técnicas de PEFT con una comprensión fundamental del campo.
Un momento de autorreflexión: ¿Es el momento de ajustar fino?
Escribí un artículo anterior sobre consideraciones relacionadas con el ajuste fino de LLMs y cómo se podría lograr un rendimiento similar mediante el Aprendizaje en Contexto…
