Ajusta tu LLM sin sobrecargar tu GPU
'Adjust your LLM without overloading your GPU'.
Cómo puede ajustar su LLMs con hardware limitado y un presupuesto ajustado
Demanda de LLMs personalizados
Con el éxito de ChatGPT, hemos presenciado un aumento en la demanda de grandes modelos de lenguaje personalizados.
Sin embargo, ha habido una barrera para su adopción. Debido a que estos modelos son tan grandes, ha sido un desafío para las empresas, investigadores o aficionados con un presupuesto modesto personalizarlos para sus propios conjuntos de datos.
Ahora, con las innovaciones en los métodos de ajuste fino eficientes en parámetros (PEFT), es completamente posible ajustar modelos de lenguaje grandes a un costo relativamente bajo. En este artículo, demuestro cómo lograr esto en un Google Colab.
Anticipo que este artículo será valioso para profesionales, aficionados, estudiantes e incluso fundadores de startups prácticos.
Entonces, si necesita crear un prototipo barato, probar una idea o crear un proyecto interesante de ciencia de datos para destacarse entre la multitud, siga leyendo.
- Estime fácilmente los costos de su API de OpenAI con Tiktoken
- Una guía completa sobre términos de interacción en la predicción de...
- 130 Trucos y Recursos de Aprendizaje Automático Seleccionados Cuida...
¿Por qué ajustamos fino?
Las empresas a menudo tienen conjuntos de datos privados que impulsan algunos de sus procesos.
Para darle un ejemplo, trabajé para un banco donde registrábamos quejas de los clientes en una hoja de cálculo de Excel. Un analista era responsable de categorizar estas quejas (manualmente) con fines de informes. Al lidiar con miles de quejas cada mes, este proceso consumía mucho tiempo y era propenso a errores humanos.
Si hubiéramos tenido los recursos, podríamos haber ajustado fino un gran modelo de lenguaje para llevar a cabo esta categorización por nosotros, ahorrando tiempo a través de la automatización y potencialmente reduciendo la tasa de categorizaciones incorrectas.
Inspirado por este ejemplo, el resto de este artículo demuestra cómo podemos ajustar fino un LLM para categorizar quejas de los consumidores sobre productos y servicios financieros.
El Conjunto de Datos
El conjunto de datos comprende datos reales de quejas de consumidores sobre servicios y productos financieros. Son datos abiertos y públicos publicados por la Oficina de Protección Financiera del Consumidor.
Hay más de 120k quejas anonimizadas, categorizadas en aproximadamente 214 “subcuestiones”.
