Conoce a Lamini AI Un motor LLM revolucionario que permite a los desarrolladores entrenar modelos de lenguaje de nivel ChatGPT con facilidad
Conoce a Lamini AI, un motor LLM revolucionario para entrenar modelos de ChatGPT con facilidad.
Enseñar LLM desde cero es desafiante debido al extenso tiempo requerido para entender por qué los modelos ajustados fallan; los ciclos de iteración para el ajuste fino en conjuntos de datos pequeños normalmente se miden en meses. En contraste, las iteraciones de ajuste para un prompt ocurren en segundos, pero después de unas pocas horas, el rendimiento se estabiliza. Los gigabytes de datos en un almacén no se pueden ajustar al espacio del prompt.
Usando solo unas pocas líneas de código de la biblioteca Lamini, cualquier desarrollador, no solo aquellos expertos en aprendizaje automático, puede entrenar LLMs de alto rendimiento que están a la altura de ChatGPT en conjuntos de datos masivos. Lanzada por Lamini.ai, las optimizaciones de esta biblioteca van más allá de lo que los programadores actualmente pueden acceder e incluyen técnicas complejas como RLHF y técnicas sencillas como la supresión de alucinaciones. Desde los modelos de OpenAI hasta los modelos de código abierto en HuggingFace, Lamini hace que ejecutar diversas comparaciones de modelos base con una sola línea de código sea sencillo.
Pasos para desarrollar tu LLM:
- Lamini es una biblioteca que permite ajustar prompts y generar texto.
- Ajuste fino y RLHF fáciles utilizando la poderosa biblioteca Lamini.
- Este es el primer generador de datos alojado aprobado para uso comercial específicamente para crear los datos requeridos para entrenar LLMs que sigan instrucciones.
- LLM gratuito y de código abierto que puede seguir instrucciones utilizando el software anterior con un esfuerzo de programación mínimo.
La comprensión del inglés de los modelos base es adecuada para casos de uso del consumidor. Sin embargo, cuando se les enseña el argot y los estándares de tu industria, el ajuste del prompt no siempre es suficiente y los usuarios deberán desarrollar su propio LLM.
- Google lanza ‘Genesis’, una IA escritora de noticias
- Utilizando Ciencia de Datos para identificar los principales influy...
- Cómo hacer que la IA escriba como tú (Tutorial Claude 2)
LLM puede manejar casos de uso de usuario como ChatGPT siguiendo estos pasos:
- Usando el ajuste de prompt de ChatGPT u otro modelo en su lugar. El equipo optimizó el mejor prompt posible para un uso sencillo. Ajusta rápidamente el prompt entre modelos con las APIs de la biblioteca Lamini; cambia entre modelos de OpenAI y modelos de código abierto con una sola línea de código.
- Crear una gran cantidad de datos de entrada-salida. Estos demostrarán cómo debe reaccionar ante los datos que recibe, ya sea en inglés o JSON. El equipo lanzó un repositorio con unas pocas líneas de código que utiliza la biblioteca Lamini para producir 50k puntos de datos a partir de tan solo 100. El repositorio contiene un conjunto de datos de 50k disponible públicamente.
- Ajustar un modelo inicial utilizando tus extensos datos. Además del generador de datos, también comparten un LLM ajustado con Lamini entrenado con los datos sintéticos.
- Pasar el modelo ajustado finamente por RLHF. Lamini elimina la necesidad de un equipo de aprendizaje automático (AA) y etiquetado humano (EH) de gran tamaño para operar RLHF.
- Ponerlo en la nube. Simplemente invoca el punto final de la API en tu aplicación.
Después de entrenar el modelo básico de Pythia con 37k instrucciones producidas (después de filtrar 70k), han lanzado un LLM de seguimiento de instrucciones de código abierto. Lamini ofrece todos los beneficios de RLHF y ajuste fino sin las complicaciones del primero. Pronto, estará a cargo de todo el procedimiento.
El equipo está emocionado de simplificar el proceso de entrenamiento para los equipos de ingeniería y mejorar significativamente el rendimiento de los LLMs. Esperan que más personas puedan construir estos modelos más allá de experimentar con prompts si los ciclos de iteración se pueden hacer más rápidos y eficientes.
