Meta lanza LLaMA 2 Gratis para uso comercial

Meta lanza LLaMA 2 gratis para uso comercial

Llama 2, la próxima generación de nuestro modelo de lenguaje grande de código abierto

Esto será rápido, Meta lanza la nueva versión de LLaMA. Esta versión se conocerá como LLaMA 2 y será gratuita tanto para investigación como para uso comercial. Esta es una publicación conjunta de Meta y Microsoft.

Creo que Microsoft quiere acaparar todos los modelos de lenguaje de terceros y mantenerlos como SaaS en su propia plataforma como una oferta comercial. Ahora tanto OpenAI como LLaMA formarán parte de las ofertas de Microsoft.

¿Qué hay de nuevo?

Incluiremos los pesos del modelo y el código de inicio para el modelo preentrenado y las versiones ajustadas a conversaciones también

Esto significa que ya no será necesario ir a 4chan para obtener los pesos y construir su propio modelo. Tanto la arquitectura como los pesos del modelo serán gratuitos para uso comercial.

Este modelo viene en 3 versiones —

LLaMA-2–7B
LLaMA-2–13B
LLaMA-2–70B

Estos modelos se están lanzando como un modelo Foundation y un modelo CHAT acompañante. Por lo tanto, se lanzarán en total 6 meses.

Los modelos más pequeños, 7B y 13B, deberían caber en una GPU de consumo moderna, mientras que el más grande, 70B, debería caber en la A100.

La longitud del contexto es por defecto 4096 pero se puede aumentar.
El modelo se entrena con 2 billones de tokens.
La arquitectura de 7B y 13B es similar a la de sus modelos anteriores, pero 70B es un nuevo lanzamiento.
El modelo se ajusta para casos de uso de chat y se crea utilizando ajuste supervisado con 100,000 muestras y más de un millón de preferencias humanas.

Benchmarks:

Este modelo debería funcionar al nivel de la mayoría de los modelos de código abierto. Especialmente en comparación con Falcon-40B (actual campeón reinante), este modelo supera significativamente a todos los demás en todas las tareas.

Meta lanza LLaMA 2 Gratis para uso comercial