IA Generativa con Modelos de Lenguaje Grandes Entrenamiento Práctico
IA Generativa con Modelos de Lenguaje Entrenamiento Práctico
Introducción
Los modelos de lenguaje grandes (LLM), como GPT-4, están transformando rápidamente el mundo y el campo de la ciencia de datos. En los últimos años, capacidades que antes parecían ciencia ficción se están convirtiendo en realidad a través de los LLM.
El entrenamiento práctico de Generative AI with Large Language Models te introducirá en los avances del aprendizaje profundo que impulsan esta revolución, con un enfoque en las arquitecturas de transformadores. Más importante aún, experimentarás directamente la increíble amplitud de capacidades que los últimos LLM, como GPT-4, pueden ofrecer.
- Llama 2 de Meta de código abierto para uso comercial
- Meta AI presenta CM3leon el revolucionario multimodal que ofrece ge...
- NLP Moderno Una Visión Detallada. Parte 1 Transformadores
Aprenderás cómo los LLM están cambiando fundamentalmente el juego para desarrollar modelos de aprendizaje automático y productos de datos comercialmente exitosos. Verás de primera mano cómo pueden acelerar las capacidades creativas de los científicos de datos al mismo tiempo que los impulsan a convertirse en gerentes sofisticados de productos de datos.
A través de demostraciones prácticas de código que aprovechan Hugging Face y PyTorch Lightning, este entrenamiento cubrirá todo el ciclo de vida del trabajo con LLM. Desde técnicas eficientes de entrenamiento hasta la implementación optimizada en producción, aprenderás habilidades directamente aplicables para desbloquear el poder de los LLM.
Al final de esta sesión llena de acción, tendrás tanto una comprensión fundamentada de los LLM como experiencia práctica aprovechando GPT-4.
Contenido del entrenamiento
El entrenamiento consta de 4 módulos breves que te introducirán en los Modelos de Lenguaje Grande y te enseñarán a entrenar tu propio modelo de lenguaje grande y desplegarlo en el servidor. Además de eso, aprenderás sobre el valor comercial que conllevan los LLM.
1. Introducción a los Modelos de Lenguaje Grande (LLMs)
- Una breve historia del procesamiento de lenguaje natural
- Transformers
- Tokenización de subpalabras
- Modelos autoregresivos vs. modelos de autoencoders
- ELMo, BERT y T5
- La familia GPT (Generative Pre-trained Transformer)
- Áreas de aplicación de los LLM
2. La amplitud de las capacidades de los LLM
- Áreas de juego de los LLM
- Asombroso progreso de la familia GPT
- Actualizaciones clave con GPT-4
- Llamadas a las APIs de OpenAI, incluido GPT-4
3. Entrenamiento y despliegue de los LLM
- Aceleración de hardware (CPU, GPU, TPU, IPU, chips de AWS)
- La biblioteca Transformers de Hugging Face
- Mejores prácticas para el entrenamiento eficiente de LLM
- Afinamiento de parámetros eficiente (PEFT) con adaptación de rango bajo (LoRA)
- LLMs pre-entrenados de código abierto
- Entrenamiento de LLM con PyTorch Lightning
- Entrenamiento con múltiples GPU
- Consideraciones para el despliegue de LLM
- Monitoreo de LLMs en producción
4. Obteniendo valor comercial de los LLM
- Apoyando el aprendizaje automático con LLMs
- Tareas que se pueden automatizar
- Tareas que se pueden mejorar
- Mejores prácticas para equipos y proyectos exitosos de IA
- Lo que viene para la IA
Recursos
El entrenamiento incluye enlaces a recursos externos como código fuente, diapositivas de presentación y un cuaderno de Google Colab. Estos recursos lo hacen interactivo y útil para ingenieros y científicos de datos que están implementando Generative AI en su entorno de trabajo.
Aquí tienes una lista de recursos esenciales necesarios para construir e implementar tu propio modelo LLM utilizando Huggingface y Pytorch Lightning:
- Diapositivas de la presentación
- Código fuente en GitHub
- Google Colab (T5-Finetune)
- Video en Youtube
- Jon Krohn (Sitio web oficial)
¡Descubre el secreto del éxito en solo 2 horas! ¡No esperes más!
Abid Ali Awan (@1abidaliawan) es un profesional certificado en ciencia de datos que ama construir modelos de aprendizaje automático. Actualmente, se centra en la creación de contenido y escribe blogs técnicos sobre tecnologías de aprendizaje automático y ciencia de datos. Abid tiene un máster en Gestión de Tecnología y una licenciatura en Ingeniería de Telecomunicaciones. Su visión es construir un producto de IA utilizando una red neural gráfica para estudiantes que luchan contra enfermedades mentales.
