Explorando el Mundo de la IA Generativa, Modelos Fundamentales y Modelos de Lenguaje Grandes Conceptos, Herramientas y Tendencias
Explorando IA Generativa, Modelos Fundamentales y Modelos de Lenguaje Grandes Conceptos, Herramientas y Tendencias
La Inteligencia Artificial (IA) ha avanzado enormemente en los últimos años, impulsada en gran medida por los avances en el Aprendizaje Profundo. Con la aparición de ChatGPT el año pasado, la popularidad del mundo de la IA Generativa ha aumentado con la aparición de muchas palabras que generan confusión, como Modelos Base, Modelos de Lenguaje de Gran Escala, GPT-3 y GPT-4, PaLM y PaLM 2, LLaMA y LLaMA 2, Falcon, ChatGPT, Bard, Claude 2, entre otros. La intención es brindar una mejor comprensión de los conceptos en torno a la IA Generativa y explorar tendencias y herramientas, con la premisa de que este artículo no es exhaustivo sobre el tema y se centra en contenido de texto.
La IA Generativa es un subcampo del universo de la Inteligencia Artificial con un crecimiento progresivo, especialmente a partir del año pasado con la aparición de ChatGPT. El término IA Generativa se refiere a modelos de Aprendizaje Profundo capaces de generar nuevo contenido como texto, imágenes, video, audio, estructuras, etc.
Los Modelos Base son un tipo de IA Generativa que se entrenan con grandes cantidades de datos no estructurados de manera no supervisada para aprender representaciones generales que pueden adaptarse para realizar múltiples tareas en diferentes dominios. Su objetivo es proporcionar una base para construir muchas aplicaciones de IA diferentes. Los modelos base tienen ventajas en rendimiento, eficiencia y escalabilidad sobre los modelos de IA convencionales que se entrenan con datos específicos de tareas.
Por ejemplo, se pueden construir modelos base con fines de cambio climático, utilizando datos geoespaciales para mejorar la investigación climática. Otro ejemplo puede ser el desarrollo de modelos base para programación, ayudando a completar código a medida que se está escribiendo.
Los Modelos de Lenguaje de Gran Escala (LLMs) son un subconjunto de los Modelos Base centrados en la generación y comprensión de texto. Se entrenan con grandes cantidades de datos textuales.
- NLP Moderno Una Visión Detallada. Parte 2 GPTs
- Las nuevas instrucciones personalizadas de ChatGPT acaban de ser la...
- Microsoft AI Research propone AltFreezing una nueva estrategia de e...
Ok, déjanos algunos ejemplos…
GPT-3 fue lanzado por OpenAI en 2020. Tiene un tamaño de 175 mil millones de parámetros y se entrenó con 300 mil millones de tokens con un tamaño de ventana de contexto de 2.048 tokens. GPT-4 fue lanzado en marzo de 2023, que es una mejora de GPT-3 con un tamaño de ventana de contexto de 32.768 tokens. Es un modelo multimodal que puede aceptar imágenes y texto como entrada y producir texto como salida.
PaLM fue lanzado por Google en 2022 con un tamaño de 540 mil millones de parámetros densamente activados y se entrenó con 780 mil millones de tokens con un tamaño de ventana de contexto de 2.048 tokens. Google también lanzó PaLM 2 en mayo de 2023, que es más rápido, relativamente más pequeño y rentable porque utiliza menos parámetros, admite más de 100 idiomas y alcanza un tamaño de ventana de contexto de 8.000 tokens. No es multimodal como GPT-4, pero se ha agregado la capacidad multimodal con Med-PaLM 2, limitado solo al dominio médico.
LLaMA fue desarrollado por Meta y lanzado en febrero de 2023. Tiene modelos que van desde 7 mil millones hasta 65 mil millones de parámetros entrenados en trillones de tokens, y a partir de julio de 2023, está disponible LLaMA 2, que mejoró la primera versión, alcanzando 70 mil millones de parámetros y aumentando el tamaño de ventana de contexto de 2.048 tokens a 4.096 tokens.
Falcon fue desarrollado por Technology Innovation Institute (TII) y la primera versión fue lanzada en octubre de 2021 con modelos que van desde 7 mil millones hasta 40 mil millones de parámetros, entrenados en un billón de tokens de datos web de alta calidad. Se puede descargar desde Hugging Face.
Dolly fue desarrollado por Databricks y lanzado en marzo de 2023. Tiene un tamaño de 12 mil millones de parámetros, basado en el modelo Pythia de EleutherAI y ajustado en un corpus de instrucciones de 15.000 registros generados entre empleados de Databricks.
Todos estos LLM utilizan un modelo basado en Transformadores para predecir el siguiente token en un documento, obviamente con algunas diferencias en sus arquitecturas.
Puedes explorar la clasificación de Hugging Face con el objetivo de rastrear, clasificar y evaluar los LLM y chatbots abiertos a medida que se lanzan.
Estos modelos representan el motor con el que se construyen herramientas de IA Generativa como ChatGPT. Si hacemos la comparación con un automóvil, los LLM son el motor del automóvil. Mientras tanto, los Chatbots representan la carrocería.
ChatGPT es el primer Chatbot de IA Generativa presentado por OpenAI al mercado en noviembre de 2022, está ajustado a partir de los Modelos de Lenguaje GPT-3.5 o GPT-4 Large utilizando Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF). Nos permite chatear de manera conversacional, brindando soporte para muchas tareas como responder preguntas, escribir resúmenes, depurar código, generar textos y más.
Bard es el competidor principal de ChatGPT desarrollado por Google y lanzado en febrero de 2023. Inicialmente basado en el Modelo de Lenguaje Grande LaMDA y posteriormente impulsado por PaLM 2. Funciona como ChatGPT y es capaz de entender y generar texto en muchos idiomas, con la diferencia de que se actualiza en tiempo real, lo que significa que puede acceder a información en la web para brindar respuestas más precisas y de alta calidad.
h2oGPT pertenece a la nueva generación de Chatbots desarrollados por la plataforma H2O.ai, que admite una variedad de modelos: GPT 3.5 turbo, LLaMA 2, Falcon… Puedes utilizarlo en línea o localmente, tiene un modo de interfaz de usuario de prueba comparativa que te permite comparar las salidas de diferentes modelos al mismo tiempo.
Claude 2 es desarrollado por Anthropic y funciona como ChatGPT, comprendiendo y generando textos, y brindando respuestas inofensivas actualizadas en tiempo real. Es un rival prometedor para ChatGPT y Bard.
Dado que ChatGPT funciona y es realmente útil para aumentar la productividad, no es solo una moda del momento, sino un negocio con oportunidad de crecimiento en los próximos años. Por esta razón, Google ha invertido en Bard y otras compañías también han decidido ingresar al mercado, como los Chatbots mencionados anteriormente y otras herramientas de IA Generativa.
En la siguiente imagen se muestra el interés en tendencia de ChatGPT vs Bard y los otros Chatbots mencionados anteriormente en el mundo en los últimos 30 días según Google Trends.
Claude 2 y h2oGPT tienen una superposición con un bajo nivel de interés, por lo que la competencia se desarrolla entre ChatGPT y Google Bard, con una clara ventaja para el primero hasta ahora.
Observando la comparación con una ventana de un año, ChatGPT alcanzó el nivel máximo de interés durante la primavera de 2023 y ahora ha experimentado una caída.
A partir de estas dos imágenes y la siguiente, la pregunta que me surge es: “En los próximos meses o años, ¿se erosionará la ventaja competitiva de ChatGPT o, dado que ChatGPT ingresó primero al mercado, se ha consolidado como una herramienta permanente para los usuarios, al igual que la búsqueda de Google en comparación con otras herramientas de búsqueda?”
Disfruta de tu Chatbot de IA Generativa favorito.
