La startup escribe una historia de éxito de IA generativa con NVIDIA NeMo
La startup tiene éxito con IA generativa y NVIDIA NeMo
El aprendizaje automático ayudó a Waseem Alshikh a atravesar los libros de texto en la universidad. Ahora está poniendo en marcha la IA generativa, creando contenido para cientos de empresas.
Nacido y criado en Siria, Alshikh no hablaba inglés, pero era fluido en software, un talento que le fue útil cuando llegó a la universidad en Líbano.
“El primer día me dieron una pila de libros de texto, cada uno de mil páginas de grosor, y todo en inglés”, recordó.
Entonces, escribió un programa, un clasificador estadístico rudimentario pero efectivo que resumía los libros, y luego estudió los resúmenes.
De la idea a la empresa
En 2014, compartió su historia con May Habib, una emprendedora a la que conoció mientras trabajaba en Dubai. Acordaron crear una startup que pudiera ayudar a los departamentos de marketing, que siempre están bajo presión para hacer más con menos, a utilizar el aprendizaje automático para crear rápidamente contenido para sus páginas web, blogs, anuncios y más.
- Cómo la inteligencia artificial está ayudando a las aerolíneas a mi...
- Hostea la interfaz de usuario de Spark en Amazon SageMaker Studio
- Lanzamiento de Swift Transformers Ejecutar LLMs en Dispositivos de ...
“Inicialmente, la tecnología no estaba ahí, hasta que se anunciaron los modelos de transformadores, eso fue algo en lo que pudimos construir”, dijo Alshikh, el CTO de la startup.
“Encontramos a algunos ingenieros y pasamos casi seis meses construyendo nuestro primer modelo, una red neuronal que apenas funcionaba y tenía alrededor de 128 millones de parámetros”, una medida frecuentemente utilizada para evaluar la capacidad de un modelo de IA.
En el camino, la joven empresa obtuvo algunos clientes, cambió su nombre a Writer y se conectó con NVIDIA.
Una startup acelerada
“Una vez que conocimos a NVIDIA NeMo, pudimos construir modelos de alta calidad industrial con tres, luego 20 y ahora 40 mil millones de parámetros, y aún estamos escalando”, dijo.
NeMo es un marco de aplicación que ayuda a las empresas a organizar sus conjuntos de datos de entrenamiento, construir y personalizar grandes modelos de lenguaje (LLMs) y ejecutarlos a escala en producción. Organizaciones de todo el mundo, desde Corea hasta Suecia, lo utilizan para personalizar LLMs para sus idiomas e industrias locales.
“Antes de NeMo, nos llevaba cuatro meses y medio construir un nuevo modelo de mil millones de parámetros. Ahora podemos hacerlo en 16 días, esto es asombroso”, dijo Alshikh.
Los modelos crean oportunidades
En los primeros seis meses de este año, el equipo de menos de 20 ingenieros de IA de la startup utilizó NeMo para desarrollar 10 modelos, cada uno con 30 mil millones de parámetros o más.
Eso se traduce en grandes oportunidades. Cientos de empresas ahora utilizan los modelos de Writer personalizados por NeMo para finanzas, atención médica, venta minorista y otros mercados verticales.
La lista de clientes de la startup incluye nombres conocidos como Deloitte, L’Oreal, Intuit, Uber y muchas empresas de Fortune 500.
El éxito de Writer con NeMo es solo el comienzo de la historia. Docenas de otras empresas ya han descargado NeMo.
El software estará disponible pronto para que cualquiera lo use. Forma parte de NVIDIA AI Enterprise, un software de pila completa optimizado para acelerar las cargas de trabajo generativas de IA y respaldado por soporte de calidad empresarial, seguridad y estabilidad de la interfaz de programación de aplicaciones.
Un billón de llamadas a la API al mes
Algunos clientes ejecutan los modelos de Writer en sus propios sistemas o servicios en la nube. Otros le piden a Writer que aloje los modelos, o utilizan la API de Writer.
“Nuestra infraestructura en la nube, gestionada básicamente por dos personas, realiza un billón de llamadas a la API al mes, estamos generando 90,000 palabras por segundo”, dijo Alshikh. “Estamos entregando modelos de alta calidad que compiten con productos de empresas con equipos más grandes y presupuestos más grandes”.
Writer utiliza el Triton Inference Server que se incluye con NeMo para ejecutar modelos en producción para sus clientes. Alshikh informa que Triton, utilizado por muchas empresas que ejecutan LLMs, permite una latencia más baja y un mayor rendimiento que otros programas alternativos.
“Esto significa que puedes ejecutar un servicio por $20,000 en lugar de $100,000, por lo que podemos invertir más en la creación de características significativas”, dijo.
Un Horizonte Amplio
Writer también es miembro de NVIDIA Inception, un programa que fomenta el desarrollo de startups de vanguardia. “Gracias a Inception, obtuvimos acceso temprano a NeMo y a personas increíbles que nos guiaron en el proceso de encontrar y usar las herramientas que necesitamos”, dijo.
Ahora que los productos de texto de Writer están ganando impulso, Alshikh, quien divide su tiempo entre hogares en Florida y California, está buscando en el horizonte lo que viene después. En la amplia frontera actual de la IA generativa, ve oportunidades en imágenes, audio, video, 3D, tal vez todas las anteriores.
“Vemos la multimodalidad como el futuro”, dijo.
Visita esta página para comenzar con NeMo. Y obtén información sobre el programa de acceso temprano para NeMo multimodal aquí.
Y si disfrutaste esta historia, haz saber a las personas en las redes sociales utilizando lo siguiente, un resumen sugerido por Writer:
“Aprende cómo la startup Writer utiliza el software NVIDIA NeMo para generar contenido para cientos de empresas y acumular impresionantes ingresos con un personal y presupuesto reducidos”.
