Estabilidad AI presenta Japanese StableLM Alpha Un gran avance en el modelo de lenguaje japonés.

Estabilidad AI presenta Japanese StableLM Alpha, un gran avance en el modelo de lenguaje japonés.

En un paso significativo hacia la mejora del panorama de la inteligencia artificial generativa japonesa, Stability AI, la empresa pionera en inteligencia artificial generativa detrás de Stable Diffusion, ha presentado su primer Modelo de Lenguaje (LM) en japonés conocido como Japanese StableLM Alpha. Este lanzamiento monumental ha captado la atención, ya que la compañía afirma que su LM es el modelo público más competente disponible para los hablantes de japonés. Esta afirmación se respalda con una evaluación exhaustiva de referencia frente a otros cuatro LMs japoneses.

Este nuevo Japanese StableLM Alpha, que cuenta con una impresionante arquitectura de 7 mil millones de parámetros, sirve como testamento al compromiso de Stability AI con el avance tecnológico. El modelo es una herramienta versátil y de alto rendimiento para diversas tareas lingüísticas. Supera a sus contemporáneos en múltiples categorías, posicionándose como líder en la industria.

La iteración comercial Japanese StableLM Base Alpha 7B está programada para su lanzamiento bajo la ampliamente reconocida Licencia Apache 2.0. Este modelo especializado se crea meticulosamente a través de un extenso entrenamiento en un conjunto de datos colosal que abarca 750 mil millones de tokens de texto en japonés e inglés, obtenidos meticulosamente de repositorios en línea.

El fundamento de este logro también se debe a los esfuerzos de colaboración. Stability AI aprovechó la experiencia del equipo japonés del proyecto EleutherAI Polyglot, lo que resultó en conjuntos de datos creados por la comunidad japonesa de Stability AI. Este esfuerzo colectivo se facilita aún más mediante el uso de una versión extendida del software GPT-NeoX de EleutherAI, que es un pilar del proceso de desarrollo de Stability AI.

Una innovación paralela, el Japanese StableLM Instruct Alpha 7B, marca otro hito notable. Este modelo está principalmente diseñado para fines de investigación y está exclusivamente destinado a aplicaciones de investigación. Exhibe una capacidad distintiva para adherirse a las instrucciones del usuario, lograda a través de un enfoque metodológico conocido como Ajuste Fino Supervisado (SFT) utilizando múltiples conjuntos de datos abiertos.

Estos modelos fueron validados mediante rigurosas evaluaciones utilizando la herramienta de Evaluación de Modelos de Lenguaje de EleutherAI. Los modelos se sometieron a escrutinio en diversos dominios, como clasificación de oraciones, clasificación de pares de oraciones, preguntas y respuestas, y resumen de oraciones, y obtuvieron una impresionante puntuación promedio del 54.71%. Stability AI sostiene que esta métrica de rendimiento posiciona de manera inequívoca al Japanese StableLM Instruct Alpha 7B por delante de sus contemporáneos, destacando su destreza y superioridad.

Curiosamente, el lanzamiento del LM japonés de Stability AI tiene otra capa de intriga debido a su sincronización en relación con el anuncio reciente de SoftBank. La semana pasada, SoftBank reveló su incursión en el ámbito de los Modelos de Lenguaje Grandes (LLM) desarrollados para el mercado japonés. El compromiso de la compañía se ve reforzado además por una asignación sustancial de aproximadamente 20 mil millones de JPY (más de $140 millones) para su plataforma de cómputo de inteligencia artificial generativa, que está lista para su lanzamiento a finales de este año.

A medida que el panorama continúa desarrollándose, se convierte en un juego de espera para averiguar qué Modelo de Lenguaje japonés finalmente establecerá su supremacía en el campo dinámico y en constante evolución de la inteligencia artificial generativa.