MLCommons presenta una nueva prueba de velocidad de referencia para ejecutar modelos de IA

MLCommons presenta prueba de velocidad para ejecutar modelos de IA

El lunes, un grupo de referencia de IA llamado MLCommons presentó los resultados de algunas pruebas nuevas que determinan qué tan rápido puede ejecutar los mejores hardware los modelos de IA. El informe, a través de Reuters, muestra que el mejor rendimiento para estas pruebas fue de un chip de Nvidia.

La prueba fue realizada en un modelo de lenguaje grande y el chip rival de Intel quedó en segundo lugar en los resultados de referencia. El modelo de referencia en cuestión se llama referencia MLPerf. Se basa en un LLM con 6 mil millones de parámetros que puede resumir artículos de CNN.

Nvidia obtuvo el primer lugar utilizando una compilación de ocho de sus chips insignia H100. Sin embargo, su rendimiento no sorprende, ya que el gigante de fabricación de chips ha dominado el mercado durante algún tiempo. Hablando de los resultados, el director de marketing de computación acelerada de Nvidia, Dave Salvator, dijo: “Lo que ves es que estamos ofreciendo un rendimiento de liderazgo en todos los aspectos y, nuevamente, entregando ese rendimiento de liderazgo en todas las cargas de trabajo”.

En segundo lugar, Intel logró el puesto de subcampeón utilizando sus chips Gaudi2. Estos chips son producidos por una de sus empresas más recientemente adquiridas, Habana. La adquisición se realizó en 2019 y sus chips eran aproximadamente un 10% más lentos que los de Nvidia.

• De los Datos a las Ideas Aprovechando la IA Generativa para el Anál...
• Cómo un enfoque arqueológico puede ayudar a aprovechar los datos se...
• Presentando Würstchen Difusión rápida para la generación de imágenes

Hablando del rendimiento de Gaudi2 durante las pruebas, el director de operaciones de Habana, Eitan Medina, dijo: “Estamos muy orgullosos de los resultados de inferencia, ya que mostramos la ventaja de rendimiento de precio de Gaudi2”.

Mientras hablaba con Reuters, Intel comentó cómo su compilación es más barata que la de Nvidia, que según sus afirmaciones tiene un precio similar a los sistemas de su rival de la generación anterior 100. Pero no solo Intel y Nvidia buscaban probar su hardware.

Durante las pruebas, Google presentó su compilación de chips. Esto fue anunciado en agosto, pero muestra que la industria de semiconductores, aunque dominada por algunos nombres, tiene algunos rivales emergentes. Lo cual tiene sentido, ya que se espera que la cuota de mercado de la industria experimente un crecimiento de dos dígitos.

Según Fortune Business Insights, se espera que la cuota de mercado de semiconductores supere el billón de dólares para 2029. Gran parte de esto se impulsa por la demanda de nuevos dispositivos electrónicos, herramientas alimentadas por IA, el crecimiento de la tecnología Internet de las cosas y más.