Construir mejores modelos comienza con volver a examinar las métricas

Construir mejores modelos empieza por revisar las métricas

En su artículo, el científico informático de USC Mahyar Khayatkhoei demuestra teóricamente que existen fallos en la precisión y la recuperación. ¶ Crédito: metamorworks/Getty Images

Investigadores de la Universidad del Sur de California (USC) enfatizaron la importancia de medir el rendimiento de los modelos de inteligencia artificial generativa (IA) para mejorarlos.

Los investigadores dijeron que existen fallos en el uso de “precisión” y “recuperación” como métricas para cuantificar la fidelidad y diversidad de un modelo generativo como medida de rendimiento.

Esto significa, dijeron, que para construir un modelo generativo “mejor”, las métricas utilizadas para evaluar el rendimiento deben ser reexaminadas.

El científico informático de USC Mahyar Khayatkhoei dijo: “Cuando estas mediciones son defectuosas, eso significa que todas estas decisiones también pueden ser defectuosas.

“Creamos experimentos para demostrar que este problema existe, y demostramos matemáticamente que es en realidad, bajo algunas suposiciones, un problema muy general. Y luego, a partir de las ideas del análisis matemático, creamos una versión modificada para calcular estas métricas que alivian el problema”. De la Escuela de Ingeniería Viterbi de USC. Ver artículo completo

Derechos de autor de los resúmenes © 2023 SmithBucklin, Washington, D.C., EE. UU.