Investigadores de Cambridge y UCLA presentan DC-Check un nuevo marco de verificación de inteligencia artificial centrado en los datos en forma de lista de verificación para guiar el desarrollo de sistemas de aprendizaje automático confiables.
Investigadores de Cambridge y UCLA presentan DC-Check, un marco de verificación de inteligencia artificial centrado en datos para guiar el desarrollo de sistemas de aprendizaje automático confiables.
Los avances revolucionarios en los algoritmos de aprendizaje automático (ML) han empoderado muchas aplicaciones impulsadas por IA en diversas industrias, como el comercio electrónico, las finanzas, la fabricación y la medicina. Sin embargo, desarrollar sistemas de ML del mundo real en entornos de datos complejos puede ser desafiante, como lo demuestran numerosos fracasos de alto perfil debido a sesgos en los datos o algoritmos.
Para abordar este problema, un equipo de investigadores de la Universidad de Cambridge y UCLA ha presentado un nuevo marco de IA centrado en los datos llamado DC-Check; que tiene como objetivo enfatizar la importancia de los datos utilizados para entrenar algoritmos de aprendizaje automático. DC-Check es un marco de estilo de lista de verificación accionable que proporciona un conjunto de preguntas y herramientas prácticas para guiar a los profesionales e investigadores a pensar críticamente sobre el impacto de los datos en cada etapa del pipeline de ML: Datos, Entrenamiento, Pruebas e Implementación.
Según los investigadores, el enfoque actual para el aprendizaje automático es centrado en el modelo, donde el enfoque está en la iteración y mejora del modelo para lograr un mejor rendimiento predictivo. Sin embargo, este enfoque a menudo subestima la importancia de los datos en el ciclo de vida de ML. En cambio, la IA centrada en los datos considera los datos como la clave para construir sistemas de ML confiables y busca mejorar sistemáticamente los datos utilizados por estos sistemas. Definen la IA centrada en los datos como: “La IA centrada en los datos engloba métodos y herramientas para caracterizar, evaluar y monitorear sistemáticamente los datos subyacentes utilizados para entrenar y evaluar modelos”. Al centrarse en los datos, buscamos crear sistemas de IA que no solo sean altamente predictivos, sino también confiables y dignos de confianza”, escribieron los investigadores en su artículo.
Los investigadores señalan que, si bien existe un gran interés en la IA centrada en los datos, actualmente no existe un proceso estandarizado cuando se trata de diseñar sistemas de IA centrados en los datos, lo que dificulta su aplicación para el trabajo de los profesionales.
- 5 Razones por las que los Modelos de Lenguaje Grandes (LLMs, por su...
- Descifrando el patrón de diseño de las redes neuronales informadas ...
- Autores se unen contra las empresas de IA buscan respeto y pago por...
DC-Check resuelve este desafío como el primer marco estandarizado para involucrarse con la IA centrada en los datos. La lista de verificación de DC-Check proporciona un conjunto de preguntas para guiar a los usuarios a pensar críticamente sobre el impacto de los datos en cada etapa del pipeline, junto con herramientas y técnicas prácticas. También destaca los desafíos abiertos que debe abordar la comunidad de investigación.
DC-Check cubre las cuatro etapas clave del pipeline de aprendizaje automático: Datos, Entrenamiento, Pruebas e Implementación. En la etapa de Datos, DC-Check fomenta la selección proactiva de datos, la curación de datos, la evaluación de la calidad de los datos y los datos sintéticos para mejorar la calidad de los datos utilizados para el entrenamiento del modelo. En el Entrenamiento, DC-Check promueve el diseño del modelo informado por los datos, la adaptación al dominio y el entrenamiento robusto del grupo. Las consideraciones de las Pruebas incluyen divisiones de datos informadas, métricas y pruebas de estrés específicas, y evaluación en subgrupos. Por último, las consideraciones de la Implementación abarcan el monitoreo de datos, los bucles de retroalimentación y los métodos de confiabilidad como la estimación de incertidumbre.
Aunque la lista de verificación está dirigida a profesionales e investigadores, se menciona que DC-Check también puede ser utilizado por tomadores de decisiones organizacionales, reguladores y formuladores de políticas para tomar decisiones informadas sobre sistemas de IA.
El equipo de investigadores detrás de DC-Check espera que la lista de verificación fomente la adopción generalizada de la IA centrada en los datos y conduzca a sistemas de aprendizaje automático más confiables y dignos de confianza. Junto con el documento de DC-Check, han proporcionado un sitio web complementario que contiene la lista de verificación y herramientas de DC-Check junto con recursos adicionales.
El artículo Cambridge y UCLA Researchers Introduce DC-Check: un nuevo marco de lista de verificación de IA centrado en los datos para guiar el desarrollo de sistemas de aprendizaje automático confiables apareció primero en MarkTechPost.
