Desaprendizaje de máquinas en 2023 dónde estamos y hacia dónde nos dirigimos

Desaprendizaje de máquinas en 2023 situación y dirección

Un resumen de los paradigmas y métodos de desaprendizaje de máquinas, la motivación para el desaprendizaje de máquinas, los desafíos actuales y las perspectivas futuras.

Foto de Bret Kavanaugh en Unsplash (editada por el autor)

¿Alguna vez te has quedado despierto por la noche, atormentado por tu cerebro que reproduce una escena de ese recuerdo horriblemente embarazoso que deseas olvidar? Mantener ciertos recuerdos en nuestra mente puede ser desagradable, contraproducente o incluso perjudicial. Si tan solo nuestro cerebro humano tuviera la capacidad de olvidar cualquier cosa, eso es lo que querríamos.

Bueno, resulta que las máquinas y los modelos de aprendizaje automático enfrentan el mismo desafío: olvidar recuerdos contraproducentes o perjudiciales no siempre es tan fácil y sencillo como hacer clic en “eliminar”.

Entonces, ¿qué es este campo que ayuda a las máquinas a olvidar?

Tabla de contenidos

Introducción al desaprendizaje de máquinas
Aplicaciones y motivaciones
Algoritmos y evaluación
Desafíos actuales

Introducción al desaprendizaje de máquinas

¿Qué es el desaprendizaje de máquinas y en qué se diferencia del aprendizaje de máquinas? ¿Por qué necesitamos el desaprendizaje de máquinas y qué valor puede desbloquear? ¿Cuál es la intuición subyacente de los métodos y paradigmas existentes para el desaprendizaje de máquinas?

El desaprendizaje de máquinas es un campo relativamente nuevo que enseña a un modelo entrenado a “olvidar” un cierto subconjunto del conjunto de datos de entrada en el que fue entrenado, sin afectar significativamente su rendimiento. Existen varias motivaciones: cierta información personal ya no está disponible debido a las actualizaciones en las políticas de privacidad de datos; algunos datos se demuestran desactualizados o inexactos y son contraproducentes para el modelo; o un modelo es entrenado inadvertidamente con datos que perpetúan sesgos y queremos eliminar el subconjunto específico que induce dicho sesgo.

Es posible que te preguntes: esto suena como una tarea sencilla de eliminar el subconjunto problemático de datos y volver a entrenar un modelo utilizando el conjunto de datos actualizado. ¿Por qué complicarlo?

Resulta que muchos modelos, como los grandes modelos de lenguaje como ChatGPT, a menudo requieren vastos recursos computacionales para entrenarse en primer lugar. El conjunto de datos a olvidar a menudo constituye solo una pequeña fracción del conjunto de entrenamiento total; por lo tanto, el enfoque de “volver a entrenar desde cero” se convierte en una solución excesivamente costosa y repetitiva, lo que hace necesario un mejor algoritmo que elimine el conjunto de olvido sin afectar el rendimiento del modelo original.

Aplicaciones y motivaciones

¿Cuáles son algunos casos de uso que motivan el desarrollo del desaprendizaje de máquinas? ¿Cómo contribuye el desaprendizaje de máquinas de manera única a estos campos y tareas? ¿Qué aplicaciones futuras potenciales se están explorando y qué podemos esperar?

Hemos mencionado la idea de que debido a los recursos computacionales de escala, la ventaja que tiene el desaprendizaje de máquinas sobre un nuevo entrenamiento desde cero es mucho más significativa en conjuntos de datos más grandes, a menudo en aplicaciones de la vida real.

Veamos algunas de las principales áreas de aplicación que requieren el desaprendizaje de máquinas:

Modelos justos y éticos (eliminación de sesgos): Cuando se entrena con datos masivos del mundo real, a veces los modelos captan los sesgos inherentes al conjunto de datos. A medida que el modelo se escala, el algoritmo a veces puede amplificar el sesgo. En algunos casos, las consecuencias del sesgo del modelo pueden ser especialmente perjudiciales, como en modelos utilizados para la prevención de delitos o la contratación de un grupo de candidatos. Cuando se identifican estos sesgos, deben eliminarse de inmediato, y el desaprendizaje de máquinas ofrece una forma potencial de hacerlo y mitigar el daño.
Actualizaciones de datos (aprendizaje continuo): Los datos para un modelo pueden volverse obsoletos después de que se realicen correcciones o actualizaciones en el conjunto de datos por diversas razones. A través del desaprendizaje y el olvido de estos puntos de datos contraproducentes, los modelos pueden adaptarse a estos cambios y producir predicciones más precisas. Esto es especialmente útil en modelos de aprendizaje dinámico como el aprendizaje continuo; eliminar datos obsoletos o incorrectos mejora tanto la precisión como la eficiencia del cálculo.
Privacidad de datos (derecho al olvido): Esto es quizás con lo que más se ha asociado el desaprendizaje de máquinas. En un mundo digital en constante cambio, las leyes y regulaciones que rigen las prácticas digitales se actualizan constantemente. Olvidar ciertos atributos de los datos personales ayuda a los modelos a cumplir con regulaciones como el GDPR al proteger contra filtraciones de datos o preocupaciones de anonimización.

Algoritmos y Métricas de Evaluación

¿Cuáles son los principales paradigmas algorítmicos en el desaprendizaje automático y cómo se implementan? ¿Cuáles son las fortalezas y debilidades de cada uno? ¿Qué métricas se han propuesto para evaluar el rendimiento del desaprendizaje automático?

Métodos

La lógica detrás de eliminar datos sin volver a entrenar por completo es disminuir la correlación entre ciertas características y el resultado. Veamos una técnica principal, conocida como “envenenamiento de datos”:

Esto es cuando intencionalmente agregamos datos inexactos para “confundir” al modelo acerca de cierta característica o atributo. Aquí hay un ejemplo: un modelo entrenado con un conjunto de datos de informes de crímenes observa una tendencia donde las personas entre 50 y 60 años tienen una alta probabilidad de cometer delitos. Como resultado, el modelo se enfoca injustamente en el grupo de edad de 50 a 60 años en la detección futura de crímenes. Para mitigar este sesgo, podemos generar un conjunto de datos sintético de estadísticas de crímenes entre otros grupos de edad, que coincida con el grupo de edad de 50 a 60 años sin interferir con otras características. Esto debilita la fuerza de la correlación entre la condena y el grupo de edad de 50 a 60 años.

Métricas de Evaluación

Dado que este es un campo relativamente nuevo, muchos estándares de evaluación se están proponiendo todos los días para evaluar mejor el rendimiento del desaprendizaje automático. A continuación, destacamos algunas de las métricas de evaluación propuestas para medir la calidad y efectividad de los métodos de desaprendizaje automático:

Tasa de olvido: mide la proporción de muestras de datos que originalmente pertenecían a un conjunto de datos pero ya no son reconocidas después del proceso de desaprendizaje.
Ataque de inferencia de membresía: mide el grado en que un adversario puede inferir correctamente si una muestra de datos forma parte del conjunto de entrenamiento para el modelo. Esta métrica es especialmente relevante en contextos de seguridad.

Desafíos Actuales

¿Cuáles son los principales desafíos que enfrenta el campo del Desaprendizaje Automático en su conjunto? ¿Cuáles son los desafíos que surgen en contextos o aplicaciones específicas?

El desaprendizaje automático puede ser una tarea bastante compleja por varias razones. De hecho, en julio de 2023, Google lanzó una competencia pública con el objetivo de unificar y avanzar en métodos efectivos de desaprendizaje automático.

Falta de evaluación estandarizada. Aunque varias publicaciones han abordado la noción de una métrica de evaluación unificada utilizando conjuntos de datos conocidos como CIFAR10 y CIFAR100 como puntos de referencia, falta un estándar de evaluación universal que pueda unificar los resultados producidos por diferentes investigadores en el campo. De hecho, este es uno de los objetivos del reciente desafío de desaprendizaje automático de Google: proporcionar una plataforma para comparar diferentes métodos de manera consistente.
Susceptibilidad a ataques adversarios. Se ha descubierto que los modelos que han sido enseñados a desaprender algunos subconjuntos de datos pueden ser víctimas de ataques camuflados debido al mecanismo de envenenamiento involucrado en el desaprendizaje.

Direcciones Futuras

Estos obstáculos actuales proporcionan posibles direcciones para interesantes preguntas de investigación futura:

¿Cómo entrenamos modelos para defenderse contra ataques de envenenamiento camuflados?
¿Cómo podemos aprovechar los recursos computacionales para optimizar la eficiencia del desaprendizaje?
¿Cómo podemos limpiar y generar datos de manera efectiva para superar la falta de datos de entrenamiento?
¿Cómo podemos unificar un conjunto de estándares para evaluar algoritmos de desaprendizaje y asegurar una evaluación consistente?

Conclusión

¡Gracias por acompañarme hasta aquí! En este artículo, hemos recorrido el campo del desaprendizaje automático, incluyendo sus principales motivaciones y áreas de aplicación, métodos y paradigmas existentes, y desafíos actuales.

Más adelante en esta serie, profundizaremos en los aspectos técnicos de los algoritmos de desaprendizaje existentes e implementaciones en Python con conjuntos de datos estadísticos e imágenes reales. ¡Feliz codificación!✌🏼

Bibliografía

[1] Shaik, T., Tao, X., Xie, H., Li, L., Zhu, X., & Li, Q. (2023). Explorando el panorama del desaprendizaje automático: una encuesta y taxonomía exhaustivas. https://doi.org/10.48550/ARXIV.2305.06360

[2] Anunciando el primer desafío de Desaprendizaje Automático. (2023, 29 de junio). Ai.googleblog.com. https://ai.googleblog.com/2023/06/announcing-first-machine-unlearning.html

[3] Agencia de la Unión Europea para los Derechos Fundamentales. (2019). El Reglamento General de Protección de Datos: Un año después, sociedad civil: conciencia, oportunidades y desafíos. Oficina de Publicaciones. https://data.europa.eu/doi/10.2811/538633