Inteligencia Artificial Responsable en Google Research Equidad en la Percepción
AI Responsable en Google Research Equidad en la Percepción
Publicado por Susanna Ricco y Utsav Prabhu, co-líderes del equipo de Equidad de Percepción, Investigación de Google
La investigación de IA Responsable de Google se basa en una fundación de colaboración, entre equipos con diversos antecedentes y experiencia, entre investigadores y desarrolladores de productos, y en última instancia, con la comunidad en general. El equipo de Equidad de Percepción impulsa el progreso al combinar una profunda experiencia en el tema tanto en visión por computadora como en equidad de aprendizaje automático (ML), con conexiones directas a los investigadores que construyen los sistemas de percepción que impulsan productos en Google y más allá. Juntos, estamos trabajando para diseñar intencionalmente nuestros sistemas de manera inclusiva desde cero, guiados por los Principios de IA de Google.
 |
| La investigación de Equidad de Percepción abarca el diseño, desarrollo e implementación de modelos multimodales avanzados, incluidos los últimos modelos fundamentales y generativos que impulsan los productos de Google. |
La misión de nuestro equipo es avanzar en los límites de la equidad y la inclusión en sistemas de ML multimodales, especialmente en relación con los modelos fundamentales y la IA generativa. Esto abarca componentes tecnológicos clave, como clasificación, localización, subtitulación, recuperación, respuesta a preguntas visuales, generación de texto a imagen o video, y edición generativa de imágenes y videos. Creemos que la equidad y la inclusión pueden y deben ser objetivos de rendimiento prioritarios para estas aplicaciones. Nuestra investigación se centra en desbloquear nuevos análisis y mitigaciones que nos permitan diseñar de manera proactiva para estos objetivos durante todo el ciclo de desarrollo. Respondemos preguntas fundamentales, como: ¿Cómo podemos utilizar el ML para modelar de manera responsable y fiel la percepción humana de las identidades demográficas, culturales y sociales para promover la equidad y la inclusión? ¿Qué tipos de sesgos del sistema (por ejemplo, rendimiento deficiente en imágenes de personas con ciertos tonos de piel) podemos medir y cómo podemos utilizar estas métricas para diseñar mejores algoritmos? ¿Cómo podemos construir algoritmos y sistemas más inclusivos y reaccionar rápidamente ante fallas?
Medición de la representación de personas en los medios
Los sistemas de ML que pueden editar, curar o crear imágenes o videos pueden afectar a cualquier persona expuesta a sus resultados, moldeando o reforzando las creencias de los espectadores en todo el mundo. La investigación para reducir los daños representacionales, como reforzar estereotipos o denigrar o borrar grupos de personas, requiere una comprensión profunda tanto del contenido como del contexto social. Depende de cómo los diferentes observadores se perciben a sí mismos, a sus comunidades o cómo se representa a los demás. Existe un considerable debate en el campo sobre qué categorías sociales deben estudiarse con herramientas computacionales y cómo hacerlo de manera responsable. Nuestra investigación se centra en trabajar hacia soluciones escalables que se informen de la sociología y la psicología social, estén alineadas con la percepción humana, abracen la naturaleza subjetiva del problema y permitan una medición y mitigación matizadas. Un ejemplo es nuestra investigación sobre las diferencias en la percepción humana y la anotación del tono de piel en imágenes utilizando la escala Monk Skin Tone.
Nuestras herramientas también se utilizan para estudiar la representación en colecciones de contenido a gran escala. A través de nuestro proyecto Media Understanding for Social Exploration (MUSE), hemos colaborado con investigadores académicos, organizaciones sin fines de lucro y grandes marcas de consumo para comprender los patrones en los medios de comunicación y el contenido publicitario. Publicamos este trabajo por primera vez en 2017, con un estudio coautor que analiza la equidad de género en las películas de Hollywood. Desde entonces, hemos aumentado la escala y la profundidad de nuestros análisis. En 2019, publicamos hallazgos basados en más de 2.7 millones de anuncios de YouTube. En el último estudio, examinamos la representación en las intersecciones de presentación de género percibida, edad percibida y tono de piel en más de doce años de programas de televisión populares en los Estados Unidos. Estos estudios brindan información a los creadores de contenido y anunciantes, y también informan nuestra propia investigación.
- La IA lleva al compañero de ala robot a los combates aéreos
- El Poder de la Colaboración Cómo los Proyectos de Código Abierto es...
- La IA no debería perder tiempo reinventando ETL
 |
| Una ilustración (no datos reales) de señales computacionales que se pueden analizar a gran escala para revelar patrones representacionales en colecciones de medios. [Colección de videos / Getty Images] |
Avanzando, estamos ampliando los conceptos de equidad de ML en los que nos enfocamos y los dominios en los que se aplican de manera responsable. Mirando más allá de las imágenes fotorrealistas de personas, estamos trabajando para desarrollar herramientas que modelen la representación de comunidades y culturas en ilustraciones, representaciones abstractas de personajes humanoides e incluso imágenes sin personas en absoluto. Finalmente, necesitamos razonar no solo sobre quién está representado, sino cómo se representan: qué narrativa se comunica a través del contenido de la imagen circundante, el texto acompañante y el contexto cultural más amplio.
Análisis de las propiedades de sesgo de los sistemas perceptuales
La construcción de sistemas avanzados de ML es compleja, con múltiples partes interesadas que informan sobre varios criterios que deciden el comportamiento del producto. La calidad generalmente se ha definido y medido utilizando estadísticas resumidas (como la precisión general) sobre un conjunto de datos de prueba como un proxy para la experiencia del usuario. Pero no todos los usuarios experimentan los productos de la misma manera.
La Equidad de Percepción permite la medición práctica del comportamiento del sistema de manera sutil, más allá de las estadísticas resumidas, y hace que estas métricas sean fundamentales para la calidad del sistema que informa directamente los comportamientos y las decisiones de lanzamiento del producto. Esto a menudo es mucho más difícil de lo que parece. Destilar problemas de sesgo complejos (por ejemplo, disparidades en el rendimiento entre subgrupos interseccionales o instancias de refuerzo de estereotipos) en un número reducido de métricas sin perder matices importantes es extremadamente desafiante. Otro desafío es equilibrar la interacción entre las métricas de equidad y otras métricas del producto (por ejemplo, satisfacción del usuario, precisión, latencia), que a menudo se plantean como conflictivas a pesar de ser compatibles. Es común que los investigadores describan su trabajo como optimizar un “equilibrio de precisión-equidad” cuando, en realidad, la satisfacción generalizada del usuario se alinea con los objetivos de equidad e inclusión.
 |
| Construimos y lanzamos el conjunto de datos MIAP como parte de Open Images, aprovechando nuestra investigación sobre la percepción de conceptos socialmente relevantes y la detección de comportamientos sesgados en sistemas complejos para crear un recurso que promueva la investigación de equidad de ML en la visión por computadora. Créditos originales de la foto: izquierda: Biblioteca Pública de Boston; medio: jen robinson; derecha: Garin Fons; todos usados con permiso bajo la licencia CC-BY 2.0. |
Para lograr estos objetivos, nuestro equipo se enfoca en dos direcciones de investigación amplias. Primero, democratizar el acceso a herramientas de análisis de equidad bien comprendidas y ampliamente aplicables, involucrando a organizaciones colaboradoras en su adopción en los flujos de trabajo de productos e informando a la dirección en la interpretación de los resultados. Este trabajo incluye el desarrollo de pruebas amplias, la selección de conjuntos de datos de prueba ampliamente útiles y de alta calidad y herramientas centradas en técnicas como el análisis segmentado y las pruebas contrafactuales, a menudo basadas en el trabajo de señales de representación central descrito anteriormente. Segundo, avanzar en enfoques novedosos hacia la analítica de equidad, incluida la colaboración con esfuerzos de productos que pueden resultar en hallazgos innovadores o informar la estrategia de lanzamiento.
Avanzando en la IA de manera responsable
Nuestro trabajo no se detiene en el análisis del comportamiento del modelo. Más bien, lo utilizamos como punto de partida para identificar mejoras algorítmicas en colaboración con otros investigadores e ingenieros de equipos de productos. En el último año, hemos lanzado componentes mejorados que potencian las funciones de búsqueda y recuerdos en Google Photos, lo que ha llevado a un rendimiento más consistente y una mejora drástica en la robustez mediante la adición de capas que evitan que los errores se propaguen a través del sistema. Estamos trabajando en mejorar los algoritmos de clasificación en Google Images para diversificar la representación. Actualizamos los algoritmos que pueden reforzar estereotipos históricos, utilizando señales adicionales de manera responsable, de modo que sea más probable que todos se vean reflejados en los resultados de búsqueda y encuentren lo que están buscando.
Este trabajo se traslada naturalmente al mundo de la IA generativa, donde los modelos pueden crear colecciones de imágenes o videos a partir de indicaciones de imágenes y texto y pueden responder preguntas sobre imágenes y videos. Estamos entusiasmados con el potencial de estas tecnologías para ofrecer nuevas experiencias a los usuarios y como herramientas para promover nuestra propia investigación. Para habilitar esto, estamos colaborando con las comunidades de investigación y de IA responsable para desarrollar salvaguardias que mitiguen los modos de fallo. Estamos utilizando nuestras herramientas para comprender la representación para crear pruebas escalables que se pueden combinar con el feedback humano, e invirtiendo en investigación desde la preentrenamiento hasta la implementación para guiar a los modelos a generar resultados de mayor calidad, más inclusivos y más controlables. Queremos que estos modelos inspiren a las personas, produciendo resultados diversos, traduciendo conceptos sin depender de estereotipos, y brindando comportamientos y respuestas consistentes en variaciones contrafactuales de las indicaciones.
Oportunidades y trabajo en curso
A pesar de más de una década de trabajo enfocado, el campo de las tecnologías de equidad de percepción aún parece ser un espacio incipiente y de rápido crecimiento, lleno de oportunidades para técnicas innovadoras. Seguimos viendo oportunidades para contribuir con avances técnicos respaldados por una investigación interdisciplinaria. La brecha entre lo que podemos medir en las imágenes y los aspectos subyacentes de la identidad y expresión humana es grande: cerrar esta brecha requerirá soluciones de análisis de medios cada vez más complejas. Las métricas de datos que indican una verdadera representación, situadas en el contexto adecuado y atendiendo una diversidad de puntos de vista, siguen siendo un desafío abierto para nosotros. ¿Podemos llegar a un punto donde podamos identificar de manera confiable representaciones de estereotipos sutiles, actualizarlos continuamente para reflejar una sociedad en constante cambio y discernir situaciones en las que podrían resultar ofensivos? Los avances algorítmicos impulsados por la retroalimentación humana señalan un camino prometedor hacia adelante.
El enfoque reciente en la seguridad y ética de la IA en el contexto del desarrollo moderno de modelos grandes ha impulsado nuevas formas de pensar sobre la medición de sesgos sistémicos. Estamos explorando múltiples vías para utilizar estos modelos, junto con los últimos avances en métodos de explicabilidad basados en conceptos, métodos de inferencia causal e investigación UX de vanguardia, para cuantificar y minimizar comportamientos no deseados sesgados. Esperamos enfrentar los desafíos futuros y desarrollar tecnología que esté diseñada para todos.
Agradecimientos
Queremos agradecer a cada miembro del equipo de Equidad de Percepción y a todos nuestros colaboradores.
