Ética de la IA Generativa

Ética IA Generativa

Consideraciones clave en la era del contenido autónomo

Con toda la agitación que rodea a la inteligencia artificial generativa (IA), hay un número creciente de preguntas sin respuesta sobre cómo implementar esta tecnología transformadora de manera responsable. Este blog revisará las pautas éticas de la Unión Europea (UE) sobre IA y discutirá consideraciones clave para implementar un marco ético de IA cuando se utilizan modelos de lenguaje grandes (LLMs).

Pautas éticas para una IA confiable

El 8 de abril de 2019, la Unión Europea puso en práctica un marco para el uso ético y responsable de la inteligencia artificial (IA). El informe define tres principios rectores para construir una IA confiable:

1. Legal: la IA debe cumplir con el estado de derecho y las regulaciones locales.
2. Ético: el sistema de IA debe ser ético y cumplir con principios y valores éticos.
3. Robusto: debido a que la IA puede causar un daño significativo a grandes poblaciones en poco tiempo, debe ser técnicamente y socialmente robusta.

Para las corporaciones multinacionales, esto plantea una pregunta interesante sobre cómo deben aplicar este marco en las fronteras geopolíticas, ya que lo que se considera legal y ético en una región del mundo puede no serlo en otra. Muchas empresas adoptan las regulaciones más estrictas y las aplican unilateralmente en todas las geografías. Sin embargo, un enfoque de “talla única para la mayoría” puede no ser apropiado o aceptable.

El marco de la UE se puede ver a continuación en la Figura 1.1.

Figura 1.1: Marco ético de IA de la Unión Europea

• Cómo modelar la multiplicidad de estacionalidad en series de tiempo
• Todo lo que necesitas saber sobre el aprendizaje en contexto
• Desbloqueando el poder de los números en Economía de la Salud e Inv...

Basado en los tres principios fundamentales, se obtienen cuatro principios éticos y siete requisitos clave. Los principios éticos incluyen:

1. Respeto por la autonomía humana: este principio enfatiza que los humanos deben mantener el control y la libertad en sus interacciones con la IA. “Los sistemas de IA no deben subordinar, coaccionar, engañar, manipular, condicionar o conducir a los humanos de manera injustificada”.[1] Fundamentalmente, la IA debe apoyar la participación humana en los procesos democráticos. Hemos visto que algunos países implementan “puntuación social” en sus ciudadanos, lo que debería ser motivo de preocupación.
2. Prevención del daño: los sistemas de IA no deben causar daño físico, mental o emocional. Dada la omnipresencia y el impacto rápido de la IA, es importante que las salidas de IA se monitoreen de cerca para evitar la manipulación inadvertida de ciudadanos, empleados, empresas, consumidores y gobiernos “debido a asimetrías de poder o información”.[2] Hemos visto a los fabricantes de vehículos autónomos lidiar con este principio en lo que se conoce como el Problema del Tren de IA. Por supuesto, esto no se limita a los sistemas robóticos; las personas confían en ChatGPT para obtener consejos médicos y, dado su propensión a inventar cosas, debemos tener cuidado.
3. Equidad: los sistemas de IA deben ser imparciales y no discriminatorios, buscando “una distribución equitativa de beneficios y costos”.[3] La equidad implica que las elecciones humanas no deben verse socavadas y que “los profesionales de la IA deben equilibrar intereses y objetivos en competencia, respetando el principio de proporcionalidad entre medios y fines”.[4] A simple vista, esto parece sencillo, pero ¿sabías que existen más de veinte definiciones matemáticas de equidad?[5]
4. Explicabilidad: los sistemas de IA deben ser transparentes, auditables, reproducibles e interpretables. Si se utiliza IA para decidir algo que te afecta, tienes derecho a una explicación sobre cómo se tomó esa decisión por el algoritmo. Por ejemplo, si se te niega un crédito, el operador de ese sistema de IA debe poder proporcionarte todos los factores que contribuyeron a la decisión. Esto puede ser problemático cuando se utilizan modelos de “caja negra”, como las redes neuronales y las redes generativas adversarias (GAN) que son la base de muchos LLMs.

Esto nos lleva a los siete requisitos:

1. Agencia y supervisión humana: Básicamente, este requisito establece que los sistemas de IA deben respetar los derechos humanos y no deben operar completamente de manera autónoma. La IA debe mejorar, no reemplazar, las decisiones humanas. Debe haber un proceso para impugnar las decisiones de la IA, y un humano debe poder anular las decisiones de la IA cuando sea necesario. Esto suena bien, pero cuando se toman cientos y miles de decisiones automáticamente, ¿cómo se puede hacer un seguimiento efectivo de todas ellas para asegurarse de que las cosas no salgan mal?
2. Robustez y seguridad técnica: Los sistemas de IA deben ser seguros, robustos y resistentes a actores malintencionados y ataques cibernéticos. Deben proporcionar predicciones precisas que sean confiables y reproducibles. Las organizaciones deben priorizar la ciberseguridad y tener planes de contingencia para ataques y cómo operar si el sistema se desconecta. Deben prestar especial atención al envenenamiento de datos adversarios, donde los actores malintencionados alteran los datos de entrenamiento para causar predicciones incorrectas.
3. Privacidad y gobernanza: “Los sistemas de IA deben garantizar la privacidad y la protección de datos durante todo el ciclo de vida de un sistema”.[6] Los desarrolladores de sistemas de IA deben implementar salvaguardias para evitar que se introduzcan datos o código maliciosos en el sistema. Las pautas también enfatizan que solo los usuarios autorizados deben acceder a los datos de una persona, que deben ser justos, imparciales y cumplir con todas las regulaciones de privacidad durante todo su ciclo de vida. Un área en la que las organizaciones deben pensar es qué constituye un “usuario autorizado”. ¿Viste el caso de Roomba que tomaba fotos de una mujer en el inodoro que terminaron en Facebook?
4. Transparencia: Las organizaciones deben poder rastrear el linaje de los datos, entender su origen, cómo se recopiló, transformó y utilizó. Este proceso debe ser auditado y las salidas de IA deben ser explicables. Esto plantea un desafío para los científicos de datos porque muchas veces, los modelos explicables son menos precisos que los algoritmos de “caja negra”. Este requisito también establece que las personas que interactúan con la IA deben ser conscientes de que lo están haciendo, en otras palabras, la IA no debe pretender ser humana y debe quedar claro que estamos interactuando con un bot.
5. Diversidad, no discriminación y equidad: La IA debe tratar a todos los grupos por igual, lo cual puede ser más fácil decirlo que hacerlo. El requisito sugiere que los diseñadores deben incluir a personas de diversas culturas, experiencias y antecedentes para ayudar a mitigar algunos de los sesgos históricos que prevalecen en muchas culturas. La IA debe ser accesible para todos, independientemente de su discapacidad u otros factores. Esto plantea la pregunta, ¿qué define a un “grupo”? Están las clases protegidas obvias: edad, raza, color, región/credo, origen nacional, sexo, edad, discapacidad física o mental o estado de veterano. ¿Hay otros factores que se deben considerar? Si soy una compañía de seguros, ¿puedo cobrar menos a las personas que tienen hábitos “más saludables” que a las que se consideran “poco saludables”?
6. Bienestar social y ambiental: Los sistemas de IA deben aspirar a mejorar la sociedad, promover la democracia y crear sistemas respetuosos con el medio ambiente y sostenibles. Solo porque puedes hacer algo, no significa que debas hacerlo. Los líderes empresariales deben considerar críticamente los posibles impactos sociales de la IA. ¿Cuáles son los costos involucrados en el entrenamiento de tus modelos de IA? ¿Están en conflicto con tus políticas ambientales, sociales y de gobierno corporativo (ESG)? Ya hemos visto ejemplos en los que las plataformas de redes sociales como TikTok están difundiendo contenido perjudicial para los niños.
7. Responsabilidad: Los diseñadores de sistemas de IA deben ser responsables de sus sistemas, que deben poder ser auditados y proporcionar una forma para que las personas afectadas por las decisiones rectifiquen y corrijan cualquier decisión injusta. Los diseñadores pueden ser responsables de cualquier daño causado a individuos o grupos. Esto plantea una pregunta interesante: ¿quién es culpable si el sistema se descontrola? ¿Es el proveedor del modelo base o es la empresa que utiliza IA generativa?

Aunque estos principios parecen intuitivos superficialmente, hay “divergencia sustantiva en relación con cómo se interpretan estos principios; por qué se consideran importantes; a qué problema, dominio o actores se refieren; y cómo se deben implementar”.[7]

Consideraciones de ética de la IA para LLM

Ahora que entendemos las pautas éticas de la IA de la UE, profundicemos en consideraciones únicas para LLM.

En un blog anterior titulado GenAIOps: Evolucionando el marco de MLOps, se describen tres capacidades clave de la IA generativa y LLM que incluyen:

● Generación de contenido: La IA generativa puede generar contenido de calidad similar al humano, incluyendo texto, audio, imágenes/video e incluso código de software. Ahora, hay que tener en cuenta que el contenido generado puede no ser factualmente preciso: la responsabilidad recae en el usuario final de asegurarse de que el contenido generado sea verdadero y no engañoso. Los desarrolladores deben asegurarse de que el código generado esté libre de errores y virus.

● Resumen de contenido y personalización: La capacidad de filtrar grandes corpora de documentos y resumir rápidamente el contenido es una fortaleza de la IA generativa. Además de crear rápidamente resúmenes de documentos, correos electrónicos y mensajes de Slack, la IA generativa puede personalizar estos resúmenes para individuos o personas específicas.

● Descubrimiento de contenido y preguntas y respuestas: Muchas organizaciones tienen una cantidad significativa de contenido y datos dispersos en diferentes silos de datos. Muchos proveedores de datos y análisis utilizan LLMs e IA generativa para descubrir y conectar automáticamente fuentes dispares. Los usuarios finales pueden consultar estos datos, en lenguaje claro, para comprender puntos clave y profundizar en más detalles.

Dadas estas diversas capacidades, ¿qué factores debemos considerar al crear un marco de ética de IA?

Agencia humana y supervisión

Dado que la IA generativa puede producir contenido de manera autónoma, existe el riesgo de que la participación humana y la supervisión se reduzcan. Si lo piensas, ¿cuánto correo no deseado recibes diariamente? Los equipos de marketing crean estos correos electrónicos, los cargan en un sistema de automatización de marketing y presionan el botón de “Enviar”. Estos funcionan en piloto automático y a menudo se olvidan y se ejecutan perpetuamente.

Dado que la IA generativa puede producir texto, imágenes, audio, video y código de software a una velocidad vertiginosa, ¿qué medidas podemos implementar para asegurarnos de que haya una intervención humana, especialmente en aplicaciones críticas? Si automatizamos el asesoramiento médico, el asesoramiento legal y otros tipos de contenido más “sensibles”, las organizaciones deben pensar críticamente en cómo pueden mantener su agencia y supervisión sobre estos sistemas. Las empresas deben implementar salvaguardias para garantizar que las decisiones que se tomen estén alineadas con los valores e intenciones humanas.

Robustez técnica y seguridad

Es bien sabido que los modelos de IA generativa pueden crear contenido inesperado e incluso perjudicial. Las empresas deben probar y validar rigurosamente sus modelos de IA generativa para asegurarse de que sean confiables y seguros. Además, si el contenido generado es erróneo, debemos tener un mecanismo para manejar y corregir esa salida. Internet está lleno de contenido horrible y divisivo, y algunas empresas han contratado moderadores de contenido para intentar revisar contenido sospechoso, pero esto parece una tarea imposible. Recientemente, se informó que algunos de estos contenidos pueden ser perjudiciales para la salud mental (AP News – Los moderadores de contenido de Facebook en Kenia llaman al trabajo “tortura”. Su demanda puede tener repercusiones en todo el mundo).

Privacidad y gobernanza

Los modelos de IA generativa se entrenaron con datos recopilados de Internet. Muchos de los desarrolladores de LLM no revelan realmente los detalles precisos de qué datos se utilizaron para entrenar el modelo. Ahora bien, los modelos podrían haber sido entrenados con datos sensibles o privados que no deberían estar disponibles públicamente. Solo hay que mirar a Samsung, que filtró accidentalmente datos propietarios (TechCrunch – Samsung prohíbe el uso de herramientas de IA generativa como ChatGPT después de una filtración interna de datos en abril). ¿Qué sucede si la IA generativa genera salidas que incluyen o se asemejan a datos reales y privados? Según Bloomberg Law, OpenAI fue demandada recientemente por difamación debido a una alucinación de ChatGPT.

Podemos decir con certeza que las empresas deben comprender detalladamente las fuentes de datos utilizadas para entrenar los modelos de IA generativa. A medida que ajusta y adapta sus modelos utilizando sus propios datos, tiene el poder de eliminar o anonimizar esos datos. Sin embargo, aún puede correr riesgos si el proveedor del modelo base utilizó datos inapropiados para el entrenamiento del modelo. En ese caso, ¿quién es responsable?

Transparencia

Por su naturaleza, los modelos de “caja negra” son difíciles de interpretar. De hecho, muchos de estos LLM tienen miles de millones de parámetros, por lo que sugiero que no son interpretables. Las empresas deben esforzarse por lograr la transparencia y crear documentación sobre cómo funciona el modelo, sus limitaciones, riesgos y los datos utilizados para entrenarlo. Nuevamente, esto es más fácil decirlo que hacerlo.

Diversidad, no discriminación y equidad

Relacionado con lo anterior, si no se entrena y se tiene en cuenta correctamente, la IA generativa puede producir resultados sesgados o discriminatorios. Las empresas pueden hacer todo lo posible para asegurarse de que los datos sean diversos y representativos, pero esto es difícil dado que muchos proveedores de LLM no revelan qué datos se utilizaron para el entrenamiento. Además de tomar todas las precauciones posibles para comprender los datos de entrenamiento utilizados, sus riesgos y limitaciones, las empresas deben implementar un sistema de monitoreo para detectar este contenido dañino y un mecanismo para identificarlo, prevenir su distribución y corregirlo según sea necesario.

Bienestar Societal y Ambiental

Para las empresas con iniciativas ESG, la capacitación de LLM consume grandes cantidades de recursos informáticos, lo que significa que utilizan mucha electricidad. A medida que comienzas a implementar la capacidad de IA generativa, las organizaciones deben ser conscientes de la huella ambiental y buscar formas de reducirla. Hay varios investigadores que están buscando formas de reducir el tamaño del modelo y acelerar el proceso de entrenamiento. A medida que esto evoluciona, las empresas al menos deben tener en cuenta el impacto ambiental en sus informes anuales.

Responsabilidad

Este será un área activa de litigio durante varios años. ¿Quién es responsable si la IA generativa produce contenido perjudicial o engañoso? ¿Quién es legalmente responsable? Varios juicios están pendientes en el sistema judicial de los Estados Unidos que sentarán las bases para otros litigios a medida que avance. Además del contenido perjudicial, ¿qué sucede si su LLM produce una obra derivada? ¿Fue su LLM entrenado con material con derechos de autor o legalmente protegido? Si produce un derivado de datos, ¿cómo abordarán los tribunales esto? A medida que las empresas implementen la capacidad de IA generativa, deben establecer controles y mecanismos de retroalimentación para poder tomar medidas correctivas.

Resumen

La IA generativa tiene un inmenso potencial para revolucionar la forma en que se hacen las cosas en el mundo, pero su rápida evolución plantea una serie de dilemas éticos. A medida que las empresas se aventuran en el ámbito de la IA generativa, es fundamental navegar su implementación con una profunda comprensión de las pautas éticas establecidas. Al hacerlo, las organizaciones pueden aprovechar el poder transformador de la IA mientras se aseguran de mantener los estándares éticos, protegiéndose contra posibles problemas y daños.

[1] Comisión Europea. 2021. “Ethics Guidelines for Trustworthy AI | Shaping Europe’s Digital Future.” Digital-Strategy.ec.europa.eu. 8 de marzo de 2021. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.

[2] Comisión Europea. 2021. “Ethics Guidelines for Trustworthy AI | Shaping Europe’s Digital Future.” Digital-Strategy.ec.europa.eu. 8 de marzo de 2021. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.

[3] Comisión Europea. 2021. “Ethics Guidelines for Trustworthy AI | Shaping Europe’s Digital Future.” Digital-Strategy.ec.europa.eu. 8 de marzo de 2021. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.

[4] Comisión Europea. 2021. “Ethics Guidelines for Trustworthy AI | Shaping Europe’s Digital Future.” Digital-Strategy.ec.europa.eu. 8 de marzo de 2021. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.

[5] Verma, Sahil y Julia Rubin. 2018. “Fairness Definitions Explained.” Proceedings of the International Workshop on Software Fairness — FairWare ’18. https://doi.org/10.1145/3194770.3194776.

[6] Comisión Europea. 2021. “Ethics Guidelines for Trustworthy AI | Shaping Europe’s Digital Future.” Digital-Strategy.ec.europa.eu. 8 de marzo de 2021. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.

[7] Jobin, Anna, Marcello Ienca y Effy Vayena. 2019. “The Global Landscape of AI Ethics Guidelines.” Nature Machine Intelligence 1 (9): 389–99. https://doi.org/10.1038/s42256-019-0088-2.

• AI
• artificial intelligence
• Ethics
• Genai
• leadership