Regulando la IA generativa
Regulating generative AI
¿Qué tan bien cumplen los LLM con la Ley de IA de la UE?
A medida que la inteligencia artificial generativa (IA) se mantiene en el centro de atención, cada vez hay más llamados para regular esta tecnología, ya que puede tener un impacto negativo en una gran población rápidamente. Los impactos podrían tomar la forma de discriminación, perpetuación de estereotipos, violaciones de privacidad, sesgos negativos y socavar los valores humanos básicos.
En junio de 2023, el gobierno de Estados Unidos anunció un conjunto de pautas voluntarias de IA que varias empresas prominentes acordaron seguir, incluyendo Anthropic, Meta (Facebook), Google, Amazon, OpenAI y Microsoft, por nombrar algunas.[1] Esto es un gran avance para Estados Unidos, pero desafortunadamente siempre ha quedado rezagado detrás de la Unión Europea en regulaciones de IA. En mi publicación anterior Ética de la IA generativa: Consideraciones clave en la era del contenido autónomo, exploré el Marco Ético de IA de la UE y proporcioné un conjunto de consideraciones para implementar el marco cuando se utilizan grandes modelos de lenguaje (LLM). Este blog se centra en el proyecto de ley de la UE sobre IA y en qué medida los LLM cumplen con la legislación en proyecto.
Ley de IA de la UE
En junio de 2023, la UE aprobó el primer borrador de regulación sobre IA del mundo. Sobre la base del marco ético de IA ratificado en 2019, la prioridad de la UE es garantizar que los sistemas de IA utilizados en la UE sean “seguros, transparentes, trazables, no discriminatorios y respetuosos con el medio ambiente”.[2] Para evitar consecuencias perjudiciales, el marco de la UE insiste en que los seres humanos sigan involucrados en los sistemas de IA. En otras palabras, las empresas no pueden simplemente dejar que la IA y la automatización funcionen por sí solas.
La ley propuesta divide la IA en tres categorías diferentes según el riesgo que puedan representar para las personas; cada nivel de riesgo requiere un nivel diferente de regulación. Si se acepta este plan, sería el primer conjunto de regulaciones de IA en el mundo. Los tres niveles de riesgo identificados por la UE son: riesgo inaceptable, alto riesgo y riesgo limitado.
- Riesgo inaceptable: se prohibirá el uso de tecnología que sea perjudicial y represente una amenaza para los seres humanos. Ejemplos de ello podrían incluir la influencia cognitiva de individuos o ciertas clases vulnerables, clasificación de personas según su posición social y uso de reconocimiento facial para vigilancia en tiempo real e identificación masiva de identidades remotas. Ahora, todos sabemos que los ejércitos de todo el mundo se centran en las armas autónomas, pero me estoy desviando.
- Alto riesgo: los sistemas de IA que podrían tener un efecto perjudicial en la seguridad o los derechos y libertades fundamentales se clasifican en dos categorías diferentes por la UE. La primera categoría es la IA incorporada en productos minoristas que actualmente se rige por las regulaciones de seguridad de productos de la UE. Esto incluye juguetes, aviones, automóviles, equipos médicos, ascensores, entre otros. La segunda categoría deberá registrarse en una base de datos de la UE. Esto incluye tecnologías como la biometría, operaciones de infraestructura crítica, formación y educación, actividades relacionadas con el empleo, vigilancia policial, control de fronteras y análisis jurídico de la ley.
- Riesgo limitado: como mínimo, los sistemas de bajo riesgo deben cumplir con estándares de transparencia y apertura que brinden a las personas la oportunidad de tomar decisiones informadas. La UE estipula que los usuarios deben ser notificados cuando interactúen con IA. También exigen que los modelos se creen de tal manera que no generen material ilícito. También exigen que los creadores de modelos revelen qué material con derechos de autor (si lo hay) se utilizó en su entrenamiento.
El proyecto de ley de IA de la UE deberá ser negociado entre los países miembros para que puedan votar sobre la forma final de la ley. La UE tiene como objetivo la ratificación para finales de año (2023).
- Transformando píxeles en etiquetas descriptivas dominando la clasif...
- El Decorador de Python que Potencia la Experiencia del Desarrollado...
- De lo Crudo a lo Refinado Un Viaje a Través de la Preprocesamiento ...
Ahora, pasemos a ver cómo los LLM actuales se adhieren al proyecto de ley en borrador.
Cumplimiento de los LLM con el Proyecto de Ley de IA de la UE en Borrador
Investigadores del Centro de Investigación sobre Modelos Fundamentales (CRFM) de la Universidad de Stanford y del Instituto de Inteligencia Artificial Centrada en el Ser Humano (HAI) recientemente publicaron un artículo titulado ¿Cumplen los Modelos Fundamentales con el Proyecto de Ley de IA de la UE en Borrador? Extrajeron veintidós requisitos del proyecto de ley, los categorizaron y luego crearon una rúbrica de 5 puntos para doce de los veintidós requisitos. Toda la investigación, incluidos los criterios, las rúbricas y las puntuaciones, está disponible en GitHub bajo la Licencia MIT.
El equipo de investigación mapeó los requisitos legislativos en las categorías que se muestran en la Tabla 1.1. Ahora, cabe destacar que el equipo solo evaluó doce de los veintidós requisitos totales identificados. Al final, el equipo seleccionó los doce requisitos que eran más fácilmente evaluables basándose en datos públicamente disponibles y documentación proporcionada por los creadores del modelo.
Tabla 1.1: Resumen de la Tabla de Cumplimiento de LLM
Para aquellos que no estén al tanto, el equipo de Stanford también ha catalogado meticulosamente más de cien conjuntos de datos, modelos y aplicaciones de LLM, que se pueden encontrar en sus gráficos de ecosistema. Para hacer las cosas manejables, los investigadores analizaron “10 proveedores de modelos fundamentales y sus modelos fundamentales principales, con 12 de los requisitos de la Ley para los modelos fundamentales según nuestras rúbricas”.[3]
Los investigadores examinaron modelos de OpenAI, Anthropic, Google, Meta, Stability.ai y otros. Según su análisis, su investigación dio como resultado la siguiente hoja de calificaciones.
Figura 1.2: Calificación del Cumplimiento de los Proveedores de Modelos Fundamentales con el Borrador de la Ley de IA de la UE
En general, los investigadores señalaron que había bastante variabilidad en el cumplimiento del modelo entre los proveedores (y estos eran solo doce de los veintidós requisitos) con “algunos proveedores con una puntuación inferior al 25% (AI21 Labs, Aleph Alpha, Anthropic) y solo un proveedor con una puntuación de al menos el 75% (Hugging Face/BigScience) en la actualidad”.[4]
Les animo a leer el estudio completo, pero los investigadores declararon que hay un considerable margen de mejora en todos los proveedores. También identificaron varios “desafíos persistentes” clave, que incluyen:
● Problemas de Derechos de Autor Ambiguos: La mayoría de los modelos fundamentales se entrenaron con datos obtenidos de Internet, y es probable que una parte significativa esté protegida por derechos de autor. Sin embargo, la mayoría de los proveedores no aclara el estado de derechos de autor de los datos de entrenamiento. Las implicaciones legales de utilizar y reproducir datos protegidos por derechos de autor, especialmente al considerar los términos de licencia, no están bien definidas y están actualmente en litigio activo en Estados Unidos (ver Washington Post – AI learned from their work. Now they want compensation. Reuters – US judge finds flaws in artists’ lawsuit against AI companies). Tendremos que ver cómo se desarrolla esto con el tiempo.
● Falta de Divulgación de Mitigación de Riesgos: Como se mencionó en la introducción, la IA tiene el potencial de impactar negativamente a muchas personas rápidamente, por lo que es crucial comprender los riesgos de LLM. Sin embargo, casi todos los proveedores de modelos fundamentales ignoran las divulgaciones de riesgos identificadas en la legislación en borrador. Aunque muchos proveedores enumeran riesgos, muy pocos detallan las medidas que han tomado para mitigar los riesgos identificados. Aunque no se trata de un caso de IA generativa, hay una demanda reciente contra la aseguradora de salud estadounidense Cigna Healthcare, que alega que utilizaron IA para negar pagos (Axios – AI lawsuits spread to health). Bill Gates escribió un excelente artículo titulado “The risks of AI are real but manageable”, que les animo a leer.
● Déficit de Evaluación y Auditoría: Hay una falta de benchmarks consistentes para evaluar el rendimiento de los modelos fundamentales, especialmente en áreas como el posible uso indebido o la robustez del modelo. La Ley CHIPS y Science de Estados Unidos ha presentado un mandato para el Instituto Nacional de Normas y Tecnología (NIST) para crear evaluaciones estandarizadas para modelos de IA. La capacidad de evaluar y supervisar los modelos fue el enfoque de mi marco GenAIOps que discutí recientemente. Eventualmente, veremos que GenAIOps, DataOps y DevOps se unirán bajo un marco común, pero aún falta mucho.
● Informes Inconsistentes de Consumo de Energía: Creo que muchos de nosotros hemos experimentado las recientes olas de calor en todo el mundo. En el caso de los LLM, los proveedores de modelos fundamentales son bastante variados en lo que respecta a informar el uso de energía y las emisiones relacionadas. De hecho, los investigadores citan otras investigaciones que sugieren que ni siquiera sabemos cómo medir y contabilizar el uso de energía todavía. Nnlabs.org informó lo siguiente: “Según OpenAI, GPT-2, que tiene 1.5 mil millones de parámetros, requirió 355 años de tiempo de computación de un solo procesador y consumió 28,000 kWh de energía para su entrenamiento. En comparación, GPT-3, que tiene 175 mil millones de parámetros, requirió 355 años de tiempo de computación de un solo procesador y consumió 284,000 kWh de energía para su entrenamiento, que es 10 veces más energía que GPT-2. BERT, que tiene 340 millones de parámetros, requirió 4 días de entrenamiento en 64 TPUs y consumió 1,536 kWh de energía”.[5]
Además de lo anterior, hay muchos otros problemas a los que enfrentarse al implementar inteligencia artificial generativa en su organización.
Resumen
Según la investigación, todavía queda un largo camino por recorrer para los proveedores y adoptantes de tecnologías de inteligencia artificial generativa. Los legisladores, los diseñadores de sistemas, los gobiernos y las organizaciones deben trabajar juntos para abordar estos problemas importantes. Como punto de partida, podemos asegurarnos de ser transparentes en nuestro diseño, implementación y uso de sistemas de inteligencia artificial. Para las industrias reguladas, esto podría ser un desafío ya que los LLM a menudo tienen miles de millones de parámetros. ¡Miles de millones! ¿Cómo puede algo ser interpretable y transparente con tantos factores? Estos sistemas necesitan tener una documentación clara y sin ambigüedades y debemos respetar los derechos de propiedad intelectual. Para apoyar la gobernanza ambiental, social y corporativa (ESG), también necesitaremos diseñar un marco estandarizado para medir y reportar el consumo de energía. Lo más importante es que los sistemas de inteligencia artificial deben ser seguros, respetar la privacidad y defender los valores humanos. Necesitamos adoptar un enfoque centrado en el ser humano para la inteligencia artificial.
Si desea obtener más información sobre inteligencia artificial, consulte mi libro “Inteligencia Artificial: Una Guía Ejecutiva para Hacer que la IA Funcione para su Negocio” en Amazon o el audiolibro narrado por IA en Google Play.
[1] Shear, Michael D., Cecilia Kang y David E. Sanger. 2023. “Presionadas por Biden, las compañías de IA acuerdan límites en nuevas herramientas”. The New York Times, 21 de julio de 2023, sección U.S. https://www.nytimes.com/2023/07/21/us/politics/ai-regulation-biden.html.
[2] Parlamento Europeo. 2023. “Ley de IA de la UE: Primera regulación sobre inteligencia artificial | Noticias | Parlamento Europeo.” www.europarl.europa.eu. 6 de agosto de 2023. https://www.europarl.europa.eu/news/en/headlines/society/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence.
[3] Bommasani, Rishi, Kevin Klyman, Daniel Zhang y Percy Liang. 2023. “Stanford CRFM”. Crfm.stanford.edu. 15 de junio de 2023. https://crfm.stanford.edu/2023/06/15/eu-ai-act.html.
[4] Bommasani, Rishi, Kevin Klyman, Daniel Zhang y Percy Liang. 2023. “Stanford CRFM”. Crfm.stanford.edu. 15 de junio de 2023. https://crfm.stanford.edu/2023/06/15/eu-ai-act.html.
[5] ai. 2023. “Requisitos de energía para entrenar LLM modernos”. Nnlabs.org. 5 de marzo de 2023. https://www.nnlabs.org/power-requirements-of-large-language-models/.
