Fuerza en números NVIDIA y el Desafío del Equipo Rojo Generativo liberan a miles para evaluar la seguridad en DEF CON
NVIDIA's strength in numbers and the Generative Red Team Challenge release thousands to evaluate security at DEF CON.
Miles de hackers ajustarán, modificarán e investigarán las últimas plataformas de IA generativa esta semana en Las Vegas como parte de un esfuerzo por construir una IA más confiable e inclusiva.
Colaborando con la comunidad de hackers para establecer las mejores prácticas para probar la IA de próxima generación, NVIDIA está participando en una prueba única en su tipo de soluciones líderes en la industria, incluyendo NVIDIA NeMo y NeMo Guardrails.
El Desafío del Equipo Rojo Generativo, organizado por AI Village, SeedAI y Humane Intelligence, será uno de una serie de talleres, sesiones de capacitación y apariciones de líderes de NVIDIA en las conferencias de seguridad Black Hat y DEF CON en Las Vegas.
El desafío, que brinda a los hackers una serie de vulnerabilidades para explotar, promete ser la primera de muchas oportunidades para poner a prueba las tecnologías emergentes de IA.
“La IA permite a las personas crear y construir cosas que antes eran imposibles”, dijo Austin Carson, fundador de SeedAI y coorganizador del Desafío del Equipo Rojo Generativo. “Pero sin una comunidad grande y diversa para probar y evaluar la tecnología, la IA solo reflejará a sus creadores, dejando atrás a grandes partes de la sociedad”.
- Reto aceptado GeForce NOW enciende la nube con el desafío supremo y...
- Ciclo de vida del proyecto de IA generativa
- La crianza de un robot de tres años
La colaboración con la comunidad de hackers se produce en medio de un esfuerzo concertado por la seguridad de la IA que está haciendo titulares en todo el mundo, con la administración de Biden-Harris asegurando el compromiso voluntario de las principales empresas de IA que trabajan en modelos generativos de vanguardia.
“AI Village reúne a la comunidad preocupada por las implicaciones de los sistemas de IA, tanto el uso malicioso como el impacto en la sociedad”, dijo Sven Cattell, fundador de AI Village y coorganizador del Desafío del Equipo Rojo Generativo. “En DEFCON 29, organizamos la primera Recompensa por Sesgo Algorítmico con el equipo anterior de Rumman Chowdhury en Twitter. Esto marcó la primera vez que una empresa permitía el acceso público a su modelo para su escrutinio”.
El desafío de esta semana es un paso clave en la evolución de la IA, gracias al papel destacado desempeñado por la comunidad de hackers, con su ética de escepticismo, independencia y transparencia, en la creación y prueba de estándares de seguridad emergentes.
Las tecnologías de NVIDIA son fundamentales para la IA, y NVIDIA estuvo presente al comienzo de la revolución de la IA generativa. En 2016, el fundador y CEO de NVIDIA, Jensen Huang, entregó personalmente a OpenAI la primera supercomputadora de IA NVIDIA DGX, el motor detrás del gran avance del modelo de lenguaje grande que impulsa a ChatGPT.
Los sistemas NVIDIA DGX, originalmente utilizados como instrumento de investigación de IA, ahora funcionan las 24 horas del día, los 7 días de la semana, en empresas de todo el mundo para refinar datos y procesar IA.
La consultora de gestión McKinsey estima que la IA generativa podría agregar el equivalente a $2.6 billones a $4.4 billones anualmente a la economía global en 63 casos de uso.
Esto convierte a la seguridad y la confianza en una preocupación de toda la industria.
Por eso, los empleados de NVIDIA están interactuando con los asistentes tanto en la conferencia Black Hat de la semana pasada para profesionales de la seguridad como en la reunión DEF CON de esta semana.
En Black Hat, NVIDIA organizó una sesión de capacitación de dos días sobre el uso del aprendizaje automático y una presentación sobre los riesgos de envenenar conjuntos de datos de entrenamiento a gran escala en la web. También participó en un panel de discusión sobre los beneficios potenciales de la IA para la seguridad.
En DEF CON, NVIDIA patrocina una charla sobre los riesgos de ingresar a los controladores de administración de placas base. Estos procesadores de servicios especializados supervisan el estado físico de una computadora, servidor de red u otros dispositivos de hardware.
Y a través del Desafío del Equipo Rojo Generativo, que forma parte del taller AI Village Prompt Detective, miles de participantes de DEF CON podrán demostrar la inyección de comandos, intentar obtener comportamientos no éticos y probar otras técnicas para obtener respuestas inapropiadas.
Los modelos desarrollados por Anthropic, Cohere, Google, Hugging Face, Meta, NVIDIA, OpenAI y Stability, con la participación de Microsoft, se probarán en una plataforma de evaluación desarrollada por Scale AI.
Como resultado, todos se vuelven más inteligentes.
“Estamos fomentando el intercambio de ideas e información al tiempo que abordamos los riesgos y oportunidades”, dijo Rumman Chowdhury, miembro del equipo directivo de AI Village y cofundador de Humane Intelligence, la organización sin fines de lucro que diseña los desafíos. “La comunidad de hackers está expuesta a diferentes ideas, y los socios de la comunidad adquieren nuevas habilidades que los posicionan para el futuro”.
Lanzado en abril como software de código abierto, NeMo Guardrails de NVIDIA puede ayudar a los desarrolladores a guiar las aplicaciones de IA generativa para crear respuestas de texto impresionantes que puedan mantenerse en el camino correcto, garantizando que las aplicaciones inteligentes impulsadas por LLM sean precisas, apropiadas, relevantes y seguras.
Para garantizar la transparencia y la capacidad de poner la tecnología a trabajar en muchos entornos, NeMo Guardrails, producto de varios años de investigación, es de código abierto, y gran parte del marco de IA conversacional NeMo ya está disponible como código de código abierto en GitHub, contribuyendo a la tremenda energía y trabajo de la comunidad de desarrolladores en la seguridad de la IA.
Participar en la comunidad de DEF CON se basa en esto, permitiendo a NVIDIA compartir lo que ha aprendido con NeMo Guardrails y, a su vez, aprender de la comunidad.
Los organizadores del evento, que incluyen a SeedAI, Humane Intelligence y AI Village, planean analizar los datos y publicar sus hallazgos, incluyendo procesos y aprendizajes, para ayudar a otras organizaciones a llevar a cabo ejercicios similares.
La semana pasada, los organizadores también emitieron una convocatoria de propuestas de investigación y recibieron varias propuestas de investigadores líderes en las primeras 24 horas.
“Dado que esta es la primera instancia de un evento de hacking en vivo de un sistema de IA generativa a gran escala, estaremos aprendiendo juntos”, dijo Chowdhury. “La capacidad de replicar este ejercicio y poner a prueba la IA en manos de miles de personas es clave para su éxito”.
El Desafío del Equipo Rojo Generativo se llevará a cabo en el AI Village de DEF CON 31 del 10 al 13 de agosto, en Caesar’s Forum en Las Vegas.
