Protege tu aplicación de LLM. ¡Lectura obligada!
'Protect your LLM application. Must-read!
Buscando educar sobre los posibles riesgos de seguridad al implementar LLMs
El proyecto OWASP Top 10 para Aplicaciones de Modelos de Lenguaje Grandes tiene como objetivo educar a desarrolladores, diseñadores, arquitectos, gerentes y organizaciones sobre los posibles riesgos de seguridad al implementar y gestionar Modelos de Lenguaje Grandes (LLMs). El proyecto enumera las 10 vulnerabilidades más críticas que se suelen ver en las aplicaciones de LLM, destacando su posible impacto, facilidad de explotación y prevalencia en aplicaciones del mundo real.
Se deben tener en cuenta los siguientes 10 riesgos de seguridad críticos al implementar un LLM –
INYECCIÓN DE PROMPT
Los atacantes pueden manipular LLM a través de entradas manipuladas, haciendo que ejecute las intenciones del atacante. Esto se puede hacer directamente manipulando el prompt del sistema o indirectamente a través de entradas externas manipuladas, lo que puede provocar la filtración de datos, ingeniería social y otros problemas.
Ejemplos
* Las inyecciones directas de prompt sobrescriben los prompts del sistema* Las inyecciones indirectas de prompt secuestran el contexto de la conversación* Un usuario utiliza un LLM para resumir una página web que contiene una inyección de prompt indirecta.
Prevención
* Aplicar control de privilegios al acceso de LLM a sistemas backend* Implementar a seres humanos en el proceso para funcionalidad extensible* Segregar contenido externo de los prompts de usuario* Establecer límites de confianza entre el LLM, fuentes externas y funcionalidad extensible.
- Esta investigación de IA evalúa la corrección y fidelidad de los mo...
- Optimizando la gestión de archivos Una guía para conectar y modific...
- Inicializar constantes de Rust en tiempo de ejecución con lazy_static
Escenarios de Ataque
* Un atacante proporciona una inyección de prompt directa a un chatbot de soporte basado en LLM* Un atacante incrusta una inyección de prompt indirecta en una página web* Un usuario utiliza un LLM para resumir una página web que contiene una inyección de prompt indirecta.
MANEJO INSEGURO DE SALIDA
El manejo inseguro de salida es una vulnerabilidad que surge cuando un componente aguas abajo acepta ciegamente la salida de un modelo de lenguaje grande (LLM) sin un escrutinio adecuado. Esto puede dar lugar a XSS y…
