Microsoft ha presentado una estrategia integral de defensa en profundidad para combatir los ataques de inyección indirecta, una de las amenazas de seguridad más importantes que enfrentan las implementaciones de modelos de lenguaje grande (LLM) en entornos empresariales.
El enfoque de múltiples capas de la compañía combina técnicas preventivas, herramientas de detección y estrategias de mitigación de impacto para proteger contra los atacantes que incrustan instrucciones maliciosas dentro de fuentes de datos externas que procesan LLMS.
Control de llave
1. Microsoft utiliza herramientas avanzadas y controles estrictos para detener la inyección de inmediato en la IA.
2. Consentimiento de los usuarios y políticas de datos fuertes ayudan a prevenir fugas de datos.
3. La investigación en curso mantiene a Microsoft por delante en la seguridad de AI.
Marco de prevención y detección de múltiples capas
La estrategia defensiva de Microsoft se centra en tres categorías principales de mecanismos de protección.
La compañía ha implementado indicaciones del sistema endurecidos y desarrollado una técnica innovadora llamada Spotlighting, que ayuda a LLMS a distinguir entre instrucciones legítimas del usuario y contenido externo potencialmente malicioso.
Inyección rápida
El foco opera en tres modos distintos: delimitación (usando delimitadores de texto aleatorios como< {{text}} >>), DataMarking (insertar caracteres especiales como ˆ entre palabras) y codificación (transformando texto no confiable usando algoritmos como Base64 o ROT13).
Para las capacidades de detección, Microsoft ha implementado Microsoft rápido Shields, un sistema probabilístico basado en clasificadores que identifica ataques de inyección rápidos del contenido externo en múltiples idiomas.
Esta herramienta de detección se integra a la perfección con el defensor para la nube como parte de su protección contra amenazas para las cargas de trabajo de IA, lo que permite a los equipos de seguridad monitorear y correlacionar los incidentes de seguridad relacionados con la IA a través del portal del defensor XDR.
El sistema proporciona visibilidad en toda la empresa en posibles ataques dirigidos a aplicaciones basadas en LLM en la infraestructura organizacional.
Microsoft’s Iniciativas de investigación Incluya el desarrollo de TaskTracker, una técnica de detección novedosa que analiza los estados de LLM internos (activaciones) durante la inferencia en lugar de examinar las entradas y salidas textuales.
La compañía también realizó el primer desafío de inyección de aviso adaptativo público llamado LLMail-Inject, que atrajo a más de 800 participantes y generó un conjunto de datos de más de 370,000 indicaciones para futuras investigaciones.
Mitigaciones
Para mitigar posibles impactos de seguridad, Microsoft emplea mecanismos de bloqueo deterministas contra métodos conocidos de exfiltración de datos, incluida la inyección de imagen HTML y la generación de enlaces maliciosos.
La Compañía implementa controles de gobierno de datos de grano fino, ejemplificados por la integración de Copilot de Microsoft 365 con etiquetas de sensibilidad y políticas de protección de pérdida de datos de Microsoft Purview.
Además, los patrones humanos en el circuito (HITL) requieren un consentimiento explícito del usuario para acciones potencialmente riesgosas, como se demuestra en Copilot para la función “Borrador con copiloto” de Outlook.
Este enfoque integral aborda el desafío fundamental de que la inyección indirecta de inmediato representa un riesgo inherente que surge de la naturaleza probabilística y la flexibilidad lingüística de los LLM modernos, colocando a Microsoft a la vanguardia de la innovación de seguridad de la IA.
Integre cualquiera. Pruebe 50 búsquedas de prueba gratuitas
