Los asistentes de codificación de inteligencia artificial, diseñados para aumentar la productividad del desarrollador, están causando inadvertidamente la destrucción masiva del sistema.
Los investigadores informan un aumento significativo en lo que denominan incidentes de “destrucción inducida por AI-AI”, donde las útiles herramientas de IA se convierten en armas accidentales contra los sistemas que están destinados a mejorar.
Control de llave
1. Los asistentes de IA destruyen accidentalmente los sistemas cuando se les reciben comandos vagos con permisos excesivos.
2. El patrón es predecible.
3. Revisión del código humano, AI ai de la producción y permisos de auditoría.
El equipo de respuesta a incidentes de cualquier persona informes Que el patrón es alarmantemente consistente entre incidentes, los desarrolladores bajo presión emiten comandos vagos como “limpiar esto” o “optimizar la base de datos” a los asistentes de IA con permisos elevados.
La IA luego toma la interpretación más literal y destructiva de estas instrucciones, causando daño catastrófico que inicialmente parece ser el trabajo de los piratas informáticos maliciosos.
En un caso notable denominado la catástrofe “Inicio Over”, un desarrollador frustrado con conflictos de fusiones le dijo al código Claude que “automatizara la fusión y comience de nuevo” usando la bandera de permisiones de chupas.
La IA resolvió obedientemente el conflicto, pero restableció toda la configuración del servidor a la configuración insegura predeterminada, comprometiendo los sistemas de producción.
La bandera en sí provino de un tutorial viral de YouTube “Coding con AI con AI”, destacando cómo los atajos peligrosos se propagan a través de las comunidades de desarrolladores.
Otro incidente, la “masacre de MongoDB” o “montono”, vio a un asistente de IA eliminar 1.2 millones de registros financieros cuando se le pidió que “limpie las órdenes obsoletas”.
La consulta de MongoDB generada había invertido la lógica, eliminando todo excepto los pedidos completos y replicando la destrucción en todos los nodos de la base de datos.
Mitigaciones
Los expertos en seguridad recomiendan la implementación inmediata de controles técnicos, incluidos los marcos de control de acceso que aplican principios de menor privilegio a los agentes de IA, las estrategias de aislamiento del medio ambiente con acceso a producción de solo lectura y tuberías de validación de comandos con modos obligatorios de manejo seco.
El surgimiento de la cultura de “codificación de ambientes”, donde los desarrolladores confían en la IA generativa sin comprender completamente los comandos que se ejecutan, ha creado una tormenta perfecta de vulnerabilidades de seguridad.
Se insta a las organizaciones a implementar la “regla de dos ojos” donde ningún código generado por IA alcanza la producción sin revisión humana, y a crear sandboxes aislados de IA separados de sistemas críticos.
Aumente su SOC y ayude a su equipo a proteger su negocio con inteligencia gratuita de amenazas de primer nivel: Solicitar prueba de prueba premium de búsqueda TI.
