Solía llegar a los titulares, pero ser pirateado se ha vuelto tan común hoy en día que ni siquiera se registra como una sorpresa para la mayoría de las personas. La única vez que gana tracción es cuando el evento ocurre a una gran empresa y deja a millones de personas afectadas. Hay tantas formas diferentes de dejar expuestas que casi todos los tipos de servicio digital o producto tienen salvaguardas para evitarlo.
Naturalmente, estos productos no son perfectos, y siempre hay formas de superar los ataques maliciosos si el atacante es lo suficientemente inteligente. Y con el surgimiento de LLM como Géminis, siempre existe la posibilidad de que estas herramientas de IA también puedan usarse para travesuras. Si bien todavía tenemos que ver algo importante, Wired destacó un proyecto de investigación Eso utiliza Gemini para obtener acceso a su vida de una manera que nunca pensaría.
Algo como esto podría volverse más peligroso
Ben Nassi, Stav Cohen, y o Yair de la Universidad de Tel-Aviv compartieron su Proyecto “Invitación es todo lo que necesitas” Eso utiliza Gemini para obtener acceso a un hogar inteligente y controlarlo. Y la parte interesante es que no comienza con nada dentro de su hogar, sino que se basa en un producto de Google no relacionado para iniciar la acción.
En pocas palabras, se activa una acción no deseada cuando el usuario utiliza Gemini con un aviso. La parte inteligente de todo esto es que es algo inactivo y no puede ser visto por el usuario. El El grupo de investigación detalla cómo funciona estocon “aviso” que utiliza un LLM para ejecutar actividades maliciosas.
Al utilizar el “envenenamiento del contexto a corto plazo” y el “envenenamiento de memoria a largo plazo”, los investigadores encontraron que podrían hacer que Géminis ejecute acciones que no estaban originalmente en el aviso. Esto podría llevar a que los eventos se eliminen de varias aplicaciones de Google, abran una llamada de zoom, entregan la ubicación de un usuario, controlan productos de casa inteligentes y más.
El equipo de investigación incluso muestra cómo todo esto funciona con videos educativos que son increíbles de ver. Es una forma simple y efectiva de causar estragos en la vida de alguien sin que lo sepan. Las personas están más centradas en las formas tradicionales de ser pirateadas, lo que significa que algo así podría ser muy inesperado.
Afortunadamente, el equipo de investigación informó estos problemas a Google en febrero, e incluso se ha reunido con el equipo para solucionar estos problemas. Google comparte que “implementó múltiples defensas en capas, que incluyen: confirmaciones mejoradas del usuario para acciones confidenciales; manejo de URL robusto con políticas de desinfección y nivel de confianza; y detección avanzada de inyección inmediata utilizando clasificadores de contenido”.
El proyecto arroja luz sobre “técnicas de inyección indirecta teórica indirecta que afectan a los asistentes alimentados por LLM”, lo que podría volverse más común en el futuro cercano a medida que las herramientas de IA se vuelven más complejas. Esto también es algo en su infancia, y deberá ser mejor monitoreado para evitar que cause daños más graves en el futuro.
Si eres alguien interesado en las vulnerabilidades, siempre puedes Envíe lo que encuentre a Google a través de su programa de cazadores de errores. Hay una variedad de formas de contribuir, con AI solo una pequeña sección de lo que se está monitoreando actualmente. Si algo es más serio, Google incluso ofrece una recompensa por su trabajo, lo que hace que el esfuerzo sea aún más valioso.
