Los resúmenes de IA están destinados a facilitar la vida: están destinados a truncar una gran cantidad de texto en algo que pueda escanear rápidamente, para que pueda pasar tiempo en asuntos más apremiantes. El problema es que no siempre puedes confiar en estos resúmenes. Por lo general, eso se debe a que AI alucina, e incorrectamente resume el texto. En otros casos, los resúmenes pueden verse comprometidos por los piratas informáticos.
De hecho, eso es lo que sucede con Gemini, la IA patentada de Google, con espacio de trabajo. Al igual que otros modelos de IA generativos, Gemini puede resumir los correos electrónicos en Gmail. Sin embargo, según lo informado por bleepingComuterLa tecnología es vulnerable a la explotación. Los piratas informáticos pueden inyectar estos resúmenes información maliciosa que empuja a esos usuarios hacia
Así es como funciona: un mal actor crea un correo electrónico con texto invisible dentro de él, utilizando HTML y CSS y manipulando el tamaño y el color de la fuente. No verá esta parte del mensaje, pero Gemini lo hará. Debido a que los piratas informáticos saben no usar enlaces o archivos adjuntos, elementos que pueden marcar los filtros de spam de Google, el mensaje tiene una alta probabilidad de aterrizar en la bandeja de entrada del usuario.
Entonces, abres el correo electrónico y no note de la nada. Pero es largo, por lo que eliges que Gemini lo resumiera por ti. Si bien la parte superior del resumen probablemente se centra en el mensaje visible, el final resumirá el texto oculto. En un ejemplo, el texto invisible instruyó a Gemini para que produzca una alerta, advirtiendo al usuario que su contraseña de Gmail se vio comprometida. Luego destacó un número de teléfono para llamar a “soporte”.
Este tipo de actividad maliciosa es particularmente peligrosa. Puedo ver cómo alguien que usa Gemini cree una advertencia como esta, especialmente si ya toman los resúmenes de IA al pie de la letra. Sin saber cómo funciona la estafa, parece una salida oficial de Gemini, como Google diseñó su IA para advertir a los usuarios cuándo se comprometieron sus contraseñas.
Google respondió a una solicitud de comentarios de BleepingComuter; IIT afirma que no ha visto evidencia de la manipulación de Géminis de esta manera, y remitió la salida a un blog Sobre cómo lucha contra los rápidos ataques de inyección. Un representante compartió el siguiente mensaje: “Estamos constantemente endureciendo nuestras defensas ya robustas a través de ejercicios de equipo rojo que entrenan a nuestros modelos para defenderse de este tipo de ataques adversos”. Confirmó que algunas tácticas están a punto de implementarse.
Cómo protegerse de este defecto de seguridad de Géminis
El investigador de seguridad que descubrió la falla, Marco Figueroa, tiene algunos consejos para que los equipos de seguridad combaten esta vulnerabilidad. Figueroa recomienda eliminar el texto diseñado para estar oculto al usuario, y ejecutar un filtro que escanee las salidas de Gemini para cualquier cosa sospechosa, como enlaces, números de teléfono o advertencias.
¿Qué piensas hasta ahora?
Sin embargo, como usuario final del espacio de trabajo, no puede hacer mucho con ese consejo. Pero no lo necesitas, ahora que sabes qué buscar. Si usa los resúmenes de AI de Gemini, sea profundamente escéptico de cualquier mensaje urgente contenido, especialmente si esas advertencias no tienen nada que ver con el correo electrónico en sí. Claro, puede recibir un correo electrónico legítimo que le advierte sobre una violación de datos y, como tal, un resumen generado por IA le dirá lo mismo. Pero si el resumen dice que el correo electrónico en cuestión se trata de un evento que ocurre en su ciudad la próxima semana, y en la parte inferior del resumen, ves una advertencia sobre que se compromete la contraseña de Gmail, puedes asumir con seguridad que te estás metiendo.
Al igual que otros esquemas de phishing, la advertencia en sí misma podría tener banderas rojas. En el ejemplo resaltado por BleepingComputer, Gmail se escribe “Gmail”. Si no está familiarizado con el formateado de Gmail, eso podría no sobresalir a usted, pero busque otras inconsistencias y errores. Google tampoco tiene un número de teléfono directo para llamar a problemas de soporte. Si alguna vez ha tratado de contactar a la compañía, sabrá que prácticamente hay una forma de ponerse en contacto con una persona real.
Más allá de este esquema de phishing, debe ser escéptico de los resúmenes de la IA. Eso no quiere decir que deben evitarse por completo, pueden ser útiles, pero los resúmenes de IA son falibles, si no son propensos al fracaso. Si el correo electrónico que está leyendo es importante, sugeriría evitar la función de resúmenes, o al menos tomar un escaneo del texto original para asegurarse de que el resumen lo hiciera bien.
