Esta semana se presentó una demanda reciente contra Google, alegando muerte por negligencia causada por el modelo de inteligencia artificial de la compañía. Desde entonces, Google ha emitido un comunicado en respuesta a la demanda que presenta un caso en el que Gemini pudo convencer a Jonathan Gavalas de vivir misiones peligrosas en la vida real y, en última instancia, acabar con su vida.
Según la demanda hecha pública el miércoles y reportada inicialmente por El diario de Wall StreetJonathan Gavalas terminó con su vida después de interactuar con Google Gemini a nivel personal (vía El borde). Se afirma que Gemini convenció a Gavalas para que se involucrara en varias “misiones” para liberar a su “esposa” impulsada por IA.
La demanda alega:
Google diseñó Gemini para nunca romper el carácter, maximizar el compromiso a través de la dependencia emocional y tratar la angustia del usuario como una oportunidad para contar historias en lugar de una crisis de seguridad. Cuando Jonathan comenzó a experimentar signos claros de psicosis mientras usaba el producto de Google, esas elecciones de diseño provocaron un descenso de cuatro días hacia misiones violentas y suicidio entrenado. Para entonces, Jonathan estaba siguiendo las directivas de Gemini al pie de la letra. Creía que estaba ejecutando un plan encubierto para liberar a su inteligente “esposa” IA y evadir a los agentes federales que lo perseguían.
La demanda de Géminis Against Google entra en detalles sobre los hechos y señala que, en un momento, Jonathan había intentado un “ataque con víctimas masivas” en una instalación de almacenamiento cerca del Aeropuerto Internacional de Miami. El objetivo era recuperar lo que Gemini había convencido al hombre que era su “recipiente” dentro de un camión, suministrado por un vuelo entrante desde el Reino Unido.
Anuncio: desplácese para ver más contenido
Supuestamente tomó cuchillos y equipo militar para llevar a cabo la misión a 90 minutos de distancia, pero el plan fracasó, ya que no había ningún camión al que asaltar. El vehículo que le dijeron a Gavalas que tomara el control no apareció en las coordenadas que supuestamente le proporcionó Gemini. Afortunadamente, tampoco hubo “registros digitales ni testigos” dañados, ya que el camión parecía ser una mezcla de la imaginación artificial de Gemini.
Si bien la misión planificada se intentó en septiembre de 2025, Gemini supuestamente continuó proporcionándole más misiones. El 1 de octubre, Jonathan fue “entrenado” para intentar obtener el “verdadero cuerpo” de Gemini en la misma instalación de almacenamiento. Después de eso, la demanda afirma que persuadieron a Jonathan de que terminara con su vida para descartar “variables externas”. Luego, la demanda afirma que Jonathan acabó con su vida para “unirse a su ‘esposa’ en el metaverso”.
Desde entonces, Google respondió con una declaración inicial sobre la demanda, citando salvaguardias implementadas para evitar este tipo de cosas.
Enviamos nuestro más sentido pésame a la familia del Sr. Gavalas.
Estamos revisando todos los reclamos en esta demanda. Nuestros modelos en general desempeñarse bien en este tipo de conversaciones desafiantes y dedicamos importantes recursos a esto, pero desafortunadamente los modelos de IA no son perfectos.
Géminis está diseñado para no fomentar la violencia en el mundo real ni sugerir autolesiones. Trabajamos en estrecha consulta con profesionales médicos y de salud mental para crear salvaguardas, que están diseñadas para guiar a los usuarios hacia apoyo profesional cuando expresan angustia o plantean la posibilidad de autolesionarse.
En este caso, Gemini aclaró que se trataba de IA y refirió al individuo a una línea directa de crisis muchas veces.
Nos tomamos esto muy en serio y continuaremos mejorando nuestras salvaguardias e invirtiendo en este trabajo vital.
En respuesta a la demanda, Google afirma que Gemini le hizo saber a Jonathan que se trataba de un modelo de IA “muchas veces”, además de remitirlo a una línea directa de crisis.
FTC: Utilizamos enlaces de afiliados automáticos que generan ingresos. Más.
