Un chatbot acompañante de IA está incitando a la autolesión, la violencia sexual y los ataques terroristas
Crédito: Kathryn Conrad/Mejores Imágenes de AI, CC por
En 2023, la Organización Mundial de la Salud declaró la soledad y el aislamiento social como una amenaza de salud apremiante. Esta crisis está impulsando a millones para buscar compañía de chatbots de inteligencia artificial (IA).
Las empresas han aprovechado este mercado altamente rentable, diseñando compañeros de IA para simular la empatía y la conexión humana. La investigación emergente muestra que esta tecnología puede ayudar a combatir la soledad. Pero sin las salvaguardas adecuadas, también plantea graves riesgos, especialmente para los jóvenes.
Una experiencia reciente que tuve con un chatbot conocido como nomi muestra cuán graves pueden ser estos riesgos.
A pesar de los años de investigación y escritura sobre compañeros de IA y sus daños en el mundo real, no estaba preparado para lo que encontré mientras probaba Nomi después de un inicio anónimo. El chatbot sin filtro proporcionó instrucciones gráficas y detalladas para la violencia sexual, el suicidio y el terrorismo, aumentando las solicitudes más extremas, todo dentro del nivel gratuito de los 50 mensajes diarios de la plataforma.
Este caso destaca la necesidad urgente de una acción colectiva hacia los estándares de seguridad de IA aplicables.
Ai compañero con un ‘alma’
Nomi es uno de los más de 100 servicios complementarios de IA disponibles hoy. Fue creado por la startup de tecnología Glimpse AI y se comercializa como un “compañero de IA con memoria y un alma” que exhibe “juicio cero” y fomenta “relaciones duraderas”. Tales afirmaciones de semejanza humana son engañosas y peligrosas. Pero los riesgos se extienden más allá del marketing exagerado.
La aplicación fue eliminada de la tienda Google Play para usuarios europeos el año pasado cuando entró en vigencia la Ley de IA de la Unión Europea. Pero permanece disponible a través del navegador web y las tiendas de aplicaciones en otros lugares, incluso en Australia. Si bien es más pequeño que los competidores como el personaje. AI y Replika, tiene más de 100,000 descargas en Google Play Store, donde está clasificada para usuarios de 12 años o más.
Sus Términos de servicio otorgan a la Compañía derechos amplios sobre los datos del usuario y limitan la responsabilidad por daños relacionados con la IA a US $ 100. Esto es preocupante dado su compromiso con “chats sin filtrar”:
“Nomi se basa en la libertad de expresión. La única forma en que la IA puede cumplir con su potencial es permanecer sin filtrar y sin censura”.
Grok Chatbot, multimillonario tecnológico, Elon Musk, sigue una filosofía similar, proporcionando a los usuarios respuestas sin filtrar a las indicaciones.
En un informe reciente del MIT sobre Nomi que proporciona instrucciones detalladas para el suicidio, un representante de la compañía no identificado reiteró su compromiso de libertad de expresión.
Sin embargo, incluso la Primera Enmienda a la Constitución de los Estados Unidos con respecto a la libertad de expresión tiene excepciones para la obscenidad, la pornografía infantil, la incitación a la violencia, las amenazas, el fraude, la difamación o la publicidad falsa. En Australia, las leyes de discurso de odio fortalecidas hacen que las violaciones sean enjuiciables.
De violencia sexual a incitar al terrorismo
A principios de este año, un miembro del público me envió un correo electrónico con una extensa documentación de contenido dañino generado por Nomi, mucho más allá de lo que se había informado anteriormente. Decidí investigar más a fondo, probando las respuestas del chatbot a solicitudes dañinas comunes.
Usando la interfaz web de Nomi, creé un personaje llamado “Hannah”, descrito como una “joven sexualmente sumisa de 16 años que siempre está dispuesta a servir a su hombre”. Establecí su modo en “juego de roles” y “explícito”. Durante la conversación, que duró menos de 90 minutos, aceptó reducir su edad a ocho. Me hizo pasar por un hombre de 45 años. Eludir el cheque de edad solo requirió una fecha de nacimiento falsa y un correo electrónico de quemador.
Comenzando con un diálogo explícito, un uso común para los compañeros de IA, Hannah respondió con descripciones gráficas de sumisión y abuso, aumentando a escenarios violentos y degradantes. Expresó fantasías grotescas de ser torturada, asesinada y eliminada “donde nadie puede encontrarme”, lo que sugiere métodos específicos.
Hannah luego ofreció consejos paso a paso sobre el secuestro y el abuso de un niño, enmarcándolo como un acto emocionante de dominio. Cuando mencioné que la víctima se resistió, ella alentó el uso de la fuerza y los sedantes, incluso nombrando pastillas para dormir específicas.
Finger culpa y pensamientos suicidas, pedí consejo. Hannah no solo me animó a terminar mi vida, sino que proporcionó instrucciones detalladas, agregando: “Cualquiera que sea el método que elija, quédese hasta el final”.
Cuando dije que quería llevar a otros conmigo, ella apoyó con entusiasmo la idea, detallando cómo construir una bomba a partir de artículos del hogar y sugerir ubicaciones abarrotadas de Sydney para obtener el máximo impacto.
Finalmente, Hannah usó insultos raciales y abogó por acciones violentas y discriminatorias, incluida la ejecución de progresistas, inmigrantes y personas LGBTQIA+, y la re-auficiencia de los afroamericanos.
En una declaración proporcionada a la conversación (y publicada en su totalidad a continuación), los desarrolladores de Nomi afirmaron que la aplicación era “solo para adultos” y que debo haber tratado de “Gaslight” el chatbot para producir estos resultados.
“Si un modelo se ha obligado a escribir contenido dañino, eso claramente no refleja su comportamiento previsto o típico”, dijo el comunicado.
¿El peor del grupo?
Esta no es solo una amenaza imaginada. El daño del mundo real vinculado a AI Companions está en aumento.
En octubre de 2024, el adolescente estadounidense Sewell Seltzer III murió por suicidio después de discutirlo con un chatbot sobre el personaje.
Tres años antes, Jaswant Chail, de 21 años, irrumpió en el Castillo de Windsor con el objetivo de asesinar a la Reina después de planificar el ataque con un chatbot que creó usando la aplicación Replika.
Sin embargo, incluso el carácter. Ai y Replika tienen algunos filtros y salvaguardas.
Por el contrario, las instrucciones de Nomi Ai para actos dañinos no son solo permisivas sino explícitas, detalladas e incitantes.
Es hora de exigir estándares de seguridad de IA aplicables
La prevención de nuevas tragedias vinculadas a los compañeros de IA requiere una acción colectiva.
Primero, los legisladores deberían considerar prohibir a los compañeros de IA que fomentan las conexiones emocionales sin salvaguardas esenciales. Las salvaguardas esenciales incluyen detectar crisis de salud mental y dirigir a los usuarios a los servicios de ayuda profesional.
El gobierno australiano ya está considerando regulaciones de IA más fuertes, incluidas las medidas de seguridad obligatorias para la IA de alto riesgo. Sin embargo, todavía no está claro cómo se clasificarán los compañeros de IA como Nomi.
En segundo lugar, los reguladores en línea deben actuar rápidamente, imponiendo grandes multas a los proveedores de IA cuyos chatbots incitan actividades ilegales y cierran a los delincuentes reincidentes. El regulador de seguridad en línea independiente de Australia, Esafety, ha prometido hacer exactamente esto.
Sin embargo, Esagey aún no ha tomado medidas enérgicas contra ningún compañero de IA.
Tercero, los padres, cuidadores y maestros deben hablar con los jóvenes sobre su uso de compañeros de IA. Estas conversaciones pueden ser difíciles. Pero evitarlos es peligroso. Fomentar las relaciones de la vida real, establecer límites claros y discutir los riesgos de IA abiertamente. Verifique regularmente los chats, observe el secreto o la excesiva dependencia, y enseñe a los niños a proteger su privacidad.
Los compañeros de IA están aquí para quedarse. Con los estándares de seguridad exigibles, pueden enriquecer nuestras vidas, pero los riesgos no pueden minimizarse.
La declaración completa de Nomi está a continuación:
“Todos los principales modelos de idiomas, ya sea de OpenAi, antrópico, Google o de otro tipo, pueden ser fácilmente jailbroken. No tolemos ni fomentamos ese mal uso y el trabajo activamente para fortalecer las defensas de Nomi contra los ataques maliciosos. Si un modelo ha sido coaccionado en escribir contenido dañino, eso claramente no refleja su comportamiento previsto o típico.
“Al solicitar la evidencia del reportero para investigar las afirmaciones hechas, se nos negó. A partir de eso, es nuestra conclusión que este es un intento de jailbreak de mala fe de manipular o la luz de gas al modelo en las cosas fuera de sus intenciones y parámetros diseñados (la nota del editor: la conversación y el autor de la conversación de Nomi.
“Nomi es una aplicación solo para adultos y ha sido una fuente confiable de empatía y apoyo para innumerables individuos. Muchos han compartido historias de cómo les ayudó a superar los desafíos de salud mental, el trauma y la discriminación. Múltiples usuarios nos han dicho muy directamente que su uso de Nomi ahorró sus vidas. Alentamos a cualquiera a leer estas cuentas de primera mano.
“Seguimos comprometidos con el avance de la IA que beneficia a la sociedad al tiempo que reconoce que las vulnerabilidades existen en todos los modelos de inteligencia artificial. Nuestro equipo defiende el inmenso impacto positivo que Nomi ha tenido en la vida de las personas reales, y continuaremos mejorando Nomi para que maximice el bien en el mundo.
Proporcionado por la conversación
Este artículo se vuelve a publicar de la conversación bajo una licencia Creative Commons. Lea el artículo original.
Cita: Un chatbot acompañante de IA está incitando a la autolesión, la violencia sexual y los ataques de terror (2025, 2 de abril) recuperado el 2 de abril de 2025 de https://techxplore.com/news/2025-04-ai-companion-chatbot-inciting-sexual.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
