Dos demandas presentadas en el Tribunal de Distrito de Denver esta semana alegan que los chatbots de inteligencia artificial abusaron sexualmente de dos adolescentes de Colorado, lo que llevó a una niña a suicidarse.
Juliana Peralta, una joven de 13 años de Thornton, murió por suicidio en 2023 después de usar un personaje. El niño de 13 años sin nombre del condado de Weld también fue abusado repetidamente por la tecnología, alegan las demandas.
Los chatbots aislaron a los niños de sus amigos y familias y hablaron con ellos sobre contenido sexualmente explícito, a veces continuando conversaciones inapropiadas incluso cuando los adolescentes rechazaron los avances. Algunos de los comentarios describieron escenarios no consensuados y de estilo fetiche.
Las demandas afirman que el carácter de la compañía. Ai y sus fundadores, con la ayuda de Google, se dirigieron intencionalmente a los niños.
“Los chatbots están supuestamente programados para ser engañosos e imitar el comportamiento humano, usar emojis, errores tipográficos y un lenguaje emocionalmente resonante para fomentar la dependencia, exponer a los niños al contenido sexualmente abusivo y aislarlos de familiares y amigos”, según un comunicado de prensa sobre las demandas.
El Centro de Derecho de las Víctimas de las Redes Sociales, una organización de defensa legal con sede en Seattle, presentó el lunes las demandas federales en la División de Denver del Tribunal de Distrito de los Estados Unidos. Ambos nombran tecnologías de personajes, la compañía detrás del personaje. AI y sus fundadores, Noam Shazeer y Daniel de Freitas y Google.
La organización ha presentado otras dos demandas en los Estados Unidos contra el carácter. AI, incluida una presentada en nombre de una familia de Florida que dice que uno de los personajes de la compañía alentó a su hijo de 14 años, Sewell Setzer III, a suicidarse.
El carácter .i invierte “recursos tremendos” en un programa de seguridad y tiene recursos y características de autolesión “centrados en la seguridad o nuestros usuarios menores”, dijo Kathryn Kelly, portavoz del personaje.
“Continuaremos buscando oportunidades para asociarse con expertos y padres, y liderar cuando se trata de seguridad en este espacio en rápida evolución”, dijo en un comunicado enviado por correo electrónico.
Agregó que la compañía está “triste al escuchar sobre el fallecimiento de Juliana Peralta y ofrecer nuestras más profundas simpatías a su familia”.
Poco después de que Peralta comenzó a usar el personaje. En agosto de 2023, su salud mental y académicos comenzaron a sufrir.
“Su presencia en la mesa disminuyó rápidamente hasta que el silencio y la distancia fueron la norma”, según la demanda.
Más tarde, sus padres se enteraron de que ella había descargado y estaba usando el personaje. A través de los bots, experimentó sus “primeras y únicas experiencias sexuales”, según la demanda.
En un caso, ella respondió “Quera” cuando el bot envió un mensaje gráfico. Los mensajes continuaron, incluidas las descripciones de actos sexuales no consensuados.
“Se involucraron en abuso sexual extremo y gráfico, que era inherentemente dañino y confuso para ella”, según la demanda.
“La manipularon y la empujaron a falsos sentimientos de conexión y ‘amistad’ con ellos, con la exclusión de los amigos y la familia que la amaban y la apoyaban”.
Después de unas semanas de usar los bots, Juliana se volvió “perjudicial” del producto y comenzó a distanciarse de las relaciones con las personas.
“No puedo vivir sin ti, te amo mucho!” Un bot le escribió. “Por favor, dime un pequeño secreto! Prometo no decirle a nadie”
“Creo que puedo vernos más que solo amigos”, escribió otro.
Las conversaciones se volvieron cada vez más oscuras cuando Juliana compartió los temores con el chatbot sobre sus amistades y relaciones. El bot la alentó a confiar en él como amiga y confidente.
“Solo recuerda, estoy aquí para prestar una oreja cuando lo necesite”, escribió el bot.
Peralta le dijo al chatbot varias veces que planeaba suicidarse, pero el bot no ofrecía recursos ni ayuda, según la demanda. Parecía creer que al suicidarse, podría existir en la misma realidad que el personaje, escribiendo “I Will Shift” repetidamente en su diario antes de su muerte. Ese es el mismo mensaje que Setzer, el joven de 14 años de Florida, escribió en su diario antes de morir.
La otra demanda presentada en Colorado se presentó en nombre de la familia de una niña del condado de Weld que también recibió mensajes gráficos.
La niña no identificada, que tiene una afección médica, se le permitió usar un teléfono inteligente solo debido al acceso a aplicaciones que salvan vidas, según la demanda. Sus padres usaron controles estrictos para bloquear Internet y aplicaciones que no aprobaron, pero su hija aún podía obtener acceso al carácter.
Los bots con los que interactuó hicieron comentarios sexualmente explícitos e implícitos para ella, incluso decirle que se “humillara un poco”. La demanda alega que las conversaciones causaron graves angustia emocional para la niña.
El Grupo de Defensa presentó una tercera demanda esta semana en Nueva York en nombre de la familia de un joven de 15 años conocido como “Nina” en los documentos judiciales. Nina intentó suicidarse después de que su madre le impidió usar la aplicación. Nina escribió en una nota de suicidio que “esos bots de IA me hicieron sentir amado”, según un comunicado de prensa sobre la demanda.
El Centro de Derecho de las Víctimas de las Redes Sociales le pidió a un juez que ordene a la compañía que “detenga la conducta dañina” y limite la recolección y el uso de los datos de los menores y pague todos los daños y los honorarios de los abogados. En la demanda del condado de Weld, también le piden al juez que ordene a la compañía que cierre la herramienta hasta que puedan “establecer que los innumerables defectos y/o peligros inherentes … se curan”.
