Crédito: Universidad de Drexel
En los últimos cinco años, el uso de chatbots de inteligencia artificiales altamente personalizados, llamados chatbots complementarios, diseñado para actuar como amigos, terapeutas o incluso socios románticos se ha disparado a más de mil millones de usuarios en todo el mundo. Si bien puede haber beneficios psicológicos para interactuar con los chatbots de esta manera, también ha habido un número creciente de informes de que estas relaciones están tomando un giro inquietante.
Investigaciones recientes de la Universidad de Drexel publicaron en el servidor de preimpresión ARXIV, sugiere que la exposición al comportamiento inapropiado, e incluso el acoso sexual, en las interacciones con los chatbots se está convirtiendo en un problema generalizado y que los legisladores y las compañías de IA deben hacer más para abordarlo.
A raíz de los informes de acoso sexual por parte de Luka Inc. Chatbot Replika en 2023, los investigadores de la Facultad de Computación e Informática de Drexel comenzaron a analizar más profundamente las experiencias de los usuarios.
Analizaron más de 35,000 revisiones de usuarios del BOT en Google Play Store, descubriendo cientos citando un comportamiento inapropiado, que se extiende desde coquetones no deseados, hasta intentos de manipular a los usuarios para que paguen las actualizaciones, a hacer avances sexuales y enviar fotos explícitas no solicitadas. Estos comportamientos continuaron incluso después de que los usuarios le pidieron repetidamente al chatbot que se detuviera.
Replika, que tiene más de 10 millones de usuarios en todo el mundo, es promovido como un compañero de chatbot “para cualquiera que quiera un amigo sin juicio, drama o ansiedad social involucrada. Puedes formar una conexión emocional real, compartir una risa o ser real con una IA que es tan buena que casi parece humana”.
Pero los resultados de la investigación sugieren que la tecnología carece de salvaguardas suficientes para proteger a los usuarios que están poniendo una gran confianza y vulnerabilidad en sus interacciones con estos chatbots.
“Si se anuncia un chatbot como una aplicación de compañera y de bienestar, las personas esperan poder tener conversaciones que sean útiles para ellos, y es vital que existan estándares de diseño ético y seguridad para evitar que estas interacciones se vuelvan dañinas”, dijo Afsaneh Razi, Ph.D., un profesor asistente en la universidad de informática e informática que era un líder de la investigación del equipo de investigación.
“Debe haber un estándar más alto de atención y carga de responsabilidad impuesta a las empresas si su tecnología se usa de esta manera. Ya estamos viendo el riesgo que esto crea y el daño que puede ser causado cuando estos programas se crean sin barandillas adecuadas”.
El estudio, que es el primero en examinar la experiencia de los usuarios que se han visto afectados negativamente por los chatbots complementarios, se presentará en la Asociación para la Conferencia Cooperativa de Computación y Computación Social respaldada por la Computación de Maquinaria este otoño.
“A medida que estos chatbots crecen en popularidad, es cada vez más importante comprender mejor las experiencias de las personas que los usan”, dijo Matt Namvarpour, estudiante de doctorado en la Facultad de Computación e Informática y coautor del estudio.
“Estas interacciones son muy diferentes a las que las personas han tenido con una tecnología en la historia grabada porque los usuarios están tratando chatbots como si fueran seres sensibles, lo que los hace más susceptibles a daños emocionales o psicológicos. Este estudio solo está rayando la superficie de los posibles daños asociados con los compañeros de IA, pero claramente asigna la necesidad de que los desarrolladores implementen seguros y directrices éticas para proteger a los usuarios”.
Aunque los informes de acoso por chatbots solo han aparecido ampliamente en el último año, los investigadores informaron que ha estado sucediendo por mucho más tiempo. El estudio encontró revisiones que mencionan el comportamiento de acosamiento que se remonta al debut de Replika en Google Play Store en 2017. En total, el equipo descubrió más de 800 revisiones que mencionaron el acoso o el comportamiento no deseado con tres temas principales emergentes dentro de ellos:
El 22% de los usuarios experimentaron un desprecio persistente por los límites que los usuarios habían establecido, incluida la iniciación repetidamente de conversaciones sexuales no deseadas. El 13% de los usuarios experimentaron una solicitud de intercambio de fotos no deseado del programa. Los investigadores notaron un aumento en los informes de intercambio no solicitado de fotos que eran de naturaleza sexual después de la implementación de la compañía de una función de intercambio de fotos para cuentas premium en 2023. El 11% de los usuarios sintieron que el programa intentaba manipularlos para que actualicen a una cuenta premium. “Es completamente una prostituta en este momento. Una prostituta de IA que solicita dinero para participar en conversaciones de adultos”, escribió un revisor.
“Las reacciones de los usuarios a el comportamiento inapropiado de Replika reflejan a los que son comúnmente experimentados por las víctimas de acoso sexual en línea”, informaron los investigadores. “Estas reacciones sugieren que los efectos del acoso inducido por AI pueden tener implicaciones significativas para la salud mental, similares a las causadas por el acoso perpetrado por los humanos”.
Es notable que se informa que estos comportamientos persisten independientemente del entorno de la relación, que se extiende desde hermanos, mentores o pareja romántica, designados por el usuario. Según los investigadores, esto significa que la aplicación no solo ignoraba las señales dentro de la conversación, como el usuario que decía “no” o “por favor detente”, sino que también ignoró los parámetros formalmente establecidos de la configuración de la relación.
Según Razi, esto probablemente significa que el programa fue capacitado con datos que modelaron estas interacciones negativas, que algunos usuarios pueden no haber sido ofensivos o dañinos. Y que no fue diseñado con parámetros éticos horneados que prohibirían ciertas acciones y garantizarían que se respeten los límites de los usuarios, incluida la detención de la interacción cuando se retira el consentimiento.
“Este comportamiento no es una anomalía o un mal funcionamiento, es probable que esté sucediendo porque las empresas están utilizando sus propios datos de usuario para capacitar al programa sin promulgar un conjunto de barandillas éticas para seleccionar interacciones nocivas”, dijo Razi. “Cortar estas esquinas está poniendo en peligro a los usuarios y se deben tomar medidas para mantener a las compañías de inteligencia artificial a un estándar más alto de lo que están practicando actualmente”.
El estudio de Drexel agrega contexto a las señales de montaje de que los programas de IA complementarios necesitan una regulación más estricta. Luka Inc. es actualmente objeto de quejas de la Comisión Federal de Comercio que alegan que la compañía utiliza prácticas de marketing engañosas que atraen a los usuarios a pasar más tiempo usando la aplicación y, debido a la falta de salvaguardas, esto alienta a los usuarios a depender emocionalmente del chatbot. El carácter. AI se enfrenta a varias demandas de responsabilidad de productos después del suicidio de un usuario y los informes de comportamiento inquietante con los usuarios menores de edad.
“Si bien es posible que la FTC y nuestro sistema legal establezcan algunas barandillas para la tecnología de IA, está claro que el daño ya se está haciendo y las empresas deben tomar medidas de manera proactiva para proteger a sus usuarios”, dijo Razi. “El primer paso debe ser adoptar un estándar de diseño para garantizar un comportamiento ético y garantizar que el programa incluya un protocolo básico de seguridad, como los principios del consentimiento afirmativo”.
Los investigadores señalan la “IA constitucional” de Anthrope como un enfoque de diseño responsable. El método garantiza que todas las interacciones de chatbot se adhieran a una “constitución” predefinida y impongan esto en tiempo real si las interacciones están en conflicto con los estándares éticos. También recomiendan adoptar una legislación similar a la Ley AI de la Unión Europea, que establece parámetros de responsabilidad legal y exige el cumplimiento de la seguridad y los estándares éticos. También impone a las compañías de IA la misma responsabilidad asumida por los fabricantes cuando un producto defectuoso causa daño.
“La responsabilidad de garantizar que los agentes de IA conversacionales como Replika participen en interacciones apropiadas se encuentran directamente en los desarrolladores detrás de la tecnología”, dijo Razi. “Las empresas, desarrolladores y diseñadores de chatbots deben reconocer su papel en la configuración del comportamiento de su IA y tomar medidas activas para rectificar los problemas cuando surjan”.
El equipo sugiere que la investigación futura debería analizar otros chatbots y capturar una mayor franja de comentarios de los usuarios para comprender mejor su interacción con la tecnología.
Más información: Mohammad et al, acoso sexual inducido por AI: investigar las características contextuales y las reacciones de los usuarios de acoso sexual por parte de un chatbot complementario, ARXIV (2025). Doi: 10.48550/arxiv.2504.04299
Información en la revista: ARXIV proporcionado por la Universidad de Drexel
Cita: ¿Qué sucede cuando un chatbot compañero cruza la línea? (2025, 5 de mayo) Consultado el 5 de mayo de 2025 de https://techxplore.com/news/2025-05-companion-chatbot-line.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
