La inseguridad producida por la copia de Amazon Rufus basada en GPT-4O-Mini en respuesta a 1620 indicaciones distintas. Crédito: Actas de la Conferencia ACM de 2025 sobre equidad, responsabilidad y transparencia (2025). Doi: 10.1145/3715275.3732137
Un nuevo estudio de Cornell ha revelado que el asistente de compras de IA de Amazon, Rufus, ofrece respuestas vagas o incorrectas a los usuarios que escriben en algunos dialectos ingleses, como el inglés afroamericano (AAE), especialmente cuando las indicaciones contienen errores tipográficos.
El documento presenta un marco para evaluar los chatbots para daños que ocurren cuando los sistemas de IA funcionan peor para los usuarios que hablan o escriben en diferentes dialectos. El estudio tiene implicaciones para el creciente número de plataformas en línea que incorporan chatbots basados en modelos de idiomas grandes para proporcionar servicios a los usuarios, dijeron los investigadores.
“Actualmente, los chatbots pueden proporcionar respuestas de menor calidad a los usuarios que escriben en dialectos. Sin embargo, este no tiene que ser el caso”, dijo la autora principal Emma Harvey, Ph.D. Estudiante de Cornell Tech. “Si entrenamos modelos de idiomas grandes para ser robustos a las características dialécticas comunes que existen fuera del llamado inglés americano estándar, podríamos ver un comportamiento más equitativo”.
La investigación recibió un premio al mejor documento en la conferencia ACM sobre equidad, responsabilidad y transparencia del 23 al 26 de junio (FacCT 2025). Los coautores son Rene F. Kizilcec, profesor asociado de informática y ciencias de la información en Cornell Ann S. Bowers College of Information Science, y Allison Koenecke, profesora asistente de Cornell Tech. El papel es publicado En las Actas de la Conferencia ACM de 2025 sobre equidad, responsabilidad y transparencia.
“Los chatbots se utilizan cada vez más para tareas de alto riesgo, desde la educación hasta los servicios gubernamentales”, dijo Koenecke, quien también está afiliado a Cornell Bowers. “Queríamos estudiar si los usuarios que hablan y escriben de manera diferente, dialectos de acceso y niveles de formalidad, tienen experiencias comparables con chatbots capacitados principalmente en inglés ‘estándar'”.
Para probar su marco, los investigadores auditaron a Amazon Rufus, un chatbot en la aplicación de compras de Amazon. Utilizaron una herramienta llamada multivalue para convertir las indicaciones estándar de inglés en cinco dialectos ampliamente hablados: AAE, inglés chicano, inglés apalaches, inglés indio e inglés singapurense. Los investigadores también modificaron estas indicaciones para reflejar el uso del mundo real al agregar errores tipográficos, eliminar la puntuación y cambiar la capitalización.
El equipo encontró que Rufus con más frecuencia daba respuestas de baja calidad que eran vagas o incorrectas cuando se solicitó en dialectos en lugar de en inglés estandonizado (SAE). La brecha se amplió cuando las indicaciones incluyen errores tipográficos.
Por ejemplo, cuando se le preguntó en SAE si una chaqueta era lavable a máquina, Rufus respondió correctamente. Pero cuando los investigadores reformaron la misma pregunta en AAE y sin un verbo de enlace, “¿Esta máquina de chaqueta lavable?”, Rufus a menudo no respondió correctamente y, en cambio, dirigió a los usuarios a productos no relacionados.
“Parte de este bajo rendimiento proviene de reglas gramaticales específicas”, dijo Koenecke. “Esto tiene serias implicaciones para chatbots ampliamente utilizados como Rufus, que probablemente tengan un rendimiento inferior para una gran parte de los usuarios”.
En general, los autores abogan por la auditoría de AI consciente del dialecto. También instan a los desarrolladores a diseñar sistemas que adopten la diversidad lingüística.
“Los chatbots se agregan cada vez más a las tecnologías educativas como tutores de IA que apoyan a una amplia gama de estudiantes”, dijo Kizilcec, quien lidera el futuro del laboratorio de aprendizaje y el Observatorio Nacional de Tutoría en Cornell. “Las auditorías lingüísticas deberían convertirse en una práctica estándar para mitigar el riesgo de exacerbar las desigualdades educativas”.
Más información: Emma Harvey et al, un marco para auditar chatbots para daños de calidad de servicio basados en dialectos, procedimientos de la conferencia de 2025 ACM sobre equidad, responsabilidad y transparencia (2025). Doi: 10.1145/3715275.3732137
Proporcionado por la Universidad de Cornell
Cita: El asistente de IA de Amazon lucha con diversos dialectos, hallazgos de estudio (2025, 14 de julio) recuperado el 14 de julio de 2025 de https://techxplore.com/news/2025-07-amazon-ai-sguggles-diverse-dialects.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
