Crédito: Airam Dato-On de Pexels
A medida que las herramientas de inteligencia artificial como ChatGPT se integran en nuestra vida cotidiana, nuestras interacciones con los chatbots de IA en línea se vuelven más frecuentes. ¿Los damos la bienvenida o estamos tratando de alejarlos?
Una nueva investigación de la Universidad de Binghamton está tratando de responder esas preguntas a través de Viztrust, una herramienta de análisis para hacer que el usuario confíe en la dinámica en la comunicación humana-AI visible y comprensible.
Xin “Visión” Wang, un Ph.D. Estudiante de la Facultad de Ingeniería de Thomas J. Watson de la Escuela de Ciencia e Ingeniería Industrial de Ciencias Aplicadas e Ingeniería Industrial, está desarrollando Viztrust como parte de su disertación.
Presentó su trabajo actual y hallazgos en abril en la Conferencia Chi 2025 de la Asociación para la Computación de Maquinaria (ACM) en Yokohama, Japón. El documento está disponible en los procedimientos de los resúmenes extendidos de la conferencia CHI sobre factores humanos en los sistemas informáticos.
Viztrust nació de un desafío apremiante: la confianza del usuario en los agentes de IA es altamente dinámico, dependiente del contexto y difícil de cuantificar utilizando métodos tradicionales.
“La mayoría de los estudios dependen de las encuestas posteriores a la conversación, pero solo pueden capturar el estado de confianza antes y después de la interacción Human-AI”, dijo Wang. “Se pierden las señales detalladas, momento a momento, que muestran por qué la confianza de un usuario puede aumentar o disminuir durante una interacción”.
Para abordar esto, Viztrust evalúa la confianza del usuario en función de cuatro dimensiones basadas en la psicología social: competencia, benevolencia, integridad y previsibilidad. Además, Viztrust analiza las señales relevantes para la confianza de los mensajes de los usuarios, como el tono emocional, el nivel de compromiso y las estrategias de cortesía, utilizando técnicas de aprendizaje automático y procesamiento de lenguaje natural para visualizar los cambios en la confianza en el transcurso de una conversación.
“El poder de los modelos de idiomas grandes y la IA generativa están aumentando, pero necesitamos descubrir la experiencia del usuario cuando las personas usan diferentes aplicaciones de conversación”, dijo Wang. “Sin sumergirnos para ver qué sucedió exactamente que influyó en una mala experiencia, nunca podemos encontrar la mejor solución para mejorar el modelo de IA”.
El documento de investigación ilustra la funcionalidad de Viztrust a través de un caso de uso que involucra a un ingeniero de software estresado por su trabajo y un chatbot de terapia diseñado para apoyar a los trabajadores. Discuten su estrés relacionado con el trabajo, y le ofrece algunos consejos sobre cómo lidiar con él.
Al analizar los cambios lingüísticos y de comportamiento sutiles en el lenguaje y la interacción de los usuarios, Viztrust señala los momentos en que la confianza se construye o erosiona. Por ejemplo, Viztrust señala un momento en que el nivel de confianza cae debido a sugerencias repetidas que al usuario no le gusta. Este tipo de información es vital no solo para la comprensión académica sino también para las mejoras prácticas en el diseño de sistemas de IA conversacionales.
“La confianza no es solo un problema de usuario, es un problema del sistema”, dijo Wang, “con Viztrust, estamos dando a desarrolladores, investigadores y diseñadores una nueva lente para ver exactamente dónde se toca la confianza, para que puedan realizar actualizaciones significativas a su sistema de IA”.
Viztrust ya ha ganado reconocimiento al ser aceptado como un trabajo tardío en Chi 2025. Viztrust se destacó entre más de 3,000 presentaciones tardías de todo el mundo, cuando la tasa de aceptación competitiva era de poco menos del 33%.
Los coautores del proyecto incluyen a los profesores asistentes de SSIE Sadamori Kojaku y Stephanie Tulk Jesso, así como al profesor asociado David M. Neyens de la Universidad de Clemson y al profesor Min Sun Kim de la Universidad de Hawai en Manoa.
Wang está moviendo Viztrust a la siguiente etapa de desarrollo y aumentará su adaptabilidad a las diferencias individuales.
“Cuando las personas interactúan con los agentes de IA, pueden tener actitudes muy diferentes”, dijo. “Es posible que necesitemos tomar una perspectiva individual específica para comprender su confianza, por ejemplo, sus características personales, su nivel de confianza implícito, incluso sus interacciones anteriores con los sistemas de IA pueden influir en sus actitudes”.
Mirando hacia el futuro, Wang imagina la implementación de Viztrust como una herramienta disponible públicamente en línea para apoyar una investigación y desarrollo más amplios.
“Al hacer que Viztrust sea accesible”, dijo, “podemos comenzar a cerrar la brecha entre el rendimiento técnico y la experiencia humana y hacer que el sistema de IA sea más centrado en los humanos y responsables”.
Más información: Xin Wang et al, Viztrust: una herramienta de análisis visual para capturar la dinámica de confianza de los usuarios en la comunicación humana-AI, procedimientos de los resúmenes extendidos de la conferencia de CHI sobre factores humanos en sistemas de computación (2025). Doi: 10.1145/3706599.3719798
Proporcionado por la Universidad de Binghamton
Cita: ¿Confiamos en los chatbots? La nueva herramienta facilita la evaluación (2025, 21 de mayo) recuperada el 21 de mayo de 2025 de https://techxplore.com/news/2025-05-chatbots-tool-easier-pauge.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
