La investigación de CMU muestra que reemplazar a los humanos con LLM tiene limitaciones y presenta preocupaciones éticas. Crédito: Universidad Carnegie Mellon
Hacer que los humanos participen en un estudio pueden llevar mucho tiempo y costoso para los investigadores que estiran presupuestos limitados en plazos estrictos. Los sofisticados modelos de lenguaje grande generativo (LLM) pueden completar muchas tareas, por lo que algunos investigadores y empresas han explorado la idea de usarlos en estudios en lugar de participantes humanos.
Los investigadores de la Escuela de Ciencias de la Computación de la Universidad Carnegie Mellon identificaron limitaciones fundamentales para usar LLM en la investigación cualitativa centradas en la perspectiva de un humano, incluidas las formas en que se recopila la información y se agregan y cuestiona el consentimiento y la recopilación de datos.
“Analizamos esta cuestión de si los agentes basados en LLM pueden reemplazar la participación humana en la investigación cualitativa, y la respuesta de alto nivel fue no”, dijo Hoda Heidari, profesora asistente de desarrollo profesional de K&L Gates en tecnologías de ética y computación en el Departamento de Software y Sistemas Societales de CMU (S3D) y departamento de aprendizaje automático.
“Hay todo tipo de matices a los que contribuyen los participantes humanos que no puede salir de los agentes basados en LLM, sin importar cuán buena sea la tecnología”.
El documento del equipo, “Simulacrum of Stories: Examining Language Models como participantes de la investigación cualitativa”, recibió un premio de mención de honor en la Conferencia de la Asociación para la Macinato de Computación sobre Factores Humanos en Sistemas de Computación (CHI 2025) la semana pasada en Yokohama, Japón.
Los miembros del equipo de SCS incluyeron a Heidari; Shivani Kapania, un estudiante de doctorado en el Instituto de Interacción de Computador Humano (HCII); William Agnew, el becario postdoctoral Carnegie Bosch en el HCII; Motahhare Eslami, profesor asistente en HCII y S3D; y Sarah Fox, profesora asistente en el HCII.
El documento está disponible en las actas de la Conferencia CHI 2025 sobre factores humanos en los sistemas informáticos.
Los LLM se utilizan como herramientas en la capacitación en una variedad de campos. En las profesiones médicas y legales, estas herramientas permiten a los profesionales simular y practicar escenarios de la vida real, como una capacitación en terapeuta para identificar las crisis de salud mental. En la investigación cualitativa, que a menudo se basa en entrevistas, los LLM están siendo entrenados para imitar el comportamiento humano en sus respuestas a preguntas y indicaciones.
En el estudio, el equipo de CMU entrevistó a 19 humanos con experiencia en investigación cualitativa. Los participantes interactuaron con una herramienta de estilo chatbot LLM, escribiendo mensajes de un lado a otro. La herramienta permitió a los investigadores comparar datos generados por LLM con datos generados por humanos y reflexionar sobre preocupaciones éticas.
Los investigadores identificaron varias formas en usar LLM a medida que los participantes del estudio introdujeron limitaciones en la investigación científica, incluido el método del modelo para recopilar e interpretar el conocimiento. Los participantes del estudio señalaron que la herramienta LLM a menudo compilaba sus respuestas de múltiples fuentes y las ajustaba, a veces de manera no natural, en una respuesta.
Por ejemplo, en un estudio sobre condiciones de trabajo de fábrica, un trabajador en el piso y un gerente probablemente tendrían diferentes respuestas sobre una variedad de aspectos del trabajo y el lugar de trabajo. Sin embargo, un participante de LLM que genera respuestas podría combinar estas dos perspectivas en una sola respuesta: actitudes convincentes de manera que no reflejan la realidad.
Otra forma en que el respondedor de LLM introdujo problemas en el proceso de investigación científica fue en forma de consentimiento. En el documento, los investigadores señalan que los LLM capacitados en datos disponibles públicamente desde una plataforma de redes sociales podrían plantear preguntas sobre el consentimiento informado y si las personas cuyos datos están capacitados tienen la opción de optar por no participar.
En general, el estudio plantea dudas sobre el uso de LLM como participantes del estudio, observando preocupaciones éticas y preguntas sobre la validez de estas herramientas.
“Estos modelos están codificados con los sesgos, supuestos y dinámica de potencia de los productores de modelos y los datos y contextos de los que se derivan”, escribieron los investigadores. “Como tal, su uso en la investigación reforma la naturaleza del conocimiento producido, a menudo de manera que refuerzan las jerarquías y exclusiones existentes”.
Más información: Shivani Kapania et al, Simulacrum of Stories: Examinando modelos de idiomas grandes como participantes de investigación cualitativa, Actas de la Conferencia CHI 2025 sobre factores humanos en los sistemas de computación (2025). Doi: 10.1145/3706598.3713220
Proporcionado por la Universidad Carnegie Mellon
Cita: ¿Puede la IA generativa reemplazar a los humanos en estudios de investigación cualitativa? (2025, 14 de mayo) Consultado el 14 de mayo de 2025 de https://techxplore.com/news/2025-05-generative-ai-humans-Qalitative.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
