Una ilustración de la desalineación entre las anotaciones de primera y tercera parte. Crédito: Li et al
Los algoritmos de aprendizaje automático y los modelos de idiomas grandes (LLM), como el modelo que sustenta el funcionamiento del ChatGPT de la plataforma, han demostrado ser efectivos para abordar una amplia gama de tareas. Estos modelos están entrenados en varios tipos de datos (por ejemplo, textos, imágenes, videos y/o grabaciones de audio), que generalmente son anotadas por humanos, que etiquetan características importantes, incluidas las emociones expresadas en los datos.
Los investigadores de la Universidad Estatal de Pensilvania llevaron a cabo un estudio destinado a comprender mejor en qué medida los anotadores de terceros, tanto humanos como modelos de idiomas grandes (LLM), pueden identificar las emociones expresadas por otros en sus textos escritos. Sus hallazgos, descritos en un artículo publicado en el servidor de preimpresión ARXIV y se presentarán en la conferencia ACL 2025 en Viena, sugieren que las personas a menudo no pueden recoger las emociones expresadas por otros en los textos.
“Muchos estados privados de los autores del modelo de tareas de la PNL (como las emociones) utilizando anotaciones de terceros, suponiendo que estas etiquetas se alineen con la experiencia real del autor”, dijo Sarah Rajtmajer, autora senior del documento, a Tech Xplore. “Sin embargo, esta suposición crítica rara vez se examina.
“La desalineación entre el estado privado de un autor y su interpretación de terceros no es simplemente un error de etiquetado: puede propagar a través de modelos aprendidos y socavar la confiabilidad de las aplicaciones aguas abajo, lo que lleva a consecuencias socialmente dañinas”.
El estudio reciente dirigido por Ph.D. El estudiante Jiayi Li se centró en el reconocimiento de emociones basado en texto, ya que se accede a muchas plataformas de IA utilizadas por individuos en todo el mundo a través del chat y están diseñados para procesar textos escritos. La pregunta clave que el equipo esperaba responder es: ¿Qué tan confiables son las anotaciones de terceros cuando se trata de reconocer las emociones expresadas por los humanos?
“Esta pregunta nos llevó a estudiar sistemáticamente la alineación entre las emociones autoinformadas (de primera parte) y las interpretaciones de los anotadores de terceros, incluidos los humanos y los LLM”, dijo Li. “También exploramos formas de mejorar esta alineación incorporando factores, examinando específicamente el impacto de la demografía compartida para los anotadores humanos y proporcionando demografía de los autores a LLM”.
Para investigar la capacidad de los anotadores de terceros para inferir las emociones de otros de los textos, los investigadores llevaron a cabo un experimento que involucra a usuarios de redes sociales reclutados a través de la plataforma de crowdsourcing Connect. Primero se pidió a los participantes del estudio que compartieran sus propias publicaciones en las redes sociales y etiquetaron las emociones que sentían que estaban expresando en estas publicaciones.
“Luego le pedimos a diferentes grupos de anotadores humanos, considerando su demografía en relación con los autores, que etiqueten las mismas publicaciones”, explicó Li. “También tuvimos varios modelos de lenguaje grande (LLM) realizados la misma tarea de etiquetado. Al comparar estas anotaciones de terceros (de humanos y LLM) con las emociones autoinformadas del autor utilizando métricas de evaluación como F1 y pruebas estadísticas, examinamos la alineación entre las anotaciones de primera y tercera parte”.
En sus análisis, Li, Rajtmajer y sus colegas también analizaron similitudes demográficas entre los usuarios que escriben publicaciones y los anotadores de terceros. Esto les permitió explorar la posibilidad de que las personas con datos demográficos similares (por ejemplo, una edad o antecedentes étnicos similares) sean mejores para recoger las emociones del otro.
“El hallazgo más notable de nuestro estudio es la clara desalineación entre las anotaciones de terceros y las emociones autoinformadas de terceros”, dijo Rajtmajer. “Este hallazgo desafía una suposición común en la investigación de reconocimiento de emociones de que los anotadores de terceros pueden inferir de manera confiable la expresión emocional de otra persona basada únicamente en el texto.
“En particular, descubrimos que los anotadores humanos que compartieron rasgos demográficos con el autor de Post estaban más alineados con las etiquetas de primera parte, y lo que provocó LLM con contexto demográfico condujo a mejoras pequeñas pero estadísticamente significativas”.
En general, los hallazgos de este trabajo reciente sugieren que los anotadores humanos podrían no ser tan efectivos para recoger emociones expresadas en textos como lo han sugerido estudios anteriores, pero podrían ser mejores para detectar las emociones de las personas que comparten características similares con ellos.
Esta idea podría guiar la anotación de futuros conjuntos de datos de texto para capacitar a los modelos de procesamiento del lenguaje natural (PNL), incluidas las LLM, lo que podría ayudar a aumentar la capacidad de estos modelos para generar respuestas alineadas con las emociones expresadas por los usuarios.
“Nuestro estudio destaca la necesidad de que los investigadores y desarrolladores sean precisos sobre la perspectiva emocional que están capturando: el autor o de un observador”, agregó Rajtmajer. “Esta distinción es especialmente crítica en aplicaciones posteriores como el apoyo de la salud mental y los sistemas de diálogo empático, donde comprender el estado emocional del autor es a menudo el objetivo.
“En el futuro, estamos interesados en modelos de emoción más matizados y centrados en el usuario que van más allá de las categorías de emociones básicas que se derivan de respuestas biológicas y taxonomías rígidas construidas de terceros”.
Más información: Jiayi Li et al, ¿pueden terceros leer nuestras emociones?, Arxiv (2025). Doi: 10.48550/arxiv.2504.18673
Información en el diario: ARXIV
© 2025 Science X Network
Cita: los anotadores de datos de terceros a menudo no leen con precisión las emociones de los demás, el estudio encuentra (2025, 19 de mayo) recuperado el 19 de mayo de 2025 de https://techxplore.com/news/2025-05-party-annotators-accentamente-emotions.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
