Crédito: Dominio público de Pixabay/CC0
A principios de este año, Facebook retrocedió las reglas contra un discurso y abuso de odio. Junto con los cambios en X (anteriormente Twitter) que siguieron su compra de Elon Musk, los cambios dificultan que los usuarios de las redes sociales eviten encontrar un discurso tóxico.
Eso no significa que las redes sociales y otros espacios en línea hayan renunciado al desafío masivo de moderar el contenido para proteger a los usuarios. Un enfoque novedoso se basa en la inteligencia artificial. Las herramientas de detección de IA pueden analizar el contenido en grandes escalas mientras evita los recipientes humanos el trauma de la exposición constante al habla tóxica.
Pero la moderación de contenido de IA enfrenta un desafío, dice Maria De-Arteaga, profesora asistente de información, riesgo y gestión de operaciones en Texas McCombs: ser justa y ser precisa. Un algoritmo puede ser preciso para detectar un discurso tóxico en general, pero puede no detectarlo igualmente bien en todos los grupos de personas y todos los contextos sociales.
“Si solo miro el rendimiento general, puedo decir, oh, este modelo está funcionando muy bien, a pesar de que siempre puede darme la respuesta incorrecta para un grupo pequeño”, dice ella. Por ejemplo, podría detectar mejor el discurso que es ofensivo para un grupo étnico que para otro.
En nuevas investigaciones, De-Arteaga y sus coautores muestran que es posible lograr altos niveles de precisión y justicia. Además, han ideado un algoritmo que ayuda a las partes interesadas a equilibrar tanto, encontrando combinaciones deseables de precisión y justicia para sus situaciones particulares.
Los hallazgos se publican en Information Research, una revista electrónica internacional.
Con los estudiantes del profesor Matthew y los estudiantes de posgrado Soumyajit Gupta y Anubrata Das de la Escuela de Información de UT, así como Venelin Kovatchev de la Universidad de Birmingham, Reino Unido, De-Arteaga trabajó con conjuntos de datos de publicaciones en las redes sociales ya calificadas “tóxicas” y “no seguras” o seguros de los investigadores anteriores. Los conjuntos totalizaron 114,000 publicaciones.
Los investigadores utilizaron una medición de equidad llamada Parity de precisión del grupo (GAP), junto con fórmulas que ayudaron a capacitar a un modelo de aprendizaje automático para equilibrar la justicia con precisión. Aplicar su enfoque a través de AI para analizar los conjuntos de datos:
Se desempeñó hasta un 1,5% mejor que los mejores enfoques para tratar a todos los grupos de manera justa. Se desempeñó lo mejor para maximizar la equidad y la precisión al mismo tiempo.
Pero GAP no es una solución única para la equidad, notas des-arageAGA. Diferentes medidas de equidad pueden ser relevantes para las diferentes partes interesadas. Los tipos de datos necesarios para capacitar a los sistemas dependen en parte de los grupos y contextos específicos a los que se aplican.
Por ejemplo, diferentes grupos pueden tener diferentes opiniones sobre qué discurso es tóxico. Además, los estándares de habla tóxica pueden evolucionar con el tiempo.
Configurar tales matices podría eliminar erróneamente a alguien de un espacio social al etiquetar mal el discurso no tóxico como tóxico. En el otro extremo, los pasos en falso podrían exponer a más personas al discurso odioso.
El desafío se agrava para plataformas como Facebook y X, que tienen presencias globales y sirven a un amplio espectro de usuarios.
“¿Cómo se incorpora consideraciones de equidad en el diseño de los datos y el algoritmo de una manera que no se centra solo en lo que es relevante en los Estados Unidos?” Dice el des-Arteaga.
Por esa razón, los algoritmos pueden requerir una actualización continua, y los diseñadores pueden necesitar adaptarlos a las circunstancias y tipos de contenido que están moderando, dice. Para facilitar eso, los investigadores han puesto el código de Gap a disposición del público.
Los altos niveles de equidad y precisión se pueden lograr, dice De-Arteaga, si los diseñadores prestan atención a los contextos técnicos y culturales.
“Necesitas preocuparte y necesitas tener un conocimiento interdisciplinario”, dice ella. “Realmente necesitas tener en cuenta esas consideraciones”.
Más información: Soumyajit Gupta et al, Encontrando compensaciones de Pareto en una detección justa y precisa de habla tóxica, investigación de información, una revista electrónica internacional (2025). Doi: 10.47989/ir30iconf47572
Proporcionado por la Universidad de Texas en Austin
Cita: AI aborda el discurso tóxico en línea: ¿Pueden los algoritmos juzgar la equidad y la precisión? (2025, 5 de junio) Consultado el 5 de junio de 2025 de https://techxplore.com/news/2025-06-ai-tackles-toxic-speech-online.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
