El proceso de construcción del conjunto de datos: 1) Utilización de conjuntos de datos disponibles públicamente, así como recursos web para recopilar noticias científicas escritas por humanos relacionadas con CoVID-19 (subsección), 2) seleccionar resúmenes de Cord-19 como recursos para guiar a LLM para generar artículos utilizando un indicador de jailbreak (subsección), 3) el DatoSet se acumula con evidencia con Corpus que se desprende de CORD-19 (subsección). Crédito: https://openreview.net/pdf/17a3c9632a6f71e59171f7a8f245c9dce44cf559.pdf
La inteligencia artificial no siempre es una fuente confiable de información: los modelos de idiomas grandes (LLMS) como LLAMA y ChatGPT pueden ser propensos a “alucinar” e inventar hechos falsos. Pero, ¿qué pasaría si AI pudiera usarse para detectar afirmaciones erróneas o distorsionadas, y ayudar a las personas a encontrar su camino con más confianza a través de un mar de distorsiones potenciales en línea y en otros lugares?
Como se presenta en un taller en la Conferencia Anual de la Asociación para el Avance de la Inteligencia Artificial, los investigadores del Instituto de Tecnología Stevens presentan una arquitectura de IA diseñada para hacer exactamente eso, utilizando LLM de código abierto y versiones gratuitas de LLM comerciales para identificar posibles narraciones engañosas en informes de noticias sobre descubrimientos científicos.
“La información inexacta es un gran problema, especialmente cuando se trata de contenido científico: escuchamos todo el tiempo de los médicos que se preocupan por sus pacientes que leen cosas en línea que no son precisas, por ejemplo”, dijo KP Subbalakshmi, coautor del documento y profesor en el Departamento de Ingeniería Eléctrica e Informática en Stevens.
“Queríamos automatizar el proceso de marcar afirmaciones engañosas y usar IA para dar a las personas una mejor comprensión de los hechos subyacentes”.
Para lograr eso, el equipo de dos Ph.D. Los estudiantes y dos estudiantes de maestría dirigidos por Subbalakshmi crearon por primera vez un conjunto de datos de 2.400 informes de noticias sobre avances científicos.
El conjunto de datos incluía ambos informes generados por humanos, extraídos de revistas científicas de buena reputación o fuentes de baja calidad conocidas por publicar noticias falsas, y informes generados por IA, de los cuales la mitad eran confiables y la mitad contenía inexactitudes.
Luego, cada informe se combinó con resúmenes de investigación originales relacionados con el tema técnico, lo que permite al equipo verificar cada informe de precisión científica. Su trabajo es el primer intento de dirigir sistemáticamente a los LLM para detectar inexactitudes en los informes de ciencias en los medios públicos, según Subbalakshmi.
“Crear este conjunto de datos es una contribución importante por derecho propio, ya que la mayoría de los conjuntos de datos existentes generalmente no incluyen información que puede usarse para probar sistemas desarrollados para detectar inexactitudes en la naturaleza”, dijo el Dr. Subbalakshmi. “Estos son temas difíciles de investigar, por lo que esperamos que este sea un recurso útil para otros investigadores”.
A continuación, el equipo creó tres arquitecturas basadas en LLM para guiar un LLM a través del proceso de determinar la precisión de un informe de noticias. Una de estas arquitecturas es un proceso de tres pasos. Primero, el modelo AI resumió cada informe de noticias e identificó las características sobresalientes.
A continuación, realizó comparaciones a nivel de oración entre las reclamaciones hechas en el resumen y la evidencia contenida en la investigación original revisada por pares. Finalmente, el LLM tomó una determinación de si el informe reflejaba con precisión la investigación original.
El equipo también definió “dimensiones de validez” y le pidió a la LLM que pensara en estas cinco “dimensiones de validez”, errores específicos, como simplificación excesiva o causalidad y correlación confusa, comúnmente presentes en informes de noticias inexactos.
“Descubrimos que pedirle al LLM que use estas dimensiones de validez hiciera una gran diferencia con la precisión general”, dijo el Dr. Subbalakshmi y agregó que estas dimensiones de validez pueden ampliarse, para capturar mejor inexactitudes específicas de dominio, si es necesario.
Utilizando el nuevo conjunto de datos, las tuberías LLM del equipo pudieron distinguir correctamente entre informes de noticias confiables y poco confiables con aproximadamente el 75% de precisión, pero demostró ser notablemente mejor para identificar inexactitudes en contenido generado por humanos que en informes generados por IA. Las razones de eso aún no están claras, aunque el Dr. Subbalakshmi señala que los humanos no expertos luchan de manera similar para identificar errores técnicos en el texto generado por IA.
“Ciertamente hay margen de mejora en nuestra arquitectura”, dice el Dr. Subbalakshmi. “El siguiente paso podría ser crear modelos de IA personalizados para temas de investigación específicos, para que puedan” pensar “más como científicos humanos”.
A la larga, la investigación del equipo podría abrir la puerta a los complementos del navegador que marcan automáticamente el contenido inexacto a medida que las personas usan Internet, o a las clasificaciones de editores en función de la precisión que cubren los descubrimientos científicos.
Quizás lo más importante, el Dr. Subbalakshmi dice que la investigación también podría permitir la creación de modelos LLM que describen la información científica con mayor precisión, y que son menos propensas a confabular al describir la investigación científica.
“La inteligencia artificial está aquí, no podemos volver a poner el genio en la botella”, dijo el Dr. Subbalakshmi. “Pero al estudiar cómo AI ‘piensa’ sobre la ciencia, podemos comenzar a construir herramientas más confiables, y tal vez ayudar a los humanos a detectar afirmaciones no científicas más fácilmente también”.
Más información: Yupeng Cao et al, Cosmis: un conjunto de datos de información errónea científica relacionada con el covid humano híbrido y las tuberías de LLM para detectar información errónea científica en la naturaleza. OpenReview.net/PDF/17A3C9632A6 … F245C9DCE44CF559.PDF
Proporcionado por el Instituto de Tecnología Stevens
Cita: el equipo enseña a los modelos AI a detectar informes científicos engañosos (2025, 29 de mayo) Consultado el 29 de mayo de 2025 de https://techxplore.com/news/2025-05-team-ai-scientific.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
