Crédito: Dominio público de Pixabay/CC0
El último trabajo de investigación de Openai Diagnóstico exactamente por qué ChatGPT y otros modelos de idiomas grandes pueden inventar las cosas, conocidas en el mundo de la inteligencia artificial como “alucinación”. También revela por qué el problema puede ser no vigilable, al menos en lo que respecta a los consumidores.
El documento proporciona la explicación matemática más rigurosa hasta ahora por qué estos modelos establecen con confianza falsedades. Demuestra que estos no son solo un efecto secundario desafortunado de la forma en que los AIS están actualmente entrenados, pero son matemáticamente inevitables.
El problema puede explicarse en parte por errores en los datos subyacentes utilizados para entrenar a los AIS. Pero utilizando un análisis matemático de cómo aprenden los sistemas de IA, los investigadores demuestran que incluso con datos de capacitación perfectos, el problema aún existe.
La forma en que los modelos de idiomas responden a las consultas, predecir una palabra a la vez en una oración, basada en probabilidades, produce errores de forma natural. De hecho, los investigadores muestran que la tasa de error total para generar oraciones es al menos el doble que la tasa de error que la misma IA tendría en una simple pregunta sí/no, porque los errores pueden acumularse en múltiples predicciones.
En otras palabras, las tasas de alucinación están limitadas fundamentalmente por la forma en que los sistemas de IA pueden distinguir las respuestas válidas de los inválidos. Dado que este problema de clasificación es inherentemente difícil para muchas áreas de conocimiento, las alucinaciones se vuelven inevitables.
También resulta que cuanto menos un modelo ve un hecho durante el entrenamiento, más probable es alucinar cuando se le pregunta al respecto. Con cumpleaños de cifras notables, por ejemplo, se descubrió que si el 20% de los cumpleaños de esas personas solo aparecen una vez en los datos de entrenamiento, entonces los modelos base deberían equivocar al menos el 20% de las consultas de cumpleaños.
Efectivamente, cuando los investigadores solicitaron modelos de última generación para el cumpleaños de Adam Kalai, uno de los autores del artículo, Deepseek-V3 proporcionó con confianza tres fechas incorrectas diferentes en intentos separados: “03-07”, “15-06 y” 01-01 “. La fecha correcta es en otoño, por lo que ninguno de estos fue cercano.
La trampa de evaluación
Más preocupante es el análisis del documento de por qué persisten las alucinaciones a pesar de los esfuerzos posteriores a la capacitación (como proporcionar retroalimentación humana extensa a las respuestas de una IA antes de que se libere al público). Los autores examinaron diez puntos de referencia de IA principales, incluidos los utilizados por Google, Operai y también los principales tableros de clasificación que clasifican los modelos de IA. Esto reveló que nueve puntos de referencia utilizan sistemas de calificación binaria que otorgan cero puntos por AIS que expresan incertidumbre.
Esto crea lo que los autores llaman una “epidemia” de penalizar las respuestas honestas. Cuando un sistema de IA dice “No sé”, recibe la misma puntuación que dar información completamente incorrecta. La estrategia óptima bajo dicha evaluación queda clara: siempre adivina.
Los investigadores prueban esto matemáticamente. Cualesquiera que sean las posibilidades de que una respuesta particular sea correcta, la puntuación esperada de adivinar siempre excede la puntuación de abstenerse cuando una evaluación utiliza la clasificación binaria.
La solución que rompería todo
La solución propuesta por OpenAI es que la IA considere su propia confianza en una respuesta antes de ponerla allí, y para que los puntos de referencia los califiquen sobre esa base. La IA podría ser solicitada, por ejemplo: “Responda solo si tiene más del 75% de confianza, ya que los errores son penalizados 3 puntos, mientras que las respuestas correctas reciben 1 punto”.
El marco matemático de los investigadores de Operai muestra que bajo los umbrales de confianza apropiados, los sistemas de IA expresarían naturalmente incertidumbre en lugar de adivinar. Entonces esto conduciría a menos alucinaciones. El problema es lo que le haría a la experiencia del usuario.
Considere las implicaciones si ChatGPT comenzó a decir “No sé” incluso al 30% de las consultas, una estimación conservadora basada en el análisis del documento de la incertidumbre fáctica en los datos de capacitación. Los usuarios acostumbrados a recibir respuestas seguras a prácticamente cualquier pregunta probablemente abandonarían tales sistemas rápidamente.
He visto este tipo de problema en otra área de mi vida. Estoy involucrado en un proyecto de monitoreo de calidad de aire en Salt Lake City, Utah. Cuando el sistema marca las incertidumbres en torno a las mediciones durante las condiciones climáticas adversas o cuando el equipo se calibra, hay menos participación del usuario en comparación con las pantallas que muestran lecturas seguras, incluso cuando esas lecturas seguras resultan inexactas durante la validación.
El problema de la economía computacional
No sería difícil reducir las alucinaciones utilizando las ideas del documento. Los métodos establecidos para cuantificar la incertidumbre tienen existió para décadas. Estos podrían usarse para proporcionar estimaciones confiables de la incertidumbre y guiar una IA para tomar decisiones más inteligentes.
Pero incluso si el problema de los usuarios que no le gustan esta incertidumbre podría superarse, hay un obstáculo más grande: la economía computacional. Los modelos de lenguaje conscientes de la incertidumbre requieren significativamente más cálculo que el enfoque actual, ya que deben evaluar múltiples respuestas posibles y estimar los niveles de confianza. Para un sistema que procesa millones de consultas diariamente, esto se traduce en costos operativos dramáticamente más altos.
Enfoques más sofisticados Al igual que el aprendizaje activo, donde los sistemas de IA hacen preguntas aclaratorias para reducir la incertidumbre, puede mejorar la precisión, pero multiplicar aún más los requisitos computacionales. Dichos métodos funcionan bien en dominios especializados como el diseño de chips, donde las respuestas incorrectas cuestan millones de dólares y justifican un cálculo extenso. Para las aplicaciones de consumo donde los usuarios esperan respuestas instantáneas, la economía se vuelve prohibitiva.
El cálculo cambia drásticamente para los sistemas de IA que gestionan las operaciones comerciales críticas o la infraestructura económica. Cuando los agentes de IA manejan la logística de la cadena de suministro, el comercio financiero o el diagnóstico médico, el costo de las alucinaciones excede con creces el gasto de obtener modelos para decidir si son demasiado inciertos. En estos dominios, las soluciones propuestas del documento se vuelven económicamente viables, incluso necesarias. Los agentes inciertos de la IA solo tendrán que costar más.
Sin embargo, las aplicaciones de consumo aún dominan las prioridades de desarrollo de la IA. Los usuarios desean sistemas que proporcionen respuestas seguras a cualquier pregunta. Los puntos de referencia de evaluación de los sistemas de recompensa que adivinan en lugar de expresar incertidumbre. Los costos computacionales favorecen las respuestas rápidas y exageradas sobre las lentas e inciertas.
Los costos de energía de caída por token y las arquitecturas de chips avanzados pueden eventualmente hacer que sea más asequible que AIS decida si están lo suficientemente seguros como para responder una pregunta. Pero la cantidad relativamente alta de cálculo requerida en comparación con la suposición de hoy permanecería, independientemente de los costos de hardware absolutos.
En resumen, el artículo de OpenAI destaca inadvertidamente una verdad incómoda: los incentivos comerciales que impulsan el desarrollo de IA de los consumidores siguen siendo fundamentalmente desalineados con las alucinaciones reductoras. Hasta que estos incentivos cambien, las alucinaciones persistirán.
Más información: Adam Tauman Kalai et al, por qué los modelos de idiomas alucinan, ARXIV (2025). Doi: 10.48550/arxiv.2509.04664
Información en el diario: ARXIV
Proporcionado por la conversación
Este artículo se republicó de La conversación bajo una licencia Creative Commons. Leer el artículo original.
Cita: ¿Por qué la solución de OpenAi a las alucinaciones de IA mataría a Chatgpt mañana (2025, 15 de septiembre) recuperó el 15 de septiembre de 2025 de https://techxplore.com/news/2025-09-openai-solution-ai-hallucinations-chatgpt.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
