Crédito: Pavel Danilyuk de Pexels
Los modelos de idiomas grandes (LLM) a veces pierden confianza al responder preguntas y abandonar las respuestas correctas, según un nuevo estudio realizado por investigadores de Google Deepmind y University College London.
Los LLM son poderosos sistemas de IA que entienden y generan lenguaje humano. Se utilizan en una variedad de industrias, como finanzas, atención médica y tecnología de la información, para tareas que exigen razonamiento y toma de decisiones. Por lo tanto, su precisión y confiabilidad son primordiales, lo que significa que deben confiar constantemente en sus respuestas. Sin embargo, pueden flaquear.
Para que los LLM se desplegen de forma segura, sus respuestas van acompañadas de puntajes de confianza. Pero no está claro cómo los usan para guiar su comportamiento.
Esta investigación, al corriente Para el servidor de preimpresión ARXIV, muestra que pueden estar demasiado confiados en sus respuestas iniciales, pero perder la confianza y cambiar de opinión cuando se les presenta un contraargumento incorrecto.
Prueba de confianza LLM
Para investigar esta aparente paradoja, los investigadores probaron cómo los LLM actualizan su confianza y deciden si cambiar su respuesta cuando se les presenta consejos externos.
Primero, una “respuesta LLM” recibió una pregunta de elección binaria. Después de responder, recibió consejos de un segundo LLM, acompañado de una calificación de precisión. Este “consejo LLM” también estaría de acuerdo, opondría o sería neutral sobre la primera respuesta de la LLM. Luego se le pidió a la respuesta LLM que tomara una elección final. Los investigadores también variaron si la LLM podía ver su primera respuesta al tomar su decisión final.
Resultados
El estudio encontró que es más probable que los LLM se mantengan con su respuesta inicial y no cambien cuando sea visible que cuando está oculto. En otras palabras, se vuelven más seguros. El estudio también mostró que cuando los modelos reciben consejos opuestos, a menudo pierden confianza y cambian su decisión. Lo hacen mucho más fácilmente que cuando el consejo es de apoyo. Estos patrones se vieron en varios LLM diferentes, como Gemma 3, GPT4O y O1 previa.
“Nuestros resultados demuestran que los LLM se desvían del comportamiento normativo de varias maneras significativas: en primer lugar, exhiben un sorprendente sesgo de apoyo a la elección que aumenta su confianza en su respuesta y hace que se mantengan en él, incluso en presencia de evidencia de lo contrario”, dijeron los investigadores.
“En segundo lugar, mostramos que, si bien los LLM integran nueva información en sus creencias, lo hacen de una manera que no es óptima: muestran un perfil de actualizaciones de confianza que se desvía de un observador ideal y un consejo opuesto notablemente sobrepeso, lo que resulta en una marcada pérdida de confianza en su respuesta inicial”.
Construyendo mejor ai
Todo esto es importante porque muchas industrias dependen cada vez más de LLM. Sin embargo, esta investigación muestra que no son máquinas puramente lógicas. Tienen su propio conjunto de prejuicios y se pueden influir. Por lo tanto, en largas conversaciones entre un humano y un agente de IA, la información más reciente podría tener un impacto desproporcionado en su respuesta.
Comprender este y otros matices de la toma de decisiones de LLM pueden ayudar con el diseño de sistemas de IA mejores, más seguros y más confiables.
Escrito para usted por nuestro autor Paul Arnoldeditado por Lisa Locky verificado y revisado por Andrew Zinin—Este artículo es el resultado de un trabajo humano cuidadoso. Confiamos en lectores como usted para mantener vivo el periodismo científico independiente. Si este informe le importa, considere un donación (especialmente mensual). Obtendrá una cuenta sin anuncios como agradecimiento.
Más información: Dharshan Kumaran et al, cómo el exceso de confianza en las elecciones iniciales y la falta de confianza bajo la crítica modula el cambio de mentalidad en modelos de idiomas grandes, ARXIV (2025). Doi: 10.48550/arxiv.2507.03120
Información en el diario: ARXIV
© 2025 Science X Network
Cita: La nueva investigación revela que la IA tiene un problema de confianza (2025, 16 de julio) recuperado el 16 de julio de 2025 de https://techxplore.com/news/2025-07-reveals-ai-confidence-problem.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
