La cabeza de atención (‘AI’) que se muestra en forma básica, genera una respuesta a la solicitud de un usuario. Crédito: ARXIV (2025). Doi: 10.48550/arxiv.2504.20980
Las máquinas de aprendizaje de idiomas, como ChatGPT, se han vuelto competentes para resolver problemas matemáticos complejos, aprobar exámenes difíciles e incluso ofrecer consejos para conflictos interpersonales. Sin embargo, ¿en qué momento una herramienta útil se convierte en una amenaza?
La confianza en la IA se ve socavada porque no existe una ciencia que predice cuándo su producción pasa de ser informativa y basada en hechos a producir material o incluso consejos que son engañosos, incorrectos, irrelevantes o incluso peligrosos.
En un nuevo estudio, los investigadores de la Universidad George Washington han explorado cuándo y por qué la producción de modelos de idiomas grandes sale mal. El estudio se publica en el servidor ARXIV preimpresión.
Neil Johnson, profesor de física en la Universidad de George Washington, y un estudiante graduado de GW, Frank Yingjie Huo, desarrolló una fórmula matemática para identificar el momento en que ocurre el “punto de inflexión de Jekyll y Hyde”. En el punto de inflexión, la atención de AI se ha estirado demasiado y comienza a expulsar la información errónea y otro contenido negativo, dice Johnson.
En el futuro, Johnson dice que el modelo puede allanar el camino hacia las soluciones que ayudarían a mantener a la IA confiable y evitar este punto de inflexión.
Este documento proporciona una plataforma única y concreta para las discusiones entre el público, los encargados de formular políticas y las empresas sobre lo que podría salir mal con la IA en entornos personales, médicos o sociales futuros, y qué pasos deben tomarse para mitigar los riesgos, dice Johnson.
Más información: Neil F. Johnson et al, punto de inflexión de Jekyll-and-Hyde en el comportamiento de una IA, ARXIV (2025). Doi: 10.48550/arxiv.2504.20980
Información en la revista: ARXIV proporcionado por la Universidad de George Washington
Cita: Explorando el ‘punto de inflexión Jekyll-and-Hyde’ en AI (2025, 5 de mayo) Recuperado el 5 de mayo de 2025 de https://techxplore.com/news/2025-05-exploring-jekyll-hyde-ai.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
