El reconocimiento de objetos AIS puede tener problemas para distinguir entre chihuahuas y muffins de arándanos y entre perros ovejas y mops. Crédito: Shenkman et al, CC por
Cuando alguien ve algo que no está allí, la gente a menudo se refiere a la experiencia como una alucinación. Las alucinaciones ocurren cuando su percepción sensorial no corresponde a estímulos externos.
Las tecnologías que dependen de la inteligencia artificial también pueden tener alucinaciones.
Cuando un sistema algorítmico genera información que parece plausible pero que en realidad es inexacta o engañosa, los informáticos lo llaman alucinación de IA. Los investigadores han encontrado estos comportamientos en diferentes tipos de sistemas de inteligencia artificial, desde chatbots como ChatGPT hasta generadores de imágenes como Dall-E hasta vehículos autónomos. Somos investigadores de ciencias de la información que han estudiado alucinaciones en los sistemas de reconocimiento de voz de IA.
Donde sea que se usen los sistemas de IA en la vida diaria, sus alucinaciones pueden plantear riesgos. Algunos pueden ser menores: cuando un chatbot da la respuesta incorrecta a una simple pregunta, el usuario puede terminar mal informado. Pero en otros casos, las apuestas son mucho más altas. Desde los tribunales donde el software de IA se utiliza para tomar decisiones de sentencia a compañías de seguros de salud que usan algoritmos para determinar la elegibilidad de un paciente para la cobertura, las alucinaciones de IA pueden tener consecuencias que alteran la vida. Incluso pueden ser potencialmente mortales: los vehículos autónomos usan IA para detectar obstáculos, otros vehículos y peatones.
Conseguirlo
Las alucinaciones y sus efectos dependen del tipo de sistema de IA. Con modelos de idiomas grandes, la tecnología subyacente de los chatbots de IA, las talucinaciones son información que suena convincente pero son incorrectas, inventadas o irrelevantes. Un chatbot de IA podría crear una referencia a un artículo científico que no existe o proporcionar un hecho histórico que simplemente sea incorrecto, pero que suene creíble.
En un caso judicial de 2023, por ejemplo, un abogado de Nueva York presentó un resumen legal que había escrito con la ayuda de ChatGPT. Un juez exigente luego notó que el informe citó un caso que ChatGPT había inventado. Esto podría conducir a diferentes resultados en los tribunales si los humanos no pudieran detectar la información alucinada.
Con herramientas de IA que pueden reconocer objetos en las imágenes, se producen alucinaciones cuando la IA genera subtítulos que no son fieles a la imagen proporcionada. Imagine pedirle a un sistema que enumere objetos en una imagen que solo incluye a una mujer del pecho hablando en un teléfono y recibiendo una respuesta que dice que una mujer habla por teléfono mientras está sentada en un banco. Esta información inexacta podría conducir a diferentes consecuencias en contextos donde la precisión es crítica.
Que causa alucinaciones
Los ingenieros crean sistemas de IA recopilando cantidades masivas de datos y alimentándolo en un sistema computacional que detecte patrones en los datos. El sistema desarrolla métodos para responder a preguntas o realizar tareas basadas en esos patrones.
Los modelos de idiomas grandes alucinan de varias maneras.
Suministra un sistema de IA con 1,000 fotos de diferentes razas de perros, etiquetados en consecuencia, y el sistema pronto aprenderá a detectar la diferencia entre un caniche y un golden retriever. Pero alimente una foto de un muffin de arándanos y, como lo han demostrado los investigadores de aprendizaje automático, puede decirle que el muffin es un chihuahua.
Cuando un sistema no entiende la pregunta o la información que se presenta, puede alucinar. Las alucinaciones a menudo ocurren cuando el modelo llena los vacíos basados en contextos similares de sus datos de entrenamiento, o cuando se construye utilizando datos de capacitación sesgados o incompletos. Esto conduce a conjeturas incorrectas, como en el caso del muffin de arándanos mal etiquetado.
Es importante distinguir entre las alucinaciones de IA y las salidas de IA intencionalmente creativas. Cuando se le pide a un sistema de IA que sea creativo, como al escribir una historia o generar imágenes artísticas, se esperan y desean sus resultados novedosos. Las alucinaciones, por otro lado, ocurren cuando se le pide a un sistema de IA que proporcione información objetiva o realice tareas específicas, pero en su lugar genera contenido incorrecto o engañoso mientras lo presenta como preciso.
La diferencia clave radica en el contexto y el propósito: la creatividad es apropiada para las tareas artísticas, mientras que las alucinaciones son problemáticas cuando se requiere precisión y confiabilidad.
Para abordar estos problemas, las empresas han sugerido utilizar datos de capacitación de alta calidad y limitar las respuestas de IA para seguir ciertas pautas. Sin embargo, estos problemas pueden persistir en herramientas de IA populares.
Qué está en riesgo
El impacto de una salida, como llamar a un muffin de arándano un chihuahua, puede parecer trivial, pero considere los diferentes tipos de tecnologías que usan sistemas de reconocimiento de imágenes: un vehículo autónomo que no puede identificar objetos podría conducir a un accidente de tráfico fatal. Un dron militar autónomo que identifica erróneamente a un objetivo podría poner en peligro la vida de los civiles.
Para las herramientas de IA que proporcionan reconocimiento automático de voz, las alucinaciones son transcripciones de IA que incluyen palabras o frases que nunca se hablaron. Es más probable que esto ocurra en entornos ruidosos, donde un sistema de IA puede terminar agregando palabras nuevas o irrelevantes en un intento de descifrar el ruido de fondo, como un camión que pasa o un bebé que llora.
A medida que estos sistemas se integran más regularmente en la atención médica, el servicio social y los entornos legales, las alucinaciones en el reconocimiento automático de voz podrían conducir a resultados clínicos o legales inexactos que dañan a los pacientes, los acusados penales o las familias que necesitan apoyo social.
Verifique el trabajo de AI
Independientemente de los esfuerzos de las compañías de IA para mitigar las alucinaciones, los usuarios deben mantenerse atentos y cuestionar los resultados de IA, especialmente cuando se usan en contextos que requieren precisión y precisión. La información de doble verificación generada por la IA con fuentes de confianza, consultar a expertos cuando es necesario y reconocer las limitaciones de estas herramientas son pasos esenciales para minimizar sus riesgos.
Proporcionado por la conversación
Este artículo se vuelve a publicar de la conversación bajo una licencia Creative Commons. Lea el artículo original.
Cita: ¿Qué son las alucinaciones de IA? Por qué AIS a veces inventa las cosas (2025, 24 de marzo) Recuperado el 24 de marzo de 2025 de https://techxplore.com/news/2025-03-ai-hallucinations-ais.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
