La herramienta forense ‘reanimia’ los ‘cerebros’ de AIS que fallan para comprender lo que salió mal

Los accidentes de Tesla son solo los fallas de IA más evidentes. Crédito: Aparece el Departamento de Policía de South Jordan a través de

Desde drones que entregan suministros médicos a asistentes digitales que realizan tareas cotidianas, los sistemas con alimentación de IA se están integrando cada vez más en la vida cotidiana. Los creadores de estas innovaciones prometen beneficios transformadores. Para algunas personas, las aplicaciones convencionales como ChatGPT y Claude pueden parecer mágicas. Pero estos sistemas no son mágicos, ni son infalibles: pueden y no funcionan regularmente según lo previsto.

Los sistemas de IA pueden funcionar mal debido a fallas de diseño técnico o datos de capacitación sesgados. También pueden sufrir vulnerabilidades en su código, que pueden ser explotados por piratas informáticos maliciosos. Aislar la causa de una falla de IA es imprescindible para arreglar el sistema.

Pero los sistemas de IA son típicamente opacos, incluso para sus creadores. El desafío es cómo investigar los sistemas de IA después de que fallan o son víctimas para atacar. Existen técnicas para inspeccionar sistemas de inteligencia artificial, pero requieren acceso a los datos internos del sistema AI. Este acceso no está garantizado, especialmente a los investigadores forenses llamados para determinar la causa de una falla patentada del sistema de IA, lo que hace imposible la investigación.

Somos informáticos que estudian forenses digitales. Nuestro equipo en el Instituto de Tecnología de Georgia ha construido un sistema, psiquiatría de IA o AIP, que puede recrear el escenario en el que una IA falló para determinar qué salió mal. El sistema aborda los desafíos de los forenses de IA recuperando y “reanimando” un modelo de IA sospechoso para que pueda probarse sistemáticamente.

Incertidumbre de la IA

Imagine que un automóvil autónomo se desvía de la carretera sin una razón fácilmente discernible y luego se estrella. Los registros y los datos del sensor pueden sugerir que una cámara defectuosa causó que la IA malinterpreta una señal de carretera como un comando para desviarse. Después de una falla crítica de la misión, como un accidente autónomo del vehículo, los investigadores deben determinar exactamente qué causó el error.

¿El accidente fue provocado por un ataque malicioso contra la IA? En este caso hipotético, la falla de la cámara podría ser el resultado de una vulnerabilidad o error de seguridad en su software que fue explotado por un hacker. Si los investigadores encuentran tal vulnerabilidad, tienen que determinar si eso causó el accidente. Pero hacer esa determinación no es una hazaña pequeña.

Aunque existen métodos forenses para recuperar alguna evidencia de fallas de drones, vehículos autónomos y otros llamados sistemas cibernéticos, ninguno puede capturar las pistas necesarias para investigar completamente la IA en ese sistema. Los AIS avanzados pueden incluso actualizar su toma de decisiones, y en consecuencia las pistas, de manera contrinalmente, lo que hace que sea imposible investigar los modelos más actualizados con los métodos existentes.

Patología para AI

AI Psychiatry aplica una serie de algoritmos forenses para aislar los datos detrás de la toma de decisiones del sistema de IA. Estas piezas se vuelven a montar en un modelo funcional que funciona de manera idéntica al modelo original. Los investigadores pueden “reanimar” a la IA en un entorno controlado y probarla con aportes maliciosos para ver si exhibe comportamientos dañinos o ocultos.

AI Psychiatry toma como entrada de una imagen de memoria, una instantánea de los bits y bytes cargados cuando la IA estaba operativa. La imagen de memoria en el momento del accidente en el escenario autónomo del vehículo contiene pistas cruciales sobre el estado interno y los procesos de toma de decisiones de la IA que controla el vehículo. Con la psiquiatría de IA, los investigadores ahora pueden levantar el modelo de IA exacto de la memoria, diseccionar sus bits y bytes, y cargar el modelo en un entorno seguro para las pruebas.

Nuestro equipo probó la psiquiatría de IA en 30 modelos de IA, 24 de los cuales fueron intencionalmente “traseros” para producir resultados incorrectos bajo desencadenantes específicos. El sistema pudo recuperar, rehost y probar cada modelo, incluidos los modelos comúnmente utilizados en escenarios del mundo real, como el reconocimiento de letreros de la calle en vehículos autónomos.

Hasta ahora, nuestras pruebas sugieren que la psiquiatría de IA puede resolver efectivamente el misterio digital detrás de una falla, como un accidente automovilístico autónomo que anteriormente habría dejado más preguntas que respuestas. Y si no encuentra una vulnerabilidad en el sistema de IA del automóvil, la psiquiatría de IA permite a los investigadores descartar la IA y buscar otras causas, como una cámara defectuosa.

No solo para vehículos autónomos

El algoritmo principal de AI Psychiatry es genérico: se centra en los componentes universales que todos los modelos de IA deben tener que tomar decisiones. Esto hace que nuestro enfoque sea fácilmente extensible a cualquier modelo de IA que use marcos populares de desarrollo de IA. Cualquier persona que trabaje para investigar una posible falla de IA puede usar nuestro sistema para evaluar un modelo sin conocimiento previo de su arquitectura exacta.

Ya sea que la IA sea un bot que hace recomendaciones de productos o un sistema que guía a las flotas de drones autónomas, la psiquiatría de IA puede recuperarse y volver a la IA para su análisis. AI Psychiatry es completamente de código abierto para cualquier investigador que lo use.

AI Psychiatry también puede servir como una herramienta valiosa para realizar auditorías en los sistemas de IA antes de que surjan problemas. Con las agencias gubernamentales de la aplicación de la ley hasta los servicios de protección infantil que integran los sistemas de IA en sus flujos de trabajo, las auditorías de IA se están convirtiendo en un requisito de supervisión cada vez más común a nivel estatal. Con una herramienta como la psiquiatría de IA en la mano, los auditores pueden aplicar una metodología forense consistente en diversas plataformas e implementaciones de IA.

A la larga, esto pagará dividendos significativos tanto para los creadores de sistemas de IA como para todos los afectados por las tareas que realizan.

Proporcionado por la conversación

Este artículo se vuelve a publicar de la conversación bajo una licencia Creative Commons. Lea el artículo original.

Cita: la herramienta forense ‘reanimia’ los ‘cerebros’ de los AIS que falla para comprender qué salió mal (2025, 30 de abril) recuperó el 30 de abril de 2025 de https://techxplore.com/news/2025-04-forensics-tool-reanimates-brains-ais.html

Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.