Crédito: imagen generada por IA
Los investigadores han demostrado una nueva forma de atacar los sistemas de visión por computadora de inteligencia artificial, lo que les permite controlar lo que la IA “ve”. La investigación muestra que la nueva técnica, llamada RisingAtack, es efectiva para manipular todos los sistemas de visión por computadora de IA más utilizados.
En cuestión están los llamados “ataques adversos”, en los que alguien manipula los datos que se alimentan en un sistema de IA para controlar lo que el sistema ve, o no ve, en una imagen. Por ejemplo, alguien podría manipular la capacidad de una IA para detectar señales de tráfico, peatones u otros automóviles, lo que causaría problemas para los vehículos autónomos. O un hacker podría instalar código en una máquina de rayos X que hace que un sistema de IA haga diagnósticos inexactos.
“Queríamos encontrar una forma efectiva de piratear los sistemas de visión de IA porque estos sistemas de visión a menudo se usan en contextos que pueden afectar la salud y la seguridad humana, desde vehículos autónomos hasta tecnologías de salud hasta aplicaciones de seguridad”, dice Tianfu Wu, autor co-acordante de un documento sobre el trabajo y un profesor asociado de ingeniería eléctrica e informática en la Universidad Estatal de Carolina del Norte.
“Eso significa que es muy importante que estos sistemas de IA sean seguros. Identificar las vulnerabilidades es un paso importante para hacer que estos sistemas sean seguros, ya que debe identificar una vulnerabilidad para defenderse de él”.
RisingAtack consiste en una serie de operaciones, con el objetivo de hacer la menor cantidad de cambios en una imagen que permitirá a los usuarios manipular lo que la visión “ve”.
Primero, RisingAttack identifica todas las características visuales de la imagen. El programa también ejecuta una operación para determinar cuál de esas características es más importante para lograr el objetivo del ataque.
“Por ejemplo”, dice Wu, “si el objetivo del ataque es evitar que la IA identifique un automóvil, ¿qué características en la imagen son más importantes para que la IA pueda identificar un automóvil en la imagen?”
Rising Sattack luego calcula cuán sensible es el sistema AI a los cambios en los datos y, más específicamente, cuán sensible es la IA a los cambios en los datos de las características clave.
“Esto requiere algo de potencia computacional, pero nos permite hacer cambios muy pequeños y específicos en las características clave que hacen que el ataque sea exitoso”, dice Wu. “El resultado final es que dos imágenes pueden parecer idénticas a los ojos humanos, y podríamos ver claramente un automóvil en ambas imágenes. Pero debido a la actividades de activación, la IA vería un automóvil en la primera imagen pero no vería un automóvil en la segunda imagen.
“Y la naturaleza del ataque al ascenso significa que podemos influir en la capacidad de la IA para ver cualquiera de los 20 o 30 objetivos principales que fue entrenado para identificar. Entonces, ese podría ser un automóvil, un peatón, una bicicleta, una señal de alto, etc.”.
Los investigadores probaron el patrón de interés contra los cuatro programas de IA de visión más utilizados: Resnet-50, Densenet-121, VITB y DEIT-B. La técnica fue efectiva para manipular los cuatro programas.
“Si bien demostramos la capacidad de RisingAntack para manipular modelos de visión, ahora estamos en el proceso de determinar cuán efectiva es la técnica para atacar otros sistemas de IA, como modelos de lenguaje grandes”, dice Wu.
“En el futuro, el objetivo es desarrollar técnicas que puedan defenderse con éxito contra tales ataques”.
El papel“Las perturbaciones adversas se forman mediante las combinaciones lineales de aprendizaje iterativamente de los vectores singulares correctos del jacobiano adversario”, se presentará el 15 de julio en la Conferencia Internacional de Aprendizaje Autor (ICML 2025), celebrado en Vancouver, Canadá.
Más información: Documento: Las perturbaciones adversas se forman mediante combinaciones lineales de aprendizaje iterativamente de los vectores singulares correctos del jacobiano adversario
Proporcionado por la Universidad Estatal de Carolina del Norte
Cita: Cattack Rising: nueva técnica puede hacer ai ‘ver’ lo que quiera (2025, 1 de julio) recuperado el 1 de julio de 2025 de https://techxplore.com/news/2025-07-risingattack-technique-ai.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
