Crédito: Dominio público de Pixabay/CC0
Imagina una estación de tren ocupada. Las cámaras monitorean todo, desde cuán limpias están las plataformas hasta si una bahía de acoplamiento está vacía u ocupada. Estas cámaras alimentan un sistema de IA que ayuda a administrar las operaciones de la estación y envía señales a los trenes entrantes, haciéndoles saber cuándo pueden ingresar a la estación.
La calidad de la información que ofrece la IA depende de la calidad de los datos de los que aprende. Si todo está sucediendo como debería, los sistemas en la estación proporcionarán un servicio adecuado.
Pero si alguien intenta interferir con esos sistemas al manipular sus datos de capacitación, ya sea los datos iniciales utilizados para construir el sistema o los datos que el sistema recopila a medida que está operando para mejorar, podría surgir.
Un atacante podría usar un láser rojo para engañar a las cámaras que determinan cuándo se acerca un tren. Cada vez que el láser parpadea, el sistema etiqueta incorrectamente la bahía de acoplamiento como “ocupada”, porque el láser se asemeja a una luz de freno en un tren. En poco tiempo, la IA podría interpretar esto como una señal válida y comenzar a responder en consecuencia, retrasando otros trenes entrantes en la justificación falsa que están ocupadas todas las pistas. Un ataque como este relacionado con el estado de las vías del tren podría incluso tener consecuencias fatales.
Somos informáticos quienes estudian aprendizaje automáticoE investigamos cómo defendernos contra este tipo de ataque.
Explicado de envenenamiento de datos
Este escenario, donde los atacantes alimentan intencionalmente datos incorrectos o engañadores en un sistema automatizado, se conoce como envenenamiento por datos. Con el tiempo, la IA comienza a aprender los patrones equivocados, lo que lleva a tomar medidas basadas en malos datos. Esto puede conducir a resultados peligrosos.
En el ejemplo de la estación de tren, suponga que un atacante sofisticado quiere interrumpir el transporte público y al mismo tiempo reunir inteligencia. Durante 30 días, usan un láser rojo para engañar a las cámaras. Left sin detectado, tales ataques pueden corromper lentamente un sistema completo, abriendo el camino para peores resultados como Puerta trasera ataques en sistemas seguros, fugas de datos e incluso espionaje. Si bien el envenenamiento por datos en la infraestructura física es rara, ya es una preocupación significativa en los sistemas en línea, especialmente aquellos Impulsado por modelos de idiomas grandes capacitado en las redes sociales y el contenido web.
Un famoso ejemplo de envenenamiento de datos en el campo de la informática se produjo en 2016, cuando Microsoft debutó un chatbot conocido como tay. A las pocas horas de su lanzamiento público, los usuarios maliciosos en línea comenzaron a alimentar las reamas de los comentarios inapropiados. Tay pronto comenzó a lanzar los mismos términos inapropiados que los usuarios en X (entonces Twitter), y horribles millones de espectadores. Dentro de las 24 horas, Microsoft había deshabilitado la herramienta y emitió una disculpa pública poco después.
El envenenamiento de datos de las redes sociales del modelo Microsoft Tay subraya la gran distancia que se encuentra entre la inteligencia humana artificial y real. También destaca el grado en que el envenenamiento por datos puede hacer o romper una tecnología y su uso previsto.
El envenenamiento por datos podría no ser completamente prevenible. Pero hay medidas de sentido común que pueden ayudar a protegerse contra él, como colocar límites en el volumen de procesamiento de datos y investigar las entradas de datos contra una lista de verificación estricta para mantener el control del proceso de capacitación. Los mecanismos que pueden ayudar a detectar ataques venenosos antes de ser demasiado poderosos también son críticos para reducir sus efectos.
Luchando con la cadena de bloques
En Florida International University’s laboratorio sólidoEstamos trabajando para defendernos contra los ataques de envenenamiento de datos enfocándonos en enfoques descentralizados para construir tecnología. Uno de esos enfoques, conocido como aprendizaje federadoPermite que los modelos de IA aprendan de fuentes de datos descentralizadas sin recopilar datos sin procesar en un solo lugar. Los sistemas centralizados tienen un solo punto de vulnerabilidad de falla, pero los descentralizados no pueden ser derribados por un solo objetivo.
El aprendizaje federado ofrece una valiosa capa de protección, porque los datos envenenados de un dispositivo no afectan inmediatamente al modelo en su conjunto. Sin embargo, aún puede ocurrir daños si el proceso que el modelo usa para agregar datos se ve comprometido.
Aquí es donde otra solución potencial más popular:cadena de bloques—Mon en juego. Una blockchain es una Libro mayor digital compartido e inalterable para grabar transacciones y rastrear activos. Blockchains proporciona registros seguros y transparentes de cómo se comparten y verifican los datos y las actualizaciones de los modelos de IA.
Mediante el uso de mecanismos de consenso automatizados, los sistemas de IA con capacitación protegida con blockchain pueden validar las actualizaciones de manera más confiable y ayudar a identificar los tipos de anomalías que a veces indican envenenamiento de datos antes de que se propague.
Las cadenas de bloques también tienen una estructura estampada en el tiempo que permite a los profesionales trazar los aportes envenenados a sus orígenes, lo que facilita revertir el daño y fortalecer las defensas futuras. Las cadenas de bloques también son interoperables; en otras palabras, pueden “hablar” entre sí. Esto significa que si una red detecta un patrón de datos envenenado, puede enviar una advertencia a otros.
En Solid Lab, hemos creado una nueva herramienta que aprovecha ambos aprendizaje federado y blockchain Como baluarte contra el envenenamiento de datos. Otras soluciones provienen de investigadores que utilizan filtros previos a la prescripción de los datos de VET antes de alcanzar el proceso de capacitación, o simplemente capacitar a sus sistemas de aprendizaje automático para que sean más sensibles a los posibles ataques cibernéticos.
En última instancia, los sistemas de IA que dependen de los datos del mundo real siempre serán vulnerables a la manipulación. Ya sea un puntero láser rojo o un contenido de redes sociales engañando, la amenaza es real. El uso de herramientas de defensa como el aprendizaje federado y la cadena de bloques pueden ayudar a los investigadores y desarrolladores a construir sistemas de IA más resistentes y responsables que puedan detectar cuándo están siendo engañados y alertar a los administradores del sistema a intervenir.
Proporcionado por la conversación
Este artículo se republicó de La conversación bajo una licencia Creative Commons. Leer el artículo original.
Cita: Cómo los datos envenenados pueden engañar a la IA y cómo detenerlo (2025, 13 de agosto) Recuperado el 13 de agosto de 2025 de https://techxplore.com/news/2025-08-poisoned-ai.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
