Resumen
Es relativamente simple omitir las salvaguardas integradas en herramientas de edición de fotos AI como Sketch to Image y Reimagine. Una clase de Cornell Tech centrada en los modelos AI de Jailbreaking demostró cómo las imágenes fabricadas pueden ser alarmantes y peligrosas. El uso de IA en la edición de fotos, con cero experiencia y poco esfuerzo requerido, difumina la línea entre la ficción y la realidad, lo que plantea riesgos potenciales en este momento.
La edición de fotos ultra simples y la generación de imágenes se encuentran entre las habilidades más novedosas y constantemente refinadas de la IA. El boceto de Galaxy Ai a Image abrió la puerta a todo tipo de escenarios ridículos, y la función Reimagine disponible en la familia Pixel 9 a través del editor de Magic aparentemente también funciona al menos.
Sin embargo, como se descubrió el Verge, poco después de que Reimagine se lanzó, las protecciones de la característica contra la generación de imágenes potencialmente peligrosas y realistas no eran muy robustas. Como acaban de probar los estudiantes en el curso Red Teaming 101 de Cornell Tech, esas barandillas no han mejorado, como lo demuestra la generación de imágenes relativamente fácil con un transporte público borrado, parques cubiertos de basura y un tanque de Abrams M1 rodando por las calles de Nueva York (Fuente: Alexios Mantzarlis a través de Bluesky).
Relacionado no me importaba Galaxy Ai hasta que le dio a mi perro un Pokémon Bong
Sketch to Image puede hacer algunas cosas muy tontas
Doblar el tejido de la realidad
Ai ahora es básicamente mejor en fotos que humanos
Las partes más llamativas de estas imágenes son todas generadas por IA, es decir, falsas.
El curso de Cornell Tech se centra en el equipo rojo, o sin pasar por alto o desestabilizar un servicio a los fines de estudio. El trabajo de los estudiantes mostró que las restricciones a las palabras clave no llegaron muy lejos para prevenir la creación de imágenes alarmantes. En un ejemplo, insertar un “M1 Abrams” en una imagen fácilmente omitió una prohibición de generar un tanque simple. Otros resultados teatrados en rojo incluyeron transbordadores y tranvías destruidos, un parque público lleno de basura y un campamento improvisado de carpa fuera de la estación de metro Roosevelt Island de Nueva York.
No se necesita una mente particularmente creativa para ver cómo estas imágenes podrían usarse para difundir el miedo y la controversia … la responsabilidad sigue siendo las plataformas tecnológicas responsables para construir herramientas que no pueden ser abusadas en un par de horas por algunas mentes creativas. – Alexios Mantzarlis, Cornell
Las pruebas de 2024 de Verge arrojan luz sobre resultados aún más preocupantes, como imágenes falsas de bombas y sustancias aparentemente tóxicas que se escapan de las escuelas. Como explicó recientemente Alexios Mantzarlis, profesor de Cornell Tech y director de su seguridad, confianza e iniciativa de seguridad, “las barandillas de seguridad de Google lucharon en particular cuando el caso de uso nocivo no era el contenido del aviso per se, sino su interacción con el contexto de la imagen”.
‘Ai es solo otra herramienta’, hasta que no es
Fuente: 404Media
Obviamente, las imágenes manipuladas y Photoshop no son nada nuevo. Pero, como el Verge señaló el año pasado, “Este no es un software especializado que hicimos todo lo posible para usar: todo está integrado en un teléfono que mi padre podría entrar a Verizon y comprar”. Por su parte, Google está trabajando para emplear la marca de agua de Synthid en imágenes alteradas por reimagina. Pero en la carrera armamentista interminable de la IA, los investigadores ya han demostrado que los modelos enfocados pueden eliminar marcas de agua de IA similares y forjar falsas.
Hace un año o dos, agregar un accidente automovilístico convincente a una imagen habría llevado tiempo, experiencia, comprensión de las capas de Photoshop y el acceso a un software costoso. Esas barreras se han ido. – Allison Johnson, el borde
En caso de que los entusiastas de la tecnología no vistos insistan en que estas herramientas no se sientan a usos nefastos, la línea entre la realidad y la ficción no solo es borrosa dentro de las esferas de los medios sociales y editoriales, es casi borrada. Como informa 404Media, una imagen de alta resolución del manifestante revestido de Pikachu de Turquía ya está haciendo las rondas, con innumerables espectadores que lo llevan al pie de la letra. Hoy, alguien está usando la IA para implicar el carácter de un niño amado en protestas violentas. Mañana podrías ser tú.
