La mayoría de los titulares de AI para filmadores caen en el campamento del pánico existencial o la promesa sobrevalorada. Y de vez en cuando, alguien te muestra una herramienta que es realmente útil.
Eso es lo que sucedió la semana pasada cuando el cineasta Shawn McDaniel demostró la nueva característica de efectos de sonido generativos de Adobe Firefly para Indiewire. Cargó un videoclip en Firefly y le dio un aviso: “Pasos en concreto”. Cualquiera que haya cavado en una biblioteca de sonido sabe cuán desafiante puede ser. ¿Correr? ¿Caminando? Pisotear? ¿Casual? ¿Frenético? Y luego está la cuestión de editar el SFX para sincronizar con el movimiento de los caracteres.
Esto es lo que hizo que la demostración se destaque: McDaniel usó su propia voz para dar forma al sonido. Mientras se jugaba la escena, imitó el momento, el ritmo y la intensidad de los pasos. Estos no se registraron como diálogos, sino como una especie de referencia de rendimiento para la IA de Firefly. La herramienta luego generó cuatro opciones de sonido sincronizadas al instante. (Mira la demostración a continuación).
Y las opciones que creó son … buenas. Esta característica de “referencia de voz” permite a los creadores que dirijan la forma en que podrían dirigir una escena utilizando ritmo, emoción e intuición en lugar de interminables filtros de búsqueda.
Capturar ese nivel de precisión generalmente requiere un trabajo de Foley personalizado, pero en el video a continuación puede ver cómo Firefly generó efectos de sonido, como los autos de carrera, una trompeta de elefante o un esquiador cuesta abajo usando solo indicaciones de texto y la herramienta de referencia de voz. La forma en que estos sonidos generados rápidamente aumentan, sincronizaron y cambiar la dirección es impresionante.
La capacidad de generar rápidamente efectos de sonido sincronos podría ser un cambio de juego para los creadores de video en línea que producen contenido a un ritmo rápido. Los cineastas más tradicionales pueden usarlo para generar sonidos o experimentos temperaturas durante la edición; Es poco probable que reemplace la precisión y el arte de un gran artista de Foley en el corto plazo. Aún así, esta tecnología impulsada por la voz tiene un potencial real para evolucionar.
Igual de importante: estos SFX son comercialmente seguros porque Adobe capacitó a Firefly en contenido que posee o licencia. Siempre es bueno saber que no estás desgarrando el trabajo con derechos de autor de otros artistas (te estoy mirando, Google, Openai y Meta).
También nuevo de Adobe: control de movimiento mejorado, preajustes de estilo y recorte de cuadros de teclado; Las tablas de Firefly ahora generan video usando Runway Gen-4 y Google VEO3; Y hay una herramienta de referencia de composición para ayudar a combinar el estilo y el encuadre. Lea los detalles completos de las actualizaciones de Firefly en el Sitio web de Adobe.
