El cineasta generativo de IA Dave Clark ha probado “todas las herramientas bajo el sol” para hacer sus películas artificialmente inteligentes, más famoso por su corto “batallón” viral. Pero incluso en el año desde que lanzó ese video, la tecnología en torno a Gen-AI ha avanzado considerablemente, y cree que lo que se consideraba innovador en ese entonces ahora puede ser empujado aún más.
El martes, Google en su evento de E/S reveló Flow, una herramienta de generación de videos Generation-AI impulsada por el último modelo de IA de Google, VEO 3. Clark fue uno de los cineastas de IA que colaboró con Google Labs sobre la funcionalidad e interfaz de la nueva herramienta de tal manera que estaba diseñado con cineastas y creadores en mente. Baste decir que está impresionado por los resultados.
“Mi mente todavía está volada por el nivel de control”, dijo Clark a Indiewire antes del lanzamiento de Flow. “Esto es para mí como cineasta, esto es lo que he estado esperando. Has puesto las 10,000 horas, luchas a través de estas indicaciones, y usas estos diferentes sistemas. Pero todo lo que realmente esperamos es ese nivel de control que siento que finalmente tuvimos algo de sentido, y es mucho tiempo que llega a ser tan temprano”.
El flujo tiene controles de cámara que permiten a los cineastas articular específicamente el movimiento y el ángulo visual que desean crear para una toma como si estuvieran dirigiendo a un director de fotografía. Tiene una característica llamada SceneBuilder que permite a los cineastas generar una escena, y luego extenderla mientras mantiene todos sus diseños y ubicaciones de sus personajes consistentes e intactos. Los creadores pueden cargar y combinar múltiples imágenes de referencia que coincidan con cosas como caras, ropa y ubicaciones, haciéndolo con detalles hiperpecíficos.
El flujo también permite un lenguaje más natural en la escritura rápida, de modo que comprenda el lenguaje visual de la escritura de guiones y los detalles técnicos granulares como opciones de lentes, condiciones de iluminación, longitudes focales o grano de película. Incluso es capaz de generar sonido en tiempo real con la generación de videos, incluidos los efectos de sonido, la música de fondo y el diálogo.
Clark y su promesa de Banner de producción de IA están utilizando Flow para crear un nuevo corto generado por IA llamado “Freelancers” sobre dos hermanos adoptados que cada uno, a través de caminos separados, se convierte en espías y sitman internacionales. Describió una escena que generó en la que sus dos protagonistas están sentados en un restaurante, completo con una toma establecida con una plataforma lenta. Luego, llevó al modelo a usar un movimiento dinámico de cámara de mano, seguido de una toma de seguimiento de los dos personajes en ejecución.
“¡Y lo hizo! Para ver la forma en que la cámara estaba temblando, es de esta manera exacta que probablemente la filmaría si estuviera en ese restaurante. Fue genial, y no he visto ese nivel de (control)”, dijo Clark.
No fue hace mucho tiempo el que Openai dio a conocer su modelo de video SORA; Los cineastas de IA con los que hablamos quedaron sorprendidos de que tenía “adherencia rápida”, donde puede articular una cosa para suceder y luego hacer que algo más le pase a esa figura dentro de la misma secuencia. Flow y VeO 3 demostraron una capacidad aún más avanzada, en la que los creadores de escenas han generado pueden arrastrarse y extenderse en una línea de tiempo para continuar efectivamente la acción e incluso alargar la duración de un disparo individual más allá de los 6 – 8 segundos que el modelo normalmente generaría.
Clark lo comparó con que prácticamente pudiera crear su propio estilo “1917” “Oner” si quisiera, con la acción que se extiende de ubicación a ubicación, incluso cuando el personaje sigue siendo el mismo.
“Digamos que es un tipo que conduce un automóvil alrededor de la costa de Amalfi. Con la escena y el flujo interior, el director en mí pudo bloquear el resto de la escena”, explicó Clark. “Entonces, tal vez comience dentro del automóvil con el tipo que conduce, luego es POV, luego podría cambiar a una toma amplia, y la forma en que funciona el flujo es que en realidad conoce toda la información que se puso, todas las indicaciones, la forma en que se ve el personaje, la forma en que la costa de Amalfi y el camino se ve, el color del automóvil. Se puede traducir en esa información a la siguiente corta o escena o editar, si lo hará y continúan en esa narración”.
Clark dijo que se volvió tan específico como articular la escena para parecer que fue filmada con una lente de 50 mm hasta una lente de 135 mm de largo, y el flujo no solo entiende, sino que puede casarse con ese funcionamiento con un bloqueo específico.
Una imagen generada por IA creada con la imagen de Google IMAGEN 4COURTESY de Google Labs
Matthieu Kim Lorrain, plomo creativo en Google Deepmind y Thomas Iljic, líder de productos en Google Labs, habló con Indiewire sobre comprender a alguien como el proceso creativo de Clark para informar cómo debería funcionar el flujo, y estaban sorprendidos por lo que él y otros pudieron crear con lo que pensaban, en el momento, la funcionalidad de los huesos.
“Mostrar y decir es importante. No solo quieren escribir un mensaje de texto”, dijo Iljic. “Quieren traer estos elementos, estos ingredientes. Quieren consistencia en las tomas. Quieren tener proyectos para comenzar a administrar la estructura, porque son tantos archivos, preguntándose cómo voy a armar esto.”
Lorrain agregó que la palabra clave para los cineastas de IA es la “personalización”, y cinco cineastas de IA diferentes pueden tener cinco flujos de trabajo diferentes, o incluso un cineasta podría tener un método diferente para un proyecto diferente, y todo está integrado en flujo.
“A veces necesitas imágenes para el video porque en realidad quieres comenzar desde una composición. Realmente quieres curar la imagen perfecta y luego expandirte”, dijo Lorrain. “A veces es la construcción del mundo. Y en el caso de la construcción del mundo, es por eso que tenemos los ingredientes para que pueda definir a sus personajes, encontrar su entorno y ellos quieren eso. Ese es el tipo de control. No es solo controlar cómo pueden controlar el video, sino también controlar cómo pueden diseñar el proceso creativo para cada proyecto”.
La promesa de Clark el día de hoy anunció fondos adicionales del Fondo AI Future de Google, así como los socios de Venture de Crossbeam, Kivu Ventures y Saga Ventures. Pero Google también se está asociando con otros dos cineastas en el lanzamiento de Flow, incluidos Henry Daubrez y Junie Lau. Flow también está disponible ahora para los suscriptores de los planes Google AI Pro y Google AI Ultra en los Estados Unidos, con más países próximamente.
Clark no está seguro de cuál es la próxima frontera específica con la tecnología en rápida evolución, pero sí cree que a medida que las herramientas se vuelven más accesibles, corresponde a los creadores al menos comprenderla.
“Siempre hago referencia a los James Camerons y a los George Lucases, algunos de los principales cineastas siempre fueron tecnólogos, y siento que vamos a ver ese siguiente nivel, esa próxima escuela de George Lucas, que serán inherentemente tecnólogos”, dijo Clark. “Tendrás que entender la tecnología, ya sea que la uses o no”.
