El trío de jazz Sveið, el Dr. Federico Reuben, izquierda, Emil Karlsen, Centro y James Mainwaring. Crédito: Michael Hodges.
Un desarrollo reciente fascinante que permite a los músicos improvisar la música en vivo con sonido generado por IA podría ser la mayor innovación desde el advenimiento del muestreo, o tal vez incluso la invención del sonido grabado, según un investigador de música en York.
El Dr. Federico Reuben lanzará “Latent Imprints”, un álbum gratuito de improvisación de jazz grabado con el saxofonista James Mainwaring y el baterista Emil Karlsen, bajo el nombre de la banda Sveið.
Revolucionario
Pero la música tiene un giro revolucionario: se ha realizado en vivo utilizando una tecnología emergente llamada Síntesis de Audio Neural (NAS). NAS permite a los músicos improvisar en un entorno en vivo con sonidos generados por IA, de manera efectiva “atascación” en el escenario con inteligencia artificial.
Federico, profesor asociado de la Escuela de Artes y Tecnologías Creativas, explica: “Nas emplea a Deep Learning, una técnica de IA donde los programas están capacitados en grandes conjuntos de datos, en este caso, colecciones de grabaciones de sonido, para encontrar características y patrones en los datos que permiten la generación de nuevos sonidos que se asemejan a aquellos en la datos originales”.
Preocupaciones
Federico reconoce que las implicaciones de esta tecnología han expresado preocupaciones entre algunos artistas, incluido Sir Elton John, quien recientemente ha expresado una fuerte oposición a lo que él ve como una regulación inadecuada de la IA en las industrias creativas.
Si bien reconoce las complejidades que rodean las leyes de derechos de autor, Federico enfatiza que estas técnicas ofrecen beneficios potenciales significativos tanto para artistas como para el público.
“Una vez que las personas ven las posibilidades creativas que ofrecen estas herramientas, creo que se emocionarán realmente”, dijo Federico, describiendo una técnica NAS particular conocida como ‘transferencia de timbre’.
“Con la transferencia de timbre, por ejemplo, un modelo de IA entrenado en una base de datos de discurso grabado puede responder en tiempo real a las entradas de un micrófono colocado frente a un kit de batería. Cuando se reproduce el baterista, la IA genera sonidos vocales que imitan los tambores, creando un efecto similar al beatboxing”.
Alucinante
El resultado, dice Federico, es “alucinante” porque la IA intentará aproximar los ritmos y las características de la batería, pero con sonidos vocales.
En su trío de jazz gratuito Sveið, Federico es acreditado como un “improvisador de laptop y codificador en vivo”, y el grupo improvisa sus actuaciones en entornos en vivo.
“He usado esta técnica en vivo con varios músicos, pero este álbum marca el debut de una nueva banda con el saxofonista nominado al premio Mercurio James Mainwaring y el baterista noruego Emil Karlsen”.
En el escenario, Federico usa computadoras portátiles y controladores, capturando los sonidos de sus compañeros músicos a través de micrófonos conectados a sus computadoras.
“Coloque un micrófono frente a cada músico para analizar sus señales de sonido”, explica. “Veo a la IA en el rendimiento como un ‘proceso enredado de co-creación’: estoy vivo codificando y explorando los modelos de IA a medida que se desarrolla la improvisación, reaccionando a lo que los demás están tocando. Este intercambio crea todo tipo de sonidos inesperados e ideas musicales frescas, lo que realmente lleva el rendimiento a la vida”.
Federico también sugiere que esta tecnología podría beneficiar a otras áreas de la industria de la música. Más allá del jazz libre, Federico tiene proyectos de investigación en curso que exploran posibilidades más amplias de NAS. Trabajando con el profesor Franziska Schroeder, está investigando métodos más encarnados de interactuar con modelos de IA: usar la respiración, el sonido, el tacto, el movimiento y las señales fisiológicas del cuerpo humano, en lugar de las indicaciones de texto.
Otro proyecto, “Código de Lotus”, tiene como objetivo diversificar conjuntos de datos AI colaborando con músicos japoneses para crear conjuntos de datos que representan tradiciones musicales japonesas.
“Un problema importante con las compañías de IA como Udio y Sunoai es su dependencia de los conjuntos de datos dominados por la música comercial popular occidental”, dice. “Esto corre el riesgo de la homogeneización cultural y estética, por lo que la diversificación de los conjuntos de datos NAS es esencial”.
Transformador
Federico cree que NAS podría revolucionar la industria de la música, describiéndola como uno de los desarrollos recientes más transformadores en la historia del sonido grabado.
“Todo es muy nuevo y eso es lo que lo hace emocionante”, dice Federico. “Sin duda, es un cambio de paradigma en lo que puedes hacer con el sonido grabado. Cuando surgió la muestra, proporcionó a los músicos una nueva vía de exploración, y finalmente dio lugar a géneros enteros como el hip-hop”.
“Creo que NAS representa un cambio igualmente transformador en la producción musical y la interpretación en vivo. Al trabajar con IA como colaborador, no una herramienta para reemplazar a los músicos, podría abrir la puerta a los géneros musicales y formas de expresión completamente nuevos”.
Las “impresiones latentes” de Sveið se lanzarán el 27 de junio a través de 577 Records.
Proporcionado por la Universidad de York
Cita: Jamming with AI: Jazz Trio se reproduce en vivo con sonido generado por IA (2025, 19 de junio) Recuperado el 19 de junio de 2025 de https://techxplore.com/news/2025-06-ai-jazz-trio-plays-generated.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
