Los investigadores analizaron modelos de difusión utilizando termodinámica de no equilibrio y teoría óptima del transporte. Crédito: Ikeda et al 2025
La investigación conjunta dirigida por Sosuke Ito de la Universidad de Tokio ha demostrado que la termodinámica de no equilibrio, una rama de la física que se ocupa de sistemas en constante cambio, explica por qué la teoría del transporte óptima, un marco matemático para el cambio óptimo de distribución para reducir el costo, hace que los modelos generativos sean óptimos. Como la termodinámica de no equilibrio aún no se ha aprovechado por completo en el diseño de modelos generativos, el descubrimiento ofrece un nuevo enfoque termodinámico para la investigación del aprendizaje automático. Los hallazgos fueron publicado En la revista Physical Review X.
La generación de imágenes ha mejorado en saltos y límites en los últimos años: un video de una celebridad que come un tazón de espagueti que representaba el estado del arte hace un par de años ni siquiera calificaría como bueno hoy. Los algoritmos de la generación de imágenes de alimentación se llaman modelos de difusión, y contienen aleatoriedad llamada “ruido”.
Durante el proceso de entrenamiento, el ruido se introduce a los datos originales a través de la dinámica de difusión. Durante el proceso de generación, el modelo debe eliminar el ruido para generar contenido nuevo a partir de los datos ruidosos. Esto se logra considerando la dinámica de inversión de tiempo, como si reproduzca el video en reversa. Una pieza del arte y la ciencia de la construcción de un modelo que produce contenido de alta calidad es especificar cuándo y cuánto ruido se agrega a los datos.
“La selección de la dinámica de difusión, también conocida como un horario de ruido, ha sido controvertida en los modelos de difusión desde su inicio”, dice Ito, el investigador principal. “Se ha demostrado empíricamente que la dinámica de transporte óptima es útil en los modelos de difusión, pero no se ha demostrado teóricamente por qué sería así”.
Los investigadores obtuvieron desigualdades que establecen una relación entre la disipación termodinámica y la diferencia en el error de estimación. Crédito: Ikeda et al 2025
Aunque los modelos de difusión se inspiraron originalmente en la termodinámica de no equilibrio, y la teoría óptima del transporte está estrechamente relacionada con el área, estudios anteriores han pasado por alto esta conexión. Por lo tanto, surgió la pregunta: ¿podría la termodinámica sin equilibrio proporcionar un marco teórico de por qué la dinámica de transporte óptima funciona tan bien en los modelos de difusión?
Un avance reciente en las relaciones comerciales termodinámicas, una técnica que describe la relación entre la disipación termodinámica y la velocidad de los cambios en el sistema, resultó increíblemente útil. Utilizando esta técnica, los investigadores obtuvieron desigualdades entre la disipación termodinámica y la robustez de la generación de datos en los modelos de difusión. Utilizaron las desigualdades recientemente derivadas para mostrar que la dinámica de transporte óptima garantiza la generación de datos más sólida.
“Un resultado sorprendente es que nuestro límite está apretado dentro de un cierto orden de magnitud para los escenarios de generación de imágenes del mundo real”, explica Ito. “Esto muestra que nuestras desigualdades son útiles no solo para comprender el protocolo óptimo en los modelos de difusión, sino también para analizar la aplicación práctica de la generación de datos de imágenes”.
Además, hay otro aspecto sorprendente de este proyecto. ITO explica: “El primer y el segundo autores del documento son estudiantes universitarios, y esta investigación se realizó parcialmente como parte de una clase en la que se inscribieron. En particular, el primer autor, Kotaro Ikeda, contribuyó en gran medida a este estudio, desde cálculos numéricos hasta análisis teórico.
“Esperamos que nuestros resultados creen conciencia sobre la importancia de la termodinámica de no equilibrio en la comunidad de aprendizaje automático, y nosotros, incluida la próxima generación, continuamos explorando su utilidad para comprender el procesamiento de información biológica y artificial”.
Más información: Kotaro Ikeda et al, Relaciones de accesorios de velocidad para modelos de difusión: sabiduría por termodinámica sin equilibrio y transporte óptimo, revisión física x (2025). Doi: 10.1103/x5vj-8JQ9
Proporcionado por la Universidad de Tokio
Cita: un enfoque termodinámico para el aprendizaje automático: cómo la teoría del transporte óptima puede mejorar los modelos generativos (2025, 31 de julio) recuperado el 31 de julio de 2025 de https://techxplore.com/news/2025-07- termodinámico-abroqueo-machine-optimal-theoory.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
