Una ilustración de la analogía entre una cadena de bloque de primavera y una red neuronal profunda. Crédito: Cartas de revisión física (2025). Doi: 10.1103/ys4n-2tj3
Las redes neuronales profundas están en el corazón de la inteligencia artificial, que van desde el reconocimiento de patrones hasta los grandes modelos de lenguaje y razonamiento como ChatGPT. El principio: durante una fase de entrenamiento, los parámetros de las neuronas artificiales de la red están optimizadas de tal manera que pueden llevar a cabo tareas específicas, como descubrir de forma autónoma o características características en las imágenes.
Cómo funciona exactamente esto y por qué algunas redes neuronales son más poderosas que otras, no es fácil de entender. Una rigurosa descripción matemática parece fuera del alcance de las técnicas actuales. Sin embargo, tal comprensión es importante si uno quiere construir inteligencia artificial mientras minimiza los recursos.
Un equipo de investigadores dirigido por el Prof. Dr. Ivan Dokmanić en el Departamento de Matemáticas e Informática de la Universidad de Basilea ahora ha desarrollado un modelo sorprendentemente simple que reproduce las principales características de las redes neuronales profundas y que permite optimizar sus parámetros. Ellos publicado sus resultados en cartas de revisión física.
División del Trabajo en una red neuronal
Las redes neuronales profundas consisten en varias capas de neuronas. Al aprender a clasificar los objetos en las imágenes, la red se acerca a la capa de respuesta por capa. Este enfoque gradual, durante el cual dos clases, por ejemplo, “gato” y “perro”, se distinguen cada vez más claramente, se denomina separación de datos.
“Por lo general, cada capa en una red bien realizada contribuye igualmente a la separación de datos, pero a veces la mayor parte del trabajo se realiza mediante capas más profundas o menos profundas”, dice Dokmanić.
Esto depende, entre otras cosas, de cómo se construye la red: ¿las neuronas simplemente multiplican los datos entrantes con un factor particular, que los expertos llamarían “lineal”? ¿O llevan a cabo cálculos más complejos, en otras palabras, ¿la red es “no lineal”?
Una consideración adicional: en la mayoría de los casos, la fase de entrenamiento de las redes neuronales también contiene un elemento de aleatoriedad o ruido. Por ejemplo, en cada ronda de entrenamiento, un subconjunto aleatorio de neuronas puede simplemente ignorarse independientemente de su aporte. Curiosamente, este ruido puede mejorar el rendimiento de la red.
“La interacción entre la no linealidad y el ruido da como resultado un comportamiento muy complejo que es difícil de entender y predecir”, dice Dokmanić.
“Por otra parte, sabemos que una distribución igualada de la separación de datos entre las capas aumenta el rendimiento de las redes”.
Entonces, para poder progresar, Dokmanić y sus colaboradores se inspiraron en las teorías físicas y desarrollaron modelos mecánicos macroscópicos del proceso de aprendizaje que se puede entender intuitivamente.
Tirando y sacudiendo la regla plegable
Uno de esos modelos es una regla plegable cuyas secciones individuales corresponden a las capas de la red neuronal y se abre en un extremo. En este caso, la no linealidad proviene de la fricción mecánica entre las secciones. Se puede agregar ruido sacudiendo erráticamente el extremo de la regla plegable mientras tira.
El resultado de este simple experimento: si uno tira de la regla lenta y constantemente, las primeras secciones se desarrollan mientras el resto permanece en gran medida cerrado.
“Esto corresponde a una red neuronal en la que la separación de datos ocurre principalmente en las capas poco profundas”, explica Cheng Shi, un Ph.D. Estudiante en el grupo de Dokmanić y primer autor del estudio. Por el contrario, si uno tira rápido mientras lo sacude un poco, la regla plegable termina bien y de manera uniforme. En una red, esta sería una separación de datos uniforme.
“Hemos simulado y analizado matemáticamente modelos similares con bloques conectados por resortes, y el acuerdo entre los resultados y los de las redes ‘reales’ es casi asombrosa”, dice Shi.
Los investigadores de Basilea planean aplicar su método a los modelos de idiomas grandes pronto. En general, tales modelos mecánicos podrían usarse en el futuro para mejorar el entrenamiento de redes neuronales profundas de alto rendimiento sin el enfoque de prueba y error que se usa tradicionalmente para determinar valores óptimos de parámetros como el ruido y la no linealidad.
Más información: Cheng Shi et al, teoría del bloque de primavera del aprendizaje de características en redes neuronales profundas, letras de revisión física (2025). Doi: 10.1103/ys4n-2tj3
Proporcionado por la Universidad de Basilea
Cita: Qué puede decirnos una regla plegable sobre las redes neuronales (2025, 14 de julio) Recuperado el 14 de julio de 2025 de https://techxplore.com/news/2025-07-ruler-neural-networks.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
