Una ilustración simplificada del problema de transporte óptimo (OT). En la superficie engañosamente simple, la complejidad computacional de resolver la ruta óptima para mover todos los bienes entre los puntos de distribución (almacenes y tiendas) aumenta dramáticamente con el número de puntos. Crédito: Kaori Serakaki (OIST)
La edad de la información se basa en las matemáticas. Desde encontrar la mejor ruta entre dos puntos, predecir la carga futura en una red eléctrica nacional o el clima del mañana, hasta identificar opciones de tratamiento ideales para enfermedades, los algoritmos comparten una estructura común: toman datos de entrada, los procesan a través de una serie de cálculos y ofrecen una salida.
La potencia de la revolución de IA en curso son algoritmos cada vez más sofisticados, a menudo compuestos por millones de líneas de código. Y cuantos más pasos pase un modelo antes de presentar una solución, cuanto más costoso se encuentre en el número de unidades de computación física, el tiempo y la energía requeridas.
La optimización de estos modelos matemáticos está en el corazón del trabajo de la Unidad de Aprendizaje Machine y Ciencias de Datos (MLDS) en el Instituto de Ciencia y Tecnología de Okinawa (OIST). Dirigida por el profesor Makoto Yamada, la unidad se esfuerza por desbloquear todo el potencial del aprendizaje automático (ML) y mejorar la eficiencia, optimizando no solo la ciencia de datos sino también la educación y la producción académica dentro de la unidad a través de una jerarquía distribuida.
Reducción de costos
Imagine que tiene la tarea de mover productos de varios almacenes a diferentes tiendas. Cada almacén tiene una cantidad diferente de bienes disponibles, y cada tienda requiere un número diferente de bienes. Para minimizar los costos de transporte, debe determinar la ruta más eficiente entre los diferentes almacenes y tiendas que reducen la distancia total requerida para mover todos los productos necesarios.
Esta es la configuración básica de problemas de transporte óptimo (OT) que, aunque simple en la superficie, son desafiantes a escala: a medida que aumenta el número de puntos de distribución (almacenes y tiendas), también lo hace la complejidad y el costo del algoritmo.
“Estamos enfocados en optimizar y diseñar nuevas herramientas para resolver problemas de transporte óptimos”, dice el profesor Yamada. OT es fundamental para la ciencia de datos como una forma de descubrir el método más eficiente para mover datos entre los puntos de distribución.
Considere los datos de expresión génica de una sola célula como un ejemplo: “Estos datos pueden ser muy dimensionales con una gran cantidad de muestras: podríamos investigar 20,000 genes con 100,000 células. Calcular la relación entre cada gen en el contexto del descubrimiento de fármacos o la clasificación de la enfermedad es extremadamente complejo, especialmente si queremos entrenar a ML en los datos.
“Uno de nuestros objetivos es resolver con precisión en tales casos con complejidad lineal: un costo computacional que solo escala por el número de puntos de distribución”.
Para la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR 2025), se aceptaron cinco documentos de los MLD. Dos de estos modelos de características que se centran específicamente en reducir el costo de OT en ML computacionalmente costoso. Ambos documentos están disponibles en el servidor ARXIV Preprint.
Un artículo presenta un método OT que captura mejor las relaciones de clase al comparar las distribuciones completas de características en lugar de promedios simples, mejorando tanto la precisión como la eficiencia.
El segundo artículo aborda el desafío del aprendizaje eficiente no supervisado en datos no etiquetados. En este entorno, los modelos ML deben aprender tanto la estructura de los datos (cómo se relacionan cada característica y muestra) como las reglas para medir la similitud, aquí cuantificada a través de la distancia de Wasserstein, que captura el esfuerzo mínimo necesario para transformar una distribución de datos en otra.
Para superar el costo prohibitivo asociado con la calculación de esto, el equipo introduce un método novedoso basado en la distancia de los árboles de árboles, donde en lugar de calcular distancias en una cuadrícula completa de todos los puntos de distribución, ambas muestras (como las células) y las características (como los genes) se asignan a los nodos en un árbol de ramificación, donde los dos nodos están conectados exactamente por una vía. Esta estructura reduce drásticamente el número de comparaciones requeridas, mejorando enormemente el costo computacional.
El módulo de predicción de un vehículo autónomo puede manipularse para incluir un desencadenante específico que puede hacer que intencionalmente predeciera mal su trayectoria y potencialmente conduzca a un accidente. Crédito: Mohammad Sabokrou (OIST)
Expandir la accesibilidad
Otro enfoque clave de la unidad es mejorar la fiabilidad y la seguridad de los modelos al reducir los errores y el potencial de daño durante el desarrollo del modelo, uso y salida. Un desafío aquí es el reconocimiento de conjunto abierto, que se refiere a cómo las entradas que pueden encontrar un modelo después del entrenamiento son desordenados y, a menudo, son completamente irrelevantes.
El Dr. Mohammad Sabokrou, quien dirige la investigación de la unidad sobre ML confiable, explica: “Si está utilizando un modelo de ML para detectar diferentes tipos de automóviles de imágenes, y le da una foto de un tigre, debe saber que no puede clasificar la imagen, es problemático si clasifica con confianza los objetos que no puede poder”.
Es difícil enseñar un modelo para dibujar este límite mientras reconoce los objetos conocidos en configuraciones inusuales, como un automóvil visto desde diferentes ángulos, es difícil. La detección de muestras que son irrelevantes o diferentes a los datos de entrenamiento, también conocidos como muestras fuera de distribución, generalmente se enmarca como un problema de detección de anomalías.
Un enfoque que la unidad está explorando aquí es el aprendizaje contrastante, donde se enseña a un modelo a unir entradas similares y empujar las diferentes (es decir, anomalía) aparte en un espacio de características.
“La detección de anomalías está estrechamente relacionada con tareas como la detección de novedades, la detección de irregularidad, el reconocimiento de conjuntos abiertos y la detección de desactivación. Si bien estas tareas son de naturaleza similar, difieren principalmente en sus entornos de prueba”, dice el Dr. Sabokrou.
“Estamos trabajando para unificar las métricas en estos diferentes tipos de tareas, lo que permitiría un intercambio de conocimientos mucho mayor”.
La unidad también trabaja para mejorar los modelos confiables a través de varios ataques que exponen sus vulnerabilidades. Los ataques adversos usan ajustes sutiles para provocar errores.
Los ataques de puerta trasera explotan los desencadenantes ocultos en los datos de entrenamiento, ya sea deliberadamente introducido o heredado involuntariamente a través de correlaciones espurias o sesgos sociales: un modelo podría inferir erróneamente los lazos familiares en las fotos basadas en la iluminación o el sesgo contra grupos subrepresentados de conjuntos de capacitación no inclusivos.
Y finalmente, la prueba de la inferencia de membresía prueba si una entrada dada estaba en el conjunto de capacitación de un modelo para detectar o explotar la fuga de datos, con importantes implicaciones para la privacidad y la seguridad.
Estos ataques pueden revelar si un modelo de detección de cáncer aprende erróneamente de artefactos como barras de escala de imágenes, o si los modelos generativos reproducen material con derechos de autor. Juntas, estas estrategias proporcionan un diagnóstico poderoso para mejorar la seguridad y la confiabilidad de los sistemas de IA.
La Unidad de Ciencias de Aprendizaje y Datos de Machine recientemente celebró una conferencia de aprendizaje automático en OIST. A la izquierda hay un panel de discusión entre varios profesores y profesionales de la industria. A la derecha está el profesor Makoto Yamada durante su charla. Crédito: Adrian Skov (OIST)
Promoción del crecimiento
La ciencia de datos se encuentra en la base de la mayoría de los campos científicos y, como tal, mejorar los métodos por los cuales los investigadores pueden extraer conocimiento de los datos mejora la eficiencia del proceso científico. Y con la explosión en el uso general de la IA, reducir el costo computacional y la maximización de la seguridad y confiabilidad del modelo se han vuelto aún más importantes.
El principio de eficiencia impregna la unidad, que se caracteriza por una jerarquía plana y un enfoque distribuido para la tutoría. Por un lado, el profesor Yamada alienta a los miembros de la unidad a ser autores correspondientes de sus documentos: “Es bueno para su carrera y para su aprendizaje. Es por eso que a menudo son nuestros postdocs quienes asumen este papel, para que obtengan la experiencia”.
En la misma línea, la tutoría se delega en toda la unidad, en lugar de centrarse en el Prof. Yamada, con los postdocs y los científicos del personal que generalmente se encargan de supervisar directamente a los estudiantes y pasantes graduados, aunque el Prof. Yamada sigue al alcance de todos, y él lleva a cabo en cada proyecto.
“Es mucho más eficiente aprender haciendo. Además, me gusta hablar”, dice. Del mismo modo, el Dr. Sabokrou está motivado por la colaboración, trabajando estrechamente junto con pasantes, compañías, ex colegas e investigadores externos de todo el mundo. “Naturalmente, construyes una red a través de tu carrera académica y ayudas mutuamente a difundir el conocimiento y contribuye al progreso”.
La cultura de la unidad plana y de altura de control de alto nivel vale la pena, con cuatro de los cinco documentos aceptados para ICLR 2025 escribiendo por pasantes. Y al asumir una corriente constante de pasantes universitarios y comprometer recursos con diversas actividades de divulgación científica, como un café de matemáticas en curso para los estudiantes de secundaria de Okinawan y la popular escuela de verano de aprendizaje automático, que el año pasado vio a más de 200 participantes de todo el mundo. Yamada y la unidad promulgan su compromiso con la ciencia a través de su trabajo fundamental.
Como dice, “la educación es la mejor inversión a largo plazo tanto para la ciencia como para la sociedad. Nuestro objetivo es maximizar la eficiencia de esa inversión”.
Más información: Siqi Zeng et al, aprendiendo representaciones estructuradas al integrar la jerarquía de clases con un transporte óptimo rápido, ARXIV (2024). Doi: 10.48550/arxiv.2410.03052
Kira M. Düsterwald et al, aprendizaje métrico terrestre rápido sin supervisión con distancia del árbol-wasserstein, ARXIV (2024). Doi: 10.48550/arxiv.2411.07432
Información en la revista: ARXIV proporcionado por el Instituto de Ciencia y Tecnología de Okinawa
Cita: Aprendizaje en la máxima eficiencia: optimización del transporte, confianza y tutela (2025, 20 de mayo) Recuperado el 20 de mayo de 2025 de https://techxplore.com/news/2025-05-peak-eficiency-optimizing-tutelage.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
