Esquema del conjunto de lectura MACE-MP-0 y el modelo cuantil. Crédito: NPJ Materiales computacionales (2025). Doi: 10.1038/s41524-025-01572-y
Es obvio cuando un perro ha estado mal entrenado. No responde correctamente a los comandos. Empuja los límites y se comporta de manera impredecible. Lo mismo es cierto con un modelo de inteligencia artificial (AI) mal entrenado. Solo con IA, no siempre es fácil identificar lo que salió mal con el entrenamiento.
Los científicos de investigación a nivel mundial están trabajando con una variedad de modelos de IA que han sido entrenados en datos experimentales y teóricos. El objetivo: predecir las propiedades de un material antes de tomar el tiempo y los gastos para crearlo y probarlo. Están utilizando AI para diseñar mejores medicamentos y productos químicos industriales en una fracción del tiempo que lleva el ensayo y el error experimental.
Pero, ¿cómo pueden confiar en las respuestas que proporcionan los modelos de IA? No es solo una pregunta académica. Millones de dólares de inversión pueden superar si las predicciones del modelo de IA son confiables.
Ahora, un equipo de investigación del Laboratorio Nacional del Noroeste del Pacífico del Departamento de Energía ha desarrollado un método para determinar qué tan bien se ha capacitado a una clase de modelos de IA llamados potenciales de redes neuronales. Además, puede identificar cuándo una predicción está fuera de los límites de su capacitación y dónde necesita más capacitación para mejorar, un proceso llamado aprendizaje activo.
El equipo de investigación, dirigido por los científicos de datos de PNNL, Jenna Bilbrey Pope y Sutanay Choudhury, describe cómo funciona el nuevo método de cuantificación de incertidumbre en un artículo de investigación publicado en NPJ Computational Materials.
El equipo también está haciendo el método disponible públicamente en GitHub como parte de su repositorio más grande llamado potencial atómico de red neuronal escalable (SNAP) a cualquier persona que quiera aplicarlo a su propio trabajo.
“Notamos que algunos modelos de incertidumbre tienden a ser demasiado confiados, incluso cuando el error real en la predicción es alto”, dijo Bilbrey Pope. “Esto es común para la mayoría de las redes neuronales profundas. Pero un modelo entrenado con SNAP ofrece una métrica que mitiga este exceso de confianza. Idealmente, desea observar tanto la incertidumbre de la predicción como la incertidumbre de los datos de capacitación para evaluar el rendimiento general del modelo”.
Infundir la confianza en el entrenamiento modelo de IA al descubrimiento de velocidad
Los científicos investigadores quieren aprovechar la velocidad de las predicciones de IA, pero en este momento hay una compensación entre la velocidad y la precisión. Es cierto que un modelo de IA puede hacer predicciones en segundos que podrían tomar una supercomputadora 12 horas para calcular el uso de métodos tradicionales computacionalmente intensivos. Pero los químicos y los científicos de materiales todavía ven la IA como una caja negra.
La medición de incertidumbre del equipo de ciencia de datos PNNL proporciona una forma de comprender cuánto deben confiar en una predicción de IA.
“La IA debería poder detectar con precisión sus límites de conocimiento”, dijo Choudhury. “Queremos que nuestros modelos de IA vengan con una garantía de confianza. Queremos poder hacer declaraciones como” Esta predicción proporciona un 85% de confianza que el catalizador A es mejor que el catalizador B, en función de sus requisitos “.
En su estudio publicado, los investigadores optaron por comparar su método de incertidumbre con uno de los modelos de base más avanzados para la química de materiales atomistas, llamado MACE. Los investigadores calcularon qué tan bien se capacita el modelo para calcular la energía de las familias específicas de los materiales.
Estos cálculos son importantes para comprender qué tan bien el modelo AI puede aproximar los métodos más intensivos en tiempo y energía que se ejecutan en las supercomputadoras. Los resultados muestran qué tipos de simulaciones se pueden calcular con confianza de que las respuestas son precisas.
Este tipo de confianza y confianza en las predicciones es crucial para realizar el potencial de incorporar flujos de trabajo de IA en el trabajo de laboratorio cotidiano y la creación de laboratorios autónomos donde la IA se convierte en un asistente de laboratorio de confianza, agregaron los investigadores.
“Hemos trabajado para que sea posible ‘envolver’ cualquier potencial de red neuronal para la química en nuestro marco”, dijo Choudhury. “Luego, en un instante, de repente tienen el poder de ser consciente de la incertidumbre”.
Ahora, si solo los cachorros pudieran ser entrenados en un instante.
Más información: Jenna A. Bilbrey et al, Cuantificación de incertidumbre para modelos de base potencial de redes neuronales, NPJ Materiales computacionales (2025). Doi: 10.1038/s41524-025-01572-y
Proporcionado por el Laboratorio Nacional del Noroeste del Pacífico
Cita: Una nueva forma de medir la incertidumbre proporciona un paso importante hacia la confianza en la capacitación del modelo de IA (2025, 24 de abril) Recuperado el 24 de abril de 2025 de https://techxplore.com/news/2025-04-uncertay- Important-confidence-ai.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
