En situaciones de alto riesgo como el diagnóstico médico, comprender por qué un modelo de IA tomó una decisión es tan importante como la decisión misma. Un nuevo marco llamado refinamiento conceptual limitado ofrece predicciones precisas y explicables con un bajo costo computacional. Crédito: Imagen de chatgpt solicitada por Salar Fattahi.
Una nueva técnica de IA explicable clasifica transparentemente las imágenes sin comprometer la precisión. El método, desarrollado en la Universidad de Michigan, abre AI para situaciones en las que comprender por qué se tomó una decisión es tan importante como la decisión en sí, como el diagnóstico médico.
Si un modelo de IA marca un tumor como maligno sin especificar qué provocó el resultado, como el tamaño, la forma o una sombra en la imagen, los doctores no pueden verificar el resultado o explicarlo al paciente. Peor aún, el modelo puede haber captado patrones engañosos en los datos que los humanos reconocerían como irrelevantes.
“Necesitamos sistemas de IA en que podamos confiar, especialmente en áreas de alto riesgo como la atención médica. Si no entendemos cómo un modelo toma decisiones, no podemos confiar de manera segura. Quiero ayudar a construir una IA que no solo sea precisa, sino que también transparente y fácil de interpretar”, dijo Salar Fattahi, un gerente asistente de Ingeniería Industrial y Operaciones en UM y autor senior de Collumber en Vatauver.
Al clasificar una imagen, los modelos de IA asocian vectores de números con conceptos específicos. Estos conjuntos de números, llamados incrustaciones de concepto, pueden ayudar a la IA a localizar cosas como “fractura”, “artritis” o “hueso sano” en una radiografía. La IA explicable trabaja para hacer que las incrustaciones conceptuales sean interpretables, lo que significa que una persona puede entender lo que representan los números y cómo influyen en las decisiones del modelo.
Los métodos de IA explicables anteriores agregan características de interpretabilidad después de que el modelo ya está construido. Si bien estos enfoques pueden identificar factores clave que influyeron en las predicciones del modelo, no son explicables contraintuitivamente. Estos modelos también tratan las incrustaciones conceptuales como vectores numéricos fijos, ignorando posibles errores o tergiversaciones inherentes a ellos.
Por ejemplo, estos modelos incorporan el concepto de “hueso sano” utilizando un modelo multimodal previamente provocado como el clip. A diferencia de los conjuntos de datos cuidadosamente seleccionados, el clip está entrenado en pares de texto de imagen ruidosos a gran escala raspados de Internet. Estos pares a menudo incluyen datos mal etiquetados, descripciones vagas o asociaciones biológicamente incorrectas, lo que lleva a inconsistencias en las incrustaciones resultantes.
Publicado en el servidor de preimpresión ARXIV, el nuevo marco, refinamiento conceptual restringido o CCR, agregan el primer problema al integrar y optimizar la interpretabilidad directamente en la arquitectura del modelo. Resuelve el segundo introduciendo flexibilidad en los incrustaciones conceptuales, lo que les permite adaptarse a la tarea específica en cuestión.
Las flechas rojas representan el proceso de entrenamiento de backpropagation para modelos de IA explicables clásicos. Este documento extiende el proceso de capacitación para refinar las incrustaciones conceptuales con limitaciones en su desviación de las integridades iniciales, representados por flechas verdes y caja. Crédito: ARXIV (2025). Doi: 10.48550/arxiv.2502.06775
Los usuarios pueden alternar el marco para favorecer la interpretabilidad, con más restricciones de incrustación de concepto, o precisión al permitir que los incrustaciones conceptuales se desvíen un poco más. Esta flexibilidad adicional permite que la incrustación de concepto potencialmente inexacta del “hueso sano”, como obtenido del clip, se ajuste y corrija automáticamente al adaptarse a los datos disponibles. Al aprovechar esta flexibilidad adicional, el enfoque CCR puede mejorar tanto la interpretabilidad como la precisión del modelo.
“Lo que más me sorprendió fue darme cuenta de que la interpretabilidad no tiene que tener el costo de la precisión. De hecho, con el enfoque correcto, es posible lograr ambas decisiones claras y explicables y un rendimiento fuerte, de una manera simple y efectiva”, dijo Fattahi.
CCR superó a dos métodos explicables (CBM CLIP-IP-OMP y sin etiquetas) en precisión de predicción, al tiempo que preservó la interpretabilidad cuando se probó en tres puntos de referencia de clasificación de imágenes (CIFAR10/100, Image Net, Places365). Es importante destacar que el nuevo método redujo el tiempo de ejecución diez veces, ofreciendo un mejor rendimiento con un menor costo computacional.
“Aunque nuestros experimentos actuales se centran en la clasificación de imágenes, el bajo costo de implementación del método y la facilidad de ajuste sugieren un fuerte potencial para una aplicabilidad más amplia en diversos dominios de aprendizaje automático”, dijo Geyu Liang, un graduado doctoral de ingeniería industrial y de operaciones en UM y autor principal del estudio.
Por ejemplo, la IA está cada vez más integrada en la OMS que califica para préstamos, pero sin explicación, los solicitantes quedan en la oscuridad cuando se rechazan. La IA explicable puede aumentar la transparencia y la equidad en las finanzas, asegurando que una decisión se basara en factores específicos como los ingresos o el historial crediticio en lugar de la información sesgada o no relacionada.
“Solo hemos arañado la superficie. Lo que más me emociona es que nuestro trabajo ofrece una fuerte evidencia de que la explicabilidad puede llevarse a la IA moderna de una manera sorprendentemente eficiente y de bajo costo”, dijo Fattahi.
Más información: Geyu Liang et al, mejorando el rendimiento de los modelos de IA explicables con refinamiento conceptual restringido, ARXIV (2025). Doi: 10.48550/arxiv.2502.06775
Información en la revista: ARXIV proporcionado por la Universidad de Michigan College of Engineering
Cita: AI explicable: el nuevo marco aumenta la transparencia en los sistemas de toma de decisiones (2025, 13 de junio) Recuperado el 13 de junio de 2025 de https://techxplore.com/news/2025-06-ai-framework-transparency-decision.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
