Los conjuntos de datos utilizados para capacitar a los algoritmos de IA pueden subrepresentar a las personas mayores. Crédito: Dominio público de Pixabay/CC0
A medida que AI se convierte en una parte ubicua de la vida cotidiana, las personas entienden cada vez más cómo funciona. Mientras que los programas de computadora tradicionales funcionan con lógica clara, “si A sucede, entonces haz B”, los modelos AI, especialmente las redes neuronales, toman decisiones que son difíciles de rastrear a cualquier regla o línea de código. Como resultado, las técnicas tradicionales de análisis de programas, como la revisión del código, son ineficaces para abordar las vulnerabilidades de las redes neuronales.
Yang Zhou, ganador del Premio a la Excelencia del Personal de Investigación de SMU para 2024, es parte del Proyecto MOE 3 de SMU Sun Jun, titulado “La ciencia de los sistemas de IA certificados” que analizará el problema. Como se enumera en la propuesta, el primer objetivo del proyecto es:
“Primero, desarrollaremos una base científica para analizar los sistemas de IA, con un enfoque en tres conceptos fundamentales: abstracción, causalidad e interpretabilidad. Tenga en cuenta que estos conceptos son fundamentales para el análisis de programas y, sin embargo, deben reinventarse formalmente debido a la diferencia entre los programas y las redes neuronales. Esta base científica será la base del desarrollo de herramientas de análisis sistemáticos”.
La abstracción, la causalidad y la interpretabilidad son conceptos centrales en la IA y la informática. La abstracción se refiere al proceso invisible de cómo un programa o modelo produce una salida, como una función de “calculación_area” en un programa de computadora que considera PI y radio que el usuario nunca ve.
En AI, un modelo aprendería a identificar qué es un “círculo” a través de la capacitación repetida y aprender a medir su área, pero nadie puede señalar una sola línea de código para identificarlo como donde/cuando aprendió a hacerlo.
La causalidad es más simple de entender. En la programación es una situación if-Then, por ejemplo, si el nivel de agua> 2m, alarma de sonido. Es menos claro en la IA, donde una solicitud de préstamo de automóvil podría rechazarse en función de patrones y correlaciones. Por ejemplo, alguien mayor de 50 años podría tener la solicitud de préstamo aprobada, pero otro joven de 50 años podría ser rechazado.
El modelo de detección podría haber visto otros factores, como un historial de hospitalización en un hospital ocular o recientemente emitido un boleto por exceso de velocidad. Como tal, los sistemas de IA aprenden correlaciones pero no necesariamente causas.
La interpretabilidad, en pocas palabras, es: ¿entiende cómo llegó el software a la salida o decisión final? La salida de IA a veces puede ser opaca y necesita herramientas especiales para que las decisiones tengan sentido.
Una vez hecho esto, se desarrollará lo siguiente:
Un conjunto de herramientas efectivas para analizar y reparar redes neuronales, incluidos motores de prueba, depuradores y verificadores. Estándares de certificación que proporcionan pautas procesables para lograr un nivel diferente de control de calidad. Proponga procesos de principios para desarrollar sistemas de IA, con las mejores prácticas y pautas de investigadores y profesionales.
“Este proyecto es enorme, y el grupo de investigación bajo cada CO-PI trabaja en un subconjunto de los problemas anteriores”, explica Yang. “Trabajo con (Profesor de Ciencias de la Computación de UOB) David Lo, y nuestra responsabilidad es comprender las preocupaciones y los desafíos que enfrentan los desarrolladores al desarrollar sistemas habilitados para AI en la práctica, así como extraer las mejores prácticas y directrices de los investigadores y profesionales de la IA”.
El impacto
Los ejemplos de sistemas habilitados para AI incluyen conducción autónoma, reconocimiento de imágenes y semáforos inteligentes. “Mi investigación en este proyecto se centra en una fase importante de la IA: cómo la IA se integra en el software en la práctica y cuáles son los desafíos, soluciones, preocupaciones y prácticas en esta fase importante”, dijo Yang a la Oficina de Gobernanza y Administración de la Investigación (ORGA).
“Por ejemplo, sugerimos que es importante escribir documentación bien estructurada para que un modelo de código abierto se adapte más fácilmente en otro software”.
El impacto del mundo real del trabajo de Yang es sustancial. La documentación clara e integral podría ayudar a suavizar la implementación al enumerar los requisitos y alternativas de hardware en casos de software que no funcionan en ciertos dispositivos.
La documentación adecuada también facilita la adopción más rápida al mostrar a los desarrolladores cómo conectar los modelos de IA en los sistemas, ya sea para conducir autónoma, optimización de la cadena de suministro o asistentes inteligentes como Alexa de Amazon y el Asistente de Google.
El trabajo de Yang en el proyecto se relaciona con algunas de sus otras colaboraciones, una de las cuales involucra Entrevistar a los profesionales de la IA de la industria para comprender los desafíos y soluciones para garantizar la calidad de los sistemas de IAy validando los hallazgos realizando encuestas para recopilar las opiniones y prácticas de los desarrolladores de IA.
Más investigación, más impacto
Yang también publicó recientemente un artículo titulado “Revelar memorización en modelos de código“Eso analizó los modelos de IA capacitados para comprender y generar código de computadora. Como se escribe en el documento, estos modelos” automatizan una serie de tareas críticas como predicción de defectos, revisión de código, generación de código y análisis de preguntas de software “.
Si bien los modelos de código hacen que sea más fácil escribir y mantener el código, lo hacen al ser entrenados en muchos datos, tanto que memorizan el código que ocurre con frecuencia.
“En general, los modelos de idiomas están capacitados en un gran corpus de código, con el objetivo de aprender ‘dado un código, cuáles son los fragmentos de los siguientes tokens’ ‘, explica Yang. “Existen muchos clones de código (código idéntico) en los datos de capacitación, y los modelos de código aprenderán dicha información muy bien, al igual que memorizar algunos datos de capacitación.
“Los modelos de código pueden memorizar la información que pertenece a un desarrollador y exponer la información a otra, lo que puede causar algunas preocupaciones”, agrega.
Entre estos incluyen infracciones de seguridad (modelos con contraseñas de filtración y credenciales de base de datos), robo de propiedad intelectual (algoritmos de propiedad y código con licencia se expusen), propagación de vulnerabilidad (patrones de código inseguro distribuidos a nuevas aplicaciones) y violaciones de privacidad (información personal y exposición a datos comerciales sensibles).
¿Cómo aborda el trabajo de Yang este problema? “Les solicitamos al modelo que genere una gran cantidad de fragmentos de código e identifique aquellos que también se pueden encontrar en los datos de capacitación a través de una técnica llamada ‘Detección de clones de código”, dice Yang.
“En el documento, nuestro objetivo es exponer el problema de la memorización y no abordarlo. Recientemente hemos publicado otro artículo sobre la mitigación de la fuga de información de privacidad en los modelos de código”.
El impacto de esta investigación en particular radica en preservar mejor la privacidad de los desarrolladores en la era de los grandes modelos de idiomas. Explica: “Específicamente, diseñamos un nuevo método de ‘desaprender a la máquina’ para guiar el modelo para ‘olvidar’ la información de privacidad al tiempo que preserva su conocimiento general. Cuando se implementa el nuevo modelo, aún puede generar el código correcto a la solicitud del usuario, pero usará un tenedor de posición cuando es probable que la información de privacidad esté involucrada”.
Proporcionado por la Universidad de Gestión de Singapur
Cita: amplificando el impacto de la IA al hacerlo comprensible (2025, 29 de agosto) recuperado el 29 de agosto de 2025 de https://techxplore.com/news/2025-08-amplify-ai-impact.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
