Crédito: dominio público Unsplash/CC0
Esta semana, la Oficina Federal de Investigación de los Estados Unidos reveló que dos hombres sospechosos de bombardear una clínica de fertilidad en California el mes pasado supuestamente usaron inteligencia artificial (IA) para obtener instrucciones para hacer bombas. El FBI no reveló el nombre del programa AI en cuestión.
Esto lleva a un enfoque agudo la necesidad urgente de hacer que la AI sea más segura. Actualmente vivimos en la era de la IA “Wild West”, donde las empresas compiten ferozmente para desarrollar los sistemas de IA más rápidos y entretenidos. Cada compañía quiere superar a los competidores y reclamar el primer puesto. Esta intensa competencia a menudo conduce a atajos intencionales o involuntarios, especialmente cuando se trata de seguridad.
Casualmente, aproximadamente al mismo tiempo de la revelación del FBI, uno de los padrinos de la IA moderna, el profesor de informática canadiense Yoshua Bengio, lanzó una nueva organización sin fines de lucro dedicada a desarrollar un nuevo modelo de IA específicamente diseñado para ser más seguro que otros modelos AI, y se dirige a aquellos que causan daños sociales.
Entonces, ¿cuál es el nuevo modelo de IA de Bengio? ¿Y realmente protegerá al mundo del daño facilitado con AI?
Una ai ‘honesta’
En 2018, Bengio, junto con sus colegas Yann Lecun y Geoffrey Hinton, ganó el Premio Turing por la innovadora investigación que habían publicado tres años antes sobre el aprendizaje profundo. Una rama del aprendizaje automático, el aprendizaje profundo intenta imitar los procesos del cerebro humano mediante el uso de redes neuronales artificiales para aprender de los datos computacionales y hacer predicciones.
La nueva organización sin fines de lucro de Bengio, Lawzero, está desarrollando “Científico IA”. Bengio ha dicho que este modelo será “honesto y no engañoso” e incorporará principios de seguridad por diseño.
Según un artículo de preimpresión publicado en línea a principios de este año, la IA de la científica se diferenciará de los sistemas de IA actuales de dos maneras clave.
Primero, puede evaluar y comunicar su nivel de confianza en sus respuestas, ayudando a reducir el problema de la IA que da respuestas demasiado seguras e incorrectas.
En segundo lugar, puede explicar su razonamiento a los humanos, permitiendo que sus conclusiones sean evaluadas y probadas para su precisión.
Curiosamente, los sistemas de IA más antiguos tenían esta característica. Pero en la prisa por la velocidad y los nuevos enfoques, muchos modelos de IA modernos no pueden explicar sus decisiones. Sus desarrolladores han sacrificado la explicabilidad de la velocidad.
Bengio también pretende que “científico ai” actúe como una barandilla contra la IA insegura. Podría monitorear otros sistemas de IA menos confiables y dañinos, esencialmente luchar contra el fuego con fuego.
Esta puede ser la única solución viable para mejorar la seguridad de la IA. Los humanos no pueden monitorear adecuadamente sistemas como ChatGPT, que manejan más de mil millones de consultas diariamente. Solo otra IA puede administrar esta escala.
El uso de un sistema de IA contra otros sistemas de IA no es solo un concepto de ciencia ficción, es una práctica común en la investigación para comparar y probar diferentes niveles de inteligencia en los sistemas de IA.
Agregar un ‘modelo mundial’
Los modelos de idiomas grandes y el aprendizaje automático son solo pequeñas partes del paisaje de IA de hoy.
Otra adición clave que el equipo de Bengio está agregando al científico IA es el “modelo mundial” que brinda certeza y explicación. Así como los humanos toman decisiones basadas en su comprensión del mundo, la IA necesita un modelo similar a la función de manera efectiva.
La ausencia de un modelo mundial en los modelos AI actuales es clara.
Un ejemplo bien conocido es el “problema de la mano”: la mayoría de los modelos de IA de hoy en día pueden imitar la apariencia de las manos, pero no pueden replicar los movimientos naturales de las manos, porque carecen de una comprensión de la física, un modelo mundial).
Otro ejemplo es cómo los modelos como ChatGPT luchan con el ajedrez, no ganan e incluso haciendo movimientos ilegales.
Esto a pesar de los sistemas de IA más simples, que contienen un modelo del “mundo” del ajedrez, superando incluso a los mejores jugadores humanos.
Estos problemas provienen de la falta de un modelo mundial fundamental en estos sistemas, que no están inherentemente diseñados para modelar la dinámica del mundo real.
En el camino correcto, pero estará lleno de baches
Bengio está en el camino correcto, con el objetivo de construir una IA más segura y confiable combinando modelos de idiomas grandes con otras tecnologías de IA.
Sin embargo, su viaje no será fácil. Los US $ 30 millones de LawZero en fondos son pequeños en comparación con los esfuerzos como el proyecto de US $ 500 mil millones anunciado por el presidente de los Estados Unidos, Donald Trump, a principios de este año para acelerar el desarrollo de la IA.
Hacer que la tarea de Lawzero sea más difícil es el hecho de que la IA científica, como cualquier otro proyecto de IA, necesita una gran cantidad de datos para ser poderosos, y la mayoría de los datos están controlados por las principales compañías tecnológicas.
También hay una pregunta sobresaliente. Incluso si Bengio puede construir un sistema de IA que haga todo lo que dice que puede, ¿cómo será capaz de controlar otros sistemas que podrían estar causando daño?
Aún así, este proyecto, con investigadores talentosos detrás de él, podría generar un movimiento hacia un futuro en el que la IA realmente ayuda a los humanos a prosperar. Si tiene éxito, podría establecer nuevas expectativas para la IA segura, motivar a los investigadores, desarrolladores y formuladores de políticas para priorizar la seguridad.
Quizás si hubiéramos tomado medidas similares cuando surgieran las redes sociales por primera vez, tendríamos un entorno en línea más seguro para la salud mental de los jóvenes. Y tal vez, si la IA científica ya hubiera estado en su lugar, podría haber evitado que las personas con intenciones dañinas accedan a información peligrosa con la ayuda de los sistemas de IA.
Proporcionado por la conversación
Este artículo se vuelve a publicar de la conversación bajo una licencia Creative Commons. Lea el artículo original.
Cita: ‘Padrino de Ai’ ahora teme que sea inseguro. Tiene un plan para controlarlo en (2025, 8 de junio) recuperado el 8 de junio de 2025 de https://techxplore.com/news/2025-06-godfather-ai-unsafe-rein.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
