Yoshua Bengio y Eric Schmidt hablan en el escenario durante la cumbre 2024 Time100 en 2024.
Preocupado por la rápida propagación de la IA generativa, un investigador pionero está desarrollando software para vigilar una tecnología que se está apoderando cada vez más en tareas humanas.
El profesor de informática canadiense Yoshua Bengio es considerado uno de los padrinos de la revolución de la inteligencia artificial y el martes anunció el lanzamiento de Lawzero, una organización sin fines de lucro destinada a mitigar los riesgos inherentes de la tecnología.
El ganador del Premio Turing, también conocido como el Premio Nobel de Ciencias de la Computación, ha sido advertir durante varios años de los riesgos de la IA, ya sea a través de su uso malicioso o el software en sí mismo.
Esos riesgos aumentan con el desarrollo de los llamados agentes de IA, un uso de la tecnología que asigna a las computadoras a tomar decisiones que alguna vez fueron tomadas por trabajadores humanos.
El objetivo de estos agentes es construir empleados virtuales que puedan hacer prácticamente cualquier trabajo que un humano pueda, a una fracción del costo.
“Actualmente, AI se está desarrollando para maximizar las ganancias”, dijo Bengio, y agregó que se estaba implementando incluso mientras persiste para mostrar fallas.
Además, para Bengio, dar una agencia de tipo humano de IA se utilizará fácilmente con fines maliciosos, como la desinformación, las bioweapons y los ataques cibernéticos.
“Si perdemos el control de AIS superinteligentes deshonestos, podrían dañar mucho la humanidad”, dijo.
Uno de los primeros objetivos en Lawzero será desarrollar la IA científica, una forma de IA especialmente capacitada que puede usarse como una barandilla para garantizar que otras AI se comporten correctamente, dijo la compañía.
La organización ya tiene más de 15 investigadores y ha recibido fondos de Schmidt Sciences, una organización benéfica creada por el ex jefe de Google Eric Schmidt y su esposa Wendy.
El proyecto se produce cuando se implementan potentes modelos de idiomas grandes (o LLM) de OpenAI, Google y Anthrope en todos los sectores de la economía digital, al tiempo que muestran problemas significativos.
Estos incluyen modelos de IA que muestran una capacidad para engañar y fabricar información falsa incluso a medida que aumentan la productividad.
En un ejemplo reciente, la compañía de IA Anthrope dijo que durante las pruebas de seguridad, su último modelo de IA intentó chantajear a un ingeniero para evitar ser reemplazado por otro sistema.
© 2025 AFP
Cita: El mejor científico quiere evitar que la IA se vuelva pícaro (2025, 4 de junio) recuperado el 4 de junio de 2025 de https://techxplore.com/news/2025-06-scientist-ai-rogue.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
