Largas cadenas en serie de cognición deben pasar a través de la cadena de pensamiento. Crédito: ARXIV (2025). Doi: 10.48550/arxiv.2507.11473
La inteligencia artificial avanza a una velocidad vertiginosa. Al igual que muchas tecnologías nuevas, ofrece beneficios significativos, pero también plantea riesgos de seguridad. Reconociendo los peligros potenciales, los principales investigadores de Google Deepmind, Openai, Meta, Anthrope y una coalición de empresas y grupos sin fines de lucro se han unido para pedir más que se haga más para monitorear cómo los sistemas de IA “piensan”.
En una articulación papel Publicado a principios de esta semana y respaldado por destacadas figuras de la industria, incluida Geoffrey Hinton (ampliamente considerada como el “Padrino de AI”) y el cofundador de OpenAi, Ilya Sutskever, los científicos argumentan que una breve ventana para monitorear el razonamiento de la IA podría cerrar pronto.
Mejorar el monitoreo de la IA
Están pidiendo un mayor monitoreo de las cadenas de pensamiento (COTS), una técnica que permite a los modelos de IA resolver desafíos complejos al dividirlos en pasos más pequeños, al igual que los humanos trabajan a través de tareas complicadas, como un problema matemático complicado.
Las cunas son características clave de los modelos AI avanzados, incluidos Deepseek R1 y los modelos de aprendizaje de idiomas (LLM). Sin embargo, a medida que los sistemas de IA se vuelven más avanzados, interpretar sus procesos de toma de decisiones será aún más desafiante. Esto es una preocupación porque los métodos de supervisión de IA existentes son imperfectos y pueden perder el mal comportamiento.
En el documento, los científicos han destacado cómo el monitoreo de COT ya ha demostrado su valía al detectar ejemplos de mal comportamiento de IA, como cuando los modelos actúan de manera desalineada “al explotar fallas en sus funciones de recompensa durante el entrenamiento” o “manipular datos para lograr un resultado”.
Los científicos creen que un mejor monitoreo de COTS podría ser una forma valiosa de mantener a los agentes de IA bajo control a medida que se vuelven más capaces.
“El monitoreo de la cadena de pensamiento presenta una valiosa adición a las medidas de seguridad para la IA fronteriza, ofreciendo una rara visión de cómo los agentes de IA toman decisiones”, dijeron los investigadores de su artículo. “Sin embargo, no hay garantía de que el grado actual de visibilidad persista. Alentamos a los desarrolladores de la comunidad de investigación y la frontera de IA a hacer el mejor uso de la monitorización de COT y estudiar cómo se puede conservar”.
Una solicitud clave de los investigadores es que los desarrolladores de IA estudien lo que hace que las cunas sean monitoreables. En otras palabras, ¿cómo podemos entender mejor cómo los modelos AI llegan a sus respuestas? También quieren que los desarrolladores estudien cómo se podría incluir la monitorización de COT como medida de seguridad.
El documento conjunto marca un raro momento de unidad entre los gigantes tecnológicos ferozmente competitivos, destacando cuán preocupados están por la seguridad. A medida que los sistemas de IA se vuelven más poderosos e integrados en la sociedad, garantizar que su seguridad nunca haya sido más importante o urgente.
Escrito para usted por nuestro autor Paul Arnoldeditado por Gaby Clarky verificado y revisado por Andrew Zinin—Este artículo es el resultado de un trabajo humano cuidadoso. Confiamos en lectores como usted para mantener vivo el periodismo científico independiente. Si este informe le importa, considere un donación (especialmente mensual). Obtendrá una cuenta sin anuncios como agradecimiento.
Más información: Tomek Korbak et al, Monitorabilidad de la cadena de pensamiento: una oportunidad nueva y frágil para la seguridad de la IA, ARXIV (2025). Doi: 10.48550/arxiv.2507.11473
Información en el diario: ARXIV
© 2025 Science X Network
Cita: los gigantes tecnológicos advierten la ventana para monitorear el razonamiento de la IA está cerrando, Acción de urgencia (2025, 17 de julio) Recuperado el 17 de julio de 2025 de https://techxplore.com/news/2025-07-tech-giants-window-ai-urge.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
