La firma de inteligencia artificial (AI) Anthrope ha lanzado una herramienta para detectar hablar sobre armas nucleares, dijo en una publicación de blog del jueves.
“La tecnología nuclear es inherentemente de doble uso: los mismos principios físicos de que los reactores nucleares potenciales pueden ser mal utilizados para el desarrollo de armas. A medida que los modelos de IA se vuelven más capaces, debemos vigilar de cerca si pueden proporcionar a los usuarios un conocimiento técnico peligroso de manera que pueda amenazar la seguridad nacional”, antrópico “, antrópico”, Antropía “, Antropía”. decir en la publicación del blog.
“La información relacionada con las armas nucleares es particularmente sensible, lo que hace que la evaluación de estos riesgos sea un desafío para una empresa privada que actúa sola”, continuó la publicación del blog. “Es por eso que en abril pasado nos asociamos con la Administración Nacional de Seguridad Nuclear del Departamento de Energía de los Estados Unidos (DOE) (NNSA) para evaluar nuestros modelos para riesgos de proliferación nuclear y continuar trabajando con ellos en estas evaluaciones”.
Anthrope dijo en la publicación del blog que “iba más allá de evaluar el riesgo para construir las herramientas necesarias para monitorearlo”, y agregó que la empresa hizo “un sistema de IA que clasifica automáticamente el contenido” llamado “clasificador” junto con el DOE y NNSA.
El sistema, según la publicación del blog, “distingue entre conversaciones nuclear relacionadas y benignas con una precisión del 96% en las pruebas preliminares”.
La firma también dijo que el clasificador se ha utilizado en el tráfico para su propio modelo de inteligencia artificial (AI) Claude “como parte de nuestro sistema más amplio para identificar el mal uso de nuestros modelos”.
“Los datos de implementación temprana sugieren que el clasificador funciona bien con conversaciones reales de Claude”, agregó Anthrope.
Anthrope también anunció a principios de este mes que ofrecería a Claude a todas las sucursales del gobierno federal por $ 1 a raíz de un movimiento Operai similar hace unas semanas. En una publicación de blog, Anthrope dijo que las agencias federales obtendrían acceso a dos versiones de Claude.
