BITNET B1.58 2B4T Avanza la frontera de Pareto definida por LLM de peso abierto líderes bajo parámetros 3B en términos de rendimiento versus memoria, lo que demuestra una eficiencia superior. Crédito: ARXIV (2025). Doi: 10.48550/arxiv.2504.12285
Un grupo de informáticos de Microsoft Research, que trabaja con un colega de la Universidad de la Academia de Ciencias de la Universidad de China, ha introducido el nuevo modelo de IA de Microsoft que se ejecuta en una CPU regular en lugar de una GPU. Los investigadores han publicado un documento sobre el servidor de preimpresión ARXIV que describe cómo se construyó el nuevo modelo, sus características y qué tan bien lo ha hecho hasta ahora durante las pruebas.
En los últimos años, los LLM se han vuelto de moda. Modelos como ChatGPT se han puesto a disposición de los usuarios de todo el mundo, presentando la idea de chatbots inteligentes. Una cosa que la mayoría de ellos tienen en común es que están entrenados y se ejecutan con chips de GPU. Esto se debe a la gran cantidad de potencia informática que necesitan cuando se entrenan en cantidades masivas de datos.
En tiempos más recientes, se han planteado preocupaciones sobre las enormes cantidades de energía utilizadas por los centros de datos para apoyar a todos los chatbots que se utilizan para diversos fines. En este nuevo esfuerzo, el equipo ha encontrado lo que describe como una forma más inteligente de procesar estos datos, y han creado un modelo para probarlo.
Una de las partes más intensivas en energía de los modelos de IA en ejecución implica la forma en que se usan y almacenan los pesos, típicamente como números flotantes de 8 o 16 bits. Tal enfoque implica mucha memoria y procesamiento de CPU, lo que a su vez requiere mucha energía. En su nuevo enfoque, los investigadores han eliminado el uso de números de puntos flotantes por completo y, en su lugar, proponen el uso de lo que describen como una arquitectura de 1 bits.
En su innovación, los pesos se almacenan y procesan utilizando solo tres valores: -1, 0 y 1. Esto permite usar nada más que adición y resta simple durante el procesamiento, operaciones que se realizan fácilmente utilizando una computadora basada en CPU.
Las pruebas del nuevo tipo de modelo mostraron que era capaz de mantenerse en los modelos basados en GPU en su tamaño de clase e incluso superó a algunos de ellos, todo mientras usaba mucha menos memoria y, al final, mucho menos energía.
Para ejecutar un modelo de este tipo, el equipo creó un entorno de tiempo de ejecución para ello. El nuevo entorno se llama bitnet.cpp y fue diseñado para hacer el mejor uso de la arquitectura de 1 bits.
Si las afirmaciones hechas por el equipo se mantienen, el desarrollo de Bitnet B1.58 2B4T podría ser un cambio de juego. En lugar de confiar en granjas de datos masivas, los usuarios pronto podrían ejecutar un chatbot en su computadora o tal vez su teléfono. Además de reducir las demandas de energía, la localización del procesamiento de LLM mejoraría en gran medida la privacidad y permitiría trabajar sin siquiera estar conectado a Internet.
Más información: Shuming Ma et al, Bitnet B1.58 2B4T Informe técnico, ARXIV (2025). Doi: 10.48550/arxiv.2504.12285
Información en el diario: ARXIV
© 2025 Science X Network
Cita: Microsoft presenta un modelo de IA que se ejecuta en CPU regulares (2025, 22 de abril) recuperado el 22 de abril de 2025 de https://techxplore.com/news/2025-04-microsoft-ai-regular-cpus.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
