Demostración de capacitación PPO y GRPO sin el motor de búsqueda. Crédito: ARXIV (2025). Doi: 10.48550/arxiv.2505.04588
Un equipo de investigadores de IA en el laboratorio Tongyi del Grupo Alibaba, ha presentado un nuevo enfoque para capacitar a LLM; Uno que cuesta mucho menos que los que ahora se usan actualmente. Su documento se publica en el servidor ARXIV Preprint.
Como los LLM como el chatgpt se han convertido en la corriente principal, los recursos y los costos asociados de ejecutarlos se han disparado, obligando a los fabricantes de IA a buscar formas de obtener lo mismo o mejores resultados utilizando otras técnicas. Con este fin, el equipo que trabaja en el Laboratorio Tongyi ha encontrado una manera de entrenar LLM de una nueva manera que utiliza muchos menos recursos.
La idea detrás de Zerosearch es no usar las llamadas API para los motores de búsqueda para acumular los resultados de búsqueda como una forma de entrenar un LLM. En cambio, su método utiliza documentos generados por IA simulados para imitar la salida de los motores de búsqueda tradicionales, como Google.
El equipo de Alibaba sugiere que este enfoque no solo reduce las necesidades de recursos, sino que mejora la calidad de la capacitación porque los datos en documentos simulados no tienen la naturaleza impredecible de los resultados de búsqueda pública. También señalan que la nueva técnica permite degradar lentamente la calidad de los documentos que se producen como una forma de desafiar los escenarios de recuperación.
Al probar su enfoque en un modelo de IA, los investigadores encontraron que los costos de capacitación asociados con Zerosearch llegaron a $ 70.80 por 64,000 consultas. Las mismas consultas, usando Google API, cuestan $ 586.70. Encontraron que probar otros modelos utilizando más parámetros reducen los costos aún más. La calidad de los resultados producidos por los modelos basados en Zerosearch generalmente coincidía o excedió los recibidos de los modelos basados en API.
Los investigadores reconocen que existe una compensación con su enfoque. El método ZEROSEARCH puede requerir hasta cuatro GPU A100, mientras que el método de Google API no tiene requisitos de GPU. Si bien la capacitación de ceroSearch es más rentable, esto presentaría una compensación en términos de sostenibilidad y requisitos de hardware.
Más información: Hao Sun et al, Zerosarch: Incentivar la capacidad de búsqueda de LLM sin buscar, ARXIV (2025). Doi: 10.48550/arxiv.2505.04588
Información en el diario: ARXIV
© 2025 Science X Network
Cita: el método ZEROSEARCH de Alibaba utiliza resultados de búsqueda simulados a los costos de capacitación de Slash LLM (2025, 16 de mayo) Recuperado el 16 de mayo de 2025 de https://techxplore.com/news/2025-05-alibaba-zerosearch-method-simulated-Resultoss.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
