Un nuevo algoritmo de los investigadores de ETH mejora los modelos de idiomas grandes (LLM) para que las respuestas seleccionadas sean más precisas y relevantes. Crédito: IA Generado/ ETH Zurich
Chatgpt y iguales a menudo nos sorprenden con la precisión de sus respuestas, pero desafortunadamente, también nos dan repetidamente motivo de duda. El problema principal con los poderosos motores de respuesta de IA (inteligencia artificial) es que nos proporcionan respuestas perfectas y tonterías obvias con la misma facilidad. Uno de los principales desafíos radica en cómo los modelos de idiomas grandes (LLM) subyacentes a la IA lidian con la incertidumbre.
Hasta ahora, ha sido muy difícil evaluar si los LLM diseñados para el procesamiento de texto y la generación basan sus respuestas en una base sólida de datos o si están operando en un terreno incierto.
Investigadores del Instituto de Aprendizaje Machine en el Departamento de Ciencias de la Computación de ETH Zurich ahora han desarrollado un método que puede usarse para reducir específicamente la incertidumbre de la IA. El trabajo se publica en el servidor ARXIV preimpresión.
“Nuestro algoritmo puede enriquecer el modelo de lenguaje general de la IA con datos adicionales del área temática relevante de una pregunta. En combinación con la pregunta específica, podemos extraer de las profundidades del modelo y de los datos de enriquecimiento con precisión de aquellas conexiones que es más probable que genere una respuesta correcta”, explica Jonas Hübotter del grupo de sistemas de aprendizaje y adaptación, quién desarrolló el nuevo método como parte de su fall. estudios.
Enriquecer la IA con datos específicos
“El método es particularmente adecuado para empresas, científicos u otros usuarios que desean usar la IA general en un campo especializado que solo está cubierto parcialmente o no en absoluto por los datos de capacitación de IA”, agrega Andreas Krause, jefe del Grupo de Investigación y Director del Centro ETH AI.
Por ejemplo, los usuarios pueden alimentar sus datos almacenados localmente a un modelo de lenguaje grande (LLM), como LLAMA. El llamado algoritmo SIFT (seleccionando datos informativos para el ajuste fino), desarrollado por ETH informáticos, puede usar los datos adicionales proporcionados para seleccionar información específica que esté más estrechamente relacionada con la pregunta.
Vectores de relación en el espacio multidimensional
El algoritmo utiliza la estructura según la cual la información del lenguaje está organizada en el modelo de lenguaje grande (LLM) de la IA para encontrar información relacionada. Los modelos dividen la información del idioma en sus datos de capacitación en piezas de palabras.
Las relaciones semánticas y sintácticas entre las partes de la palabra se organizan como flechas de conexión, conocidas en el campo como vectores, en un espacio multidimensional. Las dimensiones del espacio, que pueden sumar en miles, surgen de los parámetros de relación que el LLM identifica independientemente durante la capacitación utilizando los datos generales.
Ángulo entre flechas como medida de correlación
Las flechas relacionales que apuntan en la misma dirección en este espacio vectorial indican una fuerte correlación. Cuanto mayor sea el ángulo entre dos vectores, menos dos unidades de información se relacionan entre sí.
El algoritmo SIFT desarrollado por ETH Investigers ahora utiliza la dirección del vector de relación de la consulta de entrada (Aviso) para identificar aquellas relaciones de información que están estrechamente relacionadas con la pregunta, pero al mismo tiempo se complementan entre sí en términos de contenido.
“El ángulo entre los vectores corresponde a la relevancia del contenido, y podemos usar los ángulos para seleccionar datos específicos que reducen la incertidumbre”, explica Hübotter.
Menos superposición de la información redundante
Por el contrario, el método más común utilizado hasta la fecha para seleccionar la información adecuada para la respuesta, conocida como el método vecino más cercano, tiende a acumular información redundante que está ampliamente disponible. La diferencia entre los dos métodos queda clara cuando se observa un ejemplo de un mensaje de consulta que se compone de varias piezas de información.
Para responder a la pregunta de dos partes “¿Qué edad tiene Roger Federer y cuántos hijos tiene?” El método vecino más cercano considera información similar como “Roger Federer tiene 43 años” y “El cumpleaños de Roger Federer es el 8 de agosto de 1981” para ser igualmente relevante.
A veces falta información sobre sus hijos, que es relevante para la segunda parte de la pregunta. Se superpone la información de la fecha de nacimiento, que ocurre con mucha más frecuencia en los datos de entrenamiento de IA.
Sin embargo, el algoritmo SIFT tiene en cuenta la medida en que las piezas de información incluidas se complementan entre sí, es decir, si los vectores de información apuntan en diferentes direcciones. Esto permite identificar información relevante para ambos aspectos de la pregunta.
Respuestas más confiables con modelos mucho más pequeños
Sin embargo, la selección de información dirigida no solo mejora la calidad de las respuestas. También se puede utilizar para reducir la potencia informática cada vez mayor requerida por las aplicaciones de IA.
Al medir indirectamente la incertidumbre, el modelo puede decidir por sí mismo cuánto más datos se necesitan para proporcionar una respuesta suficientemente confiable. En consecuencia, la sobrecarga computacional requerida por un LLM puede adaptarse sistemáticamente a la complejidad de la pregunta y la disponibilidad de información relevante.
Dado que SIFT adapta continuamente la ponderación de las instrucciones de flecha a sus cálculos durante la recuperación de datos, el modelo enriquecido se vuelve cada vez más confiable cuanto más se usa. Esto se conoce como entrenamiento de tiempo de prueba y se puede utilizar para lograr el mismo rendimiento de salida con modelos más pequeños.
“En las pruebas con conjuntos de datos estándar, utilizamos el ajuste SIFT para superar incluso a los mejores modelos de IA actuales con modelos hasta 40 veces más pequeños”, enfatiza Hübotter.
Identificar el valor agregado de los datos relevantes
Las aplicaciones adicionales para el algoritmo SIFT se están abriendo en términos de evaluación de datos. Como explica Krause, “podemos rastrear qué datos de enriquecimiento selecciona Sift. Están estrechamente relacionados con la pregunta y, por lo tanto, particularmente relevantes para esta área temática. Esto podría usarse en medicina, por ejemplo, para investigar qué análisis de laboratorio o valores de medición son significativos para un diagnóstico específico y cuáles son menos”.
Hübotter presenta su enfoque en la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) en Singapur. En diciembre, los investigadores de ETH ganaron el premio por el mejor artículo científico para su método en la Conferencia Anual de Neurips sobre Sistemas de Procesamiento de Información Neural (Neurips) en el taller de “Fineting in Modern Machine Learning”.
Más información: Jonas Hübotter et al, aprendiendo eficientemente en el tiempo de prueba: ajuste fino activo de LLMS, ARXIV (2024). Doi: 10.48550/arxiv.2410.08020
Información en el diario: ARXIV
Cita: el algoritmo puede hacer que las respuestas de IA sean cada vez más confiables con menos sobrecargas computacionales (2025, 24 de abril) recuperado el 24 de abril de 2025 de https://techxplore.com/news/2025-04-algorithm-ai-responses-reliable-obhead.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
