Identificación de unidades especializadas y causalmente relevantes en tareas en LLMS. Crédito: ARXIV (2024). Doi: 10.48550/arxiv.2411.02280
Los investigadores de EPFL han descubierto “unidades” clave en grandes modelos de IA que parecen ser importantes para el lenguaje, lo que refleja el sistema lingüístico del cerebro. Cuando estas unidades específicas se apagaron, los modelos empeoraron mucho en las tareas del lenguaje.
Los modelos de idiomas grandes (LLM) no solo son buenos para comprender y usar el lenguaje, sino que también pueden razonar o pensar lógicamente, resolver problemas y algunos incluso pueden predecir los pensamientos, creencias o emociones de las personas con las que interactúan.
A pesar de estas impresionantes hazañas, todavía no entendemos completamente cómo funcionan los LLM “Under the Hood”, particularmente cuando se trata de cómo diferentes unidades o módulos realizan diferentes tareas. Entonces, los investigadores en el Laboratorio Neuroai, parte de la Escuela de Ciencias de la Comunicación y Comunicación (IC) y la Escuela de Ciencias de la Vida (SV), y el Laboratorio de Procesamiento de Lenguas Naturales (IC), querían averiguar si los LLM tienen unidades o módulos especializados que hacen trabajos específicos. Esto se inspira en las redes que se han descubierto en cerebros humanos, como la red de idiomas, la red de demanda múltiple y la red de la teoría de la mente.
En un artículo presentado este mes en la Conferencia Anual de 2025 de las Naciones de las Naciones de las Américas de la Asociación de Lingüística Computacional (NAACL 2025), en Albuquerque en los Estados Unidos, los investigadores explican cómo investigaron 18 LLM populares y descubrieron que ciertas unidades, de hecho, parecen compensar una red central enfocada en el idioma. El estudio está disponible en el servidor ARXIV Preprint.
“Inspirándose en los enfoques de neurociencia, que han mapeado la organización funcional de nuestros cerebros, comparamos cuán activa era una unidad al leer oraciones reales en comparación con la lectura de listas de palabras aleatorias. Las unidades que reaccionaron más activamente a las oraciones reales se identificaron como ‘unidades selectivas de idiomas,’ al igual que la red de idiomas de nuestros cerebros ‘, dijo el profesor asistente Martin Schrimpf, jefe del laboratorio de neuroi.
Menos de 100 neuronas extremadamente relevantes
Para probar el papel causal de las unidades selectivas del lenguaje que habían identificado, los investigadores eliminaron esas unidades y, por separado, eliminaron diferentes conjuntos de unidades aleatorias. Luego compararon las diferencias en lo que sucedió después. Cuando se eliminaron las unidades específicas del lenguaje, pero no las aleatorias, los modelos ya no podían generar texto coherente y no podían funcionar bien en los puntos de referencia lingüísticos.
“Los resultados muestran que estas unidades realmente importan para el modelo. La sorpresa clave para nosotros fue que probablemente haya menos de 100 neuronas más o menos, aproximadamente el 1% de las unidades, eso parece ser extremadamente relevante para cualquier cosa que tenga que ver con la capacidad de un modelo para producir y comprender el lenguaje y al interrumpir las que, de repente, el modelo falla por completo”, explicó Badr Alkhamissi, un asistente de doctorado en el Neuroai y el Laboratorio de NLP y el plomo y el plomo de la plomo y el autor de Badr.
“Hay investigaciones de aprendizaje automático e interpretabilidad que ha identificado algunas redes o unidades en un modelo relevante para el lenguaje, pero requirió mucha capacitación, y fue mucho más complicado que solo usar el mismo localizador utilizado en la neurociencia humana. Realmente no esperamos que esto funcionara tan bien”, continuó.
Además de las unidades selectivas de lenguaje, esto planteó una pregunta natural: ¿podrían los mismos localizadores diseñados para identificar otras redes cerebrales, como la teoría de la mente o las múltiples redes de demanda, también aplicarse a LLM?
Usando estos localizadores, los investigadores de EPFL intentaron evaluar si otras unidades dentro de los modelos se especializan en razonamiento o pensamiento social y descubrieron que algunos modelos poseían estas unidades de tareas específicas, mientras que otras no lo hicieron.
Otras preguntas
“En algunos modelos encontramos unidades de razonamiento y pensamiento especializados y en algunos modelos no.
Otra investigación futura se centrará en tratar de descubrir qué sucede en los modelos de múltiples modelos, modelos que no solo están entrenados en el texto, sino que también pueden procesar varias otras modalidades de información, incluidas imágenes, videos y sonido.
“Definitivamente estoy muy interesado en esto, porque, como humanos, operamos en el habla y la entrada visual. La pregunta es que si usamos un modelo multimodal y le damos, por ejemplo, el lenguaje como una entrada visual, similar a las personas que leen una pieza de texto, ¿tendrá los mismos déficits del lenguaje que lo hicieron cuando lo hicieron cuando eliminamos la red del lenguaje en el LLMS versus una tarea visual donde tiene que identificar varios objetos o emprender un razonamiento matemático? preguntó Alkhamissi.
En términos más generales, los investigadores creen que estos estudios ayudan a resolver el rompecabezas del funcionamiento interno de los modelos de idiomas grandes, relacionados con la neurociencia y haciendo conexiones en cuanto a cómo funciona el cerebro humano.
“Si pensamos en el daño que ocurre en la red de idiomas en los cerebros de las personas que han tenido un derrame cerebral, a menudo tienen discapacidades del lenguaje severos, mientras que todo lo demás está intacto. Es muy similar aquí con el componente del lenguaje LLM que solo produce galimatías y, aunque no probamos esto, probablemente podría funcionar bien en todo lo demás.
“Esperamos que estos modelos nos ayuden a comprendernos mejor a nosotros mismos y a nuestros cerebros, allanando el camino para un diagnóstico y tratamiento de enfermedades más avanzados”, concluyó Schrimpf.
Más información: Badr Alkhamissi et al, la red de idiomas LLM: un enfoque neurocientífico para identificar unidades causalmente relevantes para tareas, ARXIV (2024). Doi: 10.48550/arxiv.2411.02280
Información en la revista: ARXIV proporcionado por Ecole Polytechnique Federal de Lausanne
Cita: Las unidades clave en los modelos de IA reflejan el sistema lingüístico del cerebro humano (2025, 12 de mayo) Recuperado el 12 de mayo de 2025 de https://techxplore.com/news/2025-05-key-ai-mirror-human-brain.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
