Una nueva arquitectura de transformador emula la imaginación y los estados mentales humanos de nivel superior
Arquitectura de CO4: N denota el número de tokens de entrada, y cada token tiene una dimensión de incrustación de E. Q1, Q2, …, QL representan la entrada de tokens de consulta latente a los Q-TPN asociados. K1, K2, …, KN representan la entrada de tokens clave a los K-TPN asociados. V1, V2, …, VN representa la entrada de tokens de valor a los V-TPN asociados. Esta configuración forma parte del estado de “ver” (es decir, procesamiento sensorial). En el estado “viendo” (es decir, estado perceptual e interpretativo), los bucles de modulación triádica entre preguntas (Q), pistas (claves, k) e hipótesis (valores, v) se ejecutan a través de contextos distales (d) y universales (u). El contexto proximal (p) representa la normalización a través de la información de las neuronas vecinas en la misma población, incluida la información anterior de la misma neurona. Se supone que los TPN asociados con Q, K y V son análogos a tres subtipos de neuronas piramidales, aunque su correspondencia exacta con los subtipos distinguidos neurobiológicamente aún está bajo investigación. A través de diferentes estados mentales, el procesamiento perceptivo de alto nivel y el pensamiento vigilante, se habilitan las cadenas de razonamiento diversas y paralelas. Este mecanismo incurre en un costo computacional de O (N · L), donde L es una pequeña fracción de la longitud de entrada, lo que hace que el costo total sea aproximadamente O (N). Los bucles de modulación triádica, basados en operaciones en forma de elemento, agregan un costo nominal de L · N · E, que es significativamente menor que el de la red residual de avance utilizada en bloques de transformador estándar, un componente CO4 no requiere. CO4 puede verse como una forma paralela, a nivel de representación, silenciosa pero profunda de razonamiento de cadena de pensamiento (COT) (56) (una mente tranquila), que permite una inferencia multipers perspectiva sin requerir una generación secuencial a nivel de token, al igual que la modulación cortico-talámica del cerebro. Crédito: Ahsan Adeel.
El avance de la inteligencia artificial (IA) y el estudio de los procesos neurobiológicos están profundamente interlinistas, ya que una comprensión más profunda de la primera puede producir una visión valiosa sobre la otra, y viceversa. Estudios de neurociencia recientes han encontrado que las transiciones de estado mental, como la transición de la vigilia al sueño de onda lenta y luego al sueño de movimiento ocular rápido (REM), modulan las interacciones temporales en una clase de neuronas conocidas como neuronas piramidales de dos puntos (TPN) de capa 5, alineándolas con los estados mentales de una persona.
Estas son interacciones entre la información que se origina en el mundo externo, ampliamente denominado campo receptivo (RF1), y las entradas emergentes de estados internos, denominado campo contextual (CF2). Los hallazgos pasados sugieren que las entradas RF1 y CF2 se procesan en dos sitios distintos dentro de las neuronas, conocidos como el sitio basal y el sitio apical, respectivamente.
Los algoritmos de IA actuales que emplean mecanismos de atención, como los modelos de transformadores, perceptor y flamenco, se inspiran en las capacidades del cerebro humano. En su forma actual, sin embargo, no emulan de manera confiable el procesamiento perceptivo de alto nivel y los estados imaginativos experimentados por los humanos.
Ahsan Adeel, profesor asociado en la Universidad de Stirling, realizó recientemente un estudio que explora la posibilidad de desarrollar modelos de IA que puedan reproducir estos estados mentales superiores, lo que a su vez podría acelerar su aprendizaje y reducir su carga computacional.
Su artículo, publicado en el servidor de preimpresión ARXIV, introduce CO4, un mecanismo de cálculo cognitivo cooperativo de contexto cooperativo inspirado en el cerebro, diseñado específicamente para replicar el mecanismo dependiente del estado de entrada dual que no se cubre en las TPN piramidales en la capa 5 de la neocorteza humana.
“Asistir a lo que es relevante es fundamental tanto para el cerebro de los mamíferos como para los modelos de aprendizaje automático modernos como Transformers”, escribió Adeel en su artículo.
“Sin embargo, determinar la relevancia sigue siendo un desafío central, tradicionalmente descargado con algoritmos de aprendizaje como la respaldo.
Como parte de su reciente estudio, Adeel desarrolló un nuevo modelo de transformador que puede emular el razonamiento perceptivo humano y los estados imaginativos. Este modelo funciona preeleccionando la información relevante e identificando las partes más destacadas de ella antes de aplicarle toda su atención.
El modelo conecta ideas que siguen un patrón de razonamiento particular, que se centra en la pregunta (es decir, lo que se está haciendo); pistas (es decir, información que podría ayudar a responder la pregunta); y valores o hipótesis (es decir, posibles respuestas a las preguntas). Este “bucle” de razonamiento emula las formas en que los humanos intentan resolver problemas, adaptando sus procesos de pensamiento con el tiempo.
“Los bucles de modulación de nivel neuronal triádico entre preguntas (Q), pistas (claves, k) e hipótesis (valores, v) permiten diversas cadenas de razonamiento paralelas a nivel de representación y permiten un cambio rápido de los sesgos iniciales a la comprensión refinada”, escribió Adeel.
“Esto lleva a órdenes de magnitud de aprendizaje más rápido con una demanda computacional significativamente reducida (por ejemplo, menos cabezas, capas y tokens), a un costo aproximado de o (n), donde n es el número de tokens de entrada. Los resultados abarcan el aprendizaje de refuerzo (por ejemplo, carroqui
Adeel evaluó su arquitectura de transformador adaptada en una serie de tareas de aprendizaje, visión por computadora y procesamiento del lenguaje. Los resultados de estas pruebas fueron muy prometedores, destacando la promesa de su mecanismo recientemente desarrollado para avanzar en las habilidades de razonamiento de los modelos de IA, lo que potencialmente los acerca aún más a los observados en humanos.
“La evidencia inicial presentada aquí es una de las muchas razones para creer que emular los fundamentos celulares de los estados mentales superiores, desde el procesamiento perceptivo de alto nivel hasta el razonamiento imaginativo profundo y deliberado, podría ser un paso hacia la inteligencia de la máquina cognitivamente significativa”, concluyó Adeel.
“Este enfoque abre la puerta no solo a la implementación de grandes cantidades de módulos de IA livianos e eficientes, sino también para mover estos sistemas más allá del mero procesamiento de información hacia el razonamiento contextual, cambiando de eficiencia en bruto a una comprensión real”.
Más información: Ahsan Adeel, más allá de la atención: hacia máquinas con estados mentales más altos intrínsecos, ARXIV (2025). Doi: 10.48550/arxiv.2505.06257
Información en el diario: ARXIV
© 2025 Science X Network
Cita: una nueva arquitectura de transformador emula la imaginación y los estados mentales humanos de nivel superior (2025, 29 de mayo) recuperado el 29 de mayo de 2025 de https://techxplore.com/news/2025-05-arquitecture-emulate-highter-human-mental.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
