El psicolingüista habla sin sentido para chat de entender cómo procesa el lenguaje

Un nuevo estudio que aparece en PLoS uno Por un psicolingüista de la Universidad de Kansas explora cómo ChatGPT, el popular chatbot de inteligencia artificial, respondió a las no palabras.

Las no palabras son letras y sonidos sin sentido utilizados en la psicología cognitiva para explorar cómo los humanos aprenden, recuerdan y procesan el lenguaje.

El autor Michael Vitevitch, profesor en el departamento de audiencia de discurso en KU, quería saber cómo la “caja negra” de ChatGPT podría reaccionar ante indicaciones experimentales similares.

“Como psicolingüista, una de las cosas que he hecho en el pasado es darles tonterías a las personas para ver cómo responden a ello, sin sentido que esté especialmente diseñado para comprender lo que saben”, dijo. “He tratado de usar métodos que usamos con las personas para apreciar cómo están haciendo lo que están haciendo, y para hacer lo mismo con AI para ver cómo está haciendo lo que está haciendo”.

Al alimentar tonterías para chatgpt, Vitevitch descubrió que era bastante bueno descubrir relaciones entre las cosas.

“Encuentra patrones, pero no necesariamente los mismos patrones que un humano usaría para hacer la misma tarea”, dijo. “Hacemos las cosas de manera muy diferente a cómo la IA hace las cosas. Ese es un punto importante. Está bien que hagamos las cosas de manera diferente. Y las cosas con las que necesitamos ayuda, ahí es donde debemos diseñar IA para darnos una red de seguridad, para ayudarnos en esas cosas”.

En una parte del estudio, ChatGPT mostró que podría proporcionar definiciones correctas para muchas palabras en inglés reales que ya no están en uso. Un ejemplo es “desglose”, una ocupación de los años 1800 que implicaba despertar a las personas, ahora obsoletas por los despertadores.

Como estas palabras ya no son parte del inglés, los investigadores las consideran “no palabras”.

Los resultados son ilustrativos de los trabajos internos del chatbot. De 52 palabras extintas cuidadosamente elegidas, ChatGPT respondió con 36 definiciones correctas. Para 11 palabras, ChatGPT respondió que no podía reconocer la palabra. Para tres palabras, el chatbot dio definiciones obtenidas de palabras en idiomas extranjeros.

Para dos palabras, ChatGPT parece haber inventado respuestas, dando las llamadas “alucinaciones” en respuesta a las solicitudes de definición de palabras.

“Alucinó en un par de cosas”, dijo Vitevitch. “Le pedimos que definiera estas palabras extintas. Obtuvo un buen número de ellas. En otro grupo, decía: ‘Sí, no sé qué es. Esta es una palabra extraña o una palabra muy rara que ya no se usa’. Pero luego, en una pareja, creó cosas.

En otra parte del experimento, ChatGPT recibió un conjunto de palabras en español y se le pidió que proporcionara palabras similares del inglés. La tarea se parece mucho a la “tarea asociada fonológica” utilizada con los hablantes de inglés para medir aspectos de la similitud fonológica.

Vitevitch dijo que el experimento destacó la diferencia en cómo los humanos y la IA procesan el lenguaje.

“Si te doy una palabra española y te digo que me dé una palabra que suena como, tú, como hablante de inglés, me darías una palabra inglesa que suena como esa cosa”, explicó. “No me cambiarías de idiomas y me darías algo de un idioma completamente diferente, que es lo que hizo Chatgpt.

“La única vez que las personas cambian de idiomas como ese es cuando los padres multilingües que no enseñan a sus hijos ningún idioma además del inglés quieren hablar de algo sin que los niños entiendan”.

En un tercer aspecto del estudio, las no palabras fueron diseñadas para parecerse a palabras reales en inglés. Luego se le pidió a Chatgpt que calificaran las palabras en una escala de una para una “palabra mala en inglés” hasta siete para una “buena palabra inglesa”, su evaluación de cuánto sonaba la no palabra como una palabra en inglés. Las calificaciones de ChatGPT se compararon con las dadas por los hablantes de inglés humano.

Por último, el investigador de KU llevó a ChatGPT a crear nuevas palabras en inglés que se refieran a un concepto novedoso, al igual que los “sniglets” popularizados en la década de 1980 por el comediante Rich Hall en “No necesariamente las noticias” de HBO.

“Solía ​​hacer ‘sniglets’, que eran palabras que no existen”, dijo Vitevitch. “Como con una aspiradora, cuando hay un hilo en el piso y lo revisas y no se absorbe. Entonces, lo superas, de nuevo y nuevamente. ¿Cómo se llama ese hilo?” Carperpetuación “. Se le ocurrieron un nombre para ese hilo que no se absorbe.

Según Vitevitch, el bot de chat AI hizo “un trabajo interesante allí”. Después de solicitar a ChatGPT para nuevas palabras que coincidían con ciertos conceptos, encontró que a menudo se basaba en un método predecible para combinar dos palabras.

“Mi favorito era ‘Rousrage’, porque la ira expresada al ser despertada”, dijo Vitevitch.

Otras monedas de palabras de chatgpt de la investigación incluyen:

• “Pridify:” Enorgullecerse del logro de otra persona.

• “Lexinize:” El proceso por el cual una no palabra comienza a asumir significado.

• “Stumblop:” para tropezar con los propios pies.

Al hablar sin sentido para chatgpt, Vitevitch espera comprender mejor cuándo la IA podría ayudar a los humanos en ciertas tareas de idiomas en lugar de simplemente duplicar lo que los humanos ya pueden hacer bastante bien.