Los investigadores trabajaron con asesores comunitarios al desarrollar y probar el prototipo. Desde la izquierda están los asesores comunitarios Mitchell Case, Emma Elko y Kevin Williams. Crédito: Universidad Estatal de Pensilvania
La comunicación es un derecho humano fundamentalY muchas personas necesitan enfoques o herramientas de comunicación aumentativa y alternativa (AAC), como un cuaderno o una tableta electrónica con símbolos que el usuario puede seleccionar para crear mensajes, para comunicarse de manera efectiva.
Si bien el acceso a las terapias e intervenciones del habla y el lenguaje que promueven los resultados de comunicación exitosos pueden ayudar a algunos, muchos sistemas AAC existentes no están diseñados para apoyar las necesidades de las personas con discapacidades motoras o visuales.
Al integrar los sensores de movimiento con inteligencia artificial (IA), los investigadores de Penn State están encontrando nuevas formas de apoyar aún más la comunicación expresiva para los usuarios de AAC.
Dirigida por Krista Wilkinson, distinguida profesora de ciencias de la comunicación y trastornos en Penn State, y Syed Billah, profesor asistente de ciencias de la información y tecnología en Penn State, los investigadores desarrollaron y probaron una aplicación prototipo que interpreta los movimientos comunicativos basados en el cuerpo en la producción del habla utilizando sensores.
Esta prueba inicial incluyó a tres personas con discapacidad motora o visual que sirvieron como asesores comunitarios del proyecto. Todos los participantes dijeron que el prototipo mejoró su capacidad para comunicarse rápidamente y con personas fuera de su círculo social inmediato. La teoría detrás de la tecnología y los hallazgos iniciales fueron publicado En la revista, comunicación aumentativa y alternativa.
AAC ayudado y sin ayuda
Hay dos tipos diferentes de individuos de AAC que pueden usar. El AAC asistido es típicamente asistido por la tecnología, señalando imágenes o seleccionando símbolos en una aplicación especializada en una tableta electrónica. Por ejemplo, a una persona se les puede presentar tres opciones de alimentos diferentes a través de imágenes en su tableta y señalará la elección que desee, comunicándola con su compañero de comunicación. Si bien el AAC ayudado puede ser entendido fácilmente, incluso por personas que no están familiarizadas con el usuario, puede ser gravoso físicamente para aquellos con discapacidades visuales o motoras, según Wilkinson.
La otra forma de AAC es sin ayuda, o AAC basado en el cuerpo: expresiones faciales, encogimientos de hombros o gestos que son específicos del individuo. Por ejemplo, una persona con poco o ningún discurso que también tenga discapacidades motoras, pero puede mover sus brazos y manos, puede levantar la mano cuando se le muestra una señalización de objeto específica, “Quiero”.
“El AAC sin ayuda es rápido, eficiente y a menudo menos graves físicamente para las personas, ya que los movimientos y los gestos se usan de manera rutinaria en su vida cotidiana”, dijo Wilkinson. “La desventaja es que estos gestos suelen ser conocidos solo por personas familiarizadas con el individuo y no pueden ser entendidos por aquellos con quienes pueden interactuar de manera menos frecuente, lo que dificulta que los usuarios de AAC sean independientes”.
Según Wilkinson, el objetivo de desarrollar el prototipo era comenzar a romper el muro entre AAC asistido y sin ayuda, dando a las personas las herramientas que necesitan para abrir más del mundo y comunicarse libremente con aquellos fuera de sus círculos inmediatos.
Cómo AI puede ayudar
Las tecnologías actuales ya han comenzado a incorporar la IA para el reconocimiento de gestos naturales. Sin embargo, las tecnologías convencionales se basan en un gran número de movimientos producidos por personas sin discapacidades. Para las personas con discapacidades motoras o visuales, es necesario hacer que las tecnologías sean capaces de aprender movimientos idiosincrásicos (movimientos y gestos con significado específico para las personas) y asignarlos a comandos específicos.
La capacidad de estos sistemas para ajustarse a los patrones de movimiento individuales reduce el potencial de error y las demandas impuestas al individuo para realizar movimientos específicos previamente asignados, según Wilkinson.
Sin embargo, la utilidad y la experiencia del usuario de los algoritmos de IA no están explorados en gran medida. Hay brechas en la comprensión de cómo se desarrollan estos algoritmos, cómo se pueden adaptar para los usuarios de AAC con diversas discapacidades y cómo pueden integrarse sin problemas en el AAC existente, según Wilkinson.
Construyendo el prototipo
Al desarrollar y probar el prototipo, Wilkinson dijo que era importante para ella y su equipo reunir comentarios y comentarios de personas que probablemente usarían y se beneficiarían de esta tecnología.
La asesora comunitaria, Emma Elko, haciendo su gesto para señalar: “Quiero” y la integración de IA convierte el gesto en la salida del habla a través de una aplicación para teléfonos inteligentes. Crédito: Universidad Estatal de Pensilvania
Emma Elko es una de las tres “asesores comunitarios” con los que los investigadores trabajaron, junto con su madre, Lynn Elko, la principal socia de comunicación de EMMA. Emma tiene una discapacidad visual cortical, una discapacidad visual causada por el daño a las vías visuales del cerebro en lugar de a los ojos en sí, y usa AAC asistido para comunicarse. Ella también tiene gestos específicos que hace para decir: “Quiero” y “Ven aquí”.
Usando un sensor usado en la muñeca de Emma, los investigadores capturaron sus movimientos comunicativos. El sensor detectó la cinemática, cómo se mueve un objeto, enfocándose en la posición y la velocidad, de cada movimiento, lo que le permite distinguir entre diferentes gestos como un movimiento hacia arriba y hacia abajo en comparación con un movimiento de lado a lado.
Emma se le solicitó a repetir un movimiento tres veces, con Lynn señalando el comienzo y el final del movimiento para que el algoritmo capture. Los investigadores encontraron tres repeticiones de un gesto recopilaron datos suficientes y minimizaron la fatiga del usuario.
Una vez que el algoritmo AI capturó el gesto y se asignó una salida comunicativa asociada, una aplicación de teléfono inteligente conectado tradujo el gesto en la salida del habla que se producirá cada vez que el sensor registraba el gesto que se realiza. De esta manera, Emma podría comunicarse directamente con alguien que no estaba familiarizado con el significado específico de sus gestos.
“La idea es que podemos crear un pequeño diccionario de los gestos más utilizados de un individuo que tienen un significado comunicativo para ellos”, dijo Wilkinson. “Lo mejor de esto es que la tecnología de sensores permite que las personas sean desconectadas de su computadora o tableta AAC, lo que les permite comunicarse con las personas más libremente”.
Traer esta tecnología a las personas que la necesitan
Si bien la tecnología aún está en la etapa prototipo, Lynn dijo que ya ha visto que tiene un impacto positivo en la vida de Emma.
“Ha sido emocionante ver a un sensor ligero y discreto detectar los movimientos comunicativos de Emma y hablarlos por ella, lo que permite a las personas menos familiarizadas con ella para entenderla al instante”, dijo Lynn.
Si bien esta prueba inicial demostró que esta idea funciona en un nivel conceptual, las preguntas permanecen en torno a ajustar la tecnología del sensor. El siguiente paso para Wilkinson y su equipo es poner esta tecnología en manos de más personas con discapacidad motora o visual que usan AAC para pruebas y recopilación de datos más generalizadas. El objetivo de los investigadores es determinar no solo qué tan bien lo hace el algoritmo al identificar los movimientos objetivo, sino qué tan bien puede ignorar los movimientos involuntarios y cómo refinarlo para distinguir entre gestos similares que tienen diferentes significados comunicativos.
“Cada individuo tendrá diferentes prioridades y diferentes necesidades de comunicación”, dijo Wilkinson. “Si bien el sensor es excelente para capturar movimientos que son muy distintos entre sí, necesitamos desarrollar una forma de capturar gestos que requieren más precisión. El siguiente paso para nosotros es desarrollar algoritmos basados en cámara que funcionen en conjunto con el sensor, lo que hace que esta tecnología sea accesible para la mayor cantidad de personas posible”.
Lynn y Emma continúan trabajando con el sensor y la aplicación integrada y pueden verla teniendo un mayor impacto en la vida de Emma a medida que la tecnología continúa evolucionando.
“Estamos ansiosos por esquiar en la temporada de esquiar cuando Emma pueda usar el sensor para comunicarse en las pistas en lugar de comunicarse con su AAC basado en papel en el ascensor de la silla”, dijo Lynn. “Vivir sin palabras habladas puede traer aislamiento y un círculo social limitado. Esta tecnología ampliará el mundo de Emma, y espero con ansias presenciar el impacto de eso en su vida”.
Más información: Krista M. Wilkinson et al, Consideración de aplicaciones de inteligencia artificial para interpretar movimientos comunicativos por personas con discapacidades visuales y/o motoras, comunicación aumentativa y alternativa (2025). Doi: 10.1080/07434618.2025.2495905
Proporcionado por la Universidad Estatal de Pensilvania
Cita: convertir los gestos en discurso para personas con comunicación limitada (2025, 31 de julio) Recuperado el 31 de julio de 2025 de https://techxplore.com/news/2025-07-gestures-sepeople-limited-communication.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
