Investigadores de la Universidad Estatal de Pensilvania han desarrollado una aplicación para teléfonos inteligentes que utiliza inteligencia artificial para ayudar a las personas con discapacidad visual a localizar objetos cotidianos en tiempo real.
La herramienta, llamada NaviSense, utiliza modelos de lenguaje de gran tamaño y modelos de lenguaje de visión para reconocer objetos a partir de indicaciones habladas, sin necesidad de plantillas precargadas.
Una característica clave es la “guía manual” en tiempo real. En pruebas con 12 participantes, NaviSense identificó objetos más rápido y con mayor precisión que dos aplicaciones comerciales de ayuda visual, y los usuarios informaron una mejor experiencia general. El equipo ahora está perfeccionando el uso de la batería y la eficiencia del modelo antes de su posible lanzamiento comercial.
