Interecon puede recrear las funciones de interacción en el mundo físico, como los movimientos de la cabeza de su bobblehead favorito, la música en su antiguo iPod y la forma en que se mueve su muñeca. Crédito: Alex Shipps/MIT CSail, con elementos de los investigadores.
Piense en sus pertenencias más preciadas. En un mundo cada vez más virtual, ¿no sería genial guardar una copia de ese artículo precioso y todos los recuerdos que posee?
En la configuración de realidad mixta, puede crear un gemelo digital de un artículo físico, como una muñeca vieja. Pero es difícil replicar elementos interactivos, como la forma en que se mueve o los sonidos que hace, el tipo de características interactivas únicas que hicieron que el juguete fuera distinto en primer lugar.
Los investigadores del Laboratorio de Informática e Inteligencia Artificial del MIT (CSAIL) buscaron cambiar eso, y tienen una solución potencial. Su programa “Interecon” permite a los usuarios recuperar objetos del mundo real en una aplicación móvil, y luego animarlos en entornos de realidad mixta.
Este prototipo podría recrear las funciones de interacción en el mundo físico, como los movimientos de cabeza de su bobblehead favorito, o reproducir un video clásico en una versión digital de su televisor vintage. Crea un entorno digital más realista y personal al tiempo que preserva un recuerdo.
La capacidad de Interecon para reconstruir la experiencia interactiva de diferentes elementos podría convertirlo en una herramienta útil para los maestros que explican conceptos importantes, como demostrar cómo la gravedad retira un objeto. También podría agregar un nuevo componente visual a las exhibiciones de museos, como animar una pintura o dar vida a un maniquí histórico (sin los sustos de los personajes de “Night at the Museum”).
Eventualmente, Interecon puede enseñar la cirugía de órganos de un aprendiz de un médico o un procedimiento cosmético visualizando cada moción necesaria para completar la tarea.
El emocionante potencial de Interecon proviene de su capacidad para agregar movimientos o funciones interactivas a muchos objetos diferentes, según el investigador visitante de CSAIL Zisu Li, autor principal de un artículo que presenta la herramienta, publicada en el servidor de preimpresión ARXIV.
“Si bien tomar una foto o un video es una excelente manera de preservar un recuerdo, esas copias digitales son estáticas”, dice Li, quien también es Ph.D. Estudiante de la Universidad de Ciencia y Tecnología de Hong Kong.
“Descubrimos que los usuarios querían reconstruir elementos personales al tiempo que preservan su interactividad para enriquecer sus recuerdos. Con el poder de la realidad mixta, Interecon puede hacer que estos recuerdos vivan más tiempo en configuraciones virtuales como elementos digitales interactivos”.
Li y sus colegas presentarán Interecon en la conferencia 2025 ACM Chi sobre factores humanos en sistemas informáticos.
Hacer un mundo virtual más realista
Para hacer posible la interactividad digital, el equipo desarrolló por primera vez una aplicación para iPhone. Usando su cámara, escanea el elemento todo el camino tres veces para asegurarse de que esté completamente capturado.
El modelo 3D se puede importar a la interfaz de realidad mixta de Interecon, donde puede marcar (“segmento”) áreas individuales para seleccionar qué partes del modelo serán interactivas (como los brazos de una muñeca, la cabeza, el torso y las piernas). Alternativamente, puede usar la función proporcionada por Interecon para la segmentación automática.
Se puede acceder a la interfaz de interecón a través de los auriculares de realidad mixta (como Hololens 2 y Quest). Le permite elegir un movimiento programable para la parte del elemento que desea animar después de que su modelo esté segmentado.
Las opciones de movimiento se presentan como demostraciones de movimiento, lo que le permite jugar con ellas antes de decidir sobre una, por ejemplo, un movimiento que emula cómo se mueven las orejas de un conejito. Incluso puede pellizcar una parte específica y explorar diferentes formas de animarla, como deslizamientos, colgantes y giros de péndulo.
Tu viejo iPod, digitalizado
El equipo demostró que Interecon también puede recuperar la interfaz de dispositivos electrónicos físicos, como un televisor vintage. Después de hacer una copia digital del artículo, puede personalizar el modelo 3D con diferentes interfaces.
Los usuarios pueden jugar con widgets de ejemplo de diferentes interfaces antes de elegir un movimiento: una pantalla (ya sea una pantalla de TV o el visor de la cámara), una perilla giratoria (para, por ejemplo, ajustar el volumen), un botón de estilo “encendido/apagado” y un control deslizante (para cambiar la configuración en algo como una cabina de DJ).
Li y sus colegas presentaron una aplicación que recrea la interactividad de un televisor vintage incorporando widgets virtuales como un botón “activado/apagado”, una pantalla y un interruptor de canal en un modelo de TV, junto con la incrustación de videos viejos en él. Esto hace que el modelo de televisión cobre vida. También puede cargar archivos MP3 y agregar un “botón de reproducción” a un modelo 3D de un iPod para escuchar sus canciones favoritas en realidad mixta.
Los investigadores creen que Interecon abre nuevas vías intrigantes en el diseño de entornos virtuales realistas. Un estudio de usuario confirmó que las personas de diferentes campos comparten este entusiasmo, viéndolo como fácil de aprender y diverso en su capacidad para expresar la riqueza de los recuerdos de los usuarios.
“Una cosa que realmente aprecio es que los elementos que los usuarios recuerdan son imperfectos”, dice Faraz Faruqi SM, otro autor en el periódico que también es un afiliado de CSAIL y MIT Ph.D. Estudiante en Ingeniería Eléctrica e Informática.
“Interecon lleva esas imperfecciones a la realidad mixta, recreando con precisión lo que hizo un artículo personal como un oso de peluche que faltaba algunos botones tan especiales”.
En un estudio relacionado, los usuarios imaginaron cómo esta tecnología podría aplicarse a escenarios profesionales, desde enseñar a los estudiantes de medicina cómo realizar cirugías hasta ayudar a los viajeros e investigadores a registrar sus viajes e incluso ayudar a los diseñadores de moda a experimentar con materiales.
Sin embargo, antes de que se use Interecon en entornos más avanzados, el equipo desea actualizar su motor de simulación física a algo más preciso. Esto permitiría aplicaciones como ayudar al aprendiz de un médico a aprender la precisión precisa necesaria para hacer ciertas maniobras quirúrgicas.
Li y Faruqi también pueden incorporar modelos de idiomas grandes y modelos generativos que pueden recrear elementos personales perdidos en modelos 3D a través de descripciones de idiomas, así como explicar las características de la interfaz.
En cuanto a los próximos pasos de los investigadores, Li está trabajando hacia una tubería más automática y poderosa que puede hacer gemelos digitales conservados por interactividad de entornos físicos más grandes en realidad mixta para los usuarios finales, como un espacio de oficina virtual. Faruqi está buscando construir un enfoque que pueda recrear físicamente artículos perdidos a través de impresoras 3D.
“Interecon representa una nueva frontera emocionante en el campo de la realidad mixta, yendo más allá de la mera replicación visual para capturar la interactividad única de los objetos físicos”, dice Hanwang Zhang, profesor asociado de la Facultad de Computación y Ciencias de Datos de la Universidad Nanyang Technological, que no estuvo involucrado en la investigación.
“Esta tecnología tiene el potencial de revolucionar la educación, la atención médica y las exposiciones culturales al aportar un nuevo nivel de inmersión y conexión personal con entornos virtuales”.
Más información: Zisu Li et al, Interecon: hacia la reconstrucción de la interactividad de los elementos memorables personales en la realidad mixta, ARXIV (2025). Doi: 10.48550/arxiv.2502.09973
Información en la revista: ARXIV proporcionado por el Instituto de Tecnología de Massachusetts
Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/NewsOffice/), un sitio popular que cubre noticias sobre la investigación del MIT, la innovación y la enseñanza.
Cita: Una nueva forma de llevar artículos personales a la realidad mixta (2025, 8 de abril) Recuperado el 8 de abril de 2025 de https://techxplore.com/news/2025-04-personal-items-reality.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
