Crédito: Hongchi Xia
Los investigadores de Cornell han desarrollado un proceso con IA que transforma automáticamente un video corto de una habitación en una simulación interactiva y 3D del espacio.
Dentro de este “gemelo digital” altamente preciso, los usuarios pueden abrir cajones y gabinetes y manejar objetos en la encimera. La tecnología se puede utilizar para desarrollar videojuegos más realistas y prácticamente entrenar robots para operar dentro de un espacio específico del mundo real, esencialmente cualquier aplicación que necesite un modelo realista e interactivo de una habitación.
“Las técnicas existentes, aunque le permiten sintetizar cómo se ve el mundo desde diferentes puntos de vista, a veces carecen de esta capacidad de ser inmersivo, donde realmente puede interactuar con la escena”, dijo Wei-Chiu MA, profesor asistente de ciencias de la computación en el Cornell Ann S. Bowers College of Computing and Information Science, e investigador senior en el proyecto. “Debido a los avances en las técnicas generativas de IA, finalmente tenemos suficientes herramientas para hacer un paso para el bebé hacia la creación de gemelos digitales que ahora son interactables”.
Sus colaboradores incluyen Hongchi Xia, un Ph.D. Estudiante de informática en la Universidad de Illinois Urbana-Champaign. Xia presentó su proyecto “,Cajón: Reconstrucción digital y articulación con el realismo ambiental“El 15 de junio en el Conferencia IEEE/CVF sobre visión por computadora y reconocimiento de patrones en Nashville, Tennessee.
El proceso de crear un gemelo digital de una habitación usando cajón comienza con solo unos minutos de filmación.
El cajón convierte automáticamente un video de una escena estática sin ninguna interacción con las puertas y objetos en la escena en un entorno interactivo con objetos segmentados y puertas articuladas. Crédito: Hongchi Xia
“Nuestra entrada es solo un video que captura casualmente en la cocina. No necesita interactuar con las puertas del gabinete o con los objetos”, dijo Xia. “Simplemente sostengo mi iPhone, no necesitas un dispositivo de video avanzado o una cámara costosa”.
Para convertir ese video en una sala digital que es fotorrealista e interactiva, los investigadores reunieron múltiples modelos de IA. Combinaron dos métodos para representar imágenes digitales: una que se ve atractiva y un segundo que recrea la escena con dimensiones muy precisas. También agregaron un módulo de percepción, que determina qué partes de la escena son móviles y cómo deben moverse, como cómo se abre una puerta de refrigerador. Finalmente, incluyeron un modelo que llena el interior invisible de los cajones.
Sin embargo, el cajón en desarrollo no era tan simple como solo vincular los módulos, dijo Xia. Tuvo que integrarlos en un marco unificado. Una vez completado, utilizó el método para desarrollar recreaciones de una cocina, un baño e incluso su oficina.
Los gemelos digitales generados por este enfoque funcionan sin problemas con los motores de juego utilizados para crear videojuegos, dijo Xia. El equipo de investigación demostró esto creando un juego donde el usuario dispara bolas para derribar objetos en la cocina, como la tetera y la botella de jabón.
El marco también se puede aplicar a los robots virtualmente de capacitación para operar en entornos del mundo real a través de un proceso llamado transferencia real a sim a la realización. Los investigadores prácticamente entrenaron un brazo robótico en el gemelo digital de la cocina y luego mostraron que guardaba con éxito objetos en el cajón del mundo real.
Mociones de simulación de articulación. Visualizamos las comparaciones entre nuestras trayectorias de movimiento de articulación predichas (rojo) y las trayectorias GT (azul). Crédito: Hongchi Xia
Se imaginan que en el futuro cercano, alguien podría pedir un robot, subir un video de su casa y el gemelo digital de la casa podría usarse para entrenar al robot para que funcione dentro del espacio antes de que esté fuera de la caja. La simulación es una forma más barata, más rápida y segura de entrenar a un robot, dijo Ma.
Actualmente, el cajón solo funciona con objetos rígidos, como una tetera, pero finalmente planean incluir objetos suaves o deformables, como telas o ventanas que pueden romperse.
Además, el cajón actualmente recrea una sola habitación, pero MA y Xia esperan extender este trabajo para abarcar edificios completos. También imaginan la creación de gemelos digitales de espacios al aire libre donde la tecnología podría usarse para diseñar ciudades u optimizar los rendimientos agrícolas.
“Nuestro objetivo final es tratar de construir un gemelo digital de todo en el mundo”, dijo Xia, “para que hay muchas cosas que podemos explorar en el futuro”.
Los autores adicionales en el estudio incluyen colegas de la Universidad de Washington, incluidos Entong Su, Marius Memmel, Arhan Jain, Raymond Yu, Numfor Mbiziwo-Tiapo, Ali Farhadi (también en el Instituto Allen de Inteligencia Artificial) y Abhishek Gufpta, así como Shenlong Wang de la Universidad de Illinois-Champaign.
Más información: Documento: Cajón: Reconstrucción digital y articulación con el realismo ambiental
Proporcionado por la Universidad de Cornell
Cita: Creación de una sala digital interactiva en 3D de Simple Video (2025, 30 de junio) Consultado el 30 de junio de 2025 de https://techxplore.com/news/2025-06-3d-interactive-digital-room-simple.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
