Mobile Dynamic Scene Reconstruction

Das Ziel dieses neuen Projekts ist es, skalierbare Algorithmen zur dynamischen Szenenrekonstruktion von allgemeinen dynamischen Szenen aus nur wenigen mobilen Kameras zu untersuchen, die frei in der Hand gehalten und bewegt werden (wie zum Beispiel Kameras in Mobiltelefonen). Dies ist für eine Vielzahl von spannenden Anwendungen von Interesse, z. B. für Mensch-Computer-Interaktion,
3D-Videorekonstruktion, Augmented Reality, Videobearbeitung oder Telepräsenz. Ein besonderer Schwerpunkt in diesem neu beginnenden Projekt liegt auf der Entwicklung neuartiger Methoden für Inter- und Intragerät- sowie Raum-Zeit-Korrespondenzfindung, die erfolgreich auf locker aufgenommene Online-Videos angewandt werden können, d.h. auf mehrere unsynchronisierte, handgehaltene Videos, die mit unterschiedlichen Kameratypen aufgenommen wurden.

Letztlich wird die Kombination dieser Korrespondenzen mit stärkeren, modellbasierten Ansätzen erforscht werden, um die Rekonstruktion von allgemeinen, verformbaren Szenen mittels einfacher, mobiler Sensoren anzugehen. In diesem Zusammenhang werden wir weiterhin auch Konzepte auf der Basis von Inverse Rendering untersuchen, d.h. Methoden zur Schätzung von Beleuchtung und Aussehen aus allgemeinen Videos. Diese versprechen, wichtige Werkzeuge für robustere Korrespondenzfindung und Bewegungsrekonstruktion anhand von Onlinevideos allgemeiner Szenen zu sein. Das Hauptziel ist es, Ansätze auf der Basis von normalen Farbkameras zu entwickeln, aber wir ziehen auch zusätzliche Kamerahardware, wie z.B. Tiefenkameras, in Betracht, sofern dies angemessen erscheint. Dies alles wird völlig neue algorithmische Herausforderungen mit sich bringen, aber auch konzeptionelle Herausforderungen, um die bestmögliche Nutzung der verteilten und möglicherweise unsymmetrischen Rechenleistung von
mobilen und Cloud-Ressourcen zu gewährleisten.

Projektteam

Principal Investigators
Prof. Dr. Christian Theobalt