Parallel Online Methods for Lightfield Acquisition

Full-parallax und automultiskopische Displays, die bei freier Wahl der Position des Betrachters und ohne zusätzliche Geräte wie 3D-Brillen einen drei-dimensionalen Bildeindruck liefern, reproduzieren Teile der plenoptischen Funktion einer Szene, das sogenannte Lichtfeld. Durch die Aufnahme des Lichtfelds fallen enorme Datenmengen an, die durch dünne Repräsentationen anwendbar kodiert werden müssen. In diesem Projekt haben wir vor Kurzem begonnen, Methoden für die hoch-parallelisierte, dünne Kodierung von Lichtfeldern und deren Rekonstruktion zu untersuchen.

Wir akquirieren die Lichtfeld-Daten mit Hilfe eines Kamera-Rigs, das aus 24 horizontal angeordneten RGB-Kameras mit einer Auflösung von jeweils 1.3MP besteht, die auf einer horizontal und vertikal verschiebbaren Lineareinheit montiert sind. Dabei kann vertikal ein Bereich von ca. 2,5 m bei einer Genauigkeit von 1/300 mm und horizontal von ca. 0,3 m bei einer Genauigkeit von 1/180 mm abgedeckt werden. Der Aufnahmeprozess wird von zwei Rechnern gesteuert, die sowohl das synchrone Triggering und die Aufnahme der Kameradaten als auch die Ansteuerung der Linear-Einheit übernehmen.

Der spezielle Fokus dieses Projekts liegt auf der Aufnahme dynamischer Szenen, die bewegte Objekte beinhalten. Zur Analyse dynamischer Szenen werden akkurate Bewegungsschätzungen und -prädiktionen für die Inter- und Extrapolation von Ansichten benötigt.

Die große Datenmenge, die durch das Rig akquiriert wird, beinhaltet eine starke Redundanz. So sind die meisten Objekte einer Szene im Allgemeinen dem Lambertschen Gesetz unterstellt und besitzen somit konstante Reflektion in alle Richtungen. Im Falle dynamischer Szenen gelten zudem ähnliche Prinzipien wie in der 2D-Videokodierung, wie z. B. die effiziente Kodierung sich über die Zeit nicht verändernder Bildbereiche. Dünne Lichtfeldrepräsentationen dynamischer Szenen sollen dabei sowohl Orts- als auch Zeitaspekte berücksichtigen und ausnutzen.

Hochparallele Architekturen sollen im Optimalfall sowohl eine Online-Kodierung der Lichtfelddaten als auch ein Rendering in Echtzeit ermöglichen.
Derzeit untersuchen wir optimale, dünne Repräsentationen der Raum-Zeit-Lichtfelder.

Projektteam

Principal Investigators
Prof. Dr.-Ing. Reinhard Koch