Scene

Ziel des SCENE-Projekts war es, ein Paradigma für neue Szenendarstellungen für angereicherte vernetzte Medien zu entwickeln. Es wurde von einem Konsortium aus neun führenden europäischen Forschungsinstituten und Unternehmen realisiert. Das Projekt mit einer Laufzeit von 3 Jahren wurde von der Europäischen Kommission über das 7. Rahmenprogramm für Forschung und Technologische Entwicklung (FP7) gefördert. Damit sollten in allen Stufen des Videoproduktionsprozesses modernste Forschungsergebnisse zur Anwendung kommen. Das im Oktober 2014 geendete SCENE-Projekt verbesserte die Datenerfassung, Visualisierung, Interaktion und zahlreiche Möglichkeiten der Datennachbearbeitung.

 

Das Projekt zeigte auf, wie man Engpässe, die sich aus herkömmlichen Kamerasystemen und aus der physischen Welt selbst ergeben, überwinden kann. Bei der rechnergestützten Fotografie werden Bildinhalte rechnerisch verändert, um visuell ansprechende und künstlerisch interessante Ergebnisse zu erzielen. Die erfolgreiche Umsetzung von Ideen aus der rechnergestützten Fotografie erfordert qualitativ hochwertige Daten und Informationen zu Szeneninhalten. Gleiches gilt für die rechnergestützte Videografie, welche die Ideen aus der rechnergestützten Fotografie in bewegliche Bilder überführt. Der Einsatz von Tiefenschärfe, reduzierter Beleuchtung oder Bewegungsunschärfe für künstlerische Effekte hatte in der Anfangszeit mit der Entscheidung zu tun, welche Informationen beibehalten werden: die räumliche oder die zeitliche Information. Mittlerweile können Kameraeffekte, die die Datenqualität beeinträchtigen, mit dem Einsatz neuartiger Aufnahmemethoden und Visualisierungsalgorithmen synthetisiert und anschließend nachbearbeitet werden. Dies stellt auch für andere Nachbearbeitungsmethoden und neue Ansätze eine Erleichterung dar.

Um eine 3D-Welt synthetisch aufzubauen, sind jedoch Informationen erforderlich, die über traditionell erfasste Farbinformationen hinausgehen. Die im Rahmen des SCENE-Projekts entwickelte Motion SCENE-Kamera ist mit einem Time-of-Flight-Sensor ausgestattet, der Farb- und Tiefeninformationen gleichzeitig aufnehmen kann und damit komplette räumliche und zeitliche Daten erfasst.

Neue Segmentierungsalgorithmen und Techniken zur Oberflächenverfolgung ermöglichen es, anhand dieser Daten ein räumlich und zeitlich konsistentes Full 3D-Modell zu erzeugen. Es wurde eine Architektur zur Darstellung von Szenen (Scene Representation Architecture, SRA) entwickelt, die über die Leistungsfähigkeit von rein abtastbasierten (Video) oder modellbasierten (CGI) Verfahren hinausgehen. Damit werden Medienerfahrungen noch weiter angereichert. Die SRA ist eine auf die Filmproduktion ausgerichtete ebenenbasierte Architektur, mit der reale und erzeugte Inhalte auf der niedrigstmöglichen Ebene zusammengeführt werden, um die Nachbearbeitung zu erleichtern und das Nutzererlebnis zu verbessern.

Der SZENE-Renderer ist ein grundlegendes Werkzeug, mit dem Szeneninhalte qualitativ hochwertig visualisiert werden. Der Renderer wurde im Hinblick auf eine leichte Integration künftiger Rendering-Module konzipiert, die Entwicklungen in der rechnergestützten Videografie bereitstellen, um Szeneninhalte realistisch zu rendern.

http://scene.cs.uni-saarland.de/

Project team

Projekt leiter
Prof. Dr.-Ing. Thorsten Herfet