DreamSpace

Dreamspace ist ein durch das FP7-Programm der Europäischen Kommission gefördertes Kooperationsprojekt (Dauer: 2013-2016). Im Rahmen dieses Projekts werden eine neue Arbeitsplattform sowie Methoden entwickelt, die mit Blick auf visuelle Effekte für Film und Fernsehen sowie für neue, immersive Erlebnisse eine virtuelle Produktion über Teamgrenzen hinweg erlauben. Ziel des Projekts ist es, Film- und Medienkreativen zu ermöglichen und Live-Performance, Videos und computergeneriertes Bildmaterial in Echtzeit zusammenzuführen. Es wird von dem auf dem Gebiet der Postproduktion führenden europäischen Softwareunternehmen „The Foundry“ geleitet und vereint führende Forschungseinrichtungen und kommerzielle Organisationen, die im Bereich der Bildverarbeitung und der visuellen Produktion zusammenarbeiten und kreative Erfahrungen ermöglichen. Insgesamt sind sieben Partner daran beteiligt.

Die Film- und Fernsehbranche sucht nach Möglichkeiten zur Produktion audiovisueller Medien, mit denen sich die reale Welt sowie computergeneriertes Bildmaterial und 3D-Animationen zusammenführen lassen, um bedeutende Filme und TV-Programme zu realisieren. Hierzu muss der Stand der Technik auf einer Vielzahl von Gebieten vorangetrieben werden, einschließlich Kombination von 2D- und 3D-Methoden, Tiefen- und Beleuchtungserfassung, Surround-Videos, tiefenbasierte Echtzeit-Verarbeitung und –zusammensetzung, hochauflösendes Echtzeit-Rendering und neue Methoden zur Bearbeitung computergenerierter Objekte und Videos in einer virtuellen Umgebung.

Der Einsatz von computergeneriertem Bildmaterial in Film- und Fernsehproduktionen hat einen technischen Stand erreicht, an dem nur noch für Experten erkennbar ist, welche Teile einer Produktion real sind und welche im Rahmen der Postproduktion zugefügt werden. Der traditionelle Zweiphasenansatz – bestehend aus Filmaufnahmen am Set und der Einbindung visueller Effekte in einer späteren Offline-Nachbearbeitungsphase – hat sich hinsichtlich Kreativität und Kostenwirksamkeit als großes Hindernis erwiesen. Fortschritte bei der Rechenleistung und die im Dreamspace-Projekt entwickelten neuen und echtzeitfähigen Werkzeuge ermöglichen einen neuen Arbeitsablauf, der Film- und Medienkreativen die vollständige Kontrolle über virtuelle (computergenerierte) Komponenten am Set gibt. Erreicht wird dies mittels Visualisierung der virtuellen und realen Objekte, einschließlich Schauspielern, durch Kameratracking und Szenenkomposition in Echtzeit.

Das Intel-VCI entwickelte neue Verfahren zur Bearbeitung am Set und ein Echtzeit-Rendering der globalen Beleuchtung. Damit lässt sich eine realgetreue Beleuchtung der zusammengeführten Szene in Echtzeit visualisieren. Es wurden eine Reihe von Werkzeugen für die Aufnahme der realen Lichtsituationen in einem Studio entwickelt. Diese berechnen anhand einer Reihe von HDR-Bildern (High Dynamic Range) des Studios ein Modell der Studiobeleuchtung. Die berechneten Lichtquellen können anschließend in den Ray-Tracing-Renderer von Dreamspace importiert werden, und virtuelle Objekte werden nahtlos mit der gleichen Lichteinstellung wie im Studio gerendert. Auf der FMX 2015 und der Siggraph 2015 wurde eine integrierte Version dieses Lichtbearbeitungs-Tools vorgeführt. Diese kann über eine intuitive Benutzeroberfläche gesteuert werden, die auf einem Tablet-PC läuft.

Mit Hilfe der von einem Projektpartner entwickelten intuitiven Oberflächen lassen sich alle Elemente einer Produktion von mehreren Benutzern in Echtzeit zusammenführen. Mit dem Projekt wird ein kollaborativer Raum geschaffen, in dem Film- und Medienkreative Grafikelemente in realen Szenen bearbeiten können, d h. digitale Charaktere und Szenen verschieben und steuern, eine Geschichte entwickeln sowie Blickwinkel mühelos wechseln, um das Geschehen von der Perspektive einer anderen Kamera zu sehen. Und schließlich können in einem Bruchteil der Zeit und des Aufwands komplexe visuelle Effekte erzeugt werden.

Außerdem wurde eine erste Version des Ray-Tracing-Renderers von Dreamspace vom Intel-VCI entwickelt. Sie basiert auf einer domänenspezifischen Erweiterung der AnyDSL-Werkzeuge. Der Ray-Tracer unterstützt globale Beleuchtung (mittels Path-Tracing), Transparenz, Texturen und erweiterte Materialen (wie Glas). Mithilfe des AnyDSL-Frameworks kann der Renderer für CPUs und GPUs kompiliert werden. Derzeit wird er in die Dreamspace-Produktionspipeline integriert. Die Performance des AnyDSL-basierten Renderers kann mit hochmodernen, manuell abgestimmten Implementierungen auf beiden Plattformen mithalten. Im Vergleich zur Embree-Implementierung auf der CPU erfordert die AnyDSL-Beschreibung gemäß den Softwarekomplexitätsmaßen von Halstead nur ein Zehntel des Programmieraufwands.

Des Weiteren werden in diesem Projekt neue, immersive Benutzererlebnisse durch Projektpartner untersucht. Die Techniken greifen auf Kamera-Arrays zurück, um reale Inhalte zu erfassen, sowie auf kopfgetragene oder projektionsbasierte Displays zur Darstellung der Inhalte.

Das Dreamspace-Projekt wird von der Europäischen Kommission über das 7. Rahmenprogramm unter der Fördervereinbarung Nr. FP7-ICT-610005 gefördert.

Project Team

Principal Investigator
Dr.-Ing. Oliver Grau