Device-Independent Multi Reality Interfaces

Das Ziel dieses Projekts besteht darin, mehrere Visualisierungen eines entfernten Ortes in einer browserbasierten Oberfläche zu kombinieren. Die Kombination von stereoskopischem Video und 3D-Computergrafik soll die Möglichkeit des Benutzers verbessern, die dargestellte Szene zu verstehen. Die Kombination der verschiedenen Visualisierungen wird durch das Darstellen eines entfernten, realen Ortes umgesetzt, der in beiden Repräsentationen nebeneinander dargestellt wird. Um dem Betrachter die Zuordnung von entsprechenden Teilen in beiden Repräsentationen zu erleichtern, können beide Teile "synchron" gehalten werden, so dass sie stets jeweils denselben Teil der Szene zeigen. Darüber hinaus kann die Computergrafik Repräsentationen mit Sensordaten angereichert werden, die aus der jeweiligen Szene automatisch extrahiert werden (z. B. Informationen über den aktuellen Zustand einer entfernten Fabrikationsmaschine).

Eine gut umgesetzte Visualisierung der verfügbaren Sensordaten innerhalb der Computergrafikszene erlaubt es, die dargestellten Informationen leicht zu erfassen und den konkreten Bezug zum entsprechenden realen Objekt in der synchron gehaltenen Videodarstellung herzustellen. Des Weiteren enthält das Videobild einen hohen Anteil an Informationen, die nicht auf einfachem Wege in digitale Daten konvertiert werden können (z. B. sich bewegende Personen).

Auf diese Weise wird dem Anwender die Möglichkeit eröffnet, komplexe Szenarien, auf die er keinen unmittelbaren Zugriff hat, möglichst effizient zu verstehen und mit Personen vor Ort zusammenzuarbeiten. Die stereoskopische Darstellung von sowohl Video-Material als auch 3D-Computergrafiken unterstützt die visuelle Wahrnehmung durch eine räumliche, visuelle Komponente.

Da die Anwendung browserbasiert ist, kann sie mit moderatem Aufwand auf verschiedene Plattformen portiert werden. Um dies zu ermöglichen, verwendet die Anwendung die XML3D-Technologie, welche als Standard für interaktive Computergrafiken im Web vorgeschlagen wurde.

The current implementation is completely browser based and runs in a standard Chrome browser. The video visualization of the task space is implemented using a custom video plugin to enable a flexible approach to the delivery of the video stream. We apply the XML3D technology to create an interactive 3D model. In contrast to the task space visualization, we apply the WebRTC framework to realize the video conferencing feature. For the data exchange between different peers we use a set of WebSocket servers which we can communicate to through the native WebSocket API of the browser.