Multi Touch Interaction on Stereoscopic Displays

Bereits heute sind moderne 3D-Display-Geräte, wie z. B. 3D-Fernseher, autostereoskopische Displays oder auch 3D Vision-Technologie des Unternehmens Nvidia für Endverbraucher erhältlich. Die drei bisher getrennten Welten von Internet, traditionellem Fernsehen und Computerspielen verschmelzen immer mehr zu einem allumfassenden Informations- und Unterhaltungsmedium. Bereits jetzt ist abzusehen, dass das 3D-Internet eine wichtige technische Plattform für diese Entwicklung wird. Zukünftig werden mehr und mehr 2D-Webseiten verfügbar sein, die 3D-Inhalte bieten. Zur Darstellung von Interaktion mit diesen Inhalten werden stereoskopische Display-Geräte verwendet. Allerdings wurde bisher kaum Forschung hinsichtlich geeigneter, intuitiver Benutzeroberflächen und Interaktionstechniken für die Kombination von 2D- und 3D-Inhalten betrieben.

Dieses Projekt untersucht mögliche, naheliegende Kombinationen traditioneller 2D- und 3D-Benutzeroberflächen. Weiterhin gilt es, intuitive Formen der Interaktion in gemischten 2D- und 3D-Welten zu evaluieren. Insbesondere untersucht das Projekt die Kombination der weitgehend akzeptierten Multi-Touch-Bedienung mit 2D- und 3D-Benutzeroberflächen. Die größten Problemstellungen, die sich in diesem Zusammenhang ergeben, sind die reduzierte Lesbarkeit von Texten und kleinen Details auf 3D-Displays, die Notwendigkeit 2D-Oberflächen auf die Wahrnehmung innerhalb eines 3D-Raums anzupassen und mögliche visuelle Fehldarstellungen, die durch eine Kombination von 2D- und 3D-Inhalten innerhalb einer Anwendung zustande kommen.

Monoskopischer MT-Tisch unter Verwendung des DI-Prinzips

Abhängig vom Multi-Touch-Gerät werden unterschiedliche Protokolle für die Touch-Erkennung verwendet. MT-Tische mit eingebauter Infrarot-Kamera, die mittels Rückprojektion funktionieren, müssen Berührungen auf Basis von Infrarot-Bildern der Kamera ermitteln können. Wir haben unter Verwendung des Prinzips diffuser Beleuchtung (DI) und einer stereoskopischen Installation mit Laser Light Plane (LLP – siehe http://nuigroup.com/forums/viewthread/2109/) einen monoskopischen MT-Tisch gebaut. Sowohl die diffuse Beleuchtung als auch die LLP wurden mit dem Wissen im Hinterkopf implementiert, dass Nutzer von MT-Tischen in der Regel vor selbigen stehen, wenn sie mit ihnen interagieren. Zusätzlich haben wir eine monoskopische Version mit einem kommerziell erhältlichen MT-Bildschirm von PQLabs (http://multi-touch-screen.com) gebaut, die von Benutzern im Sitzen bedient werden kann.

Stereoskopischer MT-Tisch unter Verwendung des LLP-Prinzips

Im Vorfeld wurde eine Analyse mehrerer MT-Frameworks und Bibliotheken, wie z. B. Touchlib, CCV, mt4j, reacTIVision, sowie der erst kürzlich veröffentlichten MT-Funktionalität von Microsoft Windows 7 und einigen Linux Derivaten durchgeführt. Was unsere Vorführgeräte angeht, so haben wir uns bei den MT-Tischen für CCV entschieden, bei den MT-Bildschirmen fiel unsere Wahl auf die Windows 7-Standard-MT-Funktionalität. Die Auswertung, wie schnell und zuverlässig Berührungen von unterschiedlichen Erkennungstechnologien identifiziert werden, ist noch nicht abgeschlossen.

Wir haben sowohl direkte als auch indirekte Interaktion implementiert. Direkte Interaktion bedeutet, dass Objekte oder Benutzerelemente ohne Benutzung von Zeigern oder anderen Benutzeroberflächen berührt werden. Im Falle einer stereoskopischen Darstellung führt diese Art der Interaktion zu visueller Irritation und unerwünschten Nebenwirkungen, wenn virtuelle Objekte, die sich visuell über der Bildschirmoberfläche befinden, berührt werden. Die dreidimensionale Wahrnehmung des Objekts geht unter Umständen gänzlich verloren, da die Finger gezwungen sind, die Oberfläche zu berühren, während sich das Objekt eigentlich über der Oberfläche befindet. Zur Vermeidung solcher Irritationen haben wir uns bei der stereoskopischen Darstellung für eine indirekte Interaktion entschieden.

Objektmanipulation und Steuerung erfolgen mittels festgelegter Interaktionsbereiche, so dass die direkte Berührung virtueller Objekte nicht mehr notwendig ist. Eine andere Lösung wäre, die virtuellen Objekte während der Interaktion unter die Bildoberfläche zu schieben. Als Nachteil ist hier allerdings die ständige Veränderung der Anwendersicht auf die dargestellten Objekte zu erwähnen, was zu Unwohlsein oder sogar Übelkeit führen kann.

Allgemeine Systemarchitektur

 

Projektteam

Projektleiter
Dr. Hilko Hoffmann

Projektmitarbeiter
Jürgen Grüninger, M.Sc.