Unconstrained Performance Capture (Optical Performance Capture)

Klassische Motion Capture-Algorithmen rekonstruieren eine mathematische Beschreibung der Bewegung von Menschen, Tieren oder Maschinen auf der Basis von Sensormessungen. Motion Capture wird in vielen Bereichen angewendet, z. B. der Medizin, der Biomechanik, bei Computeranimation und Computerspielen, bei Spezial-Effekten, in der Überwachungstechnik, der 3D-Video-Produktion und der Mensch-Maschine-Interaktion, um nur einige zu nennen.

Leider hat der überwiegende Teil bestehender Motion Capture-Ansätze einen stark eingeschränkten Einsatzbereich, da die Aufnahme der Bewegung durch bestimmte technische Komponenten in der Szene gestört wird. Zum Beispiel verlangen die meisten optischen Systeme von den Probanden das Tragen spezieller Anzüge mit Markierungen, die als Bezugspunkte dienen. In der Praxis ist das sehr hinderlich und führt letztendlich dazu, dass nur die Skelettbewegungen gemessen werden können, und dies nur unter Laborbedingungen.

Markerlose Motion Capture-Ansätze hingegen überwinden einige dieser Einschränkungen und ermöglichen eine Rekonstruktion des Skeletts ohne optische Markierungen in der Szene.

Allerdings erlauben es auch diese Verfahren nur, die Skelettbewegung zu messen, und nicht etwa detaillierte dynamische Oberflächenmodelle von Objekten oder Personen in allgemeiner Alltagskleidung.

In unserer Forschung untersuchen wir algorithmische Grundlagen der nächsten Generation von Motion Capture-Verfahren, sogenannter Performance Capture-Methoden. Performance Capture-Verfahren rekonstruieren vollständigere und detailliertere Modelle dynamischer Szenen aus Multi-Video-Strömen. Diese Modelle umfassen weitaus detailliertere Bewegungsmodelle als sie mit klassischen Motion Capture-Verfahren erfasst werden können, sowie detaillierte Modelle der sich verändernden Szenengeometrie. Zum Beispiel können Performance Capture-Methoden detaillierte 3D-Modelle einer sich bewegenden Tänzerin in einem Ballkleid rekonstruieren, inklusive aller Details wie Falten in der Kleidung. Zudem erforschen wir auch Methoden zur Erfassung physikalischer Modelleigenschaften, wie zum Beispiel Materialeigenschaften von Kleidung. Solch detaillierte Modelle können dann auch effizient nachbearbeitet und modifiziert werden.

Das Projekt verfolgt zwei Hauptzielrichtungen:

  • Die Verbesserung existierender markerloser Performance Capture-Verfahren, so dass noch detailliertere und komplexere Modelle erfasst werden können. Zudem soll eine Messung auch außerhalb der kontrollierten Studioumgebung ermöglicht werden.
  • Die Entwicklung hoch-performanter Performance Capture-Methoden, so dass dynamische Szenenmodelle auch in Echtzeit und nur mit wenigen Sensoren erfasst werden können.

 

Projektteam

Projektleiter
Prof. Dr. Christian Theobalt

Projektmitarbeiter
Nadia Robertini
Ahmed Elhayek
Pablo Garrido
Levi Valgaerts