Ich weiß nicht genau wieso, aber die „Analyse Szene“ aus dem Science Fiction Film Minority Report hat auf mich immer großen Eindruck gemacht. Es sieht so elegant und zugleich natürlich aus, wie Tom Cruise, unterlegt von klassischer Musik, mit seinen Händen durch das Computer Interface navigiert, Fenster verschiebt, Video-Perspektiven ändert… Andererseits schien die Technologie auch nie sehr weit weg zu sein, sie wirkte futuristisch, aber nicht unrealistisch.

Minority Report kam 2002 in die Kinos, acht Jahre später brachte Microsoft’s Kinect schon Gesten- und Bewegungssteuerung ins Wohnzimmer. Die Technologie war damals noch vergleichsweise rudimentär und trotzdem war mir klar: die Zukunft hatte begonnen. Als Xbox Zubehör hat sich Kinect nie richtig durchgesetzt, der verwandte Ansatz mit dem 3D Touch Interface für Smartphones hat nie Marktreife erlangt. Aber mit dem beginnenden Virtual Reality Zeitalter ist das Thema Gestensteuerung heute so aktuell wie nie und Microsoft forscht hier weiter an vorderster Front. Das Ziel: mit Technologie so natürlich und intuitiv zu arbeiten, wie möglich.

„Wie interagieren wir mit Dingen in der realen Welt? Wir nehmen sie in die Hand, wir berühren sie mit unseren Fingern, wir manipulieren sie“ , sagt Jamie Shotton, einer der führenden Wissenschaftler in Microsoft’s Forschungslabor in Cambridge, GB, „Wir sollten in der Lage sein genau das selbe mit virtuellen Objekten zu machen. Wir sollten in der Lage sein, sie zu greifen und zu berühren.“

Mit dem Handpose Projekt will Microsoft diese Vision wahr werden lassen. Neue Tracking-Technologien und effiziente Algorithmen erlauben es dem Nutzer, etwa in Verbindung mit einem VR Headset oder einer HoloLens, virtuelle Schalter zu betätigen, holographische Projektionen zu bewegen, oder einen flauschigen Hasen zu streicheln. „Wir nähern uns dem Punkt, an dem die Genauigkeit so hoch ist, dass der Nutzer beginnt die Hand des virtuellen Avatars wie seine echte Hand zu empfinden“ , so Shotton.

Interessanterweise haben Microsoft’s Wissenschaftler festgestellt, dass das Fehlen von haptischem Feedback – also des tatsächlichen Spürens einer Berührung – keine große Einschränkung darstellt, wenn Testpersonen mit virtuellen Objekte hantieren. Andere Sinne wie Sehen und Hören reichen oft aus, um die Illusion einer virtuellen Realität zu erschaffen.

Für ein effizientes Handtracking müssen die Entwickler übrigens auch ein komplexes mathematisches Problem lösen: wie lässt sich die Stellung und Bewegung der Hand möglichst schnell und präzise aus wenigen Datenpunkten rekonstruieren? Hierzu benutzt Microsoft ein glattes Oberflächenmodell und den sogenannten Levenberg-Algorithmus, ein numerisches Verfahrung zur Lösung von Optimierungsproblemen, das besonders schnell gute Ergebnisse liefert. Mit dieser effizienten Methode funktioniert der Hand-Tracker etwa auch auf einem normalen Surface Tablet, ohne teure und aufwendige Hardware.

Microsofts Project Prague wiederum beschäftigt sich damit, Entwicklern die nötige Plattform bereitzustellen, um auf grundlegende Gesten – etwa zum Ausschalten des PCs – zurückzugreifen oder eigene Gestensteuerungen für ihre Apps und Programme zu entwerfen. Statt Maus und Tastatur kann man so einfach seine Hände benutzen, um Programme zu schließen, Fenster zu verschieben oder durch die Nutzeroberfläche einer App zu navigieren. Was mit Projekt Prague jetzt schon möglich ist, sehr ihr in folgendem Video:

Ich finde das alles extrem faszinierend. Die Zukunft von Minority Report, die mich in meiner Jugend so beeindruckt hat, scheint jetzt – buchstäblich – zum Greifen nahe.

Quelle: Microsoft