Microsoft forscht intensiv an neuen Eingabemöglichkeiten und an der Art, wie wir in Zukunft Technik erleben. Neuartige Eingabewege sind zum Beispiel 3D Touch und Omnitouch. Auf dem aktuell stattfindenden UIST (User Interface Software and Technology)-Symposium veröffentlichte das Team um Hrvoje Benko ein Forschungspapier zum haptischen Feedback für VR-Controller.

Hrvoje Benko

Hrvoje Benko ist Forschungsleiter im Bereich der „natürlichen Interaktion“. Er brachte dabei schon Projekte wie die beiden zuvor genannten 3D Touch und Omnitouch auf die Welt. Außerdem gehört die Microsoft Touch Mouse zu seinen Erfolgen. Seinen Doktortitel erwarb er an der Universität von Columbia zum Thema Augmented Reality und Immersion bei interaktiven Tischoberflächen.

Die Technik

Aber nun zurück zum aktuellen Forschungspapier. Darin geht es um zwei Projekte namens NormalTouch und TextureTouch. Beide sind neuartige Controller für VR-Anwendungen, die dem Nutzer erlauben virtuelle Oberflächen mit dem Finger zu ertasten.

NormalTouch rendert Objektoberflächen und lässt auch die Objektbeschaffenheit erfühlen. Realisiert wird das durch eine Plattform, die von vier Servomotoren in der Höhe und Neigung verstellt wird. Bei weichen Oberflächen geben die Motoren in der Höhe dann leicht nach, wohingegen sie bei harten Objekten die Plattform auf ihrem Platz behalten. Zusätzlich ergibt sich so eine weitere Eingabemöglichkeit, drückt man auf die Plattform übt man ja gewissermaßen eine Kraft auf das virtuelle Objekt aus. Ist dieses Objekt beweglich, schiebt oder schubst man das Objekt dann durch den Raum

TextureTouch stellt im Gegenzug die Objektstruktur detaillierter dar. Hier wird eine 4×4 Matrix aus Pins genutzt. Diese Pins werden einzeln angesteuert und bilden so die Struktur nach.

Beide Controller benötigen aktuell noch das Motion-Capture-Verfahren mit einer Spezialkamera und geben Feedback für nur einen Finger. Jedoch sind schon jetzt in diesem frühen Stadium die Vorteile gegenüber Vibrationsfeedback erkennbar. So konnte die Forschungsgruppe eine höhere Genauigkeit bei der Interaktion in VR-Umgebungen feststellen.

Die möglichen Einsatzgebiete sind natürlich vielfältig. Während die Controller aktuell mit einer Oculus DK2 im Einsatz sind, scheint selbstredend die HoloLens als Ziel. Als nächstes wird sich den Forschern wohl die Frage stellen, wie die Technik beim Nutzer aussehen wird.

Für mich denkbar wäre eine Art Handschuh mit TextureTouch auf der Handinnenseite und einer Art Force-Feedback von außen. Der nächste Schritt wäre dann wohl nicht nur haptisches Feedback an den Händen sondern virtuelle Realität erleben mit dem ganzen Körper und allen Sinnen.

Wie eurer Meinung nach ein solcher serienreifer Controller aus? Ist VR/AR mehr als nur ein aktueller Hype?

Quelle ACM Digital Library via Twitter (WalkingCat), UIST, Hrvoje Benko

Bildquelle: Microsoft Pressematerial