Virtuelle Realität für den Alltag funktioniert mit Fingertippen

Virtual-Reality-Technologien dringen in immer mehr Bereiche vor. Von der Pilotenausbildung im Flugsimulator ¨¹ber r?umliche Studien etwa in der Architektur bis hin zu immer lebensechteren Videospielen: Die Simulation von Umgebungen, gekoppelt mit Technologien wie VR-Brillen, bietet schier unbegrenzte M?glichkeiten. Im Alltag werden VR-Systeme jedoch noch nicht viel genutzt. ?Mit VR werden heute vornehmlich Inhalte konsumiert. Gerade bei produktiven T?tigkeiten, etwa bei klassischen B¨¹roarbeiten, haben sich die Technologien noch nicht etabliert?, meint Christian Holz, Professor am Institut f¨¹r intelligente interaktive Systeme an der ETH Z¨¹rich. Dabei best¨¹nde auch hier grosses Potenzial: Inhalte sind nicht mehr an einen Bildschirm gebunden, Nutzerinnen und Nutzer k?nnen dreidimensional, hochflexibel und intuitiv mit den H?nden agieren.

Jeder Finger vibriert anders

Was bremst diese Entwicklung? Christian Holz sieht das zentrale Problem bei der Interaktion zwischen Mensch und Technologie. So werden die meisten VR-Anwendungen heute entweder mit Controllern bedient, die in der Hand getragen werden, oder mit den H?nden in der Luft, deren Position per Kamera erfasst wird. Meistens stehen die Nutzerinnen und Nutzer zudem beim Bedienen. ?Wenn man die Arme immer hochhalten muss, wird das schnell erm¨¹dend?, meint Holz, ?Ein normaler Arbeitsprozess, also die Interaktion mit dem System ¨¹ber mehrere Stunden, ist so nicht denkbar.? Ein weiteres Problem ergibt sich etwa beim Tippen auf einer virtuellen Tastatur. Die Finger bewegen sich dabei nur gering, und Kameras k?nnen die Bewegung in der Tiefe nicht so genau erfassen, wie eine mechanische Tastatur das kann. Zudem fehlt bei der Bedienung in der Luft das gewohnte haptische Feedback.

F¨¹r das Team von Forschenden um Christian Holz ist deshalb klar, dass f¨¹r eine sinnvolle produktive Nutzung von VR passive Oberfl?chen weiterhin wichtig sind. Das kann die klassische Tischplatte sein, aber auch eine Wand oder der eigene K?rper. Um diese optimal zu nutzen, entwickelten sie ein Sensorikprinzip namens ?TapID?, welches sie an der Konferenz externe Seite IEEE VR Ende M?rz pr?sentieren werden. Das Prinzip basiert auf mehreren Beschleunigungssensoren am Handgelenk, die in ein normales Gummiarmband eingebettet sind. Diese registrieren, wenn die Hand eine Oberfl?che ber¨¹hrt und welcher Finger benutzt wird. Die Forschenden fanden heraus, dass ihr neuartiges Sensordesign winzige Unterschiede im Vibrationsprofil am Handgelenk aufl?sen kann, die jeder Finger charakteristisch verschieden bei einer Bewegung ausl?st. Eine eigens entwickelte Machine-Learning-Pipeline verarbeitet dabei die gemessenen Daten in Echtzeit. In Kombination mit dem Kamerasystem einer VR-Brille, welches die Position der H?nde erfasst, wird so eine ?usserst exakte Eingabe m?glich. Die Forschenden demonstrieren das in einigen Anwendungen, die sie f¨¹r ihre Entwicklung programmiert haben, etwa einer virtuellen Tastatur und einem Klavier (siehe Video).

Virtuelles Klavierspiel mit der Smartwatch

Das virtuelle Klavier eigne sich besonders gut, um die Vorz¨¹ge von TapID aufzuzeigen, so Holz: ?Hier ist nicht nur r?umliche Genauigkeit, sondern auch das Timing essenziell. Der Zeitpunkt der Tastenber¨¹hrung muss so genau wie m?glich erfasst werden. Das gelingt mit den Sensoren am Handgelenk deutlich besser und genauer als mit einer Kamera.? Die relativ simple Technologie, auf der das System aufbaut, bietet viele Vorteile. So d¨¹rfte ein solches Armband in der Herstellung nur wenige Franken kosten. Das Forschungsteam hat ihr System ausserdem mit bestehenden Technologien getestet: In einer technischen Evaluation mit 18 Teilnehmenden konnten sie zeigen, dass das Prinzip nicht nur mit den eigens konstruierten Elektronik im Armband zuverl?ssig funktioniert, sondern auch mit Fitness-Armb?ndern und Smartwatches von etablierten Anbietern, die mit Tr?gheitssensoren ausgestattet sind. Mit Blick in die Zukunft m?chten die Forschenden daran arbeiten, das Prinzip mit noch mehr Testpersonen zu verfeinern und weitere Anwendungen zu entwickeln.

Ein weiterer Punkt, den Christian Holz sieht, ist die sogenannte Mobile Virtuelle Realit?t: ?Unsere Sensorik ist so tragbar, dass wir VR in Zukunft auch unterwegs nutzen k?nnten. Mit TapID kann man Anwendungen auf der eigenen Hand oder den Oberschenkeln bedienen ¨C ¨¹berall und jederzeit.? Informatikprofessor Holz sieht die Zukunft der virtuellen Realit?t darin, unabh?ngig von der physischen Position zusammenarbeiten zu k?nnen ¨C nicht durch Hardware eingeschr?nkt, sondern so, als w?re man im selben Raum. ?TapID k?nnte ein wichtiger Schritt in diese Richtung sein?, schliesst Christian Holz und wird mit seinem Team um Manuel Meier, Paul Streli und Andreas Fender weiter daran forschen.