Mehr Durchblick dank Augmented Reality

Wer Marino Menozzi in seinem B¨¹ro in Z¨¹rich besucht, wird zun?chst von einem Auge, so gross wie ein Medizinball, empfangen. Aus Styropor gefertigt, liegt es auf der Schrankablage hinter Menozzis Pult. Was es damit auf sich hat, erf?hrt man im Labor nebenan. Dort liegt vor einem Computerbildschirm ein Holzbrett, auf dem zwei kleine Kameras im rechten Winkel zueinander befestigt sind. Daneben ein Stift mit einer winzigen Pinzette und eine bullige Brille, die ein wenig an Robocop erinnert. ?Was Sie hier sehen, ist eine Simulationsplattform f¨¹r Operationen am Auge?, erkl?rt Menozzi, Privatdozent an der Professur f¨¹r Consumer Behavior.

Seit Monaten besuchen angehende Augen?rzte das Labor von Menozzi, um ihre Handfertigkeit f¨¹r die Operation der epiretinalen Gliose (auch Macular Pucker genannt) zu ¨¹ben. Eine solche OP wird n?tig, wenn die Bindegewebemembran um den Glask?rper des Auges tr¨¹b wird und Zug auf die Netzhaut aus¨¹bt, der zu Rissen f¨¹hren kann. Die Folge: ein stark eingeschr?nktes Sehverm?gen.

Diffizile Operation

W?hrend der Operation wird zuerst der Glask?rper, also das durchsichtige Gel im hinteren Teil des Auges, entfernt. Danach wird ¨¹ber eine Kan¨¹le von weniger als einem Millimeter Durchmesser die hauchd¨¹nne Membran mit einer sehr feinen Pinzette von der Netzhaut abgezogen. Wenn alles gut l?uft, hat der Patient wenige Wochen sp?ter wieder eine klare Sicht. Eine solche OP braucht viel Fingerspitzengef¨¹hl und Erfahrung. Angehende ?rzte assistieren deshalb oft jahrelang und ¨¹ben die Operation zus?tzlich an Plastikmodellen und am lebendigen Tier. Letzteres ist aufw?ndig und wirft ethische Fragen auf, zudem k?nnen schwierige Bewegungen nicht wiederholt ge¨¹bt werden.

Hier kommt die Robocop-Brille in Menozzis Labor ins Spiel: Ge¨¹bt wird virtuell und mit Hilfe von Augmented Reality. Wer sich die Brille ¨¹berstreift, vor dem erscheint schwebend in der Luft ein achtfach vergr?ssertes, virtuelles Auge ¨C genau die Vergr?sserung, mit der Chirurgen normalerweise unter dem Mikroskop operieren. Anders als bei Virtual Reality (VR), bei der der Nutzer die Umwelt gar nicht mehr wahrnimmt, wird bei Augmented Reality (AR) das reelle Bild lediglich mit zus?tzlichen virtuellen Elementen angereichert. In diesem Fall sind dies das vergr?sserte Auge sowie im Sichtfeld auftauchende Anweisungen f¨¹r die OP. Zum Beispiel Pfeile, Linien und Kreise, die den ?benden einen Idealpfad anzeigen, den sie mit der Pinzette abfahren sollen. Rund um das vergr?sserte Auge erscheint die reelle Umgebung, weshalb die Probanden auch ihre H?nde und die Position des Operationsinstruments sehen k?nnen.

Da jede Handbewegung durch die Minikameras auf dem Brett aufgezeichnet und an die Brille weitergeleitet wird, kann der Computer genau berechnen, wie genau ein Proband gearbeitet hat. Zudem k?nnen angehende Chirurgen virtuell ein ?Intelligent Tutoring? durchlaufen. Sprich, ein Algorithmus berechnet, welche Etappen der Operation erfolgreich durchgef¨¹hrt wurden und welche M¨¹he bereiteten. Darauf basierend wird eine ?bungssequenz zusammengestellt, die den maximalen Lerneffekt verspricht. ?Wir hoffen, dass wir dadurch den Trainingseffekt verbessern k?nnen, so dass angehende ?rzte schneller f¨¹r OPs bereit sind und weniger Fehler machen?, sagt Menozzi.

Fehlende Haptik und Verz?gerung

Derzeit werden der Nutzen und die Akzeptanz der Simulation im Rahmen dreier Masterarbeiten und mit 23 angehenden ?rztinnen und ?rzten getestet. Gian-Luca K?chli ist einer von ihnen. Er ist im letzten Jahr seines Medizinstudiums und hat den AR-Simulator bereits sechsmal getestet. Sein Fazit: ?Die Simulation ist sehr empfindlich und genau; ich war erstaunt, wie realistisch das bereits wirkt.? St?rend fand er hingegen, dass die Bilder auf der Brille leicht verz?gert zur tats?chlichen Bewegung erscheinen. Zudem fehle bisher noch eine realistische Haptik. Grunds?tzlich findet er den Ansatz, OPs am Simulator zu ¨¹ben, aber vielversprechend, bevor man damit an den Menschen gehe.

Menozzi sieht derzeit drei grosse Herausforderungen: Da die virtuellen Bilder, abh?ngig von den Handbewegungen, zuerst von einem Computer berechnet und per WLAN auf die Brille geschickt werden, erscheinen diese, wie erw?hnt, 20 bis 30 Millisekunden verz?gert. Damit sei die Latenzzeit noch zu hoch, stellt Menozzi fest. Zweite Herausforderung: Manche Probanden reagieren auf bestimmte Simulationen mit Schwindel oder sogar Erbrechen. Dritte Herausforderung ist das Gef¨¹hl von Pr?senz w?hrend der Simulation. ?Sie ist f¨¹r uns ein wichtiges Indiz daf¨¹r, wie gut die Ergebnisse w?hrend einer Simulation auf die Realit?t ¨¹bertragbar sind?, so Menozzi. Derzeit ist zum Beispiel das Sichtfeld noch stark eingeschr?nkt. W?hrend das nat¨¹rliche Sichtfeld einen Winkel von etwa 200¡ã abdeckt, sind es mit der Mixed-Reality-Brille lediglich 35¡ã. F¨¹r einen realistischen Eindruck w?ren 120¡ã n?tig. Akustik, Geruch und Haptik k?nnten die Pr?senz ebenfalls verst?rken.

?App Store? f¨¹r Simulationen

Sandro Ropelato, der den Simulator im Rahmen seiner Doktorarbeit entwickelt, ist ¨¹berzeugt, dass das Potenzial der Technologie weit ¨¹ber die Augenchirurgie hinausreicht. Auch andere knifflige und risikoreiche Operationen k?nnten k¨¹nftig vorg?ngig f¨¹r die AR-Simulation modelliert werden, so dass ?rzte und ?rztinnen s?mtliche Handgriffe im virtuellen Modell ein¨¹ben k?nnten. Weitere Einsatzgebiete sieht er in der Elektronik, zum Beispiel bei der Pr?paration von Silizium-Wafern f¨¹r Mikrochips.

Ropelatos l?ngerfristige Vision: Eine Art ?App Store? mit unterschiedlichen Simulationen f¨¹r sein Hardware-Setup, bestehend aus Hololens, Mikrokameras und Computer. Die 3D-Simulation basiert n?mlich auf ?Unity?, eigentlich eine Gaming-Software, die sich jedoch f¨¹r allerlei AR- und VR-Anwendungen durchgesetzt hat. Deshalb sind ¨¹bers Web tausende Softwareelemente verf¨¹gbar, die lediglich f¨¹r die eigenen Anwendungen adaptiert werden m¨¹ssen. Ropelato und Menozzi planen mittelfristig einen Spin-off zur Vermarktung der Simulationsplattform. ?Davor m¨¹ssen wir jedoch noch viel von den Nutzern lernen?, betont Menozzi. ?Ihre Akzeptanz ist f¨¹r unseren Erfolg entscheidend.?

Dieser Text ist in der aktuellen Ausgabe des ETH-Magazins Globe erschienen.