Wie Top-Forschende internationale Firmen in die Schweiz bringen
Mit ihrem exzellenten Ruf zieht die ETH Spitzenforscherinnen und -forscher aus aller Welt an. Das wiederum lockt internationale Unternehmen wie Microsoft nach Zürich.
Eine Gruppe junger Menschen schreitet kreuz und quer durch die Empfangshalle des ETH-Hauptgeb?udes. Sie tragen eine futuristisch anmutende Brille. Was wie Spielerei aussieht, hat einen wissenschaftlichen Hintergrund: Die Umhergehenden sind Studierende und vermessen mit ihren Datenbrillen den Raum. Damit kann dieser Raum dereinst mit Hologrammen ?bespielt? werden – und die Grenzen zwischen realer und virtueller Welt aufl?sen. Die verschiedenen Kameras an der Brille sammeln dabei visuelle Eckpunkte, die als Referenz dienen – und künftig immer wiedererkannt werden, egal, wo gerade man sich im Raum befindet.
Marc Pollefeys, Informatikprofessor an der ETH Zürich, ist in dieser futuristischen Welt zu Hause. Eine Welt, die sich Mixed Reality nennt und die, so ist der Professor überzeugt, für viele Menschen in ein paar Jahren zum Alltag werden wird. Pollefeys forscht daran, wie sich diese beiden Welten, die reale und die virtuelle, m?glichst nahtlos miteinander kombinieren lassen.
Dem ETH-Professor ist es zu verdanken, dass Microsoft heute in Zürich erweiterte Realit?ten und künstliche Intelligenz (KI) erforscht. Pollefeys hatte dem Technologiekonzern w?hrend einer Auszeit in den USA dabei geholfen, die Mixed-Reality-Brille HoloLens 2 zu entwickeln. Als der belgische Computerwissenschaftler nach zwei Jahren zu seiner Professur in Zürich zurückkehrte, wollte Microsoft nicht auf seine Arbeit verzichten und gründete 2018, mit der ETH als Partnerin, in Zürich das Microsoft Mixed Reality & AI Lab. Neben seiner Lehr- und Forschungst?tigkeit an der ETH leitet Pollefeys heute dieses Zentrum.
Forschungsfeld: Computer Vision
Marc Pollefeys war drei Jahre lang Assistenzprofessor an der University of North Carolina, bevor er 2007 als Professor nach Zürich kam – für ihn eine einfache Entscheidung. ?Die ETH verfügt in allen Forschungsbereichen, nicht nur in meinem, über exzellente Mitarbeitende. Dies war mir im Hinblick auf eine m?gliche Zusammenarbeit sehr wichtig. Und auch um weitere talentierte Kolleginnen und Kollegen anzuziehen.? Pollefeys wurde nicht entt?uscht: ?Ich kann an der ETH viele spannende gemeinsame Projekte realisieren – auf Augenh?he mit anderen hervorragenden Forschenden.?
Von Anfang an widmete sich Pollefeys der Computer Vision, einem Teilgebiet der KI. Computer Vision trainiert Computer darin, Informationen aus Bild- und Videodaten zu erfassen und zu interpretieren. Das Ziel ist es, mithilfe von Modellen des maschinellen Lernens digitale Systeme zu schaffen, die visuelle Daten verarbeiten, analysieren und verstehen k?nnen wie Menschen.
Ein System, das zum Beispiel auf die ?berwachung von Produktionsanlagen trainiert ist, kann Tausende Produkte oder Prozesse pro Minute überprüfen und M?ngel oder Probleme wahrnehmen, die von Menschen kaum erkannt werden. Computer Vision wird in verschiedenen Branchen eingesetzt, von der Energie- und Versorgungswirtschaft bis hin zur Fertigungs- und Automobilindustrie.
Neue Anwendungsm?glichkeiten
Durch die Kombination von Computer Vision und Mixed Reality, bei der unsere natürliche Wahrnehmung um eine künstlich erzeugte Wahrnehmung erg?nzt wird, k?nnen komplett neue Umgebungen für Nutzerinnen und Nutzer kreiert werden. Dadurch entstehen innovative und sichere Anwendungsm?glichkeiten.
?Ich kann an der ETH Zürich viele spannende gemeinsame Projekte realisieren – auf Augenh?he mit anderen hervorragenden Forschenden.?Marc Pollefeys, Professor am D-INFK und Leiter des Microsoft Mixed Reality & AI Lab
M?glich machen das Mixed-Reality-Brillen wie die HoloLens. Sie ist ausgestattet mit unterschiedlichen Sensoren und Kameras, um zum Beispiel Augenbewegungen zu verfolgen, Gesten, Objekte und Sprache zu erkennen. Ausserdem werden R?ume dreidimensional erfasst, um die Position und Lage von Objekten in diesen R?umen berechnen zu k?nnen. Das ist die Grundlage dafür, um in der HoloLens digitale 3D-Objekte zu erzeugen.
Mit einer solchen Brille lassen sich zum Beispiel direkt vor Ort Schaltpl?ne oder ein digitaler Bauplan eines Gegenstands oder eines Geb?udes ansehen. ?Durch die ?berlagerung des virtuellen Plans mit der Realit?t k?nnen Aufgaben erledigt werden, ohne vorher auf einen Plan zu schauen?, erkl?rt Pollefeys. Mixed Reality kann aber auch dabei helfen, medizinisches Personal für heikle Operationen zu trainieren. Oder sie kann Roboter gef?hrliche Arbeiten ausführen lassen, denn durch einfache Handgesten lassen sich diese mit der HoloLens fernsteuern.
Anweisungen in Echtzeit
Vor dem Hintergrund der Automatisierung, des Internet of Things (IoT) sowie des allgemeinen Fachkr?ftemangels sei die Industrie auf neue L?sungsans?tze angewiesen, sagt Pollefeys: ?Es braucht Mitarbeitende, die flexibler sind und viele verschiedene Aufgaben erledigen k?nnen.?
Fehlmanipulationen, inkorrekte Anwendungen oder Wartungsfehler k?nnten ein Unternehmen teuer zu stehen kommen und für die Mitarbeitenden gef?hrlich werden. Mit Mixed Reality erhalten Nutzende relevante digitale Informationen zum richtigen Zeitpunkt und im richtigen Kontext. Wenn eine Fachkraft zum Beispiel vor einer Maschine steht, k?nnen Pfeile und andere Symbole sie Schritt für Schritt durch eine anspruchsvolle oder neue Aufgabe führen. Oder die Person erh?lt durch die Einblendung von IoT-Sensoren Einblick in die Live-Statusdaten der Maschine. Im Gegensatz zu Virtual Reality, wo man komplett in eine künstlich erzeugte Welt abtaucht, bleibt bei Mixed Reality die reale Umgebung weiterhin sichtbar, w?hrend 3D-Hologramme im Sichtfeld der Nutzenden eingeblendet werden.
Forschung, Lehre und Anwendung
Als Direktor des Mixed Reality & AI Zurich Lab und Forschungsverantwortlicher bei Microsoft führt Pollefeys in der Schweiz ein Team von 25 Wissenschaftler:innen und Ingenieur:innen. Dazu kommt ein Mitarbeiter in Prag – und 15 weitere am Hauptsitz in Redmond (US). ?Ich bin stolz darauf, dass es mir gelungen ist, ein gut durchmischtes Team mit erstklassigem Fachwissen und grossen Talenten aufzubauen?, sagt Pollefeys. ?Das braucht es auch, denn wir arbeiten an einer zukunftsweisenden Technologie, von der wir noch nicht genau wissen, was wir brauchen und wie wir sie bauen sollen.? Die Technologie entwickle sich rasant und fordere von seinem Team grosse Flexibilit?t.
Pollefeys ist je fünfzig Prozent an der ETH und bei Microsoft angestellt. Er arbeitet, forscht und lehrt – unterteilt in einzelne Halbtage und Tage – an zwei verschiedenen Standorten und wechselt jeweils das Büro. ?Das macht die Organisation der verschiedenen Aufgaben für mich einfacher und strukturierter.?
Wenn die Suche nach L?sungen für eine spezifische Mixed-Reality-Anwendung heikel sei, arbeite er nur mit Microsoft-Mitarbeitenden daran, sagt Pollefeys. Eine strikte Trennung zwischen Hochschule und Technologiekonzern mache aber in den wenigsten F?llen Sinn: ?Wenn es sich um ein grunds?tzliches Problem handelt, das eine allgemeine L?sung ben?tigt, und es einen Charakter von Grundlagenforschung hat, dann arbeiten wir mit der ETH und Microsoft zusammen.?
Manchmal st?sst der Computerwissenschaftler bei seiner Arbeit bei Microsoft auf ein Problem, das er dann vollumf?nglich in die Lehre und Forschung bei der ETH einbringt. ?Das ist für die Studierenden meistens sehr spannend – und motivierend, weil sie wissen, dass es sich um ein reales Problem aus der Praxis handelt.?
?Unsere Zusammenarbeit mit der ETH führt zu herausragenden Ergebnissen, die Innovationen in verschiedenen Sektoren vorantreiben und zur Position der Schweiz als globale Technologieführerin beitragen.?Marc Holitscher, National Technology Officer bei Microsoft Switzerland
Egal ob im Rahmen seines Engagements bei Microsoft oder an der ETH Zürich: Forschungsergebnisse werden, wenn immer m?glich, ver?ffentlicht und Codes geteilt. Er arbeite auch mit anderen Firmen zusammen, betont Pollefeys. ?Als Forscher ist es mir wichtig, dass ich neutralen Boden bewahren kann.? Aus seiner Professur ging zum Beispiel ein Schlüsselalgorithmus hervor, der als Grundlage diente für die heute weltweit genutzte Navigationsfunktion Google Live View.
Eine Win-Win-Situation für alle
Microsoft erh?lt durch die Zusammenarbeit mit der ETH einen vertieften Einblick ins Forschungsgebiet – und kann dadurch mehr Innovation hervorbringen. Als Produktteam eines Unternehmens bewege man sich in engeren Banden und habe beschr?nkt Zeit, Neues auszuprobieren, erkl?rt Pollefeys. Die Kooperation mit der ETH helfe Microsoft dabei, neue Denk- und L?sungsans?tze zu finden.
Das best?tigt Marc Holitscher, National Technology Officer bei Microsoft Switzerland. ?Unsere Zusammenarbeit mit der ETH und insbesondere mit Marc Pollefeys hat bereits zu herausragenden Ergebnissen geführt, die Innovationen in verschiedenen Sektoren vorantreiben und zur Position der Schweiz als globale Technologieführerin beitragen?, so Holitscher. ?Gemeinsam werden wir weiterhin die Grenzen des Machbaren verschieben und Spitzenforschung, Talente und Technologie nutzen, um einige der dringendsten Herausforderungen der Welt zu bew?ltigen.?
Aber auch für die Hochschullehre sei die Zusammenarbeit mit der Industrie ein Gewinn, unterstreicht Pollefeys: ?Sowohl die Ingenieur:innen von Microsoft als auch wir Professor:innen tragen aktuelle Probleme und Ideen an die Studierenden heran und bieten ihnen einerseits spannende M?glichkeiten, an denen sie arbeiten k?nnen, andererseits k?nnen sie aber auch Ideen ausprobieren und neue angewandte Techniken kennenlernen.?
Die Zusammenarbeit zwischen der Hochschule und dem internationalen Technologiekonzern sei für alle Seiten ein Gewinn: ?Mit den Studierenden gemeinsam an einer Frage zu arbeiten, sie erforschen zu lassen, wie eine neue Technik für ein bestimmtes Problem eingesetzt werden k?nnte, ist sowohl für die Studierenden als auch für die Produktentwickler:innen interessant. Und Studierende werden von einer fachkundigen Person betreut, die viel Produktkenntnisse und Erfahrung mitbringt und weiss, warum ein bestimmter Schritt relevant sein k?nnte.?
Auch die ETH profitiere davon, wenn Professor:innen Hintergrundwissen und Verst?ndnis für die Industrie haben, betont Pollefeys. ?Durch meine Arbeit bei Microsoft erhalte ich einen wertvollen Einblick in die Entscheidungsfindung und die Art und Weise, wie Prozesse in einem grossen Unternehmen ablaufen. Das hilft, die gesamte technologische Entwicklung in einem gr?sseren Kontext zu sehen.?
Und schliesslich dienen die gemeinsamen Projekte auch der Vernetzung innerhalb der ETH, so wie es sich Pollefeys beim Antritt der Professorenstelle in Zürich ausgemalt hatte. So arbeitet er zurzeit mit seiner Kollegin Siyu Tang an einer neuen Methode, anhand von autonomen Avataren Daten zu generieren. ?Indem wir die HoloLens auf diesen virtuellen Figuren ?montieren?, erhalten wir viel einfacher die Daten, die wir zum Trainieren und Testen von Algorithmen ben?tigen, als wenn wir die R?ume selbst mit der HoloLens durchschreiten und vermessen.?
Zur Person
Marc Pollefeys ist Professor am Departement Informatik der ETH Zürich. Zudem leitet er das Microsoft Mixed Reality & AI Lab in Zürich.
?Globe? Volle Kraft voraus!
Dieser Text ist in der Ausgabe 24/02 des ETH-????Magazins Globe erschienen.