Vordenker des aktiven maschinellen Lernens

K¨¹nstliche Intelligenz und maschinelles Lernen z?hlen f¨¹r Andreas Krause zu den spannendsten Fragen unserer Zeit. Das Spektrum der Ans?tze, die er entwickelt und gepr?gt hat, reicht von den theoretischen und mathematischen Grundlagen bis hin zu praktischen Fragen, die das Zusammenspiel von Menschen und lernenden Systemen betreffen.

?Menschen sind in der Lage, selbst komplexe Aufgaben sehr effizient l?sen zu lernen?, erl?utert Andreas Krause, der als Informatikprofessor an der ETH Z¨¹rich wirkt. ?Ich w¨¹rde gerne verstehen, wie man Maschinen ?hnlich effizientes Lernen beibringen kann?, sagt er, der zu Europas f¨¹hrenden Forschern in dem rasant sich entwickelnden Gebiet des maschinellen Lernens geh?rt.

Zum ersten Mal mit dem Thema des maschinellen Lernens in Ber¨¹hrung kam er w?hrend seiner Diplomarbeit, die er 2004 an der TU M¨¹nchen abschloss. Um sich in die Grundlagen zu vertiefen, ging er danach nach Pittsburgh und schrieb seine Doktorarbeit an der Carnegie Mellon University ¨¹ber Fragen der optimalen Informationsgewinnung. Nachdem er 2008 promoviert hatte, wechselte er 2009 als Assistenzprofessor an das Caltech in Pasadena, bevor er 2011 an die ETH Z¨¹rich kam. Seither hat er auch Leitungsaufgaben beim Swiss Data Science Center, beim ETH AI Center und bei der europ?ischen Initiative f¨¹r lernende Systeme, ELLIS, ¨¹bernommen.

Der R?ssler-Preis 2021, den er am Mittwoch am Thanks Giving-Anlass der ETH Foundation erhalten hat, honoriert seine wegweisenden Leistungen. ?Andreas Krause ist ein exzellenter Forscher, ein engagierter Dozent und hat sich als junger Wissenschaftler bereits etliche Meriten geholt in einer der pr?gendsten Technologien des 21. Jahrhunderts?, w¨¹rdigte ETH-Pr?sident Jo?l Mesot in seiner Laudatio.

Die Faszination der lernenden Agenten

Andreas Krause fesseln besonders Fragen der optimalen Informationsgewinnung, die ein effizientes, aktives und best?rkendes Lernen erfordern. Zentral dabei ist der Umgang mit Unsicherheit, wenn noch nicht alle Informationen vorliegen oder sehr viele alternative L?sungswege vorhanden sind.

Beim klassischen ?passiven? maschinellen Lernen wird ein Lernverfahren mittels grosser Datens?tze trainiert, um bestimmte Muster aus durch Experten annotierten Daten herzuleiten ¨C zum Beispiel l?sst sich so eine Klassifikationsregel finden, die auf Fotos erkennt, ob diese Fussg?nger oder Verkehrsschilder zeigen. Im Unterschied zu den passiven Lernverfahren entscheiden ?aktive? Lernverfahren selbst dar¨¹ber, welche Daten sie ben?tigen, um die gestellte Aufgabe effektiv zu erf¨¹llen. Beispielsweise w?hlen sie aus einem Bilddatensatz diejenigen zur Beschriftung durch Experten aus, die f¨¹r den Lernfortschritt hilfreich sind ¨C dies kann unter anderem Zeit und Kosten sparen sowie Fehler reduzieren. Andere aktive Verfahren schlagen Experimente vor, deren Ausgang Informationsgewinn verspricht.

Man bezeichnet solche Computerprogramme auch als lernende Agenten. ?Mich faszinieren aktive Lernverfahren, bei denen ein lernender Agent selbst?ndig entscheidet, welche Daten ihm n¨¹tzen, um gute Entscheidungen zu treffen?, sagt Andreas Krause.

Solche Fragen treten beispielsweise in der Robotik auf. Krause illustriert dies anhand einer Drohne, die selbst?ndig durch Experimentieren lernt, gewisse Aufgaben zu l?sen. Die Schwierigkeit dabei ist, dass sich am Anfang nicht genau sagen l?sst, was zu Abst¨¹rzen f¨¹hren k?nnte und was nicht. Am Anfang muss sich die Drohne vorsichtig verhalten, und je mehr Daten sie gewonnen und ausgewertet hat, umso bessere Leistung wird sie erbringen k?nnen ohne sich oder andere in Gefahr zu bringen.

Das Dilemma zwischen alten und neuen Daten

Ganz trivial ist die selbst?ndige Informationsgewinnung allerdings nicht: Um seine Aufgabe optimal zu erf¨¹llen, muss der lernende Agent eine gute Mischung finden aus bereits vorhandenen Daten sowie aus Daten, die er zus?tzlich erwerben muss.

Die Forschung spricht in diesem Zusammenhang vom ?Exploration-Exploitation-Dilemma?: wenn der lernende Agent n?mlich selbst?ndig entscheidet, welche Experimente er durchf¨¹hrt, um zus?tzliche Daten zu gewinnen, dann beeinflussen seine Entscheidungen auch, welche Daten er beim Lernen zur Verf¨¹gung hat und welche nicht.

Eine der wegweisenden Leistungen Andreas Krauses ist es, dass er das erste mathematische Lernverfahren entwickelte, f¨¹r das man, ausgehend von gewissen Annahmen, beweisen kann, dass es auch in komplexen Anwendungen das ?Exploration-Exploitation-Dilemma? effektiv l?st. Mathematisch gesprochen handelt es sich dabei um eine Spielart der bayesschen Optimierung, die auch dem Lernen der Drohnen, die nicht abst¨¹rzen sollen, zugrundliegt und unter bestimmten Voraussetzungen gewisse formale Sicherheitsgarantien erm?glicht.

Pionierhafter Forscher und Lehrer mit Leib und Seele

Tats?chlich ist Andreas Krauses Forschung sehr mathematisch gepr?gt: Damit aktive Lernverfahren zum Beispiel n¨¹tzliche Daten so effizient wie m?glich gewinnen, werden ganz bestimmte, ?submodulare? Funktionen gebraucht. Heute gilt Andreas Krause als Pionier, der die submodulare Optimierung in das maschinelle Lernen einf¨¹hrte. Die Erkenntnisse aus einer sehr einflussreichen Publikation von Andreas Krause aus der Zeit in den USA fanden sogar praktische Anwendung in Wasserverteilungsnetzen: Dabei ging es um die Frage, wo man Sensoren am besten platziert, sodass sich die Wasserqualit?t optimal messen l?sst.

Andreas Krause ist nicht nur ein scharfsichtiger Denker, wenn es um mathematischen Grundlagen des maschinellen Lernens geht, sondern auch einer, der die m?glichen Auswirkungen dieser Technologien auf Wirtschaft und Gesellschaft reflektiert. Ihm ist es ein Anliegen, dass sowohl die Algorithmen oder Berechnungsregeln, die den Lernverfahren zugrundliegen, zuverl?ssig, erkl?rbar und nachvollziehbar sind, als auch, dass die Ergebnisse, Entscheidungen oder Empfehlungen f¨¹r die Menschen, die sie je nachdem betreffen, fair und vertrauensw¨¹rdig sind.

Mit dieser ?berzeugung widmet sich Andreas Krause der Ausbildung. Es liegt ihm am Herzen, den k¨¹nftigen KI-Expertinnen und Experten sowohl solide Grundlagen in Mathematik und Informatik zu vermitteln als auch einen Sinn f¨¹r einen verantwortungsvollen Umgang mit diesen Technologien. Von diesem Engagement zeugen die ?Goldene Eule?, mit dem ihn die ETH-Studierenden 2012 f¨¹r seine Lehre ehrten, als auch die ¨¹ber tausend Studierenden, die seine Vorlesung ?Introduction to Machine Learning? besuchen. Ebenso war er federf¨¹hrend am Aufbau des Masterprogramms Data Science und des DAS Data Science beteiligt, und im ETH AI Center achtet er darauf, dass verst?rkt unternehmerische Aspekte in die Ausbildung einfliessen, damit vermehrt Spin-offs die erworbenen KI-Kompetenzen in die Praxis weitertragen.