Jan Leike

Ausbildung

Leike studierte zunächst an der Albert-Ludwigs-Universität Freiburg. Nach einem Masterabschluss in Informatik promovierte er an der Australian National University bei Marcus Hutter im Bereich Maschinelles Lernen.^[4][5] Nach seiner Promotion absolvierte Leike ein sechsmonatiges Postdoc-Fellowship am Future of Humanity Institute der University of Oxford. Anschließend wechselte er zu DeepMind, wo er im Bereich empirische KI-Sicherheit arbeitete und unter anderem mit Shane Legg kooperierte.^[4][1]

Leike veröffentlichte mehrere Arbeiten zur Sicherheit und Ausrichtung lernender Systeme. Gemeinsam mit Paul Christiano, Tom B. Brown, Miljan Martic, Shane Legg und Dario Amodei untersuchte er 2017 das Lernen komplexer Ziele aus menschlichen Präferenzen im Reinforcement Learning.^[6] Im selben Jahr gehörte er zu den Autoren von AI Safety Gridworlds, einer Sammlung von Testumgebungen zur Untersuchung von Sicherheitsproblemen bei KI-Agenten.^[7]

OpenAI

Im Jahr 2021 wechselte Leike zu OpenAI. Dort war er an Arbeiten zur Ausrichtung großer Sprachmodelle beteiligt. Er gehörte zu den Mitautoren der 2022 veröffentlichten Arbeit zu InstructGPT, in der OpenAI zeigte, wie Sprachmodelle durch überwachte Finetuning und Reinforcement Learning from Human Feedback stärker an menschlichen Anweisungen ausgerichtet werden können.^[8]

Im Juli 2023 stellte OpenAI das Projekt Superalignment vor, das sich mit der technischen Ausrichtung zukünftiger, dem Menschen überlegener KI-Systeme befassen sollte. Leike leitete das Projekt gemeinsam mit Ilya Sutskever. OpenAI erklärte, für die Arbeiten über vier Jahre hinweg 20 Prozent der bis dahin gesicherten Rechenressourcen des Unternehmens bereitstellen zu wollen.^[9] Das Projekt sollte unter anderem untersuchen, wie fortgeschrittene KI-Systeme selbst zur Unterstützung der Alignment-Forschung eingesetzt werden können.^[10]

Im Mai 2024 kündigte Leike seinen Rücktritt bei OpenAI an, kurz nachdem auch Sutskever das Unternehmen verlassen hatte. Leike erklärte, er habe über längere Zeit mit der Führung von OpenAI über die Prioritäten des Unternehmens gestritten und allmählich das Vertrauen verloren. Er kritisierte, Sicherheitskultur und Sicherheitsprozesse seien gegenüber „glänzenden Produkten“ in den Hintergrund getreten.^[11][12] Auch deutschsprachige Fachmedien griffen Leikes Vorwürfe auf.^[3][13]

Anthropic

Ende Mai 2024 wurde bekannt, dass Leike zu Anthropic wechselte, einem von ehemaligen OpenAI-Mitarbeitern gegründeten KI-Unternehmen. Dort sollte er ein neues Team für KI-Sicherheit und Kontrollierbarkeit leiten.^[3][13][14] Nach eigenen Angaben leitet Leike bei Anthropic das Alignment Science-Team, das sich mit der Steuerung und Kontrolle zukünftiger leistungsfähiger KI-Systeme sowie mit der Bewertung entsprechender Risiken befasst.^[2][15]