Stochastischer Papagei
Begriff aus dem maschinellen Lernen in Bezug auf Wahrscheinlichkeit der Ausgabe von bestimmten Antworten
From Wikipedia, the free encyclopedia
Ein Stochastischer Papagei ist im Maschinellen Lernen eine Metapher für die Aussage, dass Large Language Models mit stochastischen Methoden natürliche Sprache generieren können, ohne deren Inhalt zu verstehen.
Geschichte
Der Begriff wurde 2021 in den USA geprägt in einer Arbeit On the Dangers of Stochastic Parrots (deutsch: Über die Gefahr von Stochastischen Papageien) von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major und Shmargaret Shmitchell.[1] Das Wort Stochastik stammt aus dem Griechischen (altgriechisch στοχαστικὴ τέχνη stochastikē technē, deutsch ‚Kunst des Vermutens‘) und steht für die Mathematik des Zufalls. Diese umfasst die Gebiete der Wahrscheinlichkeitstheorie und mathematischen Statistik. Papageien sind dafür bekannt, dass sie Wörter der menschlichen Sprache lernen und wiedergeben können. Ob sie das sinnvoll tun können, sei dahingestellt.[2] Der Begriff ist negativ besetzt.[3]
Bender et al. argumentieren in ihrem Werk, dass Large Language Models (LLMs) in jüngster Zeit nur an der Anzahl ihrer Parameter und der Menge der Trainingsdaten gemessen werden. Sie hinterfragen, ob dabei die entstehenden Risiken ausreichend berücksichtigt werden und entwickeln Strategien, um diese Risiken zu adressieren. Die Risiken umfassen Umwelt- und Finanzkosten, Undurchschaubarkeit, die zu unbekannten gefährlichen Verzerrungen führt, ein Potenzial für Täuschung und, dass sie die Konzepte, die dem Gelernten zugrunde liegen, nicht verstehen können.
Nach Lindholm et al. zeigt die Papagei-Analogie die entscheidenden Beschränkungen auf:[4]
- LLMs Vorhersagen wiederholen nur gelernte Information überlagert von zufälligen Fehlern, die durch die Grenzen des Modells entstehen
- Der Algorithmus versteht nicht das Problem, das er gelernt hat. Er weiß nicht, ob er etwas Falsches wiedergibt, ob es aus dem Zusammenhang gerissen oder unangemessen ist
Sie stellen fest, dass Modelle, die mit schlecht strukturierten Daten trainiert wurden, nicht nur nutzlose Ergebnisse liefern können, sondern dass diese sogar „gefährlich falsch“ sein können. Da Männer und Frauen in den Trainingsdaten unterschiedlich beschrieben und mit verschiedenen Begriffen assoziiert sind, kann z. B. eine Anfrage mit den Parametern „Computer-Programmierer“ − „Mann“ + „Frau“ als Ergebnis „Hausfrau“ ergeben.[4]
Kontroverse mit Google
An dem Werk On the Dangers of Stochastic Parrots hatten verschiedene Google-Mitarbeiter mitgewirkt. Google hatte die KI-Ethikforscherin Timnit Gebru aufgefordert, die Arbeit zurückzuziehen oder die Namen von Google-Mitarbeitern zu entfernen. Gebru hatte zusammen mit der Co-Autorin Margaret Mitchell (die aus Angst um ihren Job unter dem Pseudonym „Shmargaret Shmitchell“ geführt wurde) bei Google Brain das Ethical AI-Team geleitet. In der Folge wurde zunächst Timnit Gebru und später auch Margaret Mitchell von Googles KI-Abteilung unter Leitung von Jeff Dean entlassen.[5][6]
Verwendung
Der Ausdruck wird von KI-Skeptikern benutzt, um herauszustellen, dass es LLMs an Verständnis für die von ihnen erzeugten Texte mangelt.
Kurz nach dem Erscheinen von ChatGPT twitterte Sam Altman, der OpenAI-CEO: „i am a stochastic parrot, and so r u“ (deutsch: ich bin ein stochastischer Papagei, und du auch).[3]
Der Begriff „stochastic parrot“ wurde durch die American Dialect Society zum KI-bezogenen Wort des Jahres 2023 gewählt.[7]