Parameter (Künstliche Intelligenz)
Konfigurationsvariable
From Wikipedia, the free encyclopedia
Parameter im Zusammenhang mit Modellen der künstlicher Intelligenz (KI) und des maschinellen Lernens (ML) meint in der Regel Modellparameter. Dies sind Konfigurationsvariablen, die im KI-Modell intern vorhanden sind und deren Werte aus Daten durch einen Algorithmus geschätzt werden.[1] Dieser Prozess ist der Trainingsprozess des Modells.
Die Werte der Modellparameter definieren die Fähigkeit des Modells, eine Aufgabe zu lösen. Die Zahl der verwendeten Parameter beeinflusst den benötigten Rechenaufwand, die Geschwindigkeit und die Genauigkeit der Resultate sowie die Fähigkeit des Modells, komplexe Daten zu modellieren oder Aufgaben zu lösen.[2]
Abhängigkeit vom Verfahren des Maschinellen Lernens
Je nach Art des gewählten ML-Verfahren werden unterschiedliche Modellparameter benutzt:
- Lineare Regression: In einem einfachen linearen Regressionsmodell sind die Parameter die Steigung und der y-Achsenabschnitt.[3]
- Deterministische neuronale Netze (NN): Parameter umfassen Basiswerte und Gewichte für jedes Neuron im Netzwerk. Die Gewichte steuern das Signal (oder die Stärke der Verbindung) zwischen zwei Neuronen. Bei realisierten NN-Modellen werden Milliarden von Parametern genutzt.[4] Bei GPT-3 von OpenAI waren es bereits 175 Milliarden Parameter. Bei Deep-Learning-Modellen arbeiten die sogenannten Zwischenschichten (engl. hidden layers) mit Parametern, um stufenweise abstrakte Merkmale zu extrahieren (engl. feature extraction).[5]
- Probabilistische neuronale Netze: Zusätzlich zu Parametern von deterministischen NN mit Gewichtungen werden in Kombination Unsicherheitsparameter verwendet.[6]
- Entscheidungsbäume: Parameter können Fragen über die Daten sein, die gestellt werden, oder die Ergebnisse an den Blattknoten des Baums.[7][8]
- Support Vector Machines (SVM): Parameter umfassen die Stützvektoren, welche die Hyperebene definieren, die Klassen trennt.[9]
Diese Parameter werden während der Trainingsphase gelernt. Der Lernprozess beinhaltet die Verwendung eines Trainingsdatensatzes und eines Optimierungsalgorithmus, der die Parameter anpasst, um eine Verlustfunktion zu minimieren. Diese Verlustfunktion ist ein Maß für den Fehler des Modells bezogen auf die Trainingsdaten.
Hyperparameter
Modellparameter unterscheiden sich von Hyperparametern. Während Modellparameter aus Daten erlernt werden, werden Hyperparameter vor dem Lernprozess festgelegt und dienen dazu, den Lernprozess zu leiten.[10] Beispiele für Hyperparameter sind die Lernrate in einem Optimierungsalgorithmus, die Anzahl der verborgenen Schichten in einem neuronalen Netzwerk oder die Anzahl der Entscheidungsbäume in einem Random-Forest-Modell.