Regressionsparameter

Summarize Timeline Top Qs Fact Check

Gegeben sei das multiple lineare Modell

${\displaystyle y_{i}=\beta _{0}+x_{i1}\beta _{1}+\dotsc +x_{ik}\beta _{k}+\varepsilon _{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+\varepsilon _{i}}$

beziehungsweise in Matrixschreibweise

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}.}$

Den Parameter ${\displaystyle \beta _{0}}$ bezeichnet man als Niveauparameter, Achsenabschnitt, Absolutglied, Regressionskonstante oder kurz Konstante (englisch intercept). Die Parameter ${\displaystyle \beta _{1},\dotsc ,\beta _{k}}$ nennt man Steigungsparameter oder Steigungskoeffizienten (englisch slope coefficients). Die ${\displaystyle \varepsilon _{i}}$ sind Störgrößen.^[2]

Die ${\displaystyle \beta _{j}}$ sind unbekannte Parameter der Grundgesamtheit. Sie werden anhand einer Stichprobe geschätzt; für die Schätzwerte werden beispielsweise ${\displaystyle {\hat {\beta }}_{j}}$ oder ${\displaystyle b_{j}}$ verwendet. Bei der Methode der kleinsten Quadrate werden die Koeffizienten so bestimmt, dass die Summe der quadrierten Residuen minimiert wird.^[2]

Man unterscheidet bei der Interpretation der Regressionskoeffizienten unter anderem danach, ob die Variablen in ihrer ursprünglichen Form oder transformiert in das Modell eingehen.

Level-Level-Transformation

Sind die abhängige und die erklärenden Variablen untransformiert, gilt

${\displaystyle \operatorname {E} (y_{i}\mid \mathbf {x} _{i})=\beta _{0}+x_{i1}\beta _{1}+\dotsc +x_{ik}\beta _{k}.}$

Damit gilt für den Niveauparameter

${\displaystyle \beta _{0}=\operatorname {E} (y_{i}\mid x_{i1}=x_{i2}=\dotsc =x_{ik}=0)}$

und für die Steigungsparameter

${\displaystyle \beta _{j}={\frac {\partial \,\operatorname {E} (y_{i}\mid \mathbf {x} _{i})}{\partial x_{ij}}},\qquad j=1,\ldots ,k.}$

Der Niveauparameter gibt somit den erwarteten Wert der abhängigen Variable an, wenn alle Regressoren den Wert null annehmen. Diese Interpretation ist inhaltlich allerdings nur sinnvoll, wenn der Wert null für die betreffenden Regressoren eine sinnvolle Ausprägung darstellt.^[4]

Für den jeweiligen Steigungsparameter ${\displaystyle \beta _{j}}$ gilt: Erhöht sich ${\displaystyle x_{ij}}$ ceteris paribus um eine Einheit, verändert sich der bedingte Erwartungswert von ${\displaystyle y_{i}}$ um ${\displaystyle \beta _{j}}$ Einheiten.^[1.3][2]

Log-Log-Transformation

Werden sowohl die abhängige Variable als auch die betrachteten erklärenden Variablen logarithmiert, kann ein Log-Log-Modell beispielsweise in der Form

${\displaystyle \ln(y_{i})=\beta _{0}+\beta _{1}\ln(x_{i1})+\dotsc +\beta _{k}\ln(x_{ik})+\varepsilon _{i}}$

geschrieben werden. Die logarithmierten Variablen müssen dabei positive Werte annehmen.

Der Steigungsparameter ${\displaystyle \beta _{j}}$ lässt sich in einem solchen Modell als Elastizität interpretieren: Eine Erhöhung von ${\displaystyle x_{ij}}$ um ein Prozent ist ceteris paribus mit einer Änderung von ${\displaystyle y_{i}}$ um ungefähr ${\displaystyle \beta _{j}}$ Prozent verbunden.^[5]

Summarize Timeline Fact Check

Standardisierte Regressionskoeffizienten, auch Beta-Gewichte genannt, ergeben sich aus einer linearen Regression, bei der die abhängige und die metrischen unabhängigen Variablen standardisiert werden. Dadurch sind die Koeffizienten nicht mehr von den ursprünglichen Maßeinheiten der Variablen abhängig.^[1.2][3]

Bortz und Schuster bezeichnen die standardisierten Stichprobenkoeffizienten mit ${\displaystyle B_{j}}$, um sie von den mit ${\displaystyle \beta _{j}}$ bezeichneten Parametern der Grundgesamtheit zu unterscheiden.^[1.4]

Ein standardisierter Regressionskoeffizient kann aus dem unstandardisierten Regressionskoeffizienten berechnet werden als

${\displaystyle B_{j}=b_{j}\cdot {\frac {s_{x_{j}}}{s_{y}}},}$

wobei ${\displaystyle b_{j}}$ der unstandardisierte Regressionskoeffizient, ${\displaystyle s_{x_{j}}}$ die Standardabweichung des jeweiligen Regressors und ${\displaystyle s_{y}}$ die Standardabweichung der abhängigen Variable ist.^[1.4][3]

Ein standardisierter Koeffizient von beispielsweise ${\displaystyle B_{j}=0{,}5}$ bedeutet, dass eine Erhöhung des betreffenden Regressors um eine Standardabweichung bei konstant gehaltenen übrigen Regressoren mit einer Erhöhung der abhängigen Variable um ${\displaystyle 0{,}5}$ Standardabweichungen verbunden ist. Da standardisierte Koeffizienten keine Maßeinheit besitzen, lassen sich die Größen verschiedener Koeffizienten innerhalb eines Modells leichter miteinander vergleichen.^[1.5][6]

Der Betrag eines standardisierten Regressionskoeffizienten ist dabei nicht auf eins begrenzt.^[1.4] Ein Koeffizient außerhalb des Intervalls von −1 bis 1 ist daher für sich genommen kein Nachweis für Multikollinearität. Diese wird vielmehr anhand der Abhängigkeiten zwischen den Regressoren beziehungsweise daraus abgeleiteten Größen wie der Toleranz untersucht.^[1.6]

Auch die Interpretation standardisierter Koeffizienten als Maß für die relative Bedeutung einzelner Regressoren ist mit Vorsicht vorzunehmen. Ihre Größe hängt unter anderem von den Verteilungen der Regressoren in der untersuchten Stichprobe ab.^[1.7][6]

Summarize Timeline Fact Check

Bortz und Schuster erläutern die multiple Regression anhand einer fiktiven Untersuchung zum Zusammenhang zwischen dem Body-Mass-Index (BMI), der Intensität eines Trainingsprogramms und der Qualität der Ernährung. Die Trainingsintensität wird dabei durch den täglichen Energieverbrauch in Einheiten von 100 Kilojoule gemessen, die Ernährungsqualität durch ein Expertenrating auf einer Skala von 1 bis 10.^[1.3]

Für die Trainingsintensität ergibt sich bei konstant gehaltener Ernährungsqualität ein unstandardisierter Regressionskoeffizient von ${\displaystyle b_{1}=-0{,}750}$. Für die Ernährungsqualität beträgt der Koeffizient bei konstanter Trainingsintensität ${\displaystyle b_{2}=-1{,}032}$.^[1.8]

Die unstandardisierten Koeffizienten beziehen sich auf die ursprünglichen Maßeinheiten. So bedeutet ${\displaystyle b_{1}=-0{,}750}$ in diesem Beispiel, dass eine Erhöhung der Trainingsintensität um eine Einheit – entsprechend einem zusätzlichen Energieverbrauch von 100 Kilojoule pro Tag – bei unveränderter Ernährungsqualität mit einer Verringerung des vorhergesagten BMI um 0,75 Punkte verbunden ist.^[1.8]

Für die Trainingsintensität ergibt sich aus ${\displaystyle b_{1}=-0{,}750}$, ${\displaystyle s_{x_{1}}=2{,}121}$ und ${\displaystyle s_{y}=3{,}504}$ der standardisierte Koeffizient

${\displaystyle B_{1}=-0{,}750\cdot {\frac {2{,}121}{3{,}504}}=-0{,}454.}$

Für die Ernährungsqualität ergibt sich entsprechend aus den angegebenen Werten gerundet ${\displaystyle B_{2}=-0{,}597}$.^[1.10]

Die standardisierten Werte sind hinsichtlich ihrer Größenordnung besser vergleichbar als die unstandardisierten Koeffizienten. Aus einem größeren Beta-Gewicht kann jedoch nicht ohne Weiteres auf eine entsprechend größere inhaltliche Bedeutung des Regressors geschlossen werden.^[1.7][6]