残差平方和

単一の説明変数を持つモデルでは、RSSは以下の式で与えられる。

${\displaystyle \mathrm {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$

この時 y_i は i 番目の変数の値、x_i は i 番目の説明変数の値、${\displaystyle f(x_{i})}$（${\displaystyle {\hat {y_{i}}}}$とも）はy_iの予測値である。標準線形単純回帰モデルでは、 ${\displaystyle y_{i}=a+bx_{i}+\varepsilon _{i}\,}$（a および b は係数、y および x はそれぞれ従属変数および独立変数、εは誤差項）である。残差平方和は ε_i の推定量の平方の和であり以下の式で表わされる。

${\displaystyle \mathrm {RSS} =\sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}(y_{i}-(\alpha +\beta x_{i}))^{2},}$

この時、α は定数項 ${\displaystyle a}$ の推定値、β は回帰係数 b の推定値である。