推定量

母数${\displaystyle \theta }$の点推定量を${\displaystyle {\widehat {\theta }}}$として、

• ${\displaystyle {\widehat {\theta }}-\theta }$ を、${\displaystyle {\widehat {\theta }}}$ の誤差という。
• ${\displaystyle {\widehat {\theta }}}$ の偏り、つまり母数からのズレは ${\displaystyle B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta }$ と定義される。
• すべてのθに対して${\displaystyle B({\widehat {\theta }})=0}$ の場合（言い換えるとすべてのθに対して ${\displaystyle \operatorname {E} ({\widehat {\theta }})=\theta }$ の場合）に、${\displaystyle {\widehat {\theta }}}$ を母数 θ の不偏推定量という。

以下、var(X) はX の分散、E(X) はX の期待値を表す。

• ${\displaystyle {\widehat {\theta }}}$ の平均二乗誤差は、${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\theta )^{2}]}$ と定義される。

• ${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2}}$

つまり、平均二乗誤差 = 分散 + (偏りの二乗)である。

Θ の推定量の標準偏差（分散の平方根）、つまりθ の推定量の標準偏差の推定関数を、θ の標準誤差という。

このほか、推定量の望ましい性質に関する概念には次のようなものがある。

母数をある数値とした条件下でデータが得られる条件付き確率を、逆に母数の関数と見て、そのデータにおける尤度関数という。データに対して尤度関数を最大になる母数を求める方法を最尤法という。これによって母数の値として推定されるものを最尤推定量という。

一致推定量とは、標本数が大きくなるにつれてある数値に確率的に収束する（分散が0に収束する）ような推定量をいう。

すなわち推定量 ${\displaystyle t_{n}}$（n は標本サイズ）が、どんなに小さい ${\displaystyle \epsilon >0}$ に対しても

${\displaystyle \lim _{n\to \infty }{\rm {Prob}}\left\{\left|t_{n}-\theta \right|<\epsilon \right\}=1}$

となる場合に、母数 ${\displaystyle \theta }$ に対する一致推定量という。特にほとんど確実に（確率1で）収束する場合には、「強一致性」（strong consistency）という。

推定量の質は一般に平均二乗誤差で評価される。場合によっては不偏推定量の中からさらに分散（=平均二乗誤差）が最小のものを選ぶ必要があり、これを有効推定量という。ある不偏推定量の分散が他のどんな不偏推定量よりも小さい場合もあり、有効性あるいは不偏性の一方だけを重視すべきではない。

頑健性とは、仮定したモデルの変化による推定量の変化が少ないことをいう。

推定量が充たすべき性質には他に（当然ではあるが）、確率推定量が0と1の間になければならない、分散推定量が非負でなければならない、といったものがあるが、場合によっては不偏推定量がこれらを満たさない場合もある。