BHHH法

データを非線形モデルによってあてはめるときの係数を推定するために最適化を行う。最適化に用いられるアルゴリズムでは以下のような構造を持つことが多い。最適化を行う関数を Q(β) とすると、各反復によって求まる点 ${\displaystyle \beta _{k}}$ は:

${\displaystyle \beta _{k+1}=\beta _{k}-\lambda _{k}A_{k}{\frac {\partial Q}{\partial \beta }}(\beta _{k}),}$

によって求まる。

ただし、${\displaystyle \beta _{k}}$ は k 番目に求まった点であり、${\displaystyle \lambda _{k}}$ はステップサイズを表すパラメータでアルゴリズムによってステップサイズの決定方法が異なる。BHHH法では ${\displaystyle \lambda _{k}}$ を点 ${\displaystyle \beta _{k+1}}$ がある基準を満たすまで直線探索によって求める。また、${\displaystyle Q}$ は以下のように表される:

${\displaystyle Q=\sum _{i=1}^{N}Q_{i}}$

そして、${\displaystyle A_{k}}$ は以下の式で求まる:

${\displaystyle A_{k}=\left[\sum _{i=1}^{N}{\frac {\partial \ln Q_{i}}{\partial \beta }}(\beta _{k}){\frac {\partial \ln Q_{i}}{\partial \beta }}(\beta _{k})'\right]^{-1}.}$

ニュートン・ラフソン法のような他の反復法は ${\displaystyle A_{k}}$ が異なった式で表されている。BHHH法は特殊な条件下では反復を繰り返すことによって収束することが保証されている点が利点となる^[要出典]。