ゲート付き回帰型ユニット

様々な組合せで以前の隠れ状態とバイアスを使ってゲーティングを行う完全ゲート付きユニットや最小ゲート付きユニット（minimal gated unit）と呼ばれる単純形など複数の変種が存在する。

以下の式において、演算子${\displaystyle \circ }$はアダマール積を示す。

最初、${\displaystyle t=0}$に対して、出力ベクトルは${\displaystyle h_{0}=0}$である。

${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=(1-z_{t})\circ h_{t-1}+z_{t}\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}}$

変数

• ${\displaystyle x_{t}}$: 入力ベクトル
• ${\displaystyle h_{t}}$: 出力ベクトル
• ${\displaystyle z_{t}}$: 更新ゲートベクトル
• ${\displaystyle r_{t}}$: 初期化ゲートベクトル
• ${\displaystyle W}$、${\displaystyle U}$、および${\displaystyle b}$: パラメータ行列およびベクトル

活性化関数

• ${\displaystyle \sigma _{g}}$: オリジナルはシグモイド関数。
• ${\displaystyle \sigma _{h}}$: オリジナルは双曲線正接関数.

${\displaystyle \sigma _{g}(x)\in [0,1]}$という条件で、別の活性化関数も利用可能である。

${\displaystyle z_{t}}$および${\displaystyle r_{t}}$を変更することによって代替形式を作ることができる^[14]。

• タイプ1、それぞれのゲートが以前の隠れ状態およびバイアスにのみ依存する。

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1}+b_{r})\\\end{aligned}}}$

• タイプ2、それぞれのゲートが以前の隠れ状態にのみ依存する。

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1})\\\end{aligned}}}$

• タイプ3、それぞれのゲートはバイアスのみを使って計算される。

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(b_{z})\\r_{t}&=\sigma _{g}(b_{r})\\\end{aligned}}}$

最小ゲート付きユニットは、更新ゲートベクトルおよび初期化ゲートベクトルが忘却ゲートへと統合されたことを除いて、完全ゲート付きユニットと類似している。これは、出力ベクトルに対する方程式が変更されなければならないこと になる^[15]。

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\h_{t}&=f_{t}\circ h_{t-1}+(1-f_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(f_{t}\circ h_{t-1})+b_{h})\end{aligned}}}$

変数

• ${\displaystyle x_{t}}$: 入力ベクトル
• ${\displaystyle h_{t}}$: 出力ベクトル
• ${\displaystyle f_{t}}$: 忘却ベクトル
• ${\displaystyle W}$、${\displaystyle U}$、および${\displaystyle b}$: パラメータ行列およびベクトル

• 長・短期記憶