Unité récurrente fermée

Il existe plusieurs variantes de l'unité récurrente fermée dans lesquels l'unité est activé en utilisant diverses combinaisons de l'état caché et du biais précédent, ainsi une forme simplifiée appelée unité fermée minimale.

Au départ, pour ${\displaystyle t=0}$, le vecteur de sortie est ${\displaystyle h_{0}=0}$ .

${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\{\hat {h}}_{t}&=\phi _{h}(W_{h}x_{t}+U_{h}(r_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-z_{t})\odot h_{t-1}+z_{t}\odot {\hat {h}}_{t}\end{aligned}}}$

variables

• ${\displaystyle x_{t}}$ : vecteur d'entrée
• ${\displaystyle h_{t}}$ : vecteur de sortie
• ${\displaystyle {\hat {h}}_{t}}$ : vecteur d'activation candidat
• ${\displaystyle z_{t}}$ : mise à jour du vecteur de porte
• ${\displaystyle r_{t}}$ : réinitialiser le vecteur de porte
• ${\displaystyle W}$, ${\displaystyle U}$ et ${\displaystyle b}$ : matrices de paramètres et vecteur

Fonctions d'activation

• ${\displaystyle \sigma _{g}}$ : L'original est une fonction sigmoïde.
• ${\displaystyle \phi _{h}}$ : L'original est une tangente hyperbolique.

Des fonctions d'activation alternatives sont possibles, à condition que ${\displaystyle \sigma _{g}(x)\in [0,1]}$ .

Des formes alternatives peuvent être créés en modifiant ${\displaystyle z_{t}}$ et ${\displaystyle r_{t}}$

• Type 1, chaque porte ne dépend que de l'état caché précédent et du biais.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1}+b_{r})\\\end{aligned}}}$

• Type 2, chaque porte ne dépend que de l'état caché précédent.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1})\\\end{aligned}}}$

• Type 3, chaque porte est calculée en utilisant uniquement le biais.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(b_{z})\\r_{t}&=\sigma _{g}(b_{r})\\\end{aligned}}}$

L'unité fermée minimale est similaire à l'unité entièrement fermée, mais le vecteur d’activation de la porte de mise à jour et de la réinitialisation sont fusionnés dans une porte d'oublie. Cela implique également que l'équation du vecteur de sortie doit être modifiée :

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\{\hat {h}}_{t}&=\phi _{h}(W_{h}x_{t}+U_{h}(f_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-f_{t})\odot h_{t-1}+f_{t}\odot {\hat {h}}_{t}\end{aligned}}}$

variables

• ${\displaystyle x_{t}}$ : vecteur d'entrée
• ${\displaystyle h_{t}}$ : vecteur de sortie
• ${\displaystyle {\hat {h}}_{t}}$ : vecteur d'activation candidat
• ${\displaystyle f_{t}}$ : oublier le vecteur
• ${\displaystyle W}$, ${\displaystyle U}$ et ${\displaystyle b}$ : matrices de paramètres et vecteur

Un cadre de recommandation d'algorithme d'apprentissage peut aider à guider la sélection de l'algorithme d'apprentissage et de la discipline scientifique (par exemple RNN, GAN, RL, CNN,. . . ). Le cadre a l'avantage d'avoir été généré à partir d'une analyse approfondie de la littérature et dédié aux réseaux de neurones récurrents et à leurs variations^[6].

• Portail des probabilités et de la statistique
• Portail de l'informatique théorique
• Portail des données