Redresseur (réseaux neuronaux)

Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient^[1],[2]. On peut alors introduire une version appelée Leaky ReLU définie par :

$${\displaystyle f(x)=\max(\epsilon x,x)}$$ pour tout réel ${\displaystyle x}$

Le paramètre ${\displaystyle \epsilon }$ est un réel strictement positif et inférieur à 1 ${\displaystyle \epsilon \in ]0,1[}$ La dérivée est alors égale à ${\displaystyle \epsilon }$ lorsque ${\displaystyle x}$ est strictement négatif, ce qui permet de conserver la mise à jour des poids d'un perceptron utilisant cette fonction d'activation.

• Portail des mathématiques