Softplus

La fonction softplus est strictement positive. Pour de grandes valeurs négatives de ${\displaystyle x}$, on a ${\displaystyle \operatorname {softplus} (x)\approx \ln 1=0}$, et pour de grandes valeurs positives de ${\displaystyle x}$, on a ${\displaystyle \ln(1+\mathrm {e} ^{x})\sim x}$. Elle approche donc la fonction rampe par excès.

Cette fonction peut être approchée par :

${\displaystyle \ln \left(1+\mathrm {e} ^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\dfrac {x}{1-\mathrm {e} ^{-x/\ln 2}}},&x\neq 0\end{cases}}}$

Par un changement de variables ${\displaystyle x=y\ln(2)}$, elle est équivalente à

${\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\dfrac {y}{1-\mathrm {e} ^{-y}}},&y\neq 0.\end{cases}}}$

Un paramètre de raideur ${\displaystyle k}$ peut être ajouté :

${\displaystyle \operatorname {softplus} _{k}(x)={\frac {\ln(1+\mathrm {e} ^{kx})}{k}},\qquad \qquad \operatorname {softplus} _{k}'(x)={\frac {\mathrm {e} ^{kx}}{1+\mathrm {e} ^{kx}}}={\frac {1}{1+\mathrm {e} ^{-kx}}}.}$

La fonction ${\displaystyle f_{k}}$ approche la fonction rampe d'autant mieux que le paramètre prend de grandes valeurs positives.

La dérivée de la fonction softplus est la fonction logistique standard :

${\displaystyle \operatorname {softplus} '(x)={\frac {\mathrm {e} ^{x}}{1+\mathrm {e} ^{x}}}={\frac {1}{1+\mathrm {e} ^{-x}}}}$

qui est connue pour être une approximation lisse de la fonction de Heaviside.

Une généralisation multivariée de la fonction softplus est la fonction LogSumExp avec le premier argument fixé à zéro :

${\displaystyle \operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln \left(1+\sum _{k=1}^{n}\exp(x_{k})\right).}$

La fonction LogSumExp est définie par

${\displaystyle \operatorname {LSE} (x_{1},\dots ,x_{n})=\ln \left(\sum _{k=1}^{n}\exp(x_{k})\right),}$

et son gradient est la softmax ; le softmax avec le premier argument fixé à zéro est la généralisation multivariée de la fonction logistique. Les deux fonctions LogSumExp et softmax sont aussi utilisées en machine learning.

Le conjugué convexe (plus précisément, la transformée de Legendre) de la fonction softplus est la fonction entropie binaire (de base e) négative. Cela vient du fait (avec la définition de la transformation de Legendre : les dérivées sont les fonctions inverses) que la dérivée de la fonction softplus est la fonction logistique, dont l'inverse est le logit, qui est la dérivée de l'entropie binaire négative.

Softplus peut être interprété comme une perte logistique (comme un nombre positif), ainsi, par dualité, minimiser la perte logistique correspond à maximiser l'entropie. Ceci justifie le principe d'entropie maximale comme minimisation de perte.

• Portail de l'informatique théorique
• Portail de l’intelligence artificielle