Régression de Poisson

Comme indiqué plus haut, à partir d'un paramètre ${\displaystyle {\boldsymbol {\theta }}}$ et d'un vecteur d'entrée ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n+1}}$, la variable de sortie ${\displaystyle y}$ suit une loi de Poisson de paramètre

${\displaystyle \lambda$ :=\operatorname {E} (Y\mid \mathbf {x} )=\exp({\boldsymbol {\theta }}'\mathbf {x} ),\,}

La fonction de masse de cette loi de Poisson est alors

${\displaystyle p(y|\mathbf {x}$ ;{\boldsymbol {\theta }})={\frac {\lambda ^{y}}{y!}}\mathrm {e} ^{-\lambda }={\frac {\exp(y{\boldsymbol {\theta }}'\mathbf {x} -\mathrm {e} ^{{\boldsymbol {\theta }}'\mathbf {x} })}{y!}}}

On suppose que l'on ait accès à une collection de ${\displaystyle m}$ couples indépendants : ${\displaystyle (\mathbf {x} _{i},y_{i})_{1\leq i\leq m}}$. Alors, pour un vecteur ${\displaystyle {\boldsymbol {\theta }}}$ donné, la fonction de vraisemblance (c'est-à-dire la probabilité d'obtenir cet ensemble de données particulier) s'écrit

${\displaystyle L({\boldsymbol {\theta }}|X,Y):=p(y_{1},\ldots ,y_{m}\mid \mathbf {x} _{1},\ldots ,\mathbf {x} _{m};\theta )=\prod _{i=1}^{m}{\frac {\exp(y_{i}{\boldsymbol {\theta }}'\mathbf {x} _{i}-\mathrm {e} ^{{\boldsymbol {\theta }}'\mathbf {x} _{i}})}{y_{i}!}}.}$

L'estimateur du maximum de vraisemblance, comme son nom l'indique, renvoie la valeur de ${\displaystyle {\boldsymbol {\theta }}}$ qui maximise la vraisemblance des données. Pour ce faire, puisqu'il est difficile d'optimiser une fonction écrite comme un produit dont tous les termes sont positifs, on minimise la négative log-vraisemblance

${\displaystyle \ell ({\boldsymbol {\theta }}\mid X,Y):=-\log L({\boldsymbol {\theta }}\mid X,Y)=\sum _{i=1}^{m}\left(-y_{i}{\boldsymbol {\theta }}'\mathbf {x} _{i}+\mathrm {e} ^{{\boldsymbol {\theta }}'\mathbf {x} _{i}}+\log(y_{i}!)\right).}$

On peut remarquer que le terme ${\displaystyle \log(y_{i}!)}$ ne dépend pas de ${\displaystyle {\boldsymbol {\theta }}}$. Puisque l'on cherche à trouver le ${\displaystyle {\boldsymbol {\theta }}}$ qui minimise cette négative log-vraisemblance, on peut la simplifier à une constante additive près. Par abus de langage, on identifie la véritable log-vraisemblance négative et la version à une constante additive près :

${\displaystyle \ell ({\boldsymbol {\theta }}\mid X,Y)=\sum _{i=1}^{m}\left(-y_{i}{\boldsymbol {\theta }}'\mathbf {x} _{i}+\mathrm {e} ^{{\boldsymbol {\theta }}'\mathbf {x} _{i}}\right).}$

Pour trouver le minimum de cette log-vraisemblance négative, on résout l'équation ${\displaystyle {\frac {\partial \ell ({\boldsymbol {\theta }}\mid X,Y)}{\partial {\boldsymbol {\theta }}}}=0}$, qui n'a pas de solution explicite. Cependant, puisque cette fonction est convexe, on peut utiliser des algorithmes efficace d'optimisation convexe comme la méthode de Newton pour obtenir rapidement la valeur optimale de ${\displaystyle {\boldsymbol {\theta }}}$.

• Loi de Poisson
• Loi binomiale négative

• Portail des probabilités et de la statistique