Estimateur de Laplace–Bayes

Soit p, la probabilité de succès sur chaque essai. Cette probabilité est supposée constante mais inconnue et incertaine. On la considère donc comme une variable aléatoire et on lui attribue une distribution de probabilité pour exprimer cette incertitude. Soit X_i ayant la valeur 1 si l’on observe un « succès » sur le i^ème essai, et ayant la valeur 0 dans le cas contraire. Chaque X_i a ainsi pour valeur 0 ou 1 et suit donc une distribution de Bernoulli.

On suppose que ces X_i soient conditionnellement indépendants pour une probabilité p donnée. On peut alors utiliser le théorème de Bayes pour trouver la distribution de probabilité conditionnelle de p étant donné les données X_i (i = 1, ..., n).

Pour la mesure de la probabilité a priori de p, on attribue à cette v.a. une loi non informative de probabilité a priori, c'est-à-dire une distribution uniforme sur l’intervalle ouvert ]0;1[ ayant donc comme fonction de densité :

${\displaystyle f(p)={\begin{cases}0&{\text{si }}p\leq 0\\1&{\text{si }}0<p<1\\0&{\text{si }}p\geq 1\end{cases}}}$

Pour la vraisemblance des observations ${\displaystyle x_{1},\dots ,x_{n}\in \{0,1\}}$, on calcule la fonction de vraisemblance :

${\displaystyle {\mathcal {L}}(p)=P(X_{1}=x_{1},\ldots ,X_{n}=x_{n}\mid p)=\prod _{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}=p^{s}(1-p)^{n-s}}$

où s = x₁ + ... + x_n est le nombre de succès et n est le nombre d’essais (X en majuscule désigne la variable aléatoire et x minuscule, les données réellement observées).

En utilisant les deux définitions précédentes, on peut alors déterminer la densité de probabilité de la distribution a posteriori :

${\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={{\mathcal {L}}(p)f(p) \over \int _{0}^{1}{\mathcal {L}}(r)f(r)\,\mathrm {d} r}={p^{s}(1-p)^{n-s} \over \int _{0}^{1}r^{s}(1-r)^{n-s}\,\mathrm {d} r}}$

On calcule alors la constante de normalisation :

${\displaystyle \int _{0}^{1}r^{s}(1-r)^{n-s}\,\mathrm {d} r={s!(n-s)! \over (n+1)!}}$

(voir la fonction bêta pour plus d’informations sur les intégrales de cette forme).

La fonction de densité de la loi a posteriori est donc :

${\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={(n+1)! \over s!(n-s)!}p^{s}(1-p)^{n-s}.}$

Il s’agit d’une loi bêta ayant pour espérance mathématique :

${\displaystyle \mathbb {E} (p\mid X_{1}=x_{1}\dots X_{n}=x_{n})=\int _{0}^{1}pf(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})\,\mathrm {d} p={s+1 \over n+2}.}$

Ainsi on a :

${\displaystyle P(X_{n+1}=1\mid X_{1}=x_{1}\dots X_{n}=x_{n})=\mathbb {E} (p\mid X_{1}=x_{1}\dots X_{n}=x_{n})={s+1 \over n+2}.}$

• Inférence bayésienne

• Portail des mathématiques