ベータ二項分布

Summarize Timeline Top Qs Fact Check

ベータ分布は二項分布の共役事前分布（英語版）である。この事実から、解析的に取り扱いやすい複合確率分布が得られる。この分布では、二項分布の成功確率 ${\displaystyle p}$ 自体をベータ分布に従う確率変数とみなす。このような状況のもとで、次の ${\displaystyle n}$ 回の試行での成功数 ${\displaystyle x}$ に興味がある場合、${\displaystyle x}$ の従う確率密度関数は次で与えられる:

${\displaystyle {\begin{aligned}f(x\mid n,\alpha ,\beta )&=\int _{0}^{1}\mathrm {Bin} (x|n,p)\mathrm {Beta} (p\mid \alpha ,\beta )\,dp\\[6pt]&={n \choose x}{\frac {1}{\mathrm {B} (\alpha ,\beta )}}\int _{0}^{1}p^{x+\alpha -1}(1-p)^{n-x+\beta -1}\,dp\\[6pt]&={n \choose x}{\frac {\mathrm {B} (x+\alpha ,n-x+\beta )}{\mathrm {B} (\alpha ,\beta )}}\end{aligned}}}$

この分布はベータ二項分布に他ならない。なお、ベータ関数の性質を利用することで、この確率密度関数は次のようにも記述できる:

${\displaystyle f(x\mid n,\alpha ,\beta )={\frac {\Gamma (n+1)\Gamma (x+\alpha )\Gamma (n-x+\beta )}{\Gamma (n+\alpha +\beta )\Gamma (x+1)\Gamma (n-x+1)}}{\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}}$

母数${\displaystyle \alpha ,\beta }$ がともに正の整数の場合、ベータ二項分布は壺問題、特にポリアの壺問題（英語版）といわれる問題にも出現する。具体的には、最初に ${\displaystyle \alpha }$ 個の赤玉と ${\displaystyle \beta }$ 個の白玉を含む壺が用意されている場合に、「壺から無作為に玉を1つ取り出し、取り出した玉と同色の玉を2つ壺に戻す」という作業を ${\displaystyle n}$ 回繰り返したときの、赤玉を累計で ${\displaystyle x}$ 回取り出す確率 ${\displaystyle f(x|n,\alpha ,\beta )}$ はベータ二項分布となる。実際、赤玉を累計で ${\displaystyle x}$ 回取り出すような試行結果は ${\displaystyle {n \choose x}}$ 通りあるが、これらの試行結果は全て同じ確率${\displaystyle {\frac {{\frac {(\alpha +x-1)!}{(\alpha -1)!}}{\frac {(\beta +n-x-1)!}{(\beta -1)!}}}{\frac {(\alpha +\beta +n-1)!}{(\alpha +\beta -1)!}}}}$で出現するので、${\displaystyle f(x|n,\alpha ,\beta )}$は

${\displaystyle {\begin{aligned}f(x|n,\alpha ,\beta )&={n \choose x}{\frac {(\alpha +\beta -1)!(\alpha +x-1)!(\beta +n-x-1)!}{(\alpha +\beta +n-1)!(\alpha -1)!(\beta -1)!}}\\&={n \choose x}{\frac {\mathrm {B} (\alpha +x,\beta +n-x)}{\mathrm {B} (\alpha ,\beta )}}\end{aligned}}}$ と計算できる。なお、非負なる整数 ${\displaystyle n}$ について ${\displaystyle \Gamma (n)=(n-1)!}$ が成立することを用いた。

一方、無作為抽出により取り出した玉以外の玉を壺に戻さない場合、赤玉を累計で ${\displaystyle x}$ 回取り出す確率は二項分布に従う。また、無作為抽出により取り出した玉を壺に戻さない場合、赤玉を累計で ${\displaystyle x}$ 回取り出す確率は超幾何分布に従う。

Summarize Timeline Top Qs Fact Check

最初の3つのモーメントは次で与えられる:

${\displaystyle {\begin{aligned}\operatorname {E} [x]&={\frac {n\alpha }{\alpha +\beta }}\\[8pt]\operatorname {E} [x^{2}]&={\frac {n\alpha [n(1+\alpha )+\beta ]}{(\alpha +\beta )(1+\alpha +\beta )}}\\[8pt]\operatorname {E} [x^{3}]&={\frac {n\alpha [n^{2}(1+\alpha )(2+\alpha )+3n(1+\alpha )\beta +\beta (\beta -\alpha )]}{(\alpha +\beta )(1+\alpha +\beta )(2+\alpha +\beta )}}\end{aligned}}}$

そして、超過尖度は次で与えられる:

${\displaystyle \beta _{2}={\frac {(\alpha +\beta )^{2}(1+\alpha +\beta )}{n\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)(\alpha +\beta +n)}}\left[(\alpha +\beta )(\alpha +\beta -1+6n)+3\alpha \beta (n-2)+6n^{2}-{\frac {3\alpha \beta n(6-n)}{\alpha +\beta }}-{\frac {18\alpha \beta n^{2}}{(\alpha +\beta )^{2}}}\right]}$

ベータ分布の平均値を ${\displaystyle p={\frac {\alpha }{\alpha +\beta }}\!}$ で表すとすれば、示唆的に、この分布の平均値は

${\displaystyle \mu ={\frac {n\alpha }{\alpha +\beta }}=np}$

で表される。一方、分散は

${\displaystyle \sigma ^{2}={\frac {n\alpha \beta (\alpha +\beta +n)}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}=np(1-p){\frac {\alpha +\beta +n}{\alpha +\beta +1}}=np(1-p)[1+(n-1)\rho ]\!}$

となり、同じ平均値をもつ二項分布のそれよりも必ず大きくなる。ここで ${\displaystyle \rho ={\tfrac {1}{\alpha +\beta +1}}\!}$ で定義された正のパラメータは級内相関(英: intraclass correlation)と呼ばれ、ベータ二項分布が二項分布の分散よりも大きい分散をとることを可能とするパラメータである。 なお、 ${\displaystyle n=1}$ の場合はベータ二項分布と二項分布を区別することが原理上不可能であり、したがって分散も同じ値となる。

r 個目の階乗モーメント、すなわち${\displaystyle (X)_{r}=X(X-1)\cdots (X-r+1)}$の期待値は

${\displaystyle \operatorname {E} {\bigl [}(X)_{r}{\bigr ]}={\frac {n!}{(n-r)!}}{\frac {B(\alpha +r,\beta )}{B(\alpha ,\beta )}}=(n)_{r}{\frac {B(\alpha +r,\beta )}{B(\alpha ,\beta )}}}$である。

Summarize Timeline Top Qs Fact Check

統計学におけるモーメント法（英語版）では、ベータ二項分布の最初の2つのモーメント ${\displaystyle m_{1},m_{2}}$ が、標本から計算されるそれらに一致すると仮定して、ベータ二項分布の2つの母数 ${\displaystyle \alpha ,\beta }$ を推定する。この手法のもとでは、${\displaystyle \alpha ,\beta }$ の推定値として以下が得られる:

${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\frac {nm_{1}-m_{2}}{n({\frac {m_{2}}{m_{1}}}-m_{1}-1)+m_{1}}}\\[5pt]{\widehat {\beta }}&={\frac {(n-m_{1})(n-{\frac {m_{2}}{m_{1}}})}{n({\frac {m_{2}}{m_{1}}}-m_{1}-1)+m_{1}}}\end{aligned}}}$

これらの推定値は、 ${\displaystyle m_{1},m_{2}}$ の値によっては負の値を取る場合がある。その場合、データの分散がベータ二項分布で扱うには小さすぎることの証拠となり、他の分布(二項分布や超幾何分布など)でのフィットの方が適していることが示される。

最尤推定を解析的に行うことは非実用的だが、確率質量関数がありふれた関数(ガンマ関数またはベータ関数)であるため、直接数値的な最適化を行うことができる。

以下のデータは、19世紀ザクセン州の病院記録から抽出した6115世帯における、家族規模13世帯の最初の12人目の子供のうち男子の数を示す(Sokal and Rohlf, p. 59 from Lindsey)。ただし、希望する性別が生まれた時点で家族が非ランダムに子作りを中止する効果を相殺するため、13人目の子供のデータは含まれていない。

男児の数	0	1	2	3	4	5	6	7	8	9	10	11	12
世帯数	3	24	104	286	670	1033	1343	1112	829	478	181	45	7

最初の2つの標本モーメントおよび ${\displaystyle n}$ は

${\displaystyle {\begin{aligned}m_{1}&=6.23\\m_{2}&=42.31\\n&=12\end{aligned}}}$

であるので、モーメント法による推定のもとでは

${\displaystyle {\begin{aligned}{\widehat {\alpha }}&=34.14\\{\widehat {\beta }}&=31.61\end{aligned}}}$

が推定値として得られる。一方、最尤推定のもとでは、数値的最適化によって

${\displaystyle {\begin{aligned}{\widehat {\alpha }}_{\mathrm {mle} }&=34.10\\{\widehat {\beta }}_{\mathrm {mle} }&=31.58\end{aligned}}}$

が得られる。これらのもとで最大尤度は

${\displaystyle \log {\mathcal {L}}=-12492.87}$

と計算され、赤池情報量規準(AIC)が

${\displaystyle {\mathit {AIC}}=24989.74}$

と求まる。一方、単純な二項分布を仮定して同様にAICを計算すると、最尤推定での男児の出生確率 ${\displaystyle p=0.52}$ と ${\displaystyle AIC=25070.34}$ が求まる。したがって、ベータ二項分布によるフィッティングの方がより小さいAICを与えることとなり、ベータ二項分布の方がよりデータにフィットしていると言える。すなわち、データには過分散の証拠があると言える。なお、理論的な裏付けとして、哺乳類の雌が産む子供の性比は個体の状況に依存するという仮説(トリヴァース・ウィラード仮説（英語版）)が提唱されている。

データおよびベータ二項分布・二項分布による(最尤推定での)期待値を以下の表に示した。ベータ二項分布によるフィッティングの効果はより極端な値で顕著である。

男児の数	0	1	2	3	4	5	6	7	8	9	10	11	12
世帯数	3	24	104	286	670	1033	1343	1112	829	478	181	45	7
ベータ二項分布での予測	2.3	22.6	104.8	310.9	655.7	1036.2	1257.9	1182.1	853.6	461.9	177.9	43.8	5.2
二項分布での予測	0.9	12.1	71.8	258.5	628.1	1085.2	1367.3	1265.6	854.2	410.0	132.8	26.1	2.3

Summarize Timeline Top Qs Fact Check

ベータ二項分布は、ベイズ推定によりベルヌーイ試行の成功確率 ${\displaystyle p}$ をデータから推定する場合に顕著な役割を果たす。${\displaystyle \mathbf {X} =\{X_{1},X_{2},\cdots X_{n_{1}}\}}$を成功確率が未知なベルヌーイ分布からの独立同分布サンプルであるとする。いま、${\displaystyle p}$ に関する我々の知識が(ベイズ統計学的な意味で)不明瞭であるとして、その事前分布をベータ分布で与えるとする: ${\displaystyle p\sim {\text{Beta}}(\alpha ,\beta )}$。 ${\displaystyle Y_{1}=\sum _{i=1}^{n_{1}}X_{i}}$ で表せば、実際に ${\displaystyle \mathbf {X} }$ を観測する前の段階で予測される ${\displaystyle Y_{1}}$ の分布(事前予測分布)は、確率分布の複合によりベータ二項分布で与えられる:

${\displaystyle Y_{1}\sim {\text{BetaBin}}(n_{1},\alpha ,\beta )}$

実際に ${\displaystyle Y_{1}}$ を観測した後の ${\displaystyle p}$ の事後分布は

${\displaystyle {\begin{aligned}f(p|\mathbf {X} ,\alpha ,\beta )&\propto \left(\prod _{i=1}^{n_{1}}p^{x_{i}}(1-p)^{1-x_{i}}\right)p^{\alpha -1}(1-p)^{\beta -1}\\&\propto p^{\sum x_{i}+\alpha -1}(1-p)^{n_{1}-\sum x_{i}+\beta -1}\\&\propto p^{y_{1}+\alpha -1}(1-p)^{n_{1}-y_{1}+\beta -1}\end{aligned}}}$

であり、事後分布もベータ分布${\displaystyle \mathrm {Beta} (y_{1}+\alpha ,n_{1}-y_{1}+\beta )}$であることがわかる。

再び確率分布の複合を行うことで、このベルヌーイ試行をさらに独立に ${\displaystyle n_{2}}$ 回行った際の累計成功回数 ${\displaystyle Y_{2}}$ に関して以下が成立する:

${\displaystyle Y_{2}\sim \mathrm {BetaBin} (n_{2},y_{1}+\alpha ,n_{1}-y_{1}+\beta )}$

ベータ二項分布に従う確率変数 ${\displaystyle X\sim \mathrm {BetaBin} (n,\alpha ,\beta )}$ は容易に生成できる。具体的には、まず ${\displaystyle p}$ をベータ分布 ${\displaystyle \mathrm {Beta} (\alpha ,\beta )}$ からサンプルした後、${\displaystyle X}$ を二項分布 ${\displaystyle \mathrm {B} (n,p)}$ から生成すればよい。この手法は、この分布がベータ分布と二項分布の複合分布であることに依拠している。

• ${\displaystyle n=1}$ であれば、ベータ二項分布は成功確率が ${\displaystyle p={\frac {\alpha }{\alpha +\beta }}}$ であるベルヌーイ分布に一致する。
• ${\displaystyle \alpha =\beta =1}$の場合、ベータ二項分布は${\displaystyle \{0,\ldots ,n\}}$ 上の離散一様分布に一致する。
• ${\displaystyle X}$ がベータ二項分布 ${\displaystyle \mathrm {BetaBin} (n,\alpha ,\beta )}$ に従うとき、確率変数 ${\displaystyle (n-X)}$ はベータ二項分布 ${\displaystyle \mathrm {BetaBin} (n,\beta ,\alpha )\,}$に従う。
• ${\displaystyle 0<p<1}$ 、 ${\displaystyle s>0}$ として、ベータ二項分布 ${\displaystyle \mathrm {BetaBin} (n,\alpha =ps,\beta =s(1-p))}$ を考えると、${\displaystyle s\to \infty }$ の極限で二項分布 ${\displaystyle \mathrm {B} (n,p)\,}$に帰着する。
• ${\displaystyle \lambda >0}$ として、ベータ二項分布${\displaystyle \mathrm {BetaBin} (n,n\lambda ,n^{2})}$を考えると、${\displaystyle n\rightarrow \infty }$ の極限でポアソン分布 ${\displaystyle \mathrm {Pois} (\lambda )\,}$ に帰着する。
• ${\displaystyle 0<p<1}$ として、ベータ二項分布${\displaystyle \mathrm {BetaBin} \left(n,1,{\frac {np}{(1-p)}}\right)}$を考えると、${\displaystyle n\rightarrow \infty }$ の極限で幾何分布 ${\displaystyle \mathrm {Geom} (p)\,}$ に帰着する。
• ${\displaystyle 0<p<1}$、 ${\displaystyle r>0}$ として、ベータ二項分布${\displaystyle \mathrm {BetaBin} \left(n,r,{\frac {np}{(1-p)}}\right)}$を考えると、${\displaystyle n\rightarrow \infty }$ の極限で負の二項分布 ${\displaystyle \mathrm {NB} (r,p)\,}$ に帰着する。