ポリアの壺モデル

ポリアの壺において興味深い問題は、壺の中身の内訳がどう変化していくかということ、すなわち、取り出される玉の色の順序である。

最初に白玉が ${\displaystyle w}$ 、赤玉が ${\displaystyle r}$ 個入っている壺を考える。${\displaystyle n}$ 回の試行を終えた後に、壺の中に白玉が ${\displaystyle (w+n_{1})}$ 個、赤玉が ${\displaystyle (r+n_{2})}$ 個入っている確率 (ただし、 ${\displaystyle 0\leq n_{1},n_{2}\leq n\,\,,n_{1}+n_{2}=n}$) は、二項係数を用いて $${\displaystyle {\binom {n}{n_{1}}}{\frac {w^{{\bar {n}}_{1}}r^{{\bar {n}}_{2}}}{(w+r)^{\bar {n}}}}}$$ となる。ただし、${\displaystyle x^{\bar {k}}}$ で上昇階乗冪 ${\displaystyle x^{\bar {k}}=x(x+1)\cdots (x+k-1)}$を表すものとした。これはそれぞれの可能な構成のパスカルの三角形を描くことで証明できる。

特に ${\displaystyle r=w=1}$ の場合(最初に壺の中に入っているのが赤玉、白玉それぞれ1個ずつ)であれば、${\displaystyle n}$ 回のステップの後に壺の中にある白玉が ${\displaystyle n_{1}}$ 個 (ただし ${\displaystyle 1\leq n_{1}\leq n+1}$) である確率は ${\displaystyle n_{1}}$に依らず ${\displaystyle {\frac {1}{n+1}}}$ となる。

より一般的に、最初壺の中に ${\displaystyle k}$ 色の玉があり、 (${\displaystyle i=1,2,...,k}$) の玉が ${\displaystyle a_{i}}$ 個あるとする。 ${\displaystyle n}$ 回のステップの後、${\displaystyle i}$ 番目の色の玉が ${\displaystyle (a_{i}+n_{i})}$ 個だけ壺の中にある確率は、多項係数を用いて$${\displaystyle {\binom {n}{n_{1},\cdots ,n_{k}}}{\frac {\prod _{i=1}^{k}a_{i}^{{\bar {n}}_{i}}}{(\sum _{i}a_{i})^{\bar {n}}}}}$$である。

${\displaystyle n}$ 回のステップの後に最終的に ${\displaystyle i}$ 番目の色の玉が ${\displaystyle (a_{i}+n_{i})}$ 個あるような遷移は ${\displaystyle {\binom {n}{n_{1},\cdots ,n_{k}}}}$ 通りある。それぞれの遷移を実際に通る条件付き確率はいずれも ${\displaystyle {\binom {n}{n_{1},\cdots ,n_{k}}}^{-1}}$ である。

• ベータ二項分布: 2色だけのポリアの壺で、${\displaystyle n}$ 回のステップの後にある色が何回取り出されたかを記述する。
• ベータ負二項分布（英語版）: 2色のポリアの壺で、一方の色の玉が特定の回数取り出されるまでの間に、もう一方の色の玉が何回取り出されるかを記述する。
• ディリクレ多項分布（英語版） ${\displaystyle k(\geq 2)}$ 色のポリアの壺で、各色の玉が ${\displaystyle n}$ 回のステップの後にある色がそれぞれ何回取り出されたかを記述する。
• ディリクレ負多項分布（英語版）: ${\displaystyle k(\geq 2)}$ 色のポリアの壺で、ある特定の色の玉が特定の回数取り出されるまでの間に、それぞれの色の玉がそれぞれ何回取り出されるかを記述する。
• マルチンゲール、ベータ二項分布、ベータ分布: 最初に壺に入っているのは白玉が ${\displaystyle w}$ 個、赤玉が ${\displaystyle r}$ 個であるとし、${\displaystyle n=1,2,3\ldots }$ 回のステップの後に壺の中にある白玉の個数を ${\displaystyle w+n_{w}}$ であるとする。すると、確率変数の列 ${\displaystyle {\frac {w+n_{w}}{w+r+n}}\ (n=1,2,3,\dots )}$ それぞれはベータ二項分布に従う。さらに、この確率変数列について、${\displaystyle n}$ ステップまで進めた状態での ${\displaystyle n+1}$ ステップ目の状態に関する期待値が${\displaystyle \operatorname {E} \left.\left[{\frac {w+(n+1)_{w}}{w+r+(n+1)}}\right.|{\frac {w+n_{w}}{w+r+n}}\right]={\frac {w+n_{w}}{w+r+n}}}$ を満たすので、この確率変数列はマルチンゲールである。さらに、この変数列の ${\displaystyle n\to \infty }$ での収束先の確率分布はベータ分布に従う。
• ディリクレ過程（英語版）、中華料理店過程、ホップの壺(英: Hoppe's urn): ポリアの壺の変種として、以下のような壺問題が考えられる。最初に白玉が ${\displaystyle \alpha }$ 個だけ入っている壺を用意する。壺から無作為に玉を取り出し色を確認して戻していくのだが、もし白玉が取り出されたら、それまで壺の中になかった色を無作為に1つ選び、その色の玉と白玉を一つずつ壺に戻す。この際、このステップでは新しく壺に追加した色を「壺から取り出した」とみなすこととする。一方、白以外の色の玉が壺から取り出されたら、通常のポリアの壺と同様に同じ色の玉を2個壺に追加する。このようにして「取り出された」玉の色の列は中華料理店過程に従う。一方、新しい色を壺に追加する代わりに、ある基底となる確率分布からランダムな値を抽出し、その値をラベルとしてボールに付ける過程を考えると、ラベルの列はディリクレ過程に従う。^[1]
• モラン過程（英語版）: 理論的な集団遺伝学における遺伝的浮動をモデル化するための壺モデル。ポリアの壺と同様、取り出した玉と同色の玉の2個をステップ毎に壺に戻すが、この際壺から無作為な玉が1個取り除かれる。したがって、壺の中の玉の総数がステップを経ても変化しない。この操作を十分な回数繰り返すと、最終的には壺の中の玉は全て同じ色となる。最終的な状態としてどの色に統一されるかの確率は最初の壺の中の割合に一致する。モラン過程の変種として、「観測の後壺から取り除かれる玉が、当該ステップで最初に取り出されたそれであってはならない」と規定するものや、「壺から取り除かれる玉は当該ステップで追加したばかりの玉であっても良い」とするものなどがある。これらの追加のルールによって、全ての玉が同一の色となるまでの時間にわずかな差異が生じる。

Summarize Timeline Top Qs Fact Check

ポリアの壺は交換可能な確率変数（英語版）の典型的な例である。

引き続き、最初に白玉が ${\displaystyle w}$ 個、赤玉が ${\displaystyle r}$ 個入っている壺があるとし、ポリアの壺のルールに従って玉を取り出し、取り出された色を記録する。 ${\displaystyle i}$ 番目のステップの結果に対応する確率変数 ${\displaystyle X_{i}}$ を、${\displaystyle i}$ 番目に取り出された玉が赤玉であれば ${\displaystyle X_{i}=1}$、そうでなければ ${\displaystyle X_{i}=0}$ となるように定義する。 ${\displaystyle i}$ 番目のステップに至るまでの間に赤玉を偶然にも大量に取り出していた場合、壺の中にも赤玉が(赤玉と白玉を程よく取り出した場合に比べて)多くなるため、 ${\displaystyle X_{i}=1}$ となる確率も高くなる。このことから、確率変数列 ${\displaystyle X_{i}}$ は互いに独立ではないことがわかる。

一方、確率変数列 ${\displaystyle X_{1},X_{2},X_{3},\dots }$は、弱い交換可能性をもつ^[2]。すなわち、${\displaystyle X_{1},X_{2},X_{3},\ldots }$ の 同時分布は、それらのラベルの張り替えのもとで不変である。例えば、3回取り出した際に ${\displaystyle X_{1}=1,X_{2}=X_{3}=0}$ を全て満足する確率と、 ${\displaystyle X_{1}=X_{3}=0,X_{2}=1}$ を全て満足する確率は一致する。

${\displaystyle X_{1},X_{2},X_{3},\dots }$ の交換可能性を示すために、合計で ${\displaystyle n}$ 回のステップを行うとし、そのうち ${\displaystyle k}$ 回赤玉、${\displaystyle n-k}$ 回白玉を取り出したとしよう。このような取り出し方の1つとして、最初の ${\displaystyle k}$ 回は連続で赤玉を取り出し、続いて残りの回数は白玉を取り出したとする。このような取り出し方が起こる確率は以下のようになる:

${\displaystyle \mathbb {P} \left(X_{1}=1,\dots ,X_{k}=1,X_{k+1}=0,\dots ,X_{n}=0\right)}$${\displaystyle ={\frac {r}{w+r}}\times {\frac {r+1}{w+r+1}}\times \cdots \times {\frac {r+k-1}{w+r+k-1}}\times {\frac {w}{w+r+k}}\times {\frac {w+1}{w+r+k+1}}\times \cdots \times {\frac {w+n-k-1}{w+r+n-1}}}$

次に、どのような順番で赤玉、白玉を取り出したとしても、それぞれを引き出した合計回数が同じである限りは全て上記の確率となることを示さなければならない。まず、取り出した結果を好きなように入れ替えても、${\displaystyle i}$ 番目のステップに対応する分数の分母は必ず ${\displaystyle w+r+i-1}$となる。これは、当該ステップにおいて壺の中にある玉の総数そのものであるからである。よって、分母については順序を入れ替えても変化しない。

${\displaystyle t}$ 回目のステップで累計 ${\displaystyle j}$ 回目の赤玉を取り出したという状況を考えると、 ${\displaystyle X_{t}=1}$ となる確率は ${\displaystyle {\frac {r+j-1}{w+r+t-1}}}$となる。同様の議論から、白玉についても確率がもとまる。合計で取り出す回数が決まっている以上は、分子には必ず ${\displaystyle r(r+1)\cdots (r+k-1)}$ と ${\displaystyle w(w+1)\cdots (w+n-k-1)}$ が出現する。以上のことから、任意の数列 ${\displaystyle x_{1},x_{2},x_{3},\dots }$であって、${\displaystyle 1}$ が ${\displaystyle k}$ 回、 ${\displaystyle 0}$ が ${\displaystyle n-k}$ 回それぞれ出現する (すなわち、赤玉が ${\displaystyle k}$ 回、白玉が ${\displaystyle n-k}$ 回順不同で取り出される) 確率は、$${\displaystyle {\begin{aligned}\mathbb {P} (X_{1}=x_{1},X_{2}=x_{2},...,X_{n}=x_{n})&={\frac {\prod _{i=1}^{k}\left(r+i-1\right)\times \prod _{i=1}^{n-k}\left(w+i-1\right)}{\prod _{i=1}^{n}\left(w+r+i-1\right)}}\\&={\frac {\left(r+k-1\right)!\times \left(w+n-k-1\right)!\times \left(r+w-1\right)!}{\left(r-1\right)!\times \left(w-1\right)!\left(w+r+n-1\right)!}}\end{aligned}}}$$となる。

この確率は赤玉、白玉を取り出す順序には関係しないが、赤玉、白玉をそれぞれ合計で何回取り出したかには依存する^[2]。

デ・フィネッティの定理によれば、${\displaystyle [0,1]}$ 上の確率分布 ${\displaystyle \pi (\cdot )}$ であって、 ${\displaystyle p(X_{1}=x_{1},X_{2}=x_{2},...,X_{n}=x_{n})=\int _{0}^{1}q^{\left({\sum _{i=1}^{n}x_{i}}\right)}\times \left(1-q\right)^{\left(n-{\sum _{i=1}^{n}x_{i}}\right)}\,\pi (q)dq}$ を満たすものが一意に存在する。すなわち、${\displaystyle X_{1}=x_{1},\ldots ,X_{n}=x_{n}}$ となる確率が、尤度を成功確率 ${\displaystyle q}$ でパラメトライズされるベルヌーイ分布とし、さらに ${\displaystyle q}$ が事前確率分布 ${\displaystyle \pi (q)}$ に従うとしたときの複合確率分布に一致するような ${\displaystyle \pi (q)}$ が一意に存在する。なお、ポリアの壺モデルの場合、そのような確率分布はベータ分布となることが知られている。実際、上の式で ${\displaystyle \pi (q)}$ として ${\displaystyle \pi (q|r,w)={\frac {(w+r-1)!}{(r-1)!(w-1)!}}q^{r-1}(1-q)^{w-1}}$ を与えると、${\displaystyle k=\sum _{i=1}^{n}x_{i}}$ のもとで元の確率を再現する。^[2]