複合確率分布

複合確率分布とは、確率変数 ${\displaystyle X}$ がパラメータ ${\displaystyle \theta }$ を持つ分布 ${\displaystyle F}$ に従い、${\displaystyle \theta }$ もまた別の分布 ${\displaystyle G}$ に従う場合の確率分布 ${\displaystyle H}$ のことである。この場合、確率分布 ${\displaystyle H}$ は ${\displaystyle F}$ と ${\displaystyle G}$ との複合分布であると呼ばれる。数学的には、無条件分布 ${\displaystyle H}$ は未知の(複数の場合もある)パラメータ ${\displaystyle \theta }$ について ${\displaystyle G}$ のもとで周辺化した分布である。その確率密度関数は

${\displaystyle p_{H}(x)={\displaystyle \int \limits p_{F}(x|\theta )\,p_{G}(\theta )\operatorname {d} \!\theta }}$

で与えられる。

変数の一部または全体がベクトルである場合も、同様の式を当てはめることができる。

上記の式からもわかるように、複合分布とは本質的には特別な周辺分布のことである。 ${\displaystyle x}$ と ${\displaystyle \theta }$ の同時分布は ${\displaystyle p(x,\theta )=p(x|\theta )p(\theta )}$ であり、これを ${\displaystyle \theta }$ で積分すると複合分布 ${\displaystyle {\textstyle p(x)=\int p(x,\theta )\operatorname {d} \!\theta }}$ が得られる。${\displaystyle \theta }$ が離散的な値を取る場合、複合分布は混合分布の特別な場合として解釈される。

複合分布 ${\displaystyle H}$ はそれぞれの分布の具体的な表現や、分布 ${\displaystyle F}$ のどのパラメータが ${\displaystyle G}$ に依存しているかという情報に依存する。${\displaystyle H}$ のパラメータには、${\displaystyle G}$ のパラメータのうち周辺化されていないものが全て含まれる。${\displaystyle H}$ の台は ${\displaystyle F}$ のそれに一致し、${\displaystyle F}$ で平均や分散が定義できる場合、いくつかの一般的な性質が成り立つ。

複合分布の平均や分散は以下で与えられる:

$${\displaystyle \operatorname {E} _{H}[X]=\operatorname {E} _{G}{\bigl [}\operatorname {E} _{F}[X|\theta ]{\bigr ]}}$$

$${\displaystyle \operatorname {Var} _{H}(X)=\operatorname {E} _{G}{\bigl [}\operatorname {Var} _{F}(X|\theta ){\bigr ]}+\operatorname {Var} _{G}{\bigl (}\operatorname {E} _{F}[X|\theta ]{\bigr )}}$$

例えば、${\displaystyle F}$ の平均値が ${\displaystyle G}$ に従うパラメータであり、${\displaystyle G}$ が平均 ${\displaystyle \mu }$ と分散 ${\displaystyle \sigma ^{2}}$ を持つ場合は、上記の式から ${\displaystyle \operatorname {E} _{H}[X]=\operatorname {E} _{G}[\theta ]=\mu }$ および ${\displaystyle \operatorname {Var} _{H}(X)=\operatorname {Var} _{F}(X|\theta )+\operatorname {Var} _{G}(Y)=\tau ^{2}+\sigma ^{2}}$ が導かれる。ここで、${\displaystyle \tau ^{2}}$を ${\displaystyle F}$ の分散とした。

${\displaystyle F}$および${\displaystyle G}$を、平均と分散をパラメータにもつ確率分布とし、$${\displaystyle {\begin{aligned}x&\sim {\mathcal {F}}(\theta ,\tau ^{2})\\\theta &\sim {\mathcal {G}}(\mu ,\sigma ^{2})\end{aligned}}}$$を仮定する。確率密度関数は ${\displaystyle f(x|\theta )=p_{F}(x|\theta )}$および${\displaystyle g(\theta )=p_{G}(\theta )}$として表すこととし、${\displaystyle h(x)}$を${\displaystyle H}$の確率密度とすると、以下が成立する:$${\displaystyle {\begin{aligned}\operatorname {E} _{H}[X]=\int _{F}xh(x)dx&=\int _{F}x\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}\int _{F}xf(x|\theta )dx\ g(\theta )d\theta \\&=\int _{G}\operatorname {E} _{F}[X|\theta ]g(\theta )d\theta \end{aligned}}}$$ここで、${\displaystyle {\mathcal {F}}}$と${\displaystyle {\mathcal {G}}}$のパラメータの与え方から$${\displaystyle {\begin{aligned}\operatorname {E} _{F}[X|\theta ]&=\int _{F}xf(x|\theta )dx=\theta \\\operatorname {E} _{G}[\theta ]&=\int _{G}\theta g(\theta )d\theta =\mu \end{aligned}}}$$であるので、結局複合分布の平均値について${\displaystyle \operatorname {E} _{H}[X]=\mu }$が示される。

${\displaystyle H}$の分散は${\displaystyle \operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}}$で定義される。前者については$${\displaystyle {\begin{aligned}\operatorname {E} _{H}[X^{2}]=\int _{F}x^{2}h(x)dx&=\int _{F}x^{2}\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}g(\theta )\int _{F}x^{2}f(x|\theta )dx\ d\theta \\&=\int _{G}g(\theta )(\tau ^{2}+\theta ^{2})d\theta \\&=\tau ^{2}\int _{G}g(\theta )d\theta +\int _{G}g(\theta )\theta ^{2}d\theta \\&=\tau ^{2}+(\sigma ^{2}+\mu ^{2}),\end{aligned}}}$$と計算される。ただし ${\displaystyle \int _{F}x^{2}f(x\mid \theta )dx=\operatorname {E} _{F}[X^{2}\mid \theta ]=\operatorname {Var} _{F}(X\mid \theta )+(\operatorname {E} _{F}[X\mid \theta ])^{2}}$ および ${\displaystyle \int _{G}\theta ^{2}g(\theta )d\theta =\operatorname {E} _{G}[\theta ^{2}]=\operatorname {Var} _{G}(\theta )+(\operatorname {E} _{G}[\theta ])^{2}}$を用いた。以上から、示すべきが得られる:$${\displaystyle {\begin{aligned}\operatorname {Var} _{H}(X)&=\operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}\\&=\tau ^{2}+\sigma ^{2}\end{aligned}}}$$

一般的な検定統計量の分布は、帰無仮説の下では複合分布となる。例えば、T検定の検定統計量が従うT分布はそれぞれ正規分布・カイ二乗分布に従う2つのパラメータの比が従う分布であり、F検定の検定統計量が従うF分布もそれぞれ別個のカイ二乗分布に従うパラメータの比が従う分布となる。

過分散とは、観測された分散がモデルが予測する分散よりも大きい状況を指す。複合分布は、過分散を示すような結果をモデル化する上で有用である。例えば、計数は通常ポアソン分布に従うとモデル化される。理論的には、ポアソン分布の分散は平均に一致する。ここで、ポアソン分布の平均を表すパラメータのばらつきを許容すると、計数の分布を一般化することができる。具体的には、平均パラメータがガンマ分布に従うとした場合、複合分布は負の二項分布となる。この分布の形状はポアソン分布に類似しているが、その理論的分散ははるかに大きい。

同様に、二項分布の成功確率パラメータがベータ分布に従うとした場合の複合分布はベータ二項分布となる。

ベイズ推定においては、複合分布の特別な場合と見做せるありふれた周辺分布以外の用途がある。上記の記法に従えば、 F を将来の観測の分布、G を F のパラメータの観測を基にした事後確率分布とした場合の複合分布であり、 これらの複合分布は事後予測分布を与える。これに対して、事前予測分布は、F を将来のデータ点の分布、G をパラメータの事前確率分布とした場合の複合分布である。

確率変数の和が従う分布の導出には確率分布の畳み込みを行うが、これも複合分布の特別な場合とみなすことができる。 すなわち、一方の被加数をもう一方の被加数の分布の位置をランダムにずらすパラメータとしてみなすということである。^[1]

指数型分布族に属する分布に由来する複合分布はしばしば解析的解を持つ。解析的積分が不可能であれば、数値的積分に頼ることとなる。

複合分布は、モンテカルロ法、すなわち確率変数の生成によって比較的容易に調査できる。${\displaystyle p(\theta )}$や${\displaystyle p(x|\theta )}$に従う乱数を生成し、それらを用いたギブスサンプリングによって${\displaystyle p(x)}$に従う乱数を生成するという手法は、通常簡単である。

複合分布は、有限個の要素からなる混合分布で十分な水準まで近似することもできる。この近似によって、近似的な密度などを得ることができる。^[1]

複合分布のもとでのパラメータ推定(最尤推定や最大事後確率推定)は、時にはEMアルゴリズムによって簡略化できる可能性がある。^[2]

• 正規分布の分散/標準偏差に関連する複合分布:^[3][4]
  • 正規分布の分散が逆ガンマ分布に従うとした場合の複合分布はT分布である。^[5] この分布は、元となる正規分布と同じ中央値を持つ対称分布であるが、分散が大きい裾の重い分布である。
  • 正規分布の分散が指数分布に従うとした場合の複合分布はラプラス分布である。 これを一般化し、正規分布の分散をガンマ分布に従うとした場合の複合分布は分散ガンマ分布（英語版）となる。
  • 正規分布の分散が指数分布に従い、その指数分布の比母数がさらにガンマ分布に従うとした場合の複合分布は正規指数ガンマ分布（英語版）となる。なお、これは2段階の複合分布であり、正規分布の分散は、後述するようにロマックス分布に従う。
  • 正規分布の標準偏差の逆数が一様分布に従う場合の複合分布はスラッシュ分布となる。
  • 正規分布の標準偏差がコルモゴロフ分布に従う場合の複合分布はロジスティック分布となる。^[6][3]
• その他の正規分布の複合分布:
  • 正規分布の平均値が別の正規分布に従う場合、それらの複合分布も再び正規分布となる。
  • 正規分布の平均値が指数分布に従うとした場合、複合分布はex-Gaussian分布（英語版）となる。

• ベルヌーイ分布の成功確率が、期待値を定義可能な分布 ${\displaystyle X}$ に従う場合、複合分布は成功確率が${\displaystyle E[X]}$であるベルヌーイ分布である。 この複合分布の興味深い帰結として、${\displaystyle X}$ のばらけ具合が複合分布に何の影響も与えないということが挙げられる。
• 二項分布の成功確率がベータ分布に従う場合、複合分布はベータ二項分布となる。 この分布は二項分布に由来するサンプル数 ${\displaystyle n}$ およびベータ分布に由来する2つのパラメータ${\displaystyle \alpha ,\beta }$ からなる3つのパラメータをもつ。^[7][8]
• 多項分布の確率ベクトルがディリクレ分布に従うとした場合、複合分布はディリクレ多項分布（英語版）である。
• ポアソン分布のレートパラメータがガンマ分布に従うとした場合、複合分布は負の二項分布となる。^[9][10]
• ポアソン分布のレートパラメータが指数分布に従うとした場合、複合分布は(台に0を含む)幾何分布となる。
• 指数分布のレートパラメータがガンマ分布に従うとした場合、複合分布はロマックス分布（英語版）となる。^[11]
• ガンマ分布の尺度母数の逆数が別のガンマ分布に従うとした場合、複合分布は第2種ベータ分布である。^[12]
• 半正規分布の尺度母数がレイリー分布に従うとした場合、複合分布は指数分布となる。
• ガンマ分布のパラメータとして${\displaystyle k=2,\theta }$をとり、${\displaystyle \theta }$が一様分布に従う場合、複合分布は指数分布である。

複合ポアソン分布（英語版）や複合ポアソン過程（英語版）における「複合(英: Compound)」の意味は、本項目で記述されているそれとは異なる。この項目での意味合いは、階層ベイズモデルにおけるそれに対応する。

なお、ポアソン分布の比母数自体を確率変数と思った場合の(本項目における意味での)複合分布は、混合ポアソン分布（英語版）(英: Mixed Poisson distribution)とも呼ばれる。