パープレキシティ

離散確率分布 ${\displaystyle p}$ のパープレキシティ ${\displaystyle PP}$ は次のように定義される。

${\displaystyle {\mathit {PP}}(p):=2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\prod _{x}p(x)^{-p(x)}}$

ここで、${\displaystyle H(P)}$ は分布のエントロピー（ビット単位）であり、 ${\displaystyle x}$ はイベントの範囲である。(基数は${\displaystyle 2}$である必要はない。そのエントロピーとべき乗の基数が同じ場合、パープレキシティは基数に依存しない。) この尺度は、ある学問領域では（次数${\displaystyle 1}$の真の）多様性 (en:英語版) としても知られている。

確率変数 ${\displaystyle X}$ のパープレキシティは、その可能な値 ${\displaystyle x}$ に対する分布のパープレキシティと定義することができる。

${\displaystyle p}$ が公平な ${\displaystyle k}$ 面ダイス（${\displaystyle k}$ 個の離散イベントに対する一様分布）をモデル化している特別な場合、そのパープレキシティは ${\displaystyle k}$ である。パープレキシティが ${\displaystyle k}$ の確率変数は、公平な ${\displaystyle k}$ 面ダイスと同じ不確実性を持ち、その確率変数の値について「${\displaystyle k}$ 点パープレックス（${\displaystyle k}$-ways perplexed）」であるという。（公平な ${\displaystyle k}$ 面ダイスでない限り、${\displaystyle k}$ を超える値が可能であるが、これらの値の中には ${\displaystyle 1/k}$ より大きい確率を持つものがあり、それを合計すると全体の値が減少するため、全体の不確実性は増加しない）。

パープレキシティは、予測問題の難しさを示す尺度として使われることがある。しかし、必ずしも正確ではない。2つの選択肢があり、そのうち1つの確率が 0.9 だとすると、最適な戦略で正解する確率は 90 %である。パープレキシティは ${\textstyle 2^{-0.9\log _{2}{0.9}-{0.1}\log _{2}{0.1}}=1.38}$である。パープレキシティの逆数（公平な ${\displaystyle k}$ 面ダイスの場合、正しく推測できる確率を表す）は、0.9 ではなく、1/1.38 = 0.72 である。

パープレキシティはエントロピーの指数化であり、より明確な量である。エントロピーとは、たとえば理論的に最適な可変長符号を使用して、確率変数の結果を符号化するために必要なビット数の期待値、あるいは平均値を示す尺度である。これは、確率変数の結果を学習することによる期待情報利得と等価と考えることができる。

Summarize Timeline Fact Check

未知の確率分布 p のモデルは、p から抽出された訓練サンプルに基づいて提案されることがある。提案された確率モデル q が与えられたとき、同じく p から抽出された別のテストサンプル x₁, x₂, ..., x_N をどの程度予測できるかを問うことによって q を評価することができる。モデル q のパープレキシティは次のように定義される。

${\displaystyle b^{-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}=\left(\prod _{i}q(x_{i})\right)^{-1/N}}$

ここで、 ${\displaystyle b}$ は通常 2 とされる。未知分布 p のより優れたモデル q は、テストイベントにより高い確率 q(x_i) を割り当てる傾向がある。したがって、そのパープレキシティは低くなり、テストサンプルに当惑することは少なくなる。

上記の指数は、q に基づく最適な符号を使用した場合に、テストイベント x_i を表現するのに必要な平均ビット数と考えることができる。パープレキシティが低いモデルは、テストサンプルを圧縮することに優れていて、 q(x_i) が高くなる傾向にあるため、テスト要素あたり必要とするビット数は平均して少なくなる。

指数 ${\displaystyle -{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}$ は、交差エントロピーと解釈することもできる。

${\displaystyle H({\tilde {p}},q)=-\sum _{x}{\tilde {p}}(x)\log _{b}q(x)}$

ここで、${\displaystyle {\tilde {p}}}$ はテストサンプルの経験分布（英語版）を表す（すなわち、サイズ N のテストサンプルに x が n 回出現した場合、${\displaystyle {\tilde {p}}(x)=n/N}$）。 カルバック・ライブラー情報量の定義により、これは$${\displaystyle H({\tilde {p}})+D_{KL}({\tilde {p}}\|q)}$$とも等しく、これは ${\displaystyle \geq H({\tilde {p}})}$ となる。したがって、${\displaystyle q={\tilde {p}}}$ のときに、パープレキシティは最小となる。