ギブスの不等式

ある確率分布 P を次のように表す。

${\displaystyle P=\{p_{1},\ldots ,p_{n}\}}$

別の確率分布 Q を次のように表す。

${\displaystyle Q=\{q_{1},\ldots ,q_{n}\}}$

このとき、次の不等式が成り立つ。

${\displaystyle -\sum _{i=1}^{n}p_{i}\log _{2}p_{i}\leq -\sum _{i=1}^{n}p_{i}\log _{2}q_{i}}$

ただし、これは全ての i について次の等式が成り立つときだけ等式として成り立つ。

${\displaystyle p_{i}=q_{i}\,}$

2つの量の差は、カルバック・ライブラー情報量（相対エントロピー）の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。

${\displaystyle D_{\mathrm {KL} }(P\|Q)\geq 0}$

Summarize Timeline Top Qs Fact Check

対数の性質から、次が成り立つ。

${\displaystyle \log _{2}a={\frac {\ln a}{\ln 2}}}$

従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。

${\displaystyle \ln x\leq x-1}$

これは、全ての x について成り立つ（x=1 のときだけ等号）。

p_i がゼロでない全ての ${\displaystyle i}$ の集合を ${\displaystyle I}$ とする。すると、

${\displaystyle {\begin{aligned}-\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}&{}\geq -\sum _{i\in I}p_{i}\left({\frac {q_{i}}{p_{i}}}-1\right)\\&{}=-\sum _{i\in I}q_{i}+\sum _{i\in I}p_{i}\\&{}=-\sum _{i\in I}q_{i}+1\\&{}\geq 0\end{aligned}}}$

となるので、次が成り立つ。

${\displaystyle -\sum _{i\in I}p_{i}\ln q_{i}\geq -\sum _{i\in I}p_{i}\ln p_{i}}$

両辺に 0 を加えても大小関係は変わらないから、0 であるような p_i も含めることができて、

${\displaystyle -\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}}$

等式として成り立つには、次の条件が成立しなければならない。

1. 全ての ${\displaystyle i\in I}$ について ${\displaystyle {\frac {q_{i}}{p_{i}}}=1}$ であれば、${\displaystyle \ln {\frac {q_{i}}{p_{i}}}=1-{\frac {q_{i}}{p_{i}}}}$ が成り立つ。
2. ${\displaystyle \sum _{i\in I}q_{i}=1}$ であれば、証明の3行目から4行目の部分で等号が成り立つ。

これらが成り立つのは、i = 1, ..., n について以下が成立しているときのみである。

${\displaystyle p_{i}=q_{i}}$