エントロピー不確定性

Summarize Timeline Top Qs Fact Check

この厳密な不等式の証明は、フーリエ変換のいわゆる(q, p)ノルムに依存する。(このノルムの確立が証明の最も難しい部分である）。

このノルムから、シャノンエントロピーを一般化する微分Rényiエントロピーの和H_α(|f|²)+H_β(|g|²), where 1/α + 1/β = 2 の下界を確立することができる。簡潔にするため、この不等式を一次元でのみ考察する。多次元への拡張は単純であり、引用文献に見出すことができる。

フーリエ変換の(q, p)ノルムは次のように定義される。^[5]

${\displaystyle \|{\mathcal {F}}\|_{q,p}=\sup _{f\in L^{p}(\mathbb {R} )}{\frac {\|{\mathcal {F}}f\|_{q}}{\|f\|_{p}}},}$ where ${\displaystyle 1<p\leq 2~,}$   and ${\displaystyle {\frac {1}{p}}+{\frac {1}{q}}=1.}$

1961年、Babenko はq の偶整数についてノルムを発見。1975年、 フーリエ変換の固有関数にエルミート関数 を使い、 Beckner^[2] q ≥ 2 についてノルムの値が、以下であることを証明した:

${\displaystyle \|{\mathcal {F}}\|_{q,p}={\sqrt {p^{1/p}/q^{1/q}}}.}$

よって、以下のBabenko–Beckner不等式 が出る:

${\displaystyle \|{\mathcal {F}}f\|_{q}\leq \left(p^{1/p}/q^{1/q}\right)^{1/2}\|f\|_{p}.}$

この不等式からRényiエントロピーを用いた不確定性原理の表現が導かれる。^[5]

Let ${\displaystyle g={\mathcal {F}}f,\,2\alpha =p,\,2\beta =q,}$ so that ${\displaystyle {\frac {1}{\alpha }}+{\frac {1}{\beta }}=2}$ and ${\displaystyle {\frac {1}{2}}\leq \alpha \leq 1\leq \beta }$, we have

${\displaystyle \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)^{1/2\beta }\leq {\frac {(2\alpha )^{1/4\alpha }}{(2\beta )^{1/4\beta }}}\left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)^{1/2\alpha }.}$

両辺を2乗して対数をとると、次のようになる。

${\displaystyle {\frac {1}{\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\leq {\frac {1}{2}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}+{\frac {1}{\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right).}$

${\displaystyle \alpha ,\beta }$ の条件を書き直すことができる。

${\displaystyle \alpha (1-\beta )+\beta (1-\alpha )=0}$

${\displaystyle \alpha ,\beta \neq 1}$と仮定し、次に、両辺に負の値を掛ける。

${\displaystyle {\frac {\beta }{1-\beta }}=-{\frac {\alpha }{1-\alpha }}}$

以下を得る。

${\displaystyle {\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}-{\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)~.}$

項を並べ替えると、Rényi エントロピーの和の不等式が得られる。

${\displaystyle {\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)+{\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}};}$

${\displaystyle H_{\alpha }(|f|^{2})+H_{\beta }(|g|^{2})\geq {\frac {1}{2}}\left({\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right)-\log 2}$

${\displaystyle {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\alpha }{\alpha -1}}\log(2\alpha )^{1/\alpha }+{\frac {\beta }{\beta -1}}\log(2\beta )^{1/\beta }\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log 2\alpha }{\alpha -1}}+{\frac {\log 2\beta }{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[{\frac {1}{\alpha -1}}+{\frac {1}{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[{\frac {1}{\alpha -1}}+{\frac {1}{\beta -1}}-{\frac {\alpha }{\alpha -1}}-{\frac {\beta }{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[-2\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]-\log 2}$

この最後の不等式の極限を次のように取る: ${\displaystyle \alpha ,\,\beta \to 1}$ そして置換${\displaystyle \mathrm {A} =\alpha -1,\mathrm {B} =\beta -1}$ はより一般的でないシャノンエントロピーの不等式をもたらす。

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}},\quad {\textrm {where}}\quad g(y)\approx \int _{\mathbb {R} }e^{-2\pi ixy}f(x)\,dx~,}$

bit, natなど適切な情報単位を選びさえすれば、どの基数の対数でも有効である。

しかし、フーリエ変換の正規化（物理学で通常使われるような、ħ=1となるように正規化する）が異なれば、定数は異なる。

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log(\pi e)\quad {\textrm {for}}\quad g(y)\approx {\frac {1}{\sqrt {2\pi }}}\int _{\mathbb {R} }e^{-ixy}f(x)\,dx~.}$

この場合、フーリエ変換の絶対値の2乗を2π倍に拡張すると、エントロピーにlog(2π)が加算されるだけである。