Evidence lower bound

Summarize Timeline Top Qs Fact Check

Seien ${\displaystyle X}$ und ${\displaystyle Z}$ Zufallsvariablen, dann gilt ${\displaystyle p_{\theta }(X)=\int p_{\theta }(X,Z=z)dz=\int p_{\theta }(X\mid Z=z)p(Z=z)dz.}$ Unter Einführung von ${\displaystyle q_{\phi }(Z=z)}$ als einfach zu verwendender Stichproben-Vorschlags-Verteilung gilt: ${\displaystyle p_{\theta }(X)=\int p_{\theta }(X\mid Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}q_{\phi }(Z=z)dz=E_{z\sim q_{\phi }}\left[p_{\theta }(X\mid Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right].}$

Somit gilt für die Log-Likelihood aufgrund der Jensen-Ungleichung: ${\displaystyle \log(p_{\theta }(X))=\log \left(E_{z\sim q_{\phi }}\left[p_{\theta }(X\mid Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right]\right)\geq E_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X\mid Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right].}$

${\displaystyle E_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X\mid Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right]}$ wird als ELBO bezeichnet.

Durch Schätzen der ELBO unter Verwendung des Stichprobenmittelwertes ist: ${\displaystyle {\hat {E}}_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X\mid Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right]={\frac {1}{N}}\sum _{i=1}^{N}\log \left(p_{\theta }(X\mid Z=z_{i}){\frac {p(Z=z_{i})}{q_{\phi }(Z=z_{i})}}\right)}$

Die Minimierung der Kullback-Leibler-Divergenz ist äquivalent zur Maximierung der Evidence lower bound. Die evidence lower bound wird bei der variational inference optimiert.