事前知識

事前知識とは、訓練データに加えて利用可能な、問題に関するすべての情報を指す。事前知識なしに有限の訓練データ集合からモデルを決定するという方法は、一意なモデルが存在しない可能性があるという意味で、不良設定問題である。ほとんどの分類器は、ある訓練データに類似したテストデータは同じクラスに割り当てられる傾向があるという、一般的な連続性の仮定を取り入れている。^[2]

機械学習における事前知識の重要性は、探索と最適化におけるその役割によって示唆される。大まかに言えば、ノーフリーランチ定理は、すべての探索アルゴリズムはすべての問題に対して同じ平均性能を持つと述べており、したがって、特定のアプリケーションで性能を向上させるためには、その問題に関する何らかの事前知識を含む特化したアルゴリズムを使用しなければならないことを意味する。

極論として、事前知識を一切使用しなかった場合、類似した入力は類似した出力になるという連続性の事前知識すら使用しなかった場合、機械学習は入力と出力の対応関係を覚えるだけのルックアップテーブルになり、未知のデータに正しく回答する汎化能力はなくなる。つまり、汎化能力のある機械学習は何らかの事前知識を必ず使用していて、帰納バイアスが必須である。

ベイズ統計学の事前確率分布も事前知識の一種である。

パターン認識で遭遇するさまざまな種類の事前知識は、クラス不変性とデータに関する知識という2つの主要なカテゴリに分類される。

Summarize Timeline Fact Check

パターン認識における非常に一般的な事前知識の一種は、入力パターンの変換に対するクラス（分類器の出力）の不変性である。この種の知識は変換不変性と呼ばれる。画像認識ではアフィン変換（平行移動、回転、鏡映、拡大縮小、せん断写像）がよく使われる。

${\displaystyle \theta }$ でパラメータ化された変換 ${\displaystyle T_{\theta }:{\boldsymbol {x}}\mapsto T_{\theta }{\boldsymbol {x}}}$ への不変性を、入力パターン ${\displaystyle {\boldsymbol {x}}}$ に対する出力 ${\displaystyle f({\boldsymbol {x}})}$ を持つ分類器に組み込むことは、次の等式を課すことに対応する。

${\displaystyle f({\boldsymbol {x}})=f(T_{\theta }{\boldsymbol {x}}),\quad \forall {\boldsymbol {x}},\theta .}$

${\displaystyle T_{0}{\boldsymbol {x}}={\boldsymbol {x}}}$ となるように ${\displaystyle \theta =0}$ を中心とする変換に対しては、以下の制約を用いることで局所不変性も考慮できる。

${\displaystyle \left.{\frac {\partial }{\partial \theta }}\right|_{\theta =0}f(T_{\theta }{\boldsymbol {x}})=0.}$

これらの式における関数 ${\displaystyle f}$ は、分類器の決定関数またはその実数値出力のいずれかである。

別のアプローチとして、変換の代わりに「入力空間内の領域」に関するクラス不変性を考慮する方法がある。この場合、問題は次式を満たす ${\displaystyle f}$ を見つけることになる。

${\displaystyle f({\boldsymbol {x}})=y_{\mathcal {P}},\ \forall {\boldsymbol {x}}\in {\mathcal {P}},}$

ただし、${\displaystyle y_{\mathcal {P}}}$ は入力空間内の領域 ${\displaystyle {\mathcal {P}}}$ の所属クラスである。

パターン認識に見られる異なる種類のクラス不変性として、順列不変性がある。すなわち、構造化された入力における要素の順列に対するクラスの不変性である。この種の事前知識の典型的な応用例は、行列入力の行の順列に対して不変な分類器である。