転移学習

1976年、Stevo BozinovskiとAnte Fulgosiは、ニューラルネットワークの学習における転移学習に明示的に取り組んだ論文を発表した^[3][4]。この論文では、転移学習の数学的および幾何学的モデルを示している。1981年には、コンピュータ端末の文字を表す画像のデータセットに対して、転移学習を適用してニューラルネットワークを学習させた研究が報告された。ポジティブとネガティブな両方の転移学習が実験的に実証された^[5]。

1993年、Lorien Prattは、機械学習における転移についての論文を発表し、識別性に基づく転移アルゴリズムを定式化した^[6]。

アンドリュー・ンは、NIPS 2016のチュートリアルで^[7][8][9]、転移学習は教師あり学習の次に機械学習の商業的成功の原動力になると述べ、その重要性を強調した。

転移学習の定義は、ドメインとタスクの観点から与えられる。ドメイン ${\displaystyle {\mathcal {D}}}$ は、特徴空間 ${\displaystyle {\mathcal {X}}}$ と周辺確率分布 ${\displaystyle P(X)}$ からなり、ここに ${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$ とする。特定のドメイン ${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$ が与えられた場合、タスクは、ラベル空間 ${\displaystyle {\mathcal {Y}}}$ と、目標の予測関数 ${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$ の2つの要素から構成される。この関数 ${\displaystyle f}$ は、新しいインスタンス ${\displaystyle x}$ の対応するラベル ${\displaystyle f(x)}$ を予測するために用いられる。このタスクは、${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$ で示され、${\displaystyle x_{i}\in X}$、${\displaystyle y_{i}\in {\mathcal {Y}}}$ のペア ${\displaystyle \{x_{i},y_{i}\}}$ からなる学習データから学習される^[10]。

ソースドメイン ${\displaystyle {\mathcal {D}}_{S}}$ と学習タスク ${\displaystyle {\mathcal {T}}_{S}}$ 、ターゲットドメイン ${\displaystyle {\mathcal {D}}_{T}}$と学習タスク ${\displaystyle {\mathcal {T}}_{T}}$ が与えられ、ここで ${\displaystyle {\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$、${\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$ の場合、転移学習の目的は、 ${\displaystyle {\mathcal {D}}_{S}}$ と ${\displaystyle {\mathcal {T}}_{S}}$ の知識を用いて、${\displaystyle {\mathcal {D}}_{T}}$ の対象の予測関数 ${\displaystyle f_{T}(\cdot )}$ の学習を改善することである^[10]。

マルコフ論理ネットワーク（英語版）^[11]やベイジアンネットワーク^[12]における転移学習のアルゴリズムが利用可能である。また、転移学習は、癌（がん）の亜類型の発見^[13]、建物運用^[14][15]、一般的なゲームプレイ（英語版）、文書分類^[16][17][18]、文字認識^[19]、医療画像、スパムフィルタリング^[20]にも応用されている。

2020年に、脳波記録（EEG）波形の動きをジェスチャー認識領域から精神状態認識領域へ分類するときに、その物理的性質が似ていることから、筋肉からの電気筋運動記録（EMG）信号間で転移学習が可能であることが発見された。また、この関係は逆にも作用し、脳波記録が筋運動記録をさらに分類できることも示された^[21]。この実験では、ニューラルネットワークおよび畳み込みニューラルネットワークの精度が、最初のエポック（学習前、つまり標準的なランダムな重み分布との比較）と漸近（学習プロセスの終了）の両方で、転移学習によって向上することが分かった^[22]。すなわちアルゴリズムは別のドメインに触れさせることで改善された。さらに、事前学習されたモデルの最終使用者は、完全結合層の構造を変更することで、より優れた性能を得ることができる^[23]。

コードに関する機械学習の領域では^[24]、転移学習がセキュリティ上の脆弱性を自動的に修復するのに役立つことが示されている^[25]。