次元削減

特徴抽出とは、データを高次元の空間からより低次元の空間に変換することである。変換方法は主成分分析のように線形であるものもあるが、多くは非線形のアプローチである^[4][5]。多次元のデータに対しては、多重線形部分空間法（英語版）によって次元削減を行うことにより、テンソル表現（英語版）を利用できる^[6]。

次元削減の線形なアプローチの中で主要なものである主成分分析は、データを低次元空間に対して線形にマッピングする。マッピングの方法としては、低次元表現におけるデータの分散を最大化するようにするものがある。 実際には、データの共分散（あるいは相関係数）の行列を作り、その固有ベクトルを計算する。 最大の固有値に対応する固有ベクトル（主成分）は、元データの分散が最大になる方向を示している。さらに、固有値の大きい順に並べたときの最初の数個の固有ベクトルは、特に低次元の系では系のエネルギーの大部分を占めているため、系の物理的なふるまいを解析するのに役立つ。 勿論、全ての系がこのようなふるまいを示すわけではなく、ケースバイケースである。 主成分分析により、少数の固有ベクトルで張られる空間に次元を削減^{[注釈 1]}できる^[要出典]。

非負値行列因子分解（英: Non-negative matrix factorization、NMFとも）は非負の行列を2つの非負の行列の積に分解する方法で、天文学など^[7][8]非負値しか取り扱わない分野で有力な方法とされている^[9][10]。 NMFはLeeとセバスチャン・スン（英語版）によって効率的な乗法アルゴリズムが提案され^[11][9]て以来よく知られており、継続的に拡張・応用がなされている^[11]。例としては、不確さを含めた取り扱い^[7]、欠損データを考慮した並列計算^[12]、NMFの安定性と線形性へと繋がる逐次的な構成^[8][12]、画像処理における欠損データを取り扱う更新則^[13]等。

オートエンコーダは、非線形の次元削減関数の学習と、その逆関数である次元削減された表現から元の表現へ変換する関数の両方を学習するために利用される^[14]。

t分布型確率的近傍埋め込み法（英: t-SNE）は、高次元データセットの可視化に有用な非線形の次元削減手法である。 必ずしも密度や距離が保存されるわけではないため、クラスタリングや外れ値の検出といった用途には推奨されない^[15]。

• 信号処理
• 音声認識
• ニューロインフォマティクス
• バイオインフォマティクス
• 潜在意味解析
• 局所性鋭敏型ハッシュ
• 最近傍探索
• 特異値分解