教師なし学習

教師なし学習は教師あり学習と違い、目的変数yに相当するものがそもそも存在しないか、あっても知る事ができない。未知の確率分布${\displaystyle p(\mathbf {x} )}$に従う変数${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{n}}$が訓練データとしてアルゴリズムに与えられる。アルゴリズムが解くべきタスクは、確率分布${\displaystyle p(\mathbf {x} )}$やその重要な性質を何らかの形で学習し、${\displaystyle p(\mathbf {x} )}$の特性を直接推定する事である^[1]。教師あり学習と違い、明確な「正解」yが存在しないので、教師なし学習では出力の妥当性を直接評価する評価尺度は存在せず^[1]、妥当か否かの判断は主観的なものになり^[1]、ヒューリスティックな議論が必要となる^[1]。

教師なし学習の興味の一つは確率密度関数${\displaystyle p(\mathbf {x} )}$それ自身を推定する密度推定のタスクであり、カーネル密度推定など統計学で様々なノンパラメトリック密度推定の手法が知られている^[1]。しかしxの次元が高い場合は次元の呪いが原因でこうした推定はうまくいかず^[1]、それゆえ多くの教師なし学習では、${\displaystyle p(\mathbf {x} )}$の何らかのパラメトリックなモデルで${\displaystyle p(\mathbf {x} )}$を近似することを試みたり、訓練データから${\displaystyle p(\mathbf {x} )}$の何らかの重要な性質を抽出するといったアプローチが取られる。

具体的なタスクとして以下のようなものがある。

• クラスター分析
• 主成分分析
• ベクトル量子化
• 自己組織化マップ
• K平均法

自己教師あり学習（英: self-supervised learning）は学習データのラベルを学習データに基づいて生成する学習手法である^[2]。教師ラベルがないという点で教師なし学習の一種とみなせる^[3]。