最小記述長
From Wikipedia, the free encyclopedia
最小記述長（さいしょうきじゅつちょう、英: minimum description length, MDL）は、情報理論に基づくモデル選択基準である。
モデル選択とは、データに照らして何らかの意味で最適なモデル族（確率分布の集合）を検討する過程を指す。
MDLは、1978年、Jorma Rissanen により導入された。MDLでは、データをモデルを用いて圧縮・送信する際の符号長の最小化を考える。これはノイズを含むデータから意味のある規則性を抽出することにあたる。
最小記述長原理に基づくモデル選択指標としてNormalized Maximum Likelihood (NML)と、その罰則項を漸近展開して得られるFisher Information Approximation (FIA)がある。
MDLは (AICと違い) 離散データを扱う情報理論に基盤を置いているので、連続値データに対し使うときは注意を要する。
