Tf–idf

1. tf-idfは2つの統計量、term frequency (tf)と、inverse document frequency (idf) の積である。双方の統計量には、厳密な値を決定するために様々な手法が存在している。
2. 式は、文書やWebページにおけるキーワードやフレーズの重要性を定義することを目的とする。

さらに見る , ...

term frequency (tf) 重みの計算手法

重み付け手法	tf 重み
binary (2値)	${\displaystyle {0,1}}$
raw count (出現頻度をそのまま使用)	${\displaystyle f_{t,d}}$
term frequency (標準的な単語頻度)	${\displaystyle f_{t,d}{\Bigg /}{\sum _{t'\in d}{f_{t',d}}}}$
log normalization (対数による正規化)	${\displaystyle \log(1+f_{t,d})}$
double normalization 0.5 (二重0.5正規化)	${\displaystyle 0.5+0.5\cdot {\frac {f_{t,d}}{\max _{\{t'\in d\}}{f_{t',d}}}}}$
double normalization K (二重K正規化)	${\displaystyle K+(1-K){\frac {f_{t,d}}{\max _{\{t'\in d\}}{f_{t',d}}}}}$

閉じる

Inverse document frequency (逆文書頻度)

さらに見る idf 重み ( ...

inverse document frequency (idf) 重みの計算手法

重み付け手法	idf 重み (${\displaystyle n_{t}=|\{d\in D:t\in d\}|}$)
idfを使用しない	1
inverse document frequency (標準的なidf)	${\displaystyle \log {\frac {N}{n_{t}}}=-\log {\frac {n_{t}}{N}}}$
inverse document frequency smooth (+1をしてスムージングを行うidf)	${\displaystyle \log \left({\frac {N}{1+n_{t}}}\right)+1}$
inverse document frequency max (最大値を取るidf)	${\displaystyle \log \left({\frac {\max _{\{t'\in d\}}n_{t'}}{1+n_{t}}}\right)}$
probabilistic inverse document frequency (確率論的idf)	${\displaystyle \log {\frac {N-n_{t}}{n_{t}}}}$

閉じる

inverse document frequency (idf) はその単語がどのくらい情報を提供するのかという指標である。すなわち、ある単語が、すべての文書の中で普遍的なのか珍しいのかということである。idfは、その単語の文書頻度の逆数を対数スケールにしたものである。（文書の総数をその単語を含む文書の数で除算し、その商の対数を取ったものとして得られる。）

${\displaystyle \mathrm {idf} (t,D)=\log {\frac {N}{|\{d\in D:t\in d\}|}}}$

この時、

• ${\displaystyle N}$: コーパスに含まれる文書の総数 ${\displaystyle N={|D|}}$
• ${\displaystyle |\{d\in D:t\in d\}|}$ : 単語${\displaystyle t}$が出現する文書の数 （すなわち、 ${\displaystyle \mathrm {tf} (t,d)\neq 0}$でなくてはならない）。 もしその語がコーパスに存在しない場合、これはゼロ除算を招く。それゆえに、分母を${\displaystyle 1+|\{d\in D:t\in d\}|}$と調整するのが一般的である。

Term frequency–inverse document frequency (tf-idf)

ここで、tf-idfは次のように計算される。

${\displaystyle \mathrm {tfidf} (t,d,D)=\mathrm {tf} (t,d)\cdot \mathrm {idf} (t,D)}$

tf-idfの重みが高くなるのは、（与えられた文書内で）その単語の単語頻度(term frequency, tf)が高く、かつ、文書集合全体においてその単語の文書頻度(document frequency, df)が低い場合である。それゆえに、重みは普遍的な語をフィルタする傾向がある。idfの対数内の分数は常に1以上となるため、idf（とtf-idf)の値は常に0以上になる。単語がより多くの文書に現れる場合、対数の中の分数は1に近づき、それゆえにidfとtf-idfは0に近づく。

さらに見る , ...

推奨されているtf–idf重み付け手法

重み付け手法	文書における利用	クエリにおける利用
1	${\displaystyle f_{t,d}\cdot \log {\frac {N}{n_{t}}}}$	${\displaystyle \left(0.5+0.5{\frac {f_{t,q}}{\max _{t}f_{t,q}}}\right)\cdot \log {\frac {N}{n_{t}}}}$
2	${\displaystyle \log(1+f_{t,d})}$	${\displaystyle \log \left(1+{\frac {N}{n_{t}}}\right)}$
3	${\displaystyle (1+\log f_{t,d})\cdot \log {\frac {N}{n_{t}}}}$	${\displaystyle (1+\log f_{t,q})\cdot \log {\frac {N}{n_{t}}}}$

閉じる

idfは1972年のKaren Spärck Jones（英語版）の論文によって「単語の特異性」として導入された。idfはヒューリスティクスでうまくいくとされてきたにもかかわらず、その論理的な基礎は少なくとも30年以上悩みの種となっており、多くの研究者が情報理論的な正当化を試み続けている^[7]。

Spärck Jonesは自身の説明の中で、ジップの法則を別にして、十分な理論を提供していない^[7]。与えられた文書dが語tを含む確率を、相対文書頻度として推定することによって、idfを確率論的基盤に置こうとする試みが行われてきている^[8]。

${\displaystyle P(t|D)={\frac {|\{d\in D:t\in d\}|}{N}},}$

idfを次のように定義すると、

${\displaystyle {\begin{aligned}\mathrm {idf} &=-\log P(t|D)\\&=\log {\frac {1}{P(t|D)}}\\&=\log {\frac {N}{|\{d\in D:t\in d\}|}}\end{aligned}}}$

つまり、逆文書頻度は対数を取った「逆」相対文書頻度となる。

また、この確率論的解釈は自己情報量と同じ形を取る。しかし、そのような情報理論的概念を情報検索の問題に応用すると、必要な確率分布に適切な確率空間を定義する際、文書だけでなく、クエリや単語を考慮する必要があるため、問題が生ずる^[7]。

term frequency (tf) とinverse document frequency (idf) の両者は情報理論の観点から定式化されうる。この考えは、なぜそれらの積が文書の結合情報量の観点から意味があるのかを理解するのに役立つ。分布${\displaystyle p(d,t)}$に関する特徴的な仮定を以下の示す。

${\displaystyle p(d|t)={\frac {1}{|\{d\in D:t\in d\}|}}}$

この仮定とその意味は、Aizawaによれば、「ヒューリスティックなtf-idfの使われ方を表している。」という^[9]。

特定の語${\displaystyle t}$を含む事象を条件として、コーパス${\displaystyle D}$の文書を「ランダムで選択」する条件付きエントロピー（英語版）は以下のように示される（全文書は等しい確率で選択されると仮定する）。

${\displaystyle H({\cal {D}}|{\cal {T}}=t)=-\sum _{d}p_{d|t}\log p_{d|t}=-\log {\frac {1}{|\{d\in D:t\in d\}|}}=\log {\frac {|\{d\in D:t\in d\}|}{|D|}}+\log |D|=-\mathrm {idf} (t)+\log |D|}$

表記に関して、${\displaystyle {\cal {D}}}$と${\displaystyle {\cal {T}}}$は「ランダムな変数」であり、文書や単語がそれぞれ選ばれることに相当する。ここで、相互情報量は以下のように表される。

${\displaystyle M({\cal {T}};{\cal {D}})=H({\cal {D}})-H({\cal {D}}|{\cal {T}})=\sum _{t}p_{t}\cdot (H({\cal {D}})-H({\cal {D}}|W=t))=\sum _{t}p_{t}\cdot \mathrm {idf} (t)}$

最後のステップは${\displaystyle p_{t}}$を展開することであり、文書の（ランダムな）選択に関して、条件と無関係に単語を選択する確率であるから、

${\displaystyle M({\cal {T}};{\cal {D}})=\sum _{t,d}p_{t|d}\cdot p_{d}\cdot \mathrm {idf} (t)=\sum _{t,d}\mathrm {tf} (t,d)\cdot {\frac {1}{|D|}}\cdot \mathrm {idf} (t)={\frac {1}{|D|}}\sum _{t,d}\mathrm {tf} (t,d)\cdot \mathrm {idf} (t).}$

この式は、すべての有効な単語と文書のtf-idfの和は、文書と単語の同時確率分布の特異性のすべてを考慮した、文書と単語の間の相互情報量に立ち戻ることを表している^[9]。それゆえに、それぞれのtf-idfは、ある単語と文書のペアに付け足された、「情報のかけら(bit of information)」を意味している。

2つの文書からのみ構成されるコーパスの単語カウント表（右に示す）を扱うと仮定する。

語"this"のtf-idfは以下のように計算される。

出現頻度をそのままtfとして用いる場合、tfはそれぞれの文書の"this"の頻度と同じになる。標準的な文書長を調整するtfでは、各文書において単語"this"は1度現れるが、文書2はより多くの単語を含むため、相対頻度は小さくなる。

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{1})={\frac {1}{5}}=0.2}$

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{2})={\frac {1}{7}}\approx 0.14}$

idfはコーパス毎の定数であり、"this"という単語を含む文書の比率から成り立っている。この事例では、2つの文書からなるコーパスを扱い、それらはすべて"this"という語を含んでいる。

${\displaystyle \mathrm {idf} ({\mathsf {''this''}},D)=\log \left({\frac {2}{2}}\right)=0}$

つまり、"this"という語のtf-idfはゼロである。これはこの単語がすべての文書に現れることから、その単語が有益でないでないこと示唆している。

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{1},D)=0.2\times 0=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{2},D)=0.14\times 0=0}$

"example"という語はより興味深く――3度現れるが、文書2にしか現れない。

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{1})={\frac {0}{5}}=0}$

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{2})={\frac {3}{7}}\approx 0.429}$

${\displaystyle \mathrm {idf} ({\mathsf {''example''}},D)=\log \left({\frac {2}{1}}\right)=0.301}$

最終的には,

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{1},D)=\mathrm {tf} ({\mathsf {''example''}},d_{1})\times \mathrm {idf} ({\mathsf {''example''}},D)=0\times 0.301=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{2},D)=\mathrm {tf} ({\mathsf {''example''}},d_{2})\times \mathrm {idf} ({\mathsf {''example''}},D)=0.429\times 0.301\approx 0.129}$

(対数は常用対数を用いている。)

tf-idfの背後にある考えは、単語以外の存在にも応用される。1998年にはidfのコンセプトが引用分析に応用された^[10]。筆者は「もし非常に珍しい引用が2つの文書によって共有されたならば、その引用された文書はたくさんの文書によって引用されている文書よりもより高く重み付けされるべきである。」と主張した。加えて、動画や内における物体マッチングを行うための「visual words（英語版）」や^[11]全文検索にも^[12]tf-idfは応用されている。しかし、tf-idfのコンセプトは、すべての手法において、単純な（idf成分を除いた）tfのみの手法よりも効果的であるという証明はされていない。tf-idfを引用分析に応用する際には、研究者はidf重みをもたない単純な引用回数重みを超える精度向上を確認することができなかった^[13]。

多数の単語重み付け手法はtf-idfからの派生である。そのうちの一つはTF-PDF (term frequency * proportional document frequency) である^[14]。TF-PDFは2001年にメディアにおける新たなトピックを特定するという文脈で導入された。PDF成分は異なるドメインの中でどのくらいの頻度である単語が出現したかの差を測定する。他の派生にはTF-IDuFがある。TF-IDuFでは^[15]、idfは文書コーパスに基づき計算されず、検索または推薦される。例えば、idfはユーザの個人的な文書コレクションに基づいて計算される。その著者らはTF-IDuFはtf-idfと等しく効果的であるが、例えば、ユーザーモデリング（英語版）システムにおいて、外部の文書コーパスにアクセスできない時などに、応用可能であると報告している。