Tf-idf

Tf-idf es el producto de dos medidas, frecuencia de término y frecuencia inversa de documento. Existen varias maneras de determinar el valor de ambas. En el caso de la frecuencia de término tf(t, d), la opción más sencilla es usar la frecuencia bruta del término t en el documento d, o sea, el número de veces que el término t ocurre en el documento d. Si denotamos la frecuencia bruta de t por f(t,d), entonces el esquema tf simple es tf(t, d) = f(t,d). Otras posibilidades son:^[3]

• "frecuencias" booleanas: tf(t,d) = 1 si t ocurre en d, y 0 si no;
• frecuencia escalada logarítmicamente: tf(t,d) = 1 + log f(t,d) (y 0 si f(t,d)=0);
• frecuencia normalizada, para evitar una predisposición hacia los documentos largos. Por ejemplo, se divide la frecuencia bruta por la frecuencia máxima de algún término en el documento:^[4]

${\displaystyle \mathrm {tf} (t,d)={\frac {\mathrm {f} (t,d)}{\max\{\mathrm {f} (t,d):t\in d\}}}}$

La frecuencia inversa de documento es una medida de si el término es común o no, en la colección de documentos. Se obtiene dividiendo el número total de documentos por el número de documentos que contienen el término, y se toma el logaritmo de ese cociente:

${\displaystyle \mathrm {idf} (t,D)=\log {\frac {|D|}{|\{d\in D:t\in d\}|}}}$

donde

• ${\displaystyle |D|}$: cardinalidad de D, o número de documentos en la colección.
• ${\displaystyle |\{d\in D:t\in d\}|}$ : número de documentos donde aparece el término t. Si el término no está en la colección se producirá una división-por-cero. Por lo tanto, es común ajustar esta fórmula a ${\displaystyle 1+|\{d\in D:t\in d\}|}$.

Matemáticamente, la base de la función logaritmo no es importante y constituye un factor constante en el resultado final.

Luego, tf-idf se calcula como:

${\displaystyle \mathrm {tfidf} (t,d,D)=\mathrm {tf} (t,d)\times \mathrm {idf} (t,D)}$

Un peso alto en tf-idf se alcanza con una elevada frecuencia de término (en el documento dado) y una pequeña frecuencia de ocurrencia del término en la colección completa de documentos. Como el cociente dentro de la función logaritmo del idf es siempre mayor o igual que 1, el valor del idf (y del tf-idf) es mayor o igual que 0. Cuando un término aparece en muchos documentos, el cociente dentro del logaritmo se acerca a 1, ofreciendo un valor de idf y de tf-idf cercano a 0.

• Okapi BM25
• Sintagma nominal
• Modelo de espacio vectorial
• PageRank
• Latent Dirichlet Allocation
• Divergencia de Kullback-Leibler
• Información mutua

• Esta obra contiene una traducción derivada de «Tf-idf» de Wikipedia en inglés, publicada por sus editores bajo la Licencia de documentación libre de GNU y la Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.

• Jones KS (1972). A statistical interpretation of term specificity and its application in retrieval 28 (1). pp. 11-21. doi:10.1108/eb026526. 
• Salton G; McGill MJ (1986). Introduction to modern information retrieval. McGraw-Hill. ISBN 0-07-054484-0. 
• Salton G, Fox EA, Wu H (noviembre de 1983). Extended Boolean information retrieval 26 (11). pp. 1022-1036. doi:10.1145/182.358466. 
• Salton G, Buckley C (1988). Term-weighting approaches in automatic text retrieval 24 (5). pp. 513-523. doi:10.1016/0306-4573(88)90021-0. 
• Wu HC, Luk RWP, Wong KF, Kwok KL (2008). Interpreting tf–idf term weights as making relevance decisions 26 (3). pp. 1-37. doi:10.1145/1361684.1361686.