TF-IDF（词频-逆文档频率）在自然语言处理中常用于提取重要词汇。该统计方法背后的理念是，如果一个词在特定文档中出现频率较高，但在该文档所属的文档语料库中出现频率较低，那么它就是重要的。
文档中单词的词频（TF）是从文档中随机选择该单词的概率，即该单词在文档中出现的次数除以文档中的单词总数。
逆文档频率 (IDF) 的含义并不完全像其名称所暗示的那样。你可能合理地认为逆文档频率是文档频率的倒数（即倒数），其中文档频率是包含该词的文档的比例。或者换句话说，它是随机选择一个包含该词的文档的概率的倒数。这几乎是正确的，除非你取了对数。
一个词和一篇文档的 TF-IDF 是该词和文档的 TF 与 IDF 的乘积。你可以说
TF-IDF = TF * IDF
其中左侧的“-”是连字符，而不是减号。
为了验证这一点，我们来看看《钦定版圣经》。该文本很容易获取，例如可以从古腾堡计划获取，它分为 66 个文件（书卷）。
请注意，如果一个词出现在每篇文档中（在我们的例子中是《圣经》的每一本书），那么 IDF = log(1) = 0。这意味着每本书中出现的常用词（如“the”和“and”）得分为零。
以下是 Genesis 中最重要的词语，以 TF-IDF 衡量。
拉班：0.0044
亚伯兰：0.0040
约瑟夫：0.0037
雅各布：0.0034
以扫：0.0032
瑞秋：0.0031
说：0.0031
法老：0.0030
丽贝卡：0.0029
公爵：0.0028
拉班竟然名列前茅，这令人惊讶。例如，约瑟当然比拉班更重要。约瑟在《创世记》中出现的次数比拉班多，因此拥有更高的TF分数，但TF分数略高。拉班只出现在两本书中，而约瑟则出现在23本书中。
请注意，TF-IDF 仅关注字母序列。例如，它无法区分《创世记》中名为拉班的人和《申命记》中名为拉班的地点。
上述另一个奇怪之处是“duke”出现的频率。在英王钦定本（KJV）中，duke 指的是氏族的首领。它不像当代英语中那样是贵族头衔。
启示录中最重要的词语正是您所期望的。
天使：0.0043
羊肉：0.0034
野兽：0.0033
王位：0.0028
七：0.0028
龙：0.0025
天使：0.0025
无底：0.0024
克服：0.0023
教堂：0.0022
您可以在这里找到每本书中的前 10 个单词。
相关文章
使用 TF-IDF 挑选出重要词汇一文最先出现在John D. Cook上。