一、关于TF-IDF的理解

代码链接: github.

1. 词频-逆文档频率(Term Frequency-Inverse Document Frequency, TF-IDF) 是一
   种用于资讯检索与文本挖掘的常用加权技术。

2. TF-IDF是一种统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降，其计算公式：

3. TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他，文章中很少出现，则认为此词或者短语具有很好的类别区分能力,适合用来分类。

4. TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。

二、TF-IDF

1. 词频 ( Term Frequency , TF )

• 指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数的归一化，以防止偏向更长的文件。(同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语重要与否。)，词频计算公式为：

其中TFij表示词语 i 在文档 j 中出现的频率，nij表示i在j中出现的次数，n*j 表示文档 j 的总词数。

2. 逆向文件频率( Inverse Document Frequency , IDF )

• 是一个词语普遍重要性的度量，某一特定词语的IDF，可以由总文档数目除以包含该词语的文档的数目，再将得到的商取对数得到，IDF计算公式为：

其中IDFi表示词语 i 在文档集中的逆文档频率，N表示文档集中的文档总数，Ni表示文档集中包含了词语 i 的文档数。

三、实现代码（基于Jupyter编辑器）

为了便于理解，代码是基于Jupyter编译器实现，每一步骤均有输出结果。
代码链接: github.

1. 引入依赖

import numpy as np
import pandas as pd

2. 定义数据和预处理

docA = "The cat sat on my bed"
docB = "The dog sat on my knees"

bowA = docA.split(" ")
bowB = docB.split(" ")
#bowA
#构建词库
wordSet = set(bowA).union(set(bowB))
#wordSet

输出： {‘The’, ‘bed’, ‘cat’, ‘dog’, ‘knees’, ‘my’, ‘on’, ‘sat’}

3. 进行词数统计

#用统计字典来保存词出现的次数
wordDictA = dict.fromkeys(wordSet,0)
wordDictB = dict.fromkeys(wordSet,0)
#wordDictA

#遍历文档统计词数
for word in bowA:
    wordDictA[word] += 1
for word in bowB:
    wordDictB[word] += 1
    
pd.DataFrame([wordDictA,wordDictB])

输出结果：

4. 计算词频TF

def computeTF(wordDict,bow):
    #用一个字典对象记录所有的tf,把所有的词对应在bow文档里的tf都算出来
    tfDict = {
    }
    nbowCount = len(bow)
    
    for word,count in wordDict.items():
        tfDict[word] = count / nbowCount
    return tfDict

tfA = computeTF( wordDictA,bowA )
tfB = computeTF( wordDictB,bowB )

tfA

输出结果：

{‘on’: 0.16666666666666666,
‘dog’: 0.0,
‘my’: 0.16666666666666666,
‘knees’: 0.0,
‘cat’: 0.16666666666666666,
‘The’: 0.16666666666666666,
‘sat’: 0.16666666666666666,
‘bed’: 0.16666666666666666}

对于”dog“、”knees“在docA中没有出现，故其计算结果为0。

5. 计算逆文档频率idf

def computeIDF(wordDictList):
    #用一个字典对象保存idf结果，每个词作为key
    idfDict = dict.fromkeys(wordDictList[0],0)
    N = len(wordDictList)
    import math
    
    for wordDict in wordDictList:
        #遍历字典中的每个词汇,统计Ni
        for word,count in wordDict.items():
            if count > 0:
                #先把Ni增加1，存入idfDict
                idfDict[word] += 1
                
    #已经得到所有词汇i对应的Ni，现在根据公式把它替换成为idf值
    for word,ni in idfDict.items():
        idfDict[word] = math.log10((N + 1)/(ni+1))
    return idfDict

idfs = computeIDF([wordDictA,wordDictB])
idfs

输出结果：

{‘on’: 0.0,
‘dog’: 0.17609125905568124,
‘my’: 0.0,
‘knees’: 0.17609125905568124,
‘cat’: 0.17609125905568124,
‘The’: 0.0,
‘sat’: 0.0,
‘bed’: 0.17609125905568124}

对于"on"、”my“、”The“、”sat“这些词在docA与docB中都出现了，说明相对不重要，其计算结果为0。

6. 计算TF-IDF

def computeTFIDF(tf,idfs):
    tfidf = {
    }
    for word,tfval in tf.items():
        tfidf[word] = tfval * idfs[word]
    return tfidf

tfidfA = computeTFIDF(tfA,idfs)
tfidfB = computeTFIDF(tfB,idfs)

pd.DataFrame([tfidfA,tfidfB])

输出结果：

每个词的关键程度一目了然，本例中的bed，cat与dog，knees相对比较重要。