1、TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).(逆文档词频)
2、自我理解:
公式TF = $$\frac{语料库中关键词出现的次数}{总词数量}$$ ##权重w (词频)
或者
TF = $$\frac{某个词在文章中出现的次数}{文章中出现词最多的次数}$$
IDF = $$log\frac{文档总数}{某个文件(文档)关键词出现的次数+1}$$ ##文档总数。多个文件
TF-IDF = TF * IDF #词频-逆文档词频 词频 * 逆文档词频
3、通常算法实现的步骤:
1)、分词
2)、文件数
3、python 算法实现:jieba
4、hanlp实现
5、nltk的实现
6、Scikit-Learn的实现
4、应用场景:
原理: https://blog.csdn.net/zrc199021/article/details/53728499
原文:https://www.cnblogs.com/cbugs/p/9893256.html