京东商品评论的分类预测与LSA、LDA建模

(一）数据准备 

1.爬取京东自营店kindle阅读器的评价数据，对数据进行预处理，使用机器学习算法对评价文本进行舆情分析，预测某用户对本商品的评价是好评还是差评。通过数据分析与模型分析，推测出不同型号（价格）的kindle具有的特征，并根据每种型号的特征向不同需求的顾客推荐。爬取的数据集中包括“评论”、“字数”、“评论的点赞数”、“评论的评论数”、“评论类型”五列，为了找出价值较高的数据。首先利用主成分分析的方法，将“字数”、“评论的点赞数”、“评论的评论数”作为输入变量，得到每条数据的权重，而后抽取好评与差评中，权重最高的各50条记录，进行抽样，利用抽样得到的100条数据进行数据分析。随后，对评论内容进行结巴分析并去除停用词及数字、英文等词（图2-3），并用词云进行结果展示（图2-4）；根据图2-4的词云内容可知，558款kindle好评偏多，它的关键词为“白色”、“喜欢”、“看书”、“阅读”等，但也有较多“闪屏”、“问题”字眼；928款kindle主要关键字为“电子书”、“喜欢”、“保护”、“屏幕”、“售后”等；1258款kindle关键字为“喜欢”、“屏幕”、“阅读”、“物流”等。

                   　　　　　　　　　　　　　　　　　　　　　　　　 558款　　　　　　　　　　　　928款　　　　　　　　　　　　 1258款 

2.计算词频

将分词后的语句转换为向量的形式，这里使用CountVectorizer实现转换为词频；并将句号、评论内容、是否好评、单句词频、词汇总词频等存储到excel中，便于下一步的分析，如图。

3.计算TF-IDF值

TF-IDF是一种常用于信息处理和数据挖掘的加权技术。该技术采用一种统计方法，根据字词在文本中出现的次数和在整个语料中出现的文档频率来计算一个字词在整个语料中的重要程度。它的优点是能过滤掉一些常见的却无关紧要本的词语，同时保留影响整个文本的重要字词。TF-IDF权重计算方法主要用到两个类：CountVectorizer和TfidfTransformer。

①CountVectorizer。CountVectorizer类会将文本中的词语转换为词频矩阵，例如矩阵中包含一个元素a[i][j]，它表示j词在i类文本下的词频。它通过fit_transform函数计算各个词语出现的次数，通过get_feature_names()可获取词袋中所有文本的关键字，通过toarray()可看到词频矩阵的结果。②TfidfTransformer用于统计vectorizer中每个词语的TF-IDF值。

下图2-7、2-8是计算评论TF-IDF值的主要代码及结果展示。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图2-7 计算评论TF-IDF值

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图2-8 TF-IDF值展示 

（二）模型构建

模型构建前用LassoCV回归模型进行特征选择，对整个数据集降维，再先后构建决策树、朴素贝叶斯模型。

1.特征选择

首先，这里用生成的词向量文件举例，观察数据预处理中得到的数据集特征。该数据集其实是一个大型的稀疏矩阵，该矩阵中零元素占大多数且维度很高，如1258款的数据集除目标变量“是否好评”外，一共有720个自变量（分出来的全部词）。其实，里面大多数的词对于目标变量没有重要价值，如果全部作为模型的输入变量，构建出模型的质量不会太好，所以很有必要对数据集进行特征选择。

由于该数据集是高纬度稀疏矩阵， LassoCV回归模型正好擅长在高纬度系数矩阵中的一堆特征里面找出对应于目标变量主要的特征，该模型的效果是，可以使得一些特征的系数较小,并使一些绝对值较小的系数直接变为0，如果该变量的系数为0，则说明这个变量不重要，这样就可以在后续的操作中根据这个把不重要的变量筛选掉，从而增强模型的泛化能力，因此可以通过该模型计算出各个变量系数的结果来区分变量的重要性，以及筛选掉那些并不重要的变量

如图3-1所示，可知该模型信息与该模型最终筛选掉了653个无关变量，最终保留了67个重要变量。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 LassoCV回归模型

 再将模型结果根据计算出的系数进行排序，打印出前20个和后20个进行观察，如图所示。

3.构建朴素贝叶斯、神经网络模型

1）训练朴素贝叶斯模型使用tf-idf值的文件，同样经过LassoCV回归模型特征选择后，采用训练集70%，测试集30%的模式进行模型的训练与测试，如图3-8所示，其模型准确率与决策树一样达到97%，召回率与F值均为97%，模型效果很好。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图 3-8  朴素贝叶斯模型

2）训练神经网络同样使用与朴素贝叶斯一样的数据集，模型构建及测试如图3-9所示，测试集中有28个预测正确，准确率达到93.3%，召回率与F值均为93%，模型效果不错。

 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图 3-9 神经网络模型

4.模型结论

对模型结果进行分析，首先我们分析特征选择模型筛选出的对于顾客体验有关联的40个词，把每种型号的词分为“与商品特征相关”、“与客户体验相关”两类词，同时剔除无关词语如：

1.情绪化词语（对于推测商品特征没帮助），如‘喜欢‘、‘不好‘、‘强烈推荐‘、‘没用‘ 

2.词意不确定的词语

3.无意义词语，结合决策树中的关键词，最终得出结论如下表所示。

（三）数据分析

主题分析-潜在语义分析模型(LSA)与文档主题生成模型(LDA)

1 传统向量空间模型的缺陷

  向量空间模型简单的基于单词的出现与否以及TF-IDF等信息来进行检索，但是“说了或者写了哪些单词”和“真正想表达的意思”之间有很大的区别，其中两 个重要的阻碍是单词的多义性(polysems)和同义性(synonymys)。多义性指的是一个单词可能有多个意思，比如Apple，既可以指水果苹果，也可以指苹果公司；而同义性指的是多个不同的词可能表示同样的意思，比如search和find。

2 潜在语义分析模型(LSA)

我们希望找到一种模型，能够捕获到单词之间的相关性。如果两个单词之间有很强的相关性，那么当一个单词出现时，往往意味着另一个单词也应该出现(同义词)；反之，如果查询语句或者文档中的某个单词和其他单词的相关性都不大，那么这个词很可能表示的是另外一个意思(比如在讨论互联网的文章中，Apple 更可能指的是Apple公司，而不是水果)  。

LSA(LSI)使用SVD来对单词-文档矩阵进行分解。SVD可以看作是从单词-文档矩阵中发现不相关的索引变量(因子)，将原来的数据映射到语义空间内。在单词-文档矩阵中不相似的两个文档，可能在语义空间内比较相似。我们是一个使用sklearn中的TruncatedSVD进行文本主题分析。

1）实现步骤

（1）将数据填充空白值处理后抽样50条差评（或差评）。

（2）分词、停用词处理得到如图4-1的结果。

（3）将（2）的结果作为输入，调用TfidfVectorizer.fit_transform方法得到词向量矩阵

（4）设定主题数、能代表主题的文档数、主题的关键词数,调用TruncatedSVD方法处理

（5）打印结果。

2）结论解读

我们选定3个有代表性的主题（topic)，每个主题选取3个代表性的文档，每个主题选取5个关键词（key word)。得到结果如表3-1，3-2所示。

表4-1 差评结果（实例）

在此例中，3个topic可以理解为京东快递、屏幕及翻页、客服态度。这时便可向消费者传递信息，此商品的槽点在于京东快递不给力，屏幕和翻页问题，客服态度差。若消费害怕出现上述同样的问题，则不推荐购买。

表4-2 好评结果（实例）

在此例中，3个topic可以理解为看书阅读、屏幕完美、闪屏。这时便可向消费者传递信息，该商品的亮点在于看书阅读体验好，屏幕体验效果好，但存在闪屏现象需要注意，不过问题不大。

以往消费者购买某商品，需要浏览大量评论并反复对比好评差评，LSA精简了评论信息，不仅能实现一定程度的聚类，帮助筛选主要信息，提取关键词，更能将有代表性的具体文档提供提给消费者，为语义分析提供一定的依据。

3）LSA的不足与LDA的优点

上例中，LSA对TF-IDF进行处理得出结论，而IDF值的大小表示某词在所有文档中重要程度，IDF值越大，说明某词区别于其他词的程度就越大；相反，在所有的差评或好评中，我们希望找到大家共同出现的问题，对于某些个别问题我们可以忽略。同时，LSA利用分解SVD进行处理，主要是对分类任务进行降维。消除了同义词、多义词的影响，但LSA的概率模型假设文档和词的分布是服从联合正态分布的，但从观测数据来看是服从泊松分布。LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

4）LDA实现及结果

（1）权重排序后抽样好评差评各50条

（2）处理数据得到词频矩阵

（3）设定主题数、关键词数、支持文档数

（4）调用LatentDirichletAllocation方法进行处理得到表4-3和4-4的结果

表4-3 差评结果（实例）

在此例中，3个topic可以理解为商品折损，物流慢，闪屏。消费者购买时需要主要这些问题。

表4-4 好评结果（实例）

这三个topic可以理解为商品入手体验好，屏幕清爽，看书体验好。若满足消费者需求，则可以考虑购买。

3数据分析结论

通过以上介绍的方法，分析数据集，分别得出三款kindle的好评、差评结论

京东商品评论的分类预测与LSA、LDA建模

原文：https://www.cnblogs.com/afangzzz/p/10827844.html