1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。
启动hadoop
Hdfs上创建文件夹
data 为名字
上传文件至hdfs
启动Hive
创建原始文档表
导入文件内容到表docs并查看
导入
查看
用HQL进行词频统计,结果放在表word_count里
查看统计结果
结果有3万多行
所以只截图其中几行来当例子
2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。
这里我是按照小说名字和小说月票数排序保存的novel.csv
将novel.csv上传到dfs,这里我使用的是winscp上传到虚拟机的。
上传到dfs
启动hive
创建novellist表存储novel.csv的数据
创建表
存数据
查询novellist表的前10个数据
分析结果:
我选择了novellist的前10行显示,结果可以看到10部当月月票排名前10的小说,由此知道哪10本小说是当月赚钱最多的小说。
同时“赘婿”是当月月票数最多的小说。
原文:https://www.cnblogs.com/diansaonian/p/9090312.html