首页 > 其他 > 详细

Hadoop综合大作业

时间:2018-05-25 20:47:31      阅读:233      评论:0      收藏:0      [点我收藏+]

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

启动hadoop

技术分享图片

 

Hdfs上创建文件夹

data 为名字

技术分享图片

上传文件至hdfs

技术分享图片

启动Hive

技术分享图片

创建原始文档表

技术分享图片

导入文件内容到表docs并查看

导入

 技术分享图片

查看

技术分享图片

 

 用HQL进行词频统计,结果放在表word_count里

技术分享图片

查看统计结果

技术分享图片

结果有3万多行

技术分享图片

所以只截图其中几行来当例子

技术分享图片

 

 

 

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

这里我是按照小说名字和小说月票数排序保存的novel.csv

技术分享图片

将novel.csv上传到dfs,这里我使用的是winscp上传到虚拟机的。

技术分享图片

 

 上传到dfs

技术分享图片

启动hive

技术分享图片

创建novellist表存储novel.csv的数据

创建表

技术分享图片

存数据

技术分享图片

 

查询novellist表的前10个数据

技术分享图片

 分析结果:

我选择了novellist的前10行显示,结果可以看到10部当月月票排名前10的小说,由此知道哪10本小说是当月赚钱最多的小说。

同时“赘婿”是当月月票数最多的小说。

Hadoop综合大作业

原文:https://www.cnblogs.com/diansaonian/p/9090312.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!