首页 > 其他 > 详细

Hadoop综合大作业

时间:2018-05-25 00:10:32      阅读:192      评论:0      收藏:0      [点我收藏+]

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

先启动dfs

技术分享图片

上传下载的英文小说

 技术分享图片

创建表world

技术分享图片

 进行HQL词频统计,将结果放到word_count中

技术分享图片

查找表的前二十条记录

技术分享图片

 

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

将csv文件上传到hdfs中的gigdatacase

技术分享图片

显示数据库

技术分享图片

 创建初始表

技术分享图片

导入数据

技术分享图片

 显示前十行的数据

 技术分享图片

 

Hadoop综合大作业

原文:https://www.cnblogs.com/wlh0329/p/9085714.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!