Hadoop使用实例

时间：2020-11-13 09:21:16 阅读：23 评论：0 收藏：0 [点我收藏+]

1、下载喜欢的电子书或大量文本数据，并保存在本地文本文件中

wget http://www.gutenberg.org/files/1342/1342-0.txt

技术分享图片

2、编写map与reduce函数

gedit mapper.py

技术分享图片

gedit reduce.py

技术分享图片

3、本地测试map与reduce

技术分享图片

gedit my.txt

技术分享图片

4、将文本数据上传至HDFS上

技术分享图片

5、用hadoop streaming提交任务

技术分享图片

6、查看运行结果

技术分享图片

7、计算结果取回到本地

技术分享图片

原文：https://www.cnblogs.com/zhongyaohong/p/13967194.html

踩

(0)

评论一句话评论（0）

分享档案

更多>