首页 > 其他 > 详细

Hadoop运行模式

时间:2020-08-22 23:00:25      阅读:72      评论:0      收藏:0      [点我收藏+]

官方:https://hadoop.apache.org/

文档:http://hadoop.apache.org/docs/r2.7.7/

一、本地模式(在hadoop目录下进行)

1、官方Grep案例

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output ‘dfs[a-z.]+‘
cat output/*

在自己的虚拟机上运行有点慢

2、官方WordCount案例

# 创建文件夹
mkdir wcinput
# 向文件写入内容
cd wcinput
touch wc.input
vim wc.input
    hadoop yarn
    hadoop mapreduce
    tom
    tom
    tom
# 运行
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wcinput wcoutput

主要作用:查找wc.input 文件中 相同单词 出现的次数(wordcount)

二、伪分布式模式

三、完全分布式模式

 

Hadoop运行模式

原文:https://www.cnblogs.com/wt7018/p/13547247.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!