首页 > 移动平台 > 详细

hadoop mapper reducer

时间:2019-09-18 23:56:14      阅读:182      评论:0      收藏:0      [点我收藏+]

Local模式运行MR流程
-------------------------
1.创建外部Job(mapreduce.Job),设置配置信息
2.通过jobsubmitter将job.xml + split等文件写入临时目录
3.通过jobSubmitter提交job给localJobRunner,
4.LocalJobRunner将外部Job 转换成成内部Job
5.内部Job线程,开放分线程执行job
6.job执行线程分别计算Map和reduce任务信息并通过线程池孵化新线程执行MR任务。

 

在hadoop集群上运行mrjob
-------------------------
1.导入jar包
maven
2.丢到hadoop
3.运行hadoop jar命令
$>hadoop jar HdfsDemo-1.0-SNAPSHOT.jar com.it18zhang.hdfs.mr.WCApp hdfs://s201/user/centos/wc/data hdfs://s201/user/centos/wc/out

hadoop mapper reducer

原文:https://www.cnblogs.com/YuanWeiBlogger/p/11546074.html

(2)
(2)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!