首页 > 其他 > 详细

hadoop例子程序:求圆周率和wordcount

时间:2015-11-20 00:05:58      阅读:358      评论:0      收藏:0      [点我收藏+]
首先,hadoop01运行起来hdfs,进入hadoop目录,sbin目录下,./start-all.sh
hadoop03运行yarn资源管理        hadoop目录  sbin/start-yarn.sh
hadoop456运行zookeeper节点    /root/soft/zookeeper-3.4.6/bin        ./zkServer.sh

现在集群已经全部启动起来了,其实只需要启动hdfs即可

在根目录创建文本testwords,上传到hdfs的根目录
hadoop dfs -put testwords /        报错连接不到hadoop02

当hdfs都启动起来时候。上传成功
技术分享
查看
技术分享

进入到例子的目录中:

技术分享
执行命令:
 hadoop jar hadoop-mapreduce-examples-2.7.1.jar  wordcount /testwords /testwordsresult
wordcount :表示使用Wordcount这个程序                                  处理哪个文件        输出到哪个目录
查看结果文件:
技术分享
查看统计的结果:
技术分享
先查看生成result文件夹没有
查看result文件夹下面的内容
查看success文件内容,可以看出,统计结果已经出来了


2,使用自带的example程序计算圆周率
 hadoop jar hadoop-mapreduce-examples-2.7.1.jar pi 5 5
使用这个命令

后面2个数字参数的含义: 
     第1个5指的是要运行5次map任务 
     第2个数字指的是每个map任务,要投掷多少次 
技术分享
结果是:4





下面简单写一点hdfs shell操作的命令:
可用 hadoop fs -help查看都有哪些命令
hadoop  fs -get/put/cat/rm/ls/chown/chomod/df/h/ 
fs指的是filesystem,操作的意思
-chown改变所属的组
-chomod   改变权限       777表示可读可写可执行
-df 查看空间
-df -h 易于阅读的查看空间大小
-df -s -h 查看文件大小
-mkdir 创建目录
-rm -r 删除目录
-mv 移动




















hadoop例子程序:求圆周率和wordcount

原文:http://www.cnblogs.com/xiaoxiao5ya/p/da686507959026b16d479ca07876bc04.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!