首页 > Web开发 > 详细

flume的简单使用

时间:2019-07-17 14:28:37      阅读:100      评论:0      收藏:0      [点我收藏+]

上篇hadoop配置文件目录为:/hadoop-version(2.6.4)/etc/hadoop,【之所以记录这个目录,是因为在这个集群之前,我配置过一些版本更早的集群(包括hadoop1),路径不太一样】。

hadoop启动是在sbin目录下start-all.sh(后改为start-dfs.sh  start-yarn.sh)

启动后mini1下会有进程NameNode,SecondaryNameNode,ResourceManager

mini2 3 4 下会有进程DataNode,NodeManager

其中SecondaryNameNode的配置是在hdfs-site.xml  中配置dfs.secondary.http.address  (172.16.227.3.50090)[https://blog.csdn.net/weixin_37838429/article/details/81674765]

 

hadoop集群启动后可以使用web页面检查集群  172.16.227.3:8088 (yarn)  172.16.227.3:50070(hdfs)

 

 

flume的安装比较简单,配置文件是在conf下。常见的配置比如netcat-logger.conf,

启动命令:bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

在另一个客户端启动   telnet localhost 44444[https://blog.csdn.net/zhou920786312/article/details/88630781]

 

也可以配置成sources是文件 sink是kafka 

 

flume的简单使用

原文:https://www.cnblogs.com/star-00/p/11200239.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!