首页 > 其他 > 详细

storm0.9.0.1升级安装

时间:2014-03-27 10:04:10      阅读:485      评论:0      收藏:0      [点我收藏+]

来自:http://blog.csdn.net/liuzhoulong/article/details/21112101

 

1,下载0.9.0.1 http://storm.incubator.apache.org/downloads.html

2,安装就jdk,python,zookeeper  在服务器 "192.168.1.1" "192.168.1.1""192.168.1.2"上

3,解压,修改conf下的storm.yaml 

 

 

bubuko.com,布布扣
 1 storm.zookeeper.servers:  
 2 
 3      - "192.168.1.1"  
 4 
 5      - "192.168.1.2"  
 6 
 7      - "192.168.1.3"  
 8 
 9  nimbus.host: "192.168.1.10"  
10 
11  storm.local.dir: "/data/storm/work"  
12 
13  supervisor.slots.ports:  
14 
15     - 6700  
16 
17     - 6701  
18 
19     - 6702  
20 
21     - 6703  
22 
23  storm.messaging.transport: "backtype.storm.messaging.netty.Context"    
24 
25  storm.messaging.netty.buffer_size: 209715200    
26 
27  storm.messaging.netty.max_retries: 100    
28 
29  storm.messaging.netty.max_wait_ms: 1000    
30 
31  storm.messaging.netty.min_wait_ms: 100  
32 
33  logviewer.port: 80  
bubuko.com,布布扣


4,删除storm/lib下的log4j-over-slf4j,因为0.9用的logback,不删除top可能起不来,并报类似如下错误

2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn‘t started
2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn‘t started

或者如下错误

2014-03-12 17:48:56 b.s.d.worker [ERROR] Error on initialization of server mk-worker
java.io.IOException: No such file or directory

把这些错误日志前面的执行语句拿出来看一下就明白了

 

为了支持logviewer还要给storm/lib下手动copy一个log4j的jar报,这个自己找找吧,我是把0.8.1下面的log4j  拷贝过来的

不得不说,storm的升级对日志的支持很乱

 

4,分发配置好的storm,到192.168.1.10,192.168.1.12,192.168.1.13,并在三台服务器上创建/data/storm/work给足够的写权限

5,启动

   192.168.1.10

  #启动storm nimbus进程
   nohup storm nimbus &
  #启动storm ui监控界面进程
   nohup storm ui &

   192.168.1.12,192.168.1.13

  #启动storm supervisor进程
nohup storm supervisor &
#启动storm 日志监控进程。启动该进程,可以在storm ui界面上看各个supervisor节点上日志
nohup storm logviewer &

6,show time

      http://192.168.1.10:8080/

      storm  jar **.jar   ATopology   跑一个top看看效果

     下面可以看具体work的日志

      http://192.168.1.12/log?file=worker-6701.log

7,资源分配不爽

     storm rebalance ATopology -n 10  修改个ATopology 的workers玩玩

     storm rebalance ATopology -e stepblot=74 修改个 ATopology 的stepblot的executors数量玩玩

    

安装到此为止!

    

 

 

4,删除storm/lib下的log4j-over-slf4j,因为0.9用的logback,不删除top可能起不来,并报类似如下错误

storm0.9.0.1升级安装,布布扣,bubuko.com

storm0.9.0.1升级安装

原文:http://www.cnblogs.com/sunxucool/p/3624795.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!