首页 > 其他 > 详细

Srorm并发机制

时间:2017-01-26 23:14:59      阅读:323      评论:0      收藏:0      [点我收藏+]

一:介绍

1.运行组件

  技术分享技术分享

 

  

2.并发度

  就是executor数量

 

二:增加并发度

1.worker工作进程上  

  各个Spout组件、Bolt组件如果在代码中没有显式指定由多少个executor线程来执行,那么默认各由1个executor

  通过增加worker进程数量,可能可以提高并发性能,主要要求清楚整个Topology有多少个executor线程

  

2.在worker进程上进行对比(worker=2)

  技术分享

  worker=2

  技术分享

 

3.代码体现

  技术分享

 

4.executor线程层次

  提高并发度,本质提高executor数量

  Executor数量的设置,针对具体某个组件 (spout、bolt)

  globalGrouping 全局分组, executor数量设置多个没有什么作用,就用1个

 

5.在代码上体现

  技术分享

 

6.Task层次(很少设置)

  是Task执行线程

  每个物理线程 executor默认情况只运行一个task执行线程

 

7.代码体现

  技术分享

 

8.为啥不常使用设置

  每个物理线程 executor默认情况只运行一个task执行线程

  Spout4task,这4个运行在2executor上, 每个物理线程平均执行2task

 

Srorm并发机制

原文:http://www.cnblogs.com/juncaoit/p/6352176.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!