一:介绍
1.运行组件
2.并发度
就是executor数量
二:增加并发度
1.worker工作进程上
各个Spout组件、Bolt组件如果在代码中没有显式指定由多少个executor线程来执行,那么默认各由1个executor
通过增加worker进程数量,可能可以提高并发性能,主要要求清楚整个Topology有多少个executor线程
2.在worker进程上进行对比(worker=2)
worker=2
3.代码体现
4.executor线程层次
提高并发度,本质提高executor数量
Executor数量的设置,针对具体某个组件 (spout、bolt)
globalGrouping 全局分组, executor数量设置多个没有什么作用,就用1个
5.在代码上体现
6.Task层次(很少设置)
是Task执行线程
每个物理线程 executor默认情况只运行一个task执行线程
7.代码体现
8.为啥不常使用设置
每个物理线程 executor默认情况只运行一个task执行线程
Spout有4个task,这4个运行在2个executor上, 每个物理线程平均执行2个task
原文:http://www.cnblogs.com/juncaoit/p/6352176.html