Backpressure & Elastic Scaling

时间：2019-09-08 22:19:18 阅读：134 评论：0 收藏：0 [点我收藏+]

技术分享图片

spark.streaming从不稳定到稳定状态，解决数据量接收数据时突然变大，使得无法及时处理数据，稳定性得到保证

开启方式：

spark.streaming.backpressure.enabled = true

Elastic Scaling(资源动态分配)

Spark Batch Application 动态的决定这个application中需要多少个Executors

1、当一个Executor空闲的时候，将这个Executor杀掉，不浪费过多的集群资源浪费

2、当task太多的时候，动态的启动Executors（对资源的有效利用）

技术分享图片

从Spark2.0开始有这个功能
打开配置： spark.streaming.dynamicAllocation.enabled = true

原文：https://www.cnblogs.com/tesla-turing/p/11488323.html

踩

(0)

评论一句话评论（0）

分享档案

更多>