首页 > 其他 > 详细

Spark性能调优之JVM调优

时间:2017-03-11 00:58:26      阅读:228      评论:0      收藏:0      [点我收藏+]

 


Spark性能调优之JVM调优

通过一张图让你明白以下四个问题
               1.JVM GC机制,堆内存的组成
               2.Spark的调优为什么会和JVM的调优会有关联?--因为Scala也是基于JVM运行的语言
               3.Spark中OOM产生的原因
               4.如何在JVM这个层面上来对Spark进行调优
技术分享
              
   补充:
               Spark程序运行时--JVM堆内存分配比例
                   RDD缓存的数据(0.6)    默认
                   对象_task运行时产生的(0.2)    默认
                   聚合内存_shuffle read拉来的数据(0.2)    默认
                手动分配内存时,不能去调节task运行时的内存,可以去调节其他的RDD Memory OR Shuffle read_聚合内存来间接调节task运行内存

Spark性能调优之JVM调优

原文:http://www.cnblogs.com/haozhengfei/p/3d8f33e6f4b69e4adf6c9f5b0cf986f2.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!