首页 > 其他 > 详细

spark本地运行模式

时间:2015-09-29 01:23:22      阅读:383      评论:0      收藏:0      [点我收藏+]

      Spark设置setMaster=local,不提交集群,在本地启用多线程模拟运行

object SparkUtil {
  
  private val logger = Logger.getLogger(getClass.getName, true)
  
  def getSparkContext(appName:String, local:Boolean=false, threadNum:Int=4):SparkContext = {
    
      val conf = new SparkConf().setAppName(appName)
      if(local)
        conf.setMaster(s"""local[$threadNum]""")
      val sc = new SparkContext(conf)
      return sc
  }
}

      SparkUtil.getSparkContext("testApp",true)  本地启4个线程模拟运行

本文出自 “脚踏实地,仰望星空” 博客,请务必保留此出处http://xubcing.blog.51cto.com/3502962/1698930

spark本地运行模式

原文:http://xubcing.blog.51cto.com/3502962/1698930

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!