首页 > 其他 > 详细

《深入理解Spark-核心思想与源码分析》(三)第三章SparkContext的初始化

时间:2018-12-24 17:47:43      阅读:126      评论:0      收藏:0      [点我收藏+]

3.1 SparkContext概述

  SparkConf负责配置参数,主要通过ConcurrentHaspMap来维护各种Spark的配置属性。

class SparkConf(loadDefaults: Boolean) extends Cloneable with Logging with Serializable {

  import SparkConf._

  /** Create a SparkConf that loads defaults from system properties and the classpath */
  def this() = this(true)

  private val settings = new ConcurrentHashMap[String, String]()

  @transient private lazy val reader: ConfigReader = {
    val _reader = new ConfigReader(new SparkConfigProvider(settings))
    _reader.bindEnv(new ConfigProvider {
      override def get(key: String): Option[String] = Option(getenv(key))
    })
    _reader
  }
....

 

 

《深入理解Spark-核心思想与源码分析》(三)第三章SparkContext的初始化

原文:https://www.cnblogs.com/sunrunzhi/p/10169868.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!