首页 > 其他 > 详细

给pyspark 设置新的环境

时间:2016-11-29 19:04:08      阅读:507      评论:0      收藏:0      [点我收藏+]

 

如果是从pysparkshell里面进去,此时已经有了pyspark环境了,所以要加一个:sc.stop()

from pyspark import SparkContext, SparkConf
sc.stop()
conf = SparkConf()
conf.setAppName(‘zhangb‘)
#conf.set("spark.kryoserializer.buffer.mb", "128")
conf.set("spark.kryoserializer.buffer", "128k")
conf.set("spark.kryoserializer.buffer.max", "256m")
sc = SparkContext(conf=conf)

 

如果提交脚本上去,此时还没有pyspark环境,所以不用sc.stop(),直接创建环境参数。但是可能需要在程序结束后加上sc.stop()

from pyspark import SparkContext, SparkConf
conf = SparkConf()
conf.setAppName(‘zhangb‘)
#conf.set("spark.kryoserializer.buffer.mb", "128")
conf.set("spark.kryoserializer.buffer", "128k")
conf.set("spark.kryoserializer.buffer.max", "256m")
sc = SparkContext(conf=conf)

#===代码

#......

#=====代码

sc.stop()

 

给pyspark 设置新的环境

原文:http://www.cnblogs.com/zhangbojiangfeng/p/6114635.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!