首页 > 其他 > 详细

error: not found: value sc

时间:2016-10-25 14:08:37      阅读:3639      评论:0      收藏:0      [点我收藏+]

【问题】

解压spark的tar包后,执行bin/spark-shell,执行val lines=sc.textFile("README.md")时,抛错error: not found: value sc

【解决办法】

这是因为shell启动时没有初始化sparkContext,修改conf/spark-env.sh文件,添加如下内容:

export SPARK_LOCAL_IP="127.0.0.1"

再次启动bin/spark-shell,这是会看到如下信息,代表spark context已经被初始化了,现在可以正常执行命令了。

Spark context Web UI available at http://127.0.0.1:4040
Spark context available as sc (master = local[*], app id = local-1477366425671).
Spark session available as spark.

 

error: not found: value sc

原文:http://www.cnblogs.com/puroc/p/5996145.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!