首页 > 其他 > 详细

如何用Jupyter Notebook打开Spark

时间:2017-01-05 00:49:21      阅读:1588      评论:0      收藏:0      [点我收藏+]

  电脑已经装了anaconda python,然后下载了spark2.1.0。因为版本太新,所以网上和书上的一些内容已经不再适用。比如关于如何使用IPython和Jupyter,教程给出的方法是用如下语句打开Spark即可进入IPython或者IPython Notebook:

IPYTHON=1 ./bin/pyspark
IPYTHON_OPTS="notebook" ./bin/pyspark

  然鹅运行以上语句后我得到的是:

Error in pyspark startup:
IPYTHON and IPYTHON_OPTS are removed in Spark 2.0+. Remove these from the environment and set PYSPARK_DRIVER_PYTHON and PYSPARK_DRIVER_PYTHON_OPTS instead.

  所以使用Jupyter打开Spark的设置方法是:

1 export PYSPARK_DRIVER_PYTHON=jupyter
2 export PYSPARK_DRIVER_PYTHON_OPTS=notebook pyspark

  这样再打开Spark时就会自动使用Jupyter Notebook来打开Spark了。

如何用Jupyter Notebook打开Spark

原文:http://www.cnblogs.com/dcsds1/p/6250643.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!