首页 > 系统服务 > 详细

Mac BookPro 安装Spark 2.1.0

时间:2020-02-01 20:34:13      阅读:94      评论:0      收藏:0      [点我收藏+]

安装Scala

  • 下载和解压scala安装文件
  • 配置scala环境变量
export SCALA_HOME=/usr/local/Cellar/scala@2.11/2.11.12/
export PATH=.$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$MYSQL_HOME/bin:/usr/local/bin:$SCALA_HOME/bin
  • 验证scala安装成功
$ scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

安装Spark

  • 下载spark安装文件
  • 解压spark安装文件

$ tar -zxf spark-2.1.0-bin-without-hadoop.tgz 

配置spark环境变量

vim ~/.bash_profile

# 添加如下内容:
export SPARK_HOME=/Users/walker/software/spark/spark-2.1.0 export PATH=$PATH:$SPARK_HOME/bin

 

$ source ~/.bash_profile

 

spark-shell 启动报错:
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream # 解决方案:
# vim spark-env.sh export SPARK_DIST_CLASSPATH
=$(/Users/walker/software/hadoop/hadoop-2.7.1/bin/hadoop classpath)

 

Mac BookPro 安装Spark 2.1.0

原文:https://www.cnblogs.com/wooluwalker/p/12249867.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!