首页 > 系统服务 > 详细

<亲测>Mac环境下安装spark

时间:2020-11-26 18:29:08      阅读:33      评论:0      收藏:0      [点我收藏+]

Mac环境下安装spark

由于spark是由scala编写,而scala又是基于jvm环境的变成语言,所有首先要保证你的环境已经安装了JDK8

1.安装scala环境

brew install scala

安装完成后检查

scala -version查看是否安装成功

2.安装spark环境

http://spark.apache.org/downloads.html下载最新的spark包

解压安装包

tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz

3.配置环境变量

  1.  
    vim /etc/profile
  2.  
    export SCALA_HOME=/usr/local/Cellar/scala
  3.  
    export PATH=$PATH:$SCALA_HOME/bin
  4.  
    exportSPARK_HOME=/Users/sx/open-source/spark-2.3.0-bin-hadoop2.7
  5.  
    export PATH=$PATH:$SPARK_HOME/bin

4.启动Spark

 

首先进入Spark目录中的sbin子目录运行如下脚本启动Spark:
./start-all.sh

技术分享图片

启动后jps检测master,worker全部启动

5.使用spark shell 进行测试

技术分享图片

到此说明mac下spark安装成功

<亲测>Mac环境下安装spark

原文:https://www.cnblogs.com/duanweishi/p/14043282.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!