• JDK环境
• Python环境
• Spark引擎
  • 下载地址:Apache-Spark官网
  • MacOs下一般安装在/usr/local(也可以安装在别的地方,不管安装在哪, 最终都要指定环境变量)
• pyspark端
  • 法一 : 从pyspark下载页面下载pyspark源文件安装
  • 法二 : pip install pyspark(如果是python3，就执行pip3 install pyspark)

操作步骤

一. JDK安装(略)

二. python安装(略)

三. Spark安装

• 从Apache-Spark官网下载对应的spark源文件。
• 进入下载的spark文件所对应的目录下, 执行命令如下,则将spark文件移动到/usr/local目录下

sudo mv spark-2.4.4-bin-without-hadoop-scala-2.12.tgz /usr/local/spark-2.4.4-bin-without-hadoop-scala-2.12.tgz

• 下载的文件是一个压缩包, 需要解压,执行如下命令,即解压成功

sudo tar -zvxf spark-2.4.4-bin-without-hadoop-scala-2.12.tgz

• 设置环境变量, 执行vim ~/.bash_profile打开环境变量的配置文件, 添加下面的内容在配置文件里

export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

• 执行source ~/.bash_profile是文件生效
• 输入pyspark检测是否生效

Spark和pyspark的配置安装

原文：https://www.cnblogs.com/Sinkinghost/p/11668845.html