安装Spark之前确保已有JDK环境和python环境,python这里是3.6.5，java是1.8。
请注意，Spark 可运行在 Java 8，Python 2.7+/3.4+ 和 R 3.1+ 的环境上。针对 Scala API，Spark 2.4.4 使用了 Scala 2.12。您需要一个可兼容的 Scala 版本（2.12.x）。
请注意，从 Spark 2.2.0 起，对 Java 7，Python 2.6 和旧的 Hadoop 2.6.5 之前版本的支持均已被删除。
请注意，Scala 2.10 的支持已经在 Spark 2.3.0 中删除。Scala 2.11 的支持已经不再适用于 Spark 2.4.1，并将会在 Spark 3.0 中删除。
1、spark官网下载spark
本文下载版本是spark-2.4.4-bin-hadoop2.7.tgz
2、安装spark到/usr/local/
terminal中定位到spark-2.4.4-bin-hadoop2.7.tgz下载目录，解压spark-2.4.4-bin-hadoop2.7.tgz到/usr/local
3、安装pyspark(本文使用python3，且mac自带python 2.7)
pip3 install pyspark
4、设置环境变量
打开～/.bash_profile
open ~/.bash_profile
添加到文件末尾
export SPARK_HOME=/usr/local/spark-2.4.4-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
使环境变量生效
source ~/.bash_profile
5、在terminal中运行pyspark
pyspark
效果图1
