spark yarn集群搭建（一：准备工作）
spark yarn集群搭建（二：hadoop集群搭建）
Master节点配置：
- 进入/datamgt目录下下载二进制包spark-2.3.1-bin-hadoop2.7.tgz，解压并重命名
tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz && mv spark-2.3.1-bin-hadoop2.7 spark - 修改全局变量/etc/profile
- 修改/etc/profile，增加如下内容：
export SPARK_HOME=/datamgt/spark/ export PATH=$PATH:$SPARK_HOME/bin - 修改完成后执行：
source /etc/profile
- 修改/etc/profile，增加如下内容：
- 修改spark配置文件
- 进入spark配置目录:
cd $SPARK_HOME/conf - $SPARK_HOME/conf/spark-env.sh
#复制spark-env.sh.template成spark-env.sh cp spark-env.sh.template spark-env.sh #编辑spark-env.sh 添加： export JAVA_HOME=/usr/java/jdk1.8.0_65 export SCALA_HOME=/usr/scala-2.12.6 export HADOOP_HOME=/datamgt/hadoop export HADOOP_CONF_DIR=/datamgt/hadoop/etc/hadoop export SPARK_MASTER_IP=master export SPARK_WORKER_MEMORY=2g export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 - $SPARK_HOME/conf/slaves
#复制slaves.template成slaves cp slaves.template slaves #编辑slaves，添加： master slave1 slave2
- 进入spark配置目录:
salve节点配置：
- 复制master节点的spark文件夹到slave1和slave2上:
scp -r /datamgt/spark root@slave1:/datamgt && scp -r /datamgt/spark root@slave2:/datamgt - 修改slave1、slave2节点下的/etc/profile文件，过程与master一致
启动集群：
- master节点启动之前格式化一下namenode
hadoop namenode -format - master节点执行
/datamgt/spark/sbin/start-all.sh
查看集群是否启动成功：
- 执行jps查看java进程
- master显示
Master- slave显示
Worker - 浏览器验证相应web页面是否可访问
master:8080
