前言:通过启动脚本日志很容易找到spark部署的问题。
spark启动脚本如图(standalone模式):
运行start all 脚本
加载 spark default conf 配置
分别启动start master sh脚本 和 start slaves sh脚本
start master sh 启动加载spark default conf 和 spark env
启动脚本spark daemon sh
加载 conf env 生成log文件 生成master pid
由spark class 启动 提交注册 master scala程序注册到 spark env中通过netty 与slaves交互
slaves sh 脚本
加载spark default conf 和 env
启动 slaves sh脚本
加载 conf env ,判断ssh是否可用
分别启动 start slave sh
启动过程同master
最终启动 worker scala 程序注册到 spark env中通过netty月master交互