操作场景
Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不能为其他Executor提供shuffle数据时，会影响任务运行。
External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。
操作步骤
1. 在NodeManager中启动External shuffle Service。
a. 在“yarn-site.xml”中添加如下配置项：
<property> <name>yarn.nodemanager.aux-services</name> <value>spark_shuffle</value> </property>
<property><name>yarn.nodemanager.aux-services.spark_shuffle.class</name><value>org.apache.spark.network.yarn.YarnShuffleService</value></property><property><name>spark.shuffle.service.port</name><value>7337</value></property>
b. 添加依赖的jar包。
拷贝“${SPARK_HOME}/lib/spark-1.5.1-yarn-shuffle.jar”到“${HADOOP_HOME}/share/hadoop/yarn/lib/”目录下。
c. 重启NodeManager进程，也就启动了External shuffle Service。
2. Spark应用使用External shuffle Service。
● 在“spark-defaults.conf”中必须添加如下配置项：
spark.shuffle.service.enabled true
spark.shuffle.service.port 7337
注意：
1. 如果 “yarn.nodemanager.aux-services” 配置项已存在，则在 value 中添加 “spark_shuffle”，且用逗号和其他值分开。
2. “spark.shuffle.service.port”的值需要和上面“yarn-site.xml”中的值一样。
