HELK ?通过Elastalert进行SIGMA集成
来源：https://posts.specterops.io/what-the-helk-sigma-integration-via-elastalert-6edf1715b02
https://sigmahq-pysigma.readthedocs.io/en/latest/
https://www.securonix.com/blog/threat-hunting-and-response-using-yara-sigma/
通常，在执行检测新的攻击者技术的研究时，我想知道我是否能够找到特定的事件，使我能够立即轻松地检测生产中的恶意活动，或者我是否必须执行更深入的分析，并提出其他数据分析来补偿和增强我的检测方法。有时是前者，如果我能够以一种规则的形式定义特定事件或事件的组合，从而触发高保真警报或让我知道某些活动何时发生，那么我就不需要经常手动运行它。威胁捕获程序的目标之一是增强组织当前的检测能力，通常通过提供高保真警报开发上下文或增强当前规则来监视潜在的对抗活动来实现这一目标。
制定规则的概念并不新鲜;但是，能够通过公共签名格式与社区共享规则是非常重要的。我并不是说只对一种工具共享一种格式(例如snort)的规则，而是对其他几种基于规则的系统共享一种格式。在这篇文章中，我将向你展示我是如何从Sigma项目中获取描述Windows事件日志的规则，并通过Elastalert将它们与我的项目HELK集成。如果您使用的是Elastalert并考虑σWindows规则添加到堆栈上,我希望这篇文章能给你一些想法加速过程,至少让它你的实验室环境中做进一步的研究和测试之前,将它们添加到您的生产环境。
一、Sigma是什么?
Sigma是一种通用的、开放的签名格式，允许您以一种直接的方式描述相关的日志事件。规则格式非常灵活，易于编写，适用于任何类型的日志文件。这个项目的主要目的是提供一个结构化的形式，研究人员或分析人员可以描述他们曾经开发的检测方法，并使其与他人共享。Sigma用于日志文件，而Snort用于网络流量，YARA用于文件。
该项目是基于yaml的，主要由Thomas Patzke和Florian Roth开发，专注于我们行业在制定检测规则时所面临的几个问题:
1、缺乏从规则创建的角度描述日志事件的标准化。
2、跨组织中基于规则的不同系统分发和管理日志签名的效率低下。
3、缺乏将当前供应商提供的签名转换为组织中其他基于规则的系统的灵活性。
二、Sigma规则
Sigma按应用程序、APT签名、网络和操作系统分发规则文件夹。有一个Windows文件夹，其中包含几个规则，主要按日志源分类(安全、应用程序、系统、Powershell、Sysmon等)。Windows文件夹将是HELK初始集成的一部分，因为堆栈中大多数可用的日志解析器都用于Windows事件日志。到今天为止，该项目中有168条Windows规则可用，而且由于社区的支持，这些规则的数量还在不断增加。
三、Sigma转换器(Sigmac)
我喜欢Sigma项目的一点是，它还提供了资源，以帮助您将其当前的规则转换为其他系统规则格式(例如Elastalert)。这是由一个名为Sigmac的工具完成的，它已经提供了以下输出目标格式:
在克隆Sigma项目后，你可以用Sigmac运行下面的命令来获得上面的输出:
sigma/tools/Sigmac -l
四、Sigma Elastalert-Backend
最近，Thomas Patzke @blubbfiction在他最近的一条推文中宣布了Elastalert-Backend。感谢Soumille Lucas @SouLuC13的贡献，将Sigma规则转换为Elastalert规则格式现在是可能的。
我一直在考虑将Elastalert添加到HELK中，但我一直推迟，因为我想花一些时间创建规则，我可以提供给项目的开箱即用。现在Sigma可以转换为Elastalert规则格式，这使得提供一套初始规则供分析师使用和学习变得更加容易。我使用以下命令将每个Sigma规则转换为Elastalert规则格式:
tools/Sigmac -t elastalert -c field_index_mapping.yml -o /rules/elastalert_rule.yml Sigma_rule.yml
-t:输出目标格式
-c:配置字段名和索引映射
-o:如果生成多个文件，则输出文件或文件名前缀
你可以应用相同的命令，但在“For”循环和命中每一个单一的规则在项目中可用，但在我们这样做之前，什么是Elastalert?
五、Elastalert是什么?
ElastAlert是一个简单的框架，用于从Elasticsearch中的数据对异常、峰值或其他感兴趣的模式进行警报。它通过将Elasticsearch与两种类型的组件(规则类型和警报)结合起来工作。定期查询Elasticsearch，并将数据传递给规则类型，由规则类型确定何时找到匹配。当匹配发生时，将给出一个或多个警报，这些警报将根据匹配采取行动。
六、Elastalert全局配置
在进入Elastalert规则格式之前，重要的是要了解它的主要全局配置，设置正确的Elasticsearch服务器，指向正确的规则文件夹，甚至定义规则需要执行的频率。一个全局配置的例子可以在官方的Elastalert回购中找到，它的名字是config.yaml.example。我把注释和属性从配置示例中取出来，并做了一个表，使其易于遵循:
rules_folder: example_rules
run_every:
minutes: 1
buffer_time:
minutes: 15
es_host: elasticsearch.example.com
es_port: 9200
aws_region: us-east-1
profile: test
es_url_prefix: elasticsearch
use_ssl: True
verify_certs: True
es_send_get_body_as: GET
es_username: someusername
es_password: somepassword
verify_certs: True
ca_certs: /path/to/cacert.pem
client_cert: /path/to/client_cert.pem
client_key: /path/to/client_key.key
writeback_index: elastalert_status
alert_time_limit:
days: 2
七、Elastalert警报类型
在构建elastalert规则时，有不同类型的警报，称为elastalert警报概念的子类，当它匹配某个规则逻辑时，您可以使用它们。每个规则可以有多个警报类型。以下是Elastalert支持的几种警报类型的表格:
七、Elastalert规则格式
让我们来看看Elastalert警报规则，看看它的所有属性。下面例子中的Elastalert是Sigma Windows规则win_admin_share_access.yml转换的结果。
alert:
- debug
description: Detects access to $ADMIN share
filter:
- query:
query_string:
query: ((event_id:”5140" AND share_name:”Admin$”) AND NOT (user_name:”*$”))
index: logs-endpoint-winevent-security-*
name: Access-to-ADMIN$-Share_0
priority: 4
realert:
minutes: 0
type: any
你可以在Elastalert文档中了解更多。我希望这能帮助您熟悉我们将与HELK集成的两个开源项目
八、HELK & Sigma Elastalert-Backend
Elastalert与HELK的最初整合之一开始与Jordan Potty @ok_by_now，但不幸的是，在那个时候，有一些兼容性问题与最新版本的Elastalert和ELK堆栈。这种新的集成方法自动将Sigma规则导入到Elastalert部署中，并将它们与HELK一起使用，以实现开箱即用的警报功能，并自动执行预定义的查询。HELK是通过docker构建的，作为一个概念的证明，所以我添加了一个新的docker容器，它帮助我准备好一切，并能够与社区共享。
九、新的helk-elastalert目录
HELK github repo中新增的HELK -elastalert文件夹用于构建新的docker容器，其目录结构如下:
十、Elastalert Field-Index映射配置
当将Sigma规则转换为Elastalert规则格式时，这种配置是最重要的配置之一。这是因为，它允许你将Sigma规则中定义的每个字段名映射到你自己的标准字段命名约定，并将规则中定义的Sigma日志源映射到你自己的ELK堆栈中使用的索引名称。HELK是第一个遵循自己的公共信息模型(CIM)的开源管道之一，并为每个数据日志源提供了文档化索引。因此，从HELK的角度来看，确保Elastalert规则遵循项目使用的相同CIM是很重要的。Sigma很好地为HELK构建了一个初始配置，我对它进行了更新，以确保它遵循了项目中可用的最新兼容字段和索引映射。你可以在这里找到HELK的配置。
下面的两张图片展示了字段索引映射配置如何与Sigma规则和Elastalert规则格式(结果)相关联。
如果你想拉出每个Windows Sigma规则的所有字段名来创建你自己的字段索引映射文件，你可以在循环中运行Sigmac，将目标输出格式设置为“fieldlist”，并将它们全部放在一个列表中。我这样做是为了验证我自己的映射。
for rule_category in rules/windows/* ; do
for rule in $rule_category/* ; do
tools/Sigmac -t fieldlist $rule
done
done
在HELK中将Sigma规则转换为Elastalert格式
一旦我们在字段和索引级别定义Sigma规则到Elastalert规则格式的转换，我们就可以开始使用Sigmac来执行转换。所有代码都可以在这里查看，但是执行翻译的脚本的主要部分是以下bash行:
for rule_category in rules/windows/* ; do
for rule in $rule_category/* ; do
tools/Sigmac -t elastalert -c Sigmac-config.yml -o /etc/elastalert//rules/Sigma_$(basename $rule) $rule
done
done
正如你上面看到的，它遍历了每个Windows Sigma文件夹和每个文件夹里的每条规则。它还以前缀“Sigma_”和原始Sigma规则名称命名Elastalert规则。最后，你应该能够将所有Windows Sigma规则转换为Elastalert规则。
下面的例子显示了一个Sigma规则转换成一个Elastalert规则，如下所示:
十一、sigma規則
十二、Elastalert警报文件
当你的HELK启动并运行时，你可以通过运行以下命令列出所有在HELK中创建的Elastalert规则:
sudo docker exec -ti helk-elastalert ls /etc/elastalert/rules
你也可以通过下面的命令来检查任何规则:
sudo docker exec -ti helk-elastalert cat /etc/elastalert/rules/helk_all_susp_powershell_commands.ymlalert:
- debug
description: Detects potential suspicious powershell parameters
filter:
- query:
query_string:
query: (process_path:("*\\Powershell.exe") AND event_id:"1" AND process_command_line.keyword:( /.*\-w.*h.*/ /.*\-NoP.*/ /.*\-noni.*/ /.*\-ec.*/ /.*\-en.*/))
index: logs-endpoint-winevent-*
name: Windows-Suspicious-Powershell-commands_0
priority: 2
realert:
minutes: 0
十三、HELK Elastalert工作流
现在我们已经在正确的文件夹中准备好了Elastalert规则，并且Elastalert正在运行，下面的事情正在后台发生:
1、数据在管道中流动
2、数据存储在Elasticsearch中
3、Elastalert不断地对Elasticsearch运行在Elastalert规则文件中定义的查询
4、正在运行的查询、找到的匹配和在Elastalert中发生的错误都保存在特定的Elasticsearch索引上
5、Kibana索引模式已经映射到Elasticsearch索引。因此，安全分析师可以看到正在运行的查询，任何匹配发现，以及发生在通过KIbana的Elastalert错误
记住Elastalert不是在管道层面运行的。因此，警报不会实时发生。它查询已经存储在Elasticsearch中的数据，并根据主全局配置中设置的时间频率不时地进行查询。
十四、Elastalert Kibana索引
HELK创建了一些Kibana索引模式，它们提供了关于针对Elasticsearch执行的规则、触发警报的规则以及在Elastalert中发生的任何错误消息的信息。Elastalert写信给这些指数，允许分析师使用Kibana，并查看所有元数据。关于Elastalert元数据索引的更多信息可以在这里找到。
elastalert_status索引:它是一个关于每个警报触发的信息日志:
elastalert_status_status索引:它是对给定规则执行的查询的日志
elastalert_status_error index:用于记录elastalert_status_error中发生的错误。错误被写入Elasticsearch和stderr
十五、HELK + Elastalert + Sigma + SLACK =🍻💙
我非常喜欢这种集成的一个方面是，您还可以选择在找到匹配时想要触发的警报类型。我强烈建议首先让他们直接进入你的ES索引，这样你就可以捕捉到有噪声的，并随时更新它们。此外，记住一些Sigma规则是非常广泛的，所以它们可能更适合態勢感知用例，而不是高保真警报。无论如何，如果你想让提醒也被发送到一个slack频道，我也添加了一个slack集成。
