组件功能对比
ELK（Elasticsearch、Logstash、Kibana）
Elasticsearch：是核心的存储和搜索引擎。它以分布式的方式存储日志数据，通过倒排索引机制实现高效的搜索和聚合。例如，当需要查询特定时间段内某个应用程序产生的错误日志数量时，Elasticsearch 能够快速返回结果。其数据存储以索引（Index）为单位，每个索引类似于数据库中的表，存储着相关的日志文档（Document）。
Logstash：作为数据收集和预处理工具，功能强大。它支持多种输入插件，如从文件（可以是本地文件系统中的各种日志文件）、数据库（如通过 JDBC 插件从关系型数据库收集日志）、网络协议（如 UDP、TCP）等多种来源收集日志。在数据处理方面，Logstash 拥有丰富的过滤器，如 grok 过滤器通过正则表达式解析日志格式，提取关键信息；date 过滤器用于转换日期格式等。例如，对于一条包含复杂格式日期和 IP 地址的日志，Logstash 可以提取 IP 地址并将日期转换为标准格式后再发送给 Elasticsearch。
Kibana：是可视化的前端工具。用户可以通过简单的配置在 Kibana 中创建各种可视化图表，如柱状图展示不同服务器的日志流量，折线图体现日志随时间的变化趋势，还可以通过仪表盘将多个相关图表组合在一起。同时，它提供了强大的查询功能，方便用户根据关键词、时间范围、字段值等条件搜索日志。
EFKK（Elasticsearch、Filebeat、Kafka、Kibana ）体系
Elasticsearch 和 Kibana：功能与 ELK 体系中的相同，Elasticsearch 负责存储和索引，Kibana 负责可视化和查询。
Filebeat：是一个轻量级的日志采集器。它专注于从文件系统中收集日志文件，特别适用于大量的小文件或者日志文件更新频繁的场景。例如，在一个服务器集群中，Filebeat 可以高效地收集各个服务器上的系统日志、应用程序日志等文件，并且占用资源较少。它会将收集到的日志发送到指定的输出端，如 Elasticsearch 或者 Kafka。
Kafka：是一个分布式的消息队列。在这个体系中，它主要用于缓冲和传递日志数据。当 Filebeat 收集到大量日志时，可以先将日志发送到 Kafka，Kafka 会暂时存储这些日志，然后按照一定的规则（如消费者的消费速度）将日志数据发送到 Elasticsearch。这样可以起到削峰填谷的作用，避免在日志收集高峰期大量日志直接冲击 Elasticsearch，导致性能问题。
数据收集流程对比
ELK：Logstash 从各种数据源收集日志，经过自身的过滤和预处理后，直接将数据发送到 Elasticsearch 进行存储和索引。整个流程相对直接，Logstash 起到了承上启下的关键作用，对数据的收集和预处理都在这一个组件中完成。
EFKK：Filebeat 从文件系统收集日志，然后将日志发送到 Kafka。Kafka 作为中间的消息队列，对日志进行缓存和分发。最后，日志从 Kafka 发送到 Elasticsearch 进行存储。这个流程相对复杂，但通过 Kafka 的缓冲，可以更好地应对高并发的日志收集场景，提高系统的稳定性和可靠性。
性能和资源占用对比ELK：Logstash 由于要承担复杂的数据收集和处理任务，相对来说资源消耗较大。在大规模日志收集场景下，如果配置不当，可能会成为性能瓶颈。不过，如果对数据预处理要求较高，Logstash 的强大功能可以很好地满足需求。
EFKK：Filebeat 是轻量级的，资源占用少，适合在大量服务器或者设备上部署用于日志收集。Kafka 虽然本身也需要一定的资源来运行，但它的分布式架构和高效的消息传递机制可以有效处理大量日志。整体而言，这个体系在性能和资源利用上更具灵活性，特别是在应对高流量、高并发的日志场景时优势明显。
适用场景对比
ELK：适用于对日志数据预处理要求复杂的场景，如需要从多种数据源收集日志，并且要对日志进行深度清洗、格式转换、关联多个数据源的信息等操作。
在企业内部的传统数据中心，对于系统日志、应用程序日志等多种类型日志进行集中收集和分析，并且希望通过一个工具（Logstash）实现大部分的数据预处理工作的场景。EFKK：非常适合大规模、分布式的日志收集场景，如在云计算环境、容器集群（如 Kubernetes）中，有大量的服务器或者容器产生日志，需要高效、稳定的收集和存储。
当日志产生具有突发性或者高并发的特点时，通过 Kafka 的缓冲可以确保日志收集和存储的流畅性，例如电商平台在促销活动期间，大量用户访问产生的日志收集。
