记录点滴，希望能帮助到别人！
发简信
IP属地：北京
写的非常好,就是worker节点数量怎么确定啊?
[译]运行在YARN上的Spark程序的Executor，Cores和Memory的分配好久没更新了，。。。太懒了。 在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memo...
1.1．自定义Sink说明 需求如下：从网络端口当中发送数据，自定义sink，使用sink从网络端口接收数据，然后将数据保存到本地文件当中去。 1.2．自定义Sink原理实现...
1.1．自定义Source说明 官方提供了自定义source的接口说明： https://flume.apache.org/FlumeDeveloperGuide.html#...
1．背景介绍 Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume有各种自带的拦截器，比如：TimestampInterceptor、HostI...
1.案例场景 现在要求：把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。但是在hdfs中要求的目录为：...
1．load-balance负载均衡 a1.sinkgroups = g1a1.sinkgroups.g1.sinks = k1 k2 k3a1.sinkgroups.g1....
1．采集目录到HDFS 采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素采集源，即sourc...
1.Flume的安装过程 1.上传安装包到数据源所在节点上2.然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz3.然后进入flume...
1.概述 2.运行机制 每一个agent相当于一个数据传递员，内部有三个组件：Source：采集源，用于跟数据源对接，以获取数据；Sink：下沉地，采集数据的传送目的，用于往...
