input {
kafka {
auto_offset_reset => "earliest"
codec => "plain"
group_id => "es1"
topics => ["mytopic"]
bootstrap_servers => "10.10.4.128:9092,10.10.4.190:9092,10.10.4.197:9092"
}
}
output {
webhdfs {
codec => plain {
format => "%{message}"
}
host => "10.10.4.128"
port => 50070
user => "hdfs"
path => "/data/jsonTestDate/%{+YYYY}-%{+MM}-%{+dd}/mytopic-%{+HH}.log"
flush_size => 500
idle_flush_time => 10
retry_interval => 0.5
}
#stdout { codec => rubydebug }
}
logstash-kafka到hive(hdfs)的配置文件
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 配置hive时出现不能加载自己修改的hive-site.xml等配置文件的问题。发现它总是加载默认的配置文件。解决...
- 参考文章 https://www.confluent.io/product/confluent-platform/...
- 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处找时间总结整...
- 近日将原来MR 处理到etl 部分转移到Hive Serde 处理导出到HDFS的时候，Hive导出过程出错cau...
