背景 众所周知,要获取hdfs中存储的目录信息,比较简单的方式可通过访问8020来获取,但是此举会增加NN的压力,同时也采集不到我们最关心的数据访问时间这个字段。 通过解析H...
背景 众所周知,要获取hdfs中存储的目录信息,比较简单的方式可通过访问8020来获取,但是此举会增加NN的压力,同时也采集不到我们最关心的数据访问时间这个字段。 通过解析H...
工作中发现很多同事连基础的hive命令都不知道,所以准备写一个系列把hive一些常用的命令进行一个总结。第一个讲的命令是MSCK REPAIR TABLE。 MSCK REP...
MYSQL中TRUNCATE和DELETE都能够清理表中的数据,但是他们有什么区别呢?我们从下面的几点来分析: 1. 条件删除 这个比较好理解,因为DELETE是可以带WHE...
KafkaConsumer(消费者)每次调用 poll()方法,它总是返回由生产者写入 Kafka但还没有被消费者读取过的记录, 我们因 此可以追踪到哪些记录是被群组里的哪个...
流量削峰的由来 主要是还是来自于互联网的业务场景,例如,马上即将开始的春节火车票抢购,大量的用户需要同一时间去抢购;以及大家熟知的阿里双11秒杀, 短时间上亿的用户涌入,瞬间...
各种TimeoutException问题 会抛出org.apache.kafka.common.errors.TimeoutException:message可能为各种: B...