大佬，这里布隆过滤器的数据是保存在每个taskmanager上还是jobmanager上呢，我咋觉得只是保存在taskmanager上的一个slot里面，这样不是没有同步数据，这样的话感觉还是有去重呀
谈谈三种海量数据实时去重方案（w/ Flink）Prologue 数据去重（data deduplication）是我们大数据攻城狮司空见惯的问题了。除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据...
这个程序的DBUtil没有连接池，每次重新获取连接，性能消耗会不会很大？
Flink实现Kafka到Mysql的Exactly-OnceFlink实现Kafka到Mysql的Exactly-Once 背景 最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网...
好久没更新了，。。。太懒了。 在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memo...
楼主这教程很赞
Kafka 0.11.0.0 是如何实现 Exactly-once 语义的原文地址：https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache...
原文地址：https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache...
Spark版本：2.4.0语言：Scala任务：分类 这里对数据的处理步骤如下： 载入数据 归一化 PCA降维 划分训练/测试集 线性SVM分类 验证精度 输出cvs格式的结...
作者：罗海鹏，叩丁狼教育高级讲师。原创文章，转载请注明出处。 前言 我们建立一个网站或者一个应用通常都会有搜索的功能，如果我们做的只是用户量很少的内网项目，并且搜索的字...
▶ 使用 Docker 部署 YAPI 1、运行 MongoDB 2、获取 YAPI 镜像，其他版本：阿里云镜像仓库[https://dev.aliyun.com/detai...
在整个JUC框架中，ForkJoinPool 相对其他类会复杂很多，想吃透它需要有足够的耐心，ForkJoinPool两篇文章从草稿到发布，笔者前前后后使用了近两个月才完成。...
1.什么是job Job简单讲就是提交给spark的任务。 2.什么是stage Stage是每一个job处理过程要分为的几个阶段。 3.什么是task Task是每一个jo...
API 文档 官方地址 RestClient Elasticsearch 会在7.0之后的版本废弃TransportClient，在8.0之后的版本移除TransportCl...
如何消费数据 我们已经知道了如何发送数据到Kafka,既然有数据发送,那么肯定就有数据消费,消费者也是Kafka整个体系中不可缺少的一环 push 还是 pull Kafka...
