前言 又是一个超长的标题（摊手┓( ´∀` )┏）。Spark Streaming 历史比较悠久，也确实非常好用，更重要的是，大家已经用熟了，有...

缘由 StreamingPro现在支持以SQL脚本的形式写Structured Streaming流式程序了： mlsql-stream。不过期...

关于Spark Streaming中的任务有如下几个概念： Batch Job Stage Task 其实Stage,Task都是Spark C...

大数据做了这许多年，有没有问过自己，大数据中，工作量最大和技术难度最高的，分别是什么呢？ 前言 我每天都在思考，思考很重要，是一个消化和不断深入...

前言 我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。 一个大致的数据接受流程 一些存储结构的介绍...

看这篇文章前，请先移步Spark Streaming 数据产生与导入相关的内存分析, 文章重点讲的是从Kafka消费到数据进入BlockMana...

前言 这个算是Spark Streaming 接收数据相关的第三篇文章了。 前面两篇是： Spark Streaming 数据产生与导入相关的内...

这篇文章只是为了阐述Spark Streaming 意外Crash掉后，如何保证Exactly Once Semantics。本来这个是可以直接...