前言 之前知道checkpoint是在job执行后完成的，一直没理解原理。后来用spark streaming后更迷惑了，众所周知有些时候需要保...

待续

待续

假设你已经了解job是如何被划分及提交的，若不了解请前往spark streaming 流程详解 当前位置是JobGenerator类的gene...

更多关注spark streaming源码分析之流程详解 DStreamGraph的作用是什么呢？ DStreamGraph通过持有所有的inp...

jobGenerator做了哪些事情呢？ 持有一个定时器实例 这个定时器会依据batchDuration提交GenerateJobs消息，也就是...

我们关注的问题是数据是怎么被接收的？又是怎么存储的？ 数据是被executor上的线程receiver接收的，接收之后交由executor上的线...

1、shufflemanager的实现类：sortshufflemanager Spark 0.8及以前 Hash Based Shuffle ...

checkpoint： checkpoint都放啥子？ Metadata checkpointing : 保存流计算的定义信息到容错存储系统如 ...