11篇文章 · 12201字 · 21人关注
Streaming job 的调度与执行 结合文章 揭开Spark Streaming神秘面纱④ - job 的提交与执行[https://ww...
【容错篇】WAL在Spark Streaming中的应用 WAL 即 write ahead log（预写日志），是在 1.2 版本中就添加的特...
Spark 1.3及其前的版本 你的一个 spark streaming application 已经好好运行了一段时间了，这个时候你因为某种原...
DirectKafkaInputDStream 只在 driver 端接收数据，所以继承了 InputDStream，是没有 receivers...
ReceiverSupervisorImpl共提供了4个将从 receiver 传递过来的数据转换成 block 并存储的方法，分别是： pus...
前文揭开Spark Streaming神秘面纱③ - 动态生成 job[//www.greatytc.com/p/ee84580292...
本文简述如何结合 Spark Streaming 和 Kakfa 来做实时计算。截止目前（2016-03-27）有两种方式： 使用 kafka ...
JobScheduler有两个重要成员，一是上文介绍的 ReceiverTracker，负责分发 receivers 及源源不断地接收数据；二是...
Spark Streaming 在数据接收与导入方面需要满足有以下三个特点： 兼容众多输入源，包括HDFS, Flume, Kafka, Twi...
文集作者