2018-07-19

sparkStreaming之checkPoint的作用解析



checkPoint的几大作用:

第一:如遇突发情况,导致sparkStreaming进程停止,从新启动sparkStreaming时,用于恢复历史数据。

第二:sparkStreaming对接kafka时,用于维护kafka偏移量,即所谓的kafka自己维护偏移量

第三:遇到mapWithState,updeStatebykey等全局聚合类算子时,需要到chekPoint中加载历史状态的数据。类似于缓存机制,缓存历史计算数据结果,可以使当前数据与历史数据进行相关全局计算操作。

为保障数据高可用的可靠性,checkPoint的数据存储路径大多数为hdfs中

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • TCP知识点总结 TCP概述 a. TCP提供的是面向连接的全双工服务TCP所有的数据会匹配到由源地址、目的地址、...
    Ping接未来阅读 523评论 0 0
  • 民事法律网 辽宁省物业管理条例全文2018 民商法律网| 2017年12月15日 辽宁省人民代表大会常务委员...
    好好做教育的暖暖阅读 400评论 0 0
  • NSURLRequest 概述 NSURLRequest封装了加载请求的两个基本数据元素:要加载的URL,以及在查...
    沉溺IOS阅读 239评论 0 1
  • 一、if语句 3.if-elif-elif-...-else '''if 条件语句1:代码块1elif 条件语句2...
    烧了回忆取暖丶阅读 274评论 0 1
  • 2016年12月21日下午16点16分,记录一下 今天忙碌了几天准备了圣诞礼物,给这个公司的员工,讲真,虽然我不大...
    简汐月阅读 314评论 0 0