Delta Lake is an open-source storage layer that brings ACID transactions...

欢迎关注我的微信公众号：FunnyBigData 作为打着 “内存计算” 旗号出道的 Spark，内存管理是其非常重要的模块。作为使用者，搞清楚...

欢迎关注我的微信公众号：FunnyBigData 在《Spark 内存管理的前世今生（上）》中，我们介绍了 UnifiedMemoryManag...

本文为 Spark 2.0 源码分析笔记，其他版本可能稍有不同 Spark Task 的执行流程③ - 执行 task[https://www....

本文为 Spark 2.0 源码分析笔记，其他版本可能稍有不同 创建、分发 Task一文中我们提到 TaskRunner（继承于 Runnabl...

本文为 Spark 2.0 源码分析笔记，由于源码只包含 standalone 模式下完整的 executor 相关代码，所以本文主要针对 st...

本文为 Spark 2.0 版本的源码分析，其他版本可能会有所不同 TaskScheduler 作为资源调度器的一个重要职责就在： 集群可用资源...