IP属地：湖南
Spark是基于内存的计算引擎，就是说它高效的使用了分布式节点上的内存资源，尽可能多的使用内存，而不是将数据写入磁盘。内存管理机制就是其中的核心...
最近看了Bigtable的论文，所以结合着看了HBase的实现 HBase是一个开源的，分布式，版本化的非关系型数据库，模仿Google Big...
火焰图是进行性能分析的工具，可以通过Flame Graph获取指定程序的火焰图，目前IDEA也增添了火焰图功能，叫做CPU Profiler F...
按照优先级在关闭时执行一系列操作，在spark内用途很广泛，主要是释放资源，删除文件等 使用 ShutdownHookManager Shutd...
Docker是基于容器的应用开发，部署和运行平台 高性能：相比传统虚拟机，不需要hepervisor的额外负载，而是直接在主机内核中运行，可以在...
最近在项目中碰到整个进程的CPU占用率极低，分析了很久，才排查到是CPU亲和性相关的问题，因为在项目启动配置过程中，调用了一个FPGA的初始化操...
Unsafe类是进行底层操作的方法集合，可以直接操作内存，进行一些非常规操作，所以说是"不安全"的操作，但是因为直接操作内存，它的效率很高，通常...
相关概念 主要涉及RpcEnv，RpcEndpoint，RpcEndpointRef，其中RpcEnv是通信的基础，每个通信节点上都需要实现该类...
这是三种ShuffleWriter中最通用的情况，对应BaseShuffleHandle，此时可以在map端进行数据合并，否则不向排序工具Ext...