240 发简信
IP属地:广东
  • spark DAGSchedulerEventProcessLoop 设计原理

    父类EventLoop起了一个Thread,监听从LinkedBlockingDeque中获取event,然后用onReceive接收执行,DA...

  • 6.1.2版本elasticsearch源码环境构建步骤(idea)

    ElasticSearch构建源码环境步骤: 以版本6.1.2 on mac, idea为例 准备:gradle 4.3版本。jdk10。 jd...

  • spark->es快速导入数据

    elasticsearch-spark 提供了saveToEs api以支持快速导入数据。但es集群线程池有限,在大量写入数据的同时,对cpu的...

  • spark MapOutputTracker内部架构

    //www.greatytc.com/p/1409dbc78a15

  • Spark CommitCoordinator 保证数据一致性

    本文引用了技术世界文章,来自:http://www.jasongj.com/spark/committer/ 问题引入 Spark 输出数据到H...

  • 美团关于大数据技术的文章

    Spark性能优化指南——基础篇Spark性能优化指南——高级篇Spark在美团的实践Kafka文件存储机制那些事从实际案例聊聊Java应用的G...

  • Java相关

    Java容器底层原理 Java高并发内容 JVM 一. 容器底层原理 ArrayList由数组实现,初始化数组长度,每次增加都会变成之前的1.5...

  • 大数据相关

    hadoop原理 spark原理 kafka原理 数据仓库部分 Hadoop原理 MapReduce的原理默认根据hdfs上文件的block来启...

个人介绍
大数据平台开发工程师一枚。记录学习之路。邮件:dengyu0413@163.com