一、docker 和 containerd docker 由 docker-client ,dockerd,containerd,docker-shim,runc组成，所以c...
发简信
IP属地：上海
一、docker 和 containerd docker 由 docker-client ,dockerd,containerd,docker-shim,runc组成，所以c...
Graal 编译器 GraalVM 是一个高性能的、支持多种编程语言的执行环境。它既可以在传统的 OpenJDK 上运行，也可以通过 AOT（Ahead-Of-Time）编译...
摘要 原文链接：https://dl.acm.org/doi/pdf/10.1145/3342195.3387524[https://dl.acm.org/doi/pdf/1...
YARN中的资源请求主要是指ApplicationMaster通过AMRMClientImpl向ResourceManager发起的容器请求。relaxLocality属性在...
一、分代收集类型 1. 部分收集（Partial GC） 非完整收集整个 Java 堆的垃圾收集，分为： 新生代收集（Minor GC / Young GC）只进行新生代的垃...
RDD的创建和保存1.1 textFile从HDFS中读取一个文本文件1.2 makeRDD、parallelize都会创建一个新的ParallelCollectionRDD...
动态分区 参数说明hive.exec.dynamic.partition是否开启动态分区，默认是false。如果要开启动态分区，就设置为truehive.exec.dynam...
前几天参加了一个公司的面试，到了后面面试官出了一个SQL相关的题目： 给定访问id，用户id，页面id，访问时间，求出最近一个月对id为100的页面有访问记录且访问该页面次数...
前言 HashMap是Java中常用的集合，而且HashMap的一些思想，对于我们平时解决业务上的一些问题，在思路上有帮助，基于此，本篇博客将分析HashMap底层设计思想，...
本文接上篇（//www.greatytc.com/p/8e2f2f0d4b6c）继续讲解Hive/HiveQL常用优化方法，按照目录，会从“优化SQL处理join数...
前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都知道可以通过这个外部服务来削减...
之前在网络通信和通用数据交换等应用场景中经常使用的技术是 JSON 或 XML，而在最近的开发中接触到了 Google 的 ProtoBuf。 在查阅相关资料学习 Prot...
在UNIX/Linux中，经常需要写脚本执行自动化工作。执行脚本有多种方式，可以通过sh，source或者exec。这些方式有一些区别，需要根据需求选择合适的方式。 sh方式...
本文基于Spark2.1.0版本 我们知道，使用yarn作为cluster manager时，spark（以client模式为例）用spark-submit提交应用程序（或者...
