背景 本篇以Flink操作Hudi表为例，分析COW表和MOR表的upsert以及insert操作详细的执行流程。 StreamWriteFunction Hudi Flin...
发简信
IP属地：上海
背景 本篇以Flink操作Hudi表为例，分析COW表和MOR表的upsert以及insert操作详细的执行流程。 StreamWriteFunction Hudi Flin...
分析的挺好的，但是在实际生产上不建议使用这个参数，因为资源你可以释放，但是并不一定可以很随意的申请到特别是在集群的资源隔离做的不好的情况下，遇到了资源紧张的时候，很可能会无法申请到资源，导致任务的滞后，甚至是失败
最近在执行Hive insert/select语句的过程碰到下面这种类型的异常： 本文已上述的错误为切入点，分析下异常原因以及Hive相关的关于Format的异常。主要内容如...
概述：为解决临时数据导致的集群资源争用问题，我们采用了container日志分离方案，但在Hadoop Security机制下，该方案存在跨集群的认证问题。经过对Hadoop...
@金刚a猩猩 2.7.2
Resource Manager YGC停顿过长分析动机 昨天又收到有同学因数据（代码）问题被rccd的邮件，领导也一再提醒数据的安全问题。于是审视了一下硬盘文件，以免存在无心之过… 审视过程中发现了部分日志信息及排错过程中的...
动机 昨天又收到有同学因数据（代码）问题被rccd的邮件，领导也一再提醒数据的安全问题。于是审视了一下硬盘文件，以免存在无心之过… 审视过程中发现了部分日志信息及排错过程中的...
今天有朋友问之前NodeManager被Shuffle拉挂的问题，借此机会将之前分析的另一文档整理一下分享出来。 现象描述及分析 9月27日10时左右，编号为2611节点执行...
@JeremySun eden , survivor 和 old是gc用的分区概念， 而storage 和 execution、user memory是从Spark Task使用的角度起的“逻辑名称”…
Spark on Yarn之Executor内存管理本文1、2、3节介绍了Spark 内存相关之识，第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...
刚完成SparkR的支持，顺手记录下流程… 1 编译SparkR 1.1 生成SparkR的lib包 1.2 编译Spark 1.3 local模式运行SparkR 测试用例...
1 问题描述 当使用Spark-sql执行 Hive UDF时会发生NullPointerException(NPE)，从而导致作业异常终止。NPE具体堆栈信息如下： 2 ...
