IP属地：甘肃
由于 Mac 操作系统提供 LibreSSL 而非 openssl，故遇到编译问题需要自行安装和激活 openssl 安装 openssl 依赖...
java.time.Instant 在Spark 3.0中, java8 time API 被用到Spark datetime相关的内部计算和用...
目前怀疑是scala bug所致，https://github.com/scala/bug/issues/10766Spark在注册用户的UDF...
数据本地性是 Spark 等计算引擎从计算性能方面去考量的一个重要指标，对于某个数据分片的运算，Spark 在调度侧会做数据本地性的预测，然后尽...
前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都...
问题描述 测试了若干天的Spark on k8s, 今天突然就无法初始化 Spark Driver Pod 了。表现如下， 客户端侧以clust...
前言 spark.local.dir/SPARK_LOCAL_DIRS 用于Spark 在 Shuffle阶段临时文件及RDD持久化存储等，可以...
问题描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相关测试，任务正常的话分如下图所示两个...
相关文章 1 . Spark on k8s: 调试客户端spark-submit进程 Spark on k8s: 调试Driver Pod的方法...