发简信
IP属地：北京
笔者闲逛开源中国，偶遇“开源中国 2018 年度榜单之国产新秀榜”之top1-Arthas，遂观之。阅后兴奋不已，此乃上古神器也。神器流落凡间，...
近日莫名遭遇异常一枚，如下： 原因分析：1 Failed to create local dir，什么时候spark会创建临时文件呢？shuff...
概述：笔者近期接受一个大数据项目的性能优化，为期两周，2.6万/s的日志处理速度提升至需求目标值5万/s。从整理项目流程阅读代码到性能优化目标实...
场景：数据流向：kafka-->spark-->es。其中spark数据处理会有过滤，etl等步骤，需求不同，搭配不同。如A场景需要过滤+etl...
上文提到，使用kudu等列式存储将数据以update模式写入kudu.下面说一下java操作kudu的相关demo。java操作kudu在git...
之前的文章中提过，structured streaming处理流数据，如果使用聚合，将会有window的概念，对应属性watermark.不知你...
Structured streaming默认支持的sink类型有File sink，Foreach sink，Console sink，Memo...
Spark是一个快速的集群化的实时计算系统。支持Java, Scala, Python 和R语言的高级API。 一 Spark生态： 支持Spa...
一 Dropwizard是什么？Dropwizard是一个跨越了库和框架的界限，他的目标是提供一个生产就绪的web应用程序所需的一切性能可靠的实...