根据Kafka subscribe 和 assign接口使用以及rebalancing说明[https://dzone.com/articles/dont-use-apach...
发简信
IP属地：陕西
根据Kafka subscribe 和 assign接口使用以及rebalancing说明[https://dzone.com/articles/dont-use-apach...
sedis SQL for Redis 基于Apache Calcite和redisson实现了通过jdbc的方法连接Redis Cluster 快速入门 进入项目根目录，...
Kafka不同进程“沟通机制” Kafka服务的定位是一种高吞吐量的分布式消息订阅系统。服务再运行过程中，不同的进程（broker和controller之间，客户端和集群）之...
Flink的Checkpoint机制是Flink容错能力的基本保证，能够对流处理运行时的状态进行保存，当故障发生时，能够备份的状态中还原。例如，当Flink读取kafka时，...
System.exit的在系统开发中常备开发人员调用以用于退出应用。然而一个不合理的调用位置可能导致JVM无法正常退出。 JVM无法正常退出问题 今天小编就遇到一个这样的问题...
本文参考openshift 3.11离线安装，遇到了一些环境相关的问题，所以梳理了以下，如果遇到类似问题，可以参考。 环境准备 硬件环境公司内部虚拟机3台 host-10-...
导言 随着大数据集群的使用，大数据的安全受到越来越多的关注一个安全的大数据集群的使用，运维必普通的集群更为复杂。集群的安全通常基于kerberos集群完成安全认证。kerbe...
本文主要对Flink和Spark集群的standalone模式及on yarn模式进行分析对比。Flink与Spark的应用调度和执行的核心区别是Flink不同的job在执行...
本文基于Spark最新2.4版本及Flink最新1.6，从生态圈，部署模式，架构原理，基础API，流处理等方面对比二者相似及不同之处，由于笔者水平限制，不当之处，敬请批评指正...
我们以数据源自kafka为例，进行spark作业调优的分析 1 资源评估 网络能力： 评估下使用的节点数、网络带宽，与所要处理的数据量，在网络能力上是否匹配。节点直接的网络是...
基于Hadoop的sql方案如hive，sparksql架构一般如下： Server ： ThriftServer 完成sql的解析及应用（如MR，Spark，Tez）的提交...
导言 Spark在2.*版本后加入StructedStreaming模块，与流处理引擎Sparkstreaming一样，用于处理流数据。但二者又有许多不同之处。 Sparks...
Kafka是一个消息订阅系统，通过接收消息顺序存储在本地磁盘，以便后端应用从kafka读取消息。本文基于Kafka 0.10.0版本对kafka的消息发送流程进行分析： 确认...
在实际的java代码开发过程中经常会遇到在一个类中有大量的get和set方法，scala语言是通过使用@BeanProperty或者case class的方式解决的这个问题，...
问题现象： 提交Structed Streaming应用，查看job页面信息，job编号显示不连续，如下图所示： 下文将对如下三个问题进行分别分析，以便完整解释job显示不连...
Spark应用在on yarn模式下运行，需要打开集群中的节点的端口以便完成应用的提交和运行。下面针对yarn-cluster模式下提交spark应用需要的集群端口进行测试。...
