分享数据、产品、设计、商业、想法。<br>MP：Thea 的若干好奇
发简信
IP属地：四川
背景 DataX 是一个进程一个日志,不同于其他日志一天一个日志,合并到一个日志中进行压缩在查看日志时有一定的不便,可以通过脚本的方式对目录进行压缩达到预期的结果 操作步骤 ...
Flink的具体优势有以下几点: 1.同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。像Apac...
在之前的文章中分享如何在DataX中定义kuduWriter组件,在最近的工作中发现从oracle读取blob类型的数据到kudu时,数据不是期望的结果,接下来就让我们一起来...
[TOC] 简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解...
因为工作的原因,需要排查数据源端到目标端的数据是否丢失,正好有机会研究一下datax的源码.这里我们探索的oracleReader和kuduWriter的数据交互,其他的组件...
@Iamnotme_5bbc 你可以去github上面复制一份
如何用DataX自定义KuduWriter插件如何用DataX自定义KuduWriter之前，先了解一下什么是DataX，它能做什么事 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括...
Kudu表结构设计最佳实践 1.字段设计 字段数量最好不要超过300个 除主键外,其他字段可以为空 每一个字段均可以设置自己的编码以及压缩方式 Kudu1.7.0及其高版本,...
@Tomandy 是的
Alibaba之jvm-sandbox初体验前言 在开始之前，我们先来模拟一下以下的场景：小李：“小明，你的接口没有返回数据，麻烦帮忙看一下？”小明：“我这边的数据也是从别人的服务器中拿到的，但是我不确定是因为逻辑处理...
如何用DataX自定义KuduWriter之前，先了解一下什么是DataX，它能做什么事 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括...
前言 在开始之前，我们先来模拟一下以下的场景：小李：“小明，你的接口没有返回数据，麻烦帮忙看一下？”小明：“我这边的数据也是从别人的服务器中拿到的，但是我不确定是因为逻辑处理...
1.compact 我们首先假设一个现象：当写请求非常多，导致不断生成HFile，但compact的速度远远跟不上HFile生成的速度，这样就会使HFile的数量会越来越多，...
