前言 说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。 玫瑰篇 玫瑰篇主要是说Spark St...
前言 说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。 玫瑰篇 玫瑰篇主要是说Spark St...
前言 从开始工作,我一直会问自己这么两个问题: 我有足够多的工具提升自己效率么? 我有足够好的平台去提升团队效率么? 效率在我看来是至关重要的。关于我对效率的理解,还可以看看...
1 前言 2 基于heapAnalyzer和arthas的线上性能分析 2.1 需求背景 之前在客户现场,公司的大数据平台出现了页面访问卡顿的现象,经过诊断发现有内存泄漏问题...
1 遇到问题 flink实时程序在线上环境上运行遇到一个很诡异的问题,flink使用eventtime读取kafka数据发现无法触发计算。经过代码打印查看后发现十个并行度执行...
1 Arthas 介绍 1.1 Arthas是什么 Arthas 是Alibaba开源的Java诊断工具。它支持JDK 6+,支持Linux/Mac/Windows,采用命令...
1 insert...from的问题 insert … select 是很常见的在两个表之间拷贝数据的方法。需要注意,在可重复读隔离级别下,这个语句会给select的表里扫描...
背景 大数据平台早期是野蛮生长的,作业直接在终端提交运行,处于一种完全无管理的自由状态。在17年上线了内部的大数据平台后,用户开始逐渐在平台上进行数据管理,代码编写,作业管理...
Kullback-Leibler Divergence,即K-L散度,是一种量化两种概率分布P和Q之间差异的方式,又叫相对熵。在概率学和统计学上,我们经常会使用一种更简单的、...
两年前初来北京,乍到; 两年后还在北京,久居。 时间是可怕的。 可怕之一在于,如果生活发生了重大的变故,会让人觉得这时间不太真实,恍若隔世; 可怕之二在于,如果生活没有发生什...
关键词:注意力机制;Attention机制;自然语言处理;NLP;原文链接地址近年来,深度学习的研究越来越深入,在各个领域也都获得了不少突破性的进展。基于注意力(attent...