有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。那么我们可以利用s...
发简信
IP属地：广东
有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的聚合查询数据。那么我们可以利用s...
为什么这么说呢，难道我自己多年使用的方式错了嘛，是的，你没错，我错了，哈哈，主要原因是使用Tuple的时候容易搞错对象，Tuple2的时候还知道第一个参数跟第二个参数的意思，...
有时候我们在使用Es作为搜索分析的时候,得出的结果并不是我们想要的,这时候我们会查询一下Es会怎么拆解我们的字符，这里就可以用到Es的_analyze查看一下分解的token...
打包步骤 生成gpg密钥 上传公钥到两台服务器上keys.gnupg.net 与 keyserver.ubuntu.com ~/.gradle/gradle.properti...
要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。 ...
有时候我们想定义一个字符串的方法，然后通过scala的动态创建class，然后反射调用方法，在很多情景下是在学有用的，比较动态自定义spark的mapParations，当然...
在gitlab项目中，使用了太久的项目会有很多的提交，项目非常地大，如何清空项目以前的提交呢？又能保证现在文件不受影响，这里提供一个思路及解决方案，就是使用一个新创建的分支来...
在Java VisualVM这款java性能分析及调优工具如何加载插件？比如漂亮的Visual GC，大猪我比较喜欢这款漂亮的姑娘，当然了，如果觉得这是阻止了小伙伴们的进步，...
新鲜文章，昨天刚经过线上验证过的，使用它导出了3亿的用户数据出来，花了半个小时，性能还是稳稳的，好了不吹牛皮了，直接上代码吧。 MR 考查了Hbase的各种MR，没有发现哪一...
今天分享一个超有意思的东西 Selenium 自动化测试/调式工具。 Selenium 就像真实用户所做的一样，Selenium 测试可以在 Windows、Linux 和 ...
有时候我们在使用Es作为搜索分析的时候,得出的结果并不是我们想要的,这时候我们会查询一下Es会怎么拆解我们的字符，这里就可以用到Es的_analyze查看一下分解的token...
打包步骤 生成gpg密钥 上传公钥到两台服务器上keys.gnupg.net 与 keyserver.ubuntu.com ~/.gradle/gradle.properti...
HDFS_DELEGATION_TOKEN 这个BUG在很多文章中都出现着，讲了很多原理，但是只给出了官方引用地扯，完全没有给出如何解决，我们线上的业务就有着这样的问题，7天...
有时候我们在使用Es作为搜索分析的时候,得出的结果并不是我们想要的,这时候我们会查询一下Es会怎么拆解我们的字符，这里就可以用到Es的_analyze查看一下分解的token...