线上任务调度工具执行 Hadoop Hive 相关的任务会偶发任务执行失败的问题，日志报错为 Kerberos 认证失败。查看调度工具的运行逻辑：每次执行任务前先 kinit...
发简信
IP属地：北京
线上任务调度工具执行 Hadoop Hive 相关的任务会偶发任务执行失败的问题，日志报错为 Kerberos 认证失败。查看调度工具的运行逻辑：每次执行任务前先 kinit...
Apache Pulsar 桌面端图形化管理工具 Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式...
前面介绍了HIVE的ANALYZE TABLE命令， IMPALA也提供了一个类似的命令叫COMPUTE STATS。这篇文章就是讲讲这个命令。 IMPALA的COMPUTE...
有很多的生信软件都可以通过conda安装，省去了很多的安装、修bug的烦恼。经常是安装到崩溃的软件，conda一行命令就搞定了。前两天有个胖友问我gatk 3.8的版本在哪里...
Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgbook/spring-boot-reference-guid...
简介： Serverless 架构将成为未来云计算领域重要的技术架构，将会被更多的业务所采纳。进一步深究，Serverless 架构在什么场景下有优秀的表现，在什么场景下可能...
文/朱季谦 目录一、Elasticdump工具介绍[https://www.cnblogs.com/zhujiqian/p/14641972.html#title1]二、El...
前言 前面已经讲到了 MySQL 8 主从复制的设置，另一种 MySQL 高可用的架构是主-主的架构。这种结构的几个数据库都是主数据库，每个数据库数据的更新都会同步到其他的数...
前言 以前自己没有用过 mongoDB ，这次有个迁移环境的工作，所以需要安装 mongoDB ，在这个过程中有一些坑，所以记录一下，已备后期查询 下载文件 当前最新的版本是...
一. 什么是MongoDB MongoDB是现在主流的分布式文档数据库。一些字段不固定的数据，使用传统数据库就不太好处理，要么要建很多表互相关联，要么要建很多冗余字段。而Mo...
在Impala中，invalidate metadata与refresh语句都可以用来刷新表，但它们本质上还是不同的。本文简要分析一下，并说明它们应该在什么情况下使用。 Im...
一、Slurm常规运行操作在HPC上运行任务的主要方法是通过sbatch命令提交一个脚本。例如： sabtch MyJobScript.sh在MyJobScript.sh中的...
原因：最近项目优化过程中，偶然发现本地服务器每过10s就会有一次磁盘爆满的现象。在我们的项目中发现本地项目中存在一个用作“同步数据”的定时任务每过10s就查询数据库表，并把这...
一、缓存简介 1.1 什么是缓存 缓存就是数据交换的缓冲区。缓存的本质是一个内存 Hash。缓存是一种利用空间换时间的设计，其目标就是更快、更近。 将数据写入/读取速度更快的...
1. 查找nginx 的安装位置： 2. 上传证书： 3. 移动证书到 cert 文件夹 4. 配置 5. 完整nginx.conf 配置 6. 前端可以了，但是后台还不是h...
版权声明：本文为博主原创文章，未经博主允许不得转载。//www.greatytc.com/p/979eca668755 生产在线集群impala查询，多个作业超时 ...
在我们使用hadoop集群的时候 ，由于 日志 数据不断流入写入到hdfs上，而且 算法人员 不断的清洗 数据做特征工程 又会产生 新的中间数据 ，而且量一点都不小。这个时...
随着时代的发展，越来越多的数据量堆积，然而这些密密麻麻的数据的可读性较差并且毫无重点，而数据可视化更加直观有意义，更能帮助数据更易被人们理解和接受。因此运用恰当的图表实现数据...