# 安装依赖 [root@hadoop ~]# yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-d...
发简信
IP属地：浙江
# 安装依赖 [root@hadoop ~]# yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-d...
一、导入hive的相关参数 二、导入数据常用命令 sqoop import \ --connect 'jdbc:mysql://192.168.228.128:3306/ru...
一、创建测试表 create table sqoop_test_from_hdfs( name varchar(20) comment '姓名', age int comme...
一、准备测试表和测试数据 create table sqoop_test( id int primary key auto_increment comment '自增id',...
# 查看命令帮助 [hadoop@hadoop ~]$ sqoop help 20/06/06 18:07:14 INFO sqoop.Sqoop: Running Sqoo...
# 解压并创建软连接 [hadoop@hadoop software]$ tar -xvf sqoop-1.4.6-cdh5.16.2.tar.gz -C ../app/ [...
一、常用字符串函数 官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#Lang...
零、生产常用组合方式 （0.1）离线数仓获取昨天的日期作为分区，格式yyyyMMdd regexp_replace(date_sub(from_unixtime(unix_t...
# 添加postgres用户 [root@hadoop ~]# useradd postgres [root@hadoop ~]# id postgres uid=1001(...
一、解压hive并创建软连接 [hadoop@hadoop ~]$ tar -xvf ~/software/hive-1.1.0-cdh5.16.2.tar.gz -C ~/...
常用Hive命令 # 清屏 hive> !clear; # 退出 hive> exit; # 查看有哪些数据库 hive> show databases; # 创建数据库 h...
一、机器环境准备 （1）、准备机器 准备3台机器，每台至少2核8G内存。操作系统为Centos7.2。本次采用虚拟机，3台机器都配置了静态ip，并关闭了防火墙。3台机器hos...
## 先在hadoop001上部署 [hadoop@hadoop001 ~]$ tar -xzvf /home/hadoop/software/zookeeper-3.4.5...
# 解压 [hadoop@hadoop software]$ cd /home/hadoop/software/ [hadoop@hadoop software]$ tar ...
本次编译的是spark2.3.0版本，基于Hadoop2.6.0-cdh5.16.1版本进行编译 这里提供编译好的包以及编译中需要的jar包的maven本地镜像 链接：htt...
因kylin官网发布的2.6.0版本中cdh版本为5.7.0 ，而我们测试环境和生产环境都是cdh5.16.1，所以需要自己调整cdh版本自己编译。本文主要记录编译过程以及编...
我司生产环境的大数据集群是用CDH部署的 版本有5.11.1 5.14.1 5.16.1 这三个版本. 这里主要是讲一下生产上面 Hadoop的资源配置情况 一、Data...
说明： （1）Client向ResourceManager提交应用程序，其中包含了ApplicationMaster主程序和启动命令 （2）ApplicationsManag...
一、工作中常用的HDFS的命令整理 说明： 20200527新增命令setfacl 和getfacl,见命令(15) 和 (16) 20200702新增hdfs dfs -l...