1.环境版本
CDH: 5.12.0 Centos: 6.9
节点: hadoop101(主): 6G,8核,50G磁盘, hadoop102: 2G,4核,30G磁盘, hadoop103: 2G,4核,30G磁盘
2.虚拟机基本配置
默认配置好了, 如hosts, ssh , jdk, 防火墙, 能够相互ping通, 能够ping 通 www.baidu.com
注: jdk安装：安装到/usr/java下面，全局变量，防止CDH找不到
jdk放在了 /usr/java/jdk1.8.0_131
3.Mysql安装(重中之重)
MySQL官网https://downloads.mysql.com/archives/community/ 上下载MySQL5.7的Linux安装程序，并上传到服务器。 本平台采用mysql-5.7.12的版本，mysql-5.7.12-linux-glibc2.5-x86_64.tar.gz。 (我忘记我的5.7.12在哪下载的了, 5.7.13也行,问题不大)
创建mysql用户
# groupadd mysql
# useradd -r -g mysql -s/bin/false mysql
创建mysql工作目录，上传解压mysql安装程序
# mkdir -p /apps/svr/mysql/ /apps/svr/mysql/data
# tar xzf mysql-5.7.12-linux-glibc2.5-x86_64.tar.gz -C /apps/svr/mysql/
# mv mysql-5.7.12-linux-glibc2.5-x86_64/ mysql-5.7.12/ ##修改名字
配置mysql环境变量
vim /etc/profile
# Mysql
export PATH=$PATH:https:/apps/svr/mysql/mysql-5.7.12/bin
#source /etc/profile
安装libaio:
# yum -y installlibaio libaio-devel 直接运行就得了
拷贝配置文件
#cd /apps/svr/mysql/mysql-5.7.12/
# cp./support-files/my-default.cnf /etc/my.cnf
修改配置文件
# vim /etc/my.cnf
basedir = /apps/svr/mysql/mysql-5.7.12
datadir = /apps/svr/mysql/data
socket = /tmp/mysql.sock
初始化数据库
# cd/apps/svr/mysql/mysql-5.7.12/
# bin/mysqld--defaults-file=/etc/my.cnf --initialize --user=mysql
将mysqld加入service系统服务
# cpsupport-files/mysql.server /etc/init.d/mysqld
# chkconfig --add mysqld
# chkconfig mysqld on //开机自启动
启动mysql服务
# service mysqld start
# mysql -u root -p000000 //密码为6个0.. 如果这一步错了,查看service
mysqld status是否运行, 按照下面方式修改,亲测,可用
加上面这个可以进入mysql不需要密码,很好,然后再从mysql里面修改密码,
如果上面修改密码一致错误, 报password的错误,就把语句改成:
update mysql.user set authentication_string=password('000000') where user='root' ;
mysql> alter user 'root'@'localhost' identified by '000000';
mysql> flushprivileges;
4.创建数据库
为CDH平台相关创建数据库
mysql> createdatabase activity default charset utf8 collate utf8_general_ci;
mysql> createdatabase hive default charset utf8 collate utf8_general_ci;
mysql> createdatabase oozie default charset utf8 collate utf8_general_ci;
mysql> createdatabase hue default charset utf8 collate utf8_general_ci;
授权给cdh用户
mysql> grant allon activity.* to 'cdh'@'%' identified by '000000';
mysql> grant allon hive.* to 'cdh'@'%' identified by '000000';
mysql> grant allon oozie.* to 'cdh'@'%' identified by '000000';
mysql> grant allon hue.* to 'cdh'@'%' identified by '000000';
mysql> flushprivileges;
5.Cloudera Manager安装
CDH常用安装方式一般包括：Cloudera Manager在线安装、Parcel安装、YUM安装以及RPM安装，本次安装采用Percel方式进行。
Cloudera Manager
Cloudera 官网http://archive.cloudera.com/cm5/cm/5/下载CM5.12的Linux安装程序，并上传到服务器。
本平台采用cm5.12.0的版本，cloudera-manager-el6-cm5.12.0_x86_64.tar.gz。
CDH Percel包
Cloudera 官网http://archive.cloudera.com/cdh5/parcels/下载CDH5.12的Linux安装程序，并上传到服务器。
本平台采用CDH 5.12.0的版本，需下载三个文件：
CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel
CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1
manifest.json //这个下载是右键,然后链接另存为……, 我在这犯过错误,我是复制json,然后保存到新建文件,亲测,这样不行!!!
6.MySQL JDBC驱动
本平台采用mysql-connector-java-5.1.46.jar。https://blog.csdn.net/weixin_41831619/article/details/79914307
7.部署CM
所有机器都执行:
useradd --system --home=/opt/cm-5.12.0/run/cloudera-scm-server --no-create-home
--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
表示系统用户
--system
指定用户的主目录
--home=/opt/cm-5.12.0/run/cloudera-scm-server --no-create-home
不作为登陆用户
--shell=/bin/false
--comment "Cloudera SCM User"
用户名
cloudera-scm
验证cloudera-scm用户
# cat
/etc/passwd | grep cloudera-scm
到hadoop101上执行
# tar -xvf cloudera-manager-el6-cm5.12.0_x86_64.tar.gz -C /opt
主机hadoop101上执行
拷贝MySQL驱动
# cpmysql-connector-java-5.1.46.jar /opt/cm-5.12.0/share/cmf/lib/
# /opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh
mysql cm -hlocalhost -uroot -p'000000' scm 'root'
主机hadoop101上执行(当前节点名称）
# vim /opt/cm-5.12.2/etc/cloudera-scm-agent/config.ini
server_host=hadoop101 //这里一定要设置正确,如果设置不正确,则只能检测到一个节点
# scp -r /opt/cm-5.12.0 hadoop102:/opt/
# scp -r /opt/cm-5.12.0 hadoop103:/opt/
//记得在其他的节点上也修改server_host
8.上传Parcel到服务器
主机hadoop101上执行
将CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel，CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1，manifest.json三个文件上传到master1的/opt/cloudera/parcel-repo/目录中，同时将CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1复制为CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha。
# mvCDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha
主机hadoop101上启动CM服务和代理
#/opt/cm-5.12.0/etc/init.d/cloudera-scm-server restart
#/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent restart
（hadoop102 - hadoop103）上启动CM代理
#/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent restart
9.CDH安装
使用浏览器打开http://hadoop101:7180登录Cloudera Manager的Web管理控制台，（默认的用户名和密码为admin/admin）。
选择接受用户授权协议，点击“继续”按钮进入下一步。
当前管理主机-> 勾选三台, hadoop101,hadoop102,hadoop103
如果只显示hadoop101, 则是前面cdh安装哪个环节出了问题, 好好检查下, 我之前遇到过两次这样的,都是一些细节地方漏掉了配置!
本步骤对所有服务器的环境进行检查，等待一分钟左右，会自动显示检查结果。
注:左边的服务是我一个一个添加上去的! 本身是没有的, 而且有很多异常,是因为内存不足, 我共分配了12G, 是不够的, 大家要玩的话, 内存得加大点点!
最后注: 每一个组件的添加服务有点点多, 这边就不写了, 如果有需要的, 可以简述留言, 我发给你文档!
