一：系统环境
CentOS release 6.5 x64
CDH 5.2.0
节点说明
| IP | 主机名 | 角色描述 |
|---|---|---|
| 192.168.80.3 | bigdata.hadoop.master | master |
| 192.168.80.4 | bigdata.hadoop.slave | slave |
| 192.168.80.5 | bigdata.hadoop.slave1 | slave1 |
| 192.168.80.6 | bigdata.hadoop.slave2 | slave2 |
二：环境准备(每个节点都要操作)
1.网络配置
1.1编辑/etc/sysconfig/network修改主机名
NETWORKING=yes
HOSTNAME=bigdata.hadoop.master
1.2修改hosts文件
vim /etc/hosts
192.168.80.3 bigdata.hadoop.master
192.168.80.4 bigdata.hadoop.slave
192.168.80.5 bigdata.hadoop.slave1
192.168.80.6 bigdata.hadoop.slave2
2.免密钥配置
$ssh-keygen -t rsa
$touch authorized_keys
将各个节点的id_rsa.pub添加到authorized_keys中
3.关闭防火墙和SELINUX
$service iptables stop
$setenforce 0
$vim /etc/selinux/config
SELINUX=disabled
4.安装JDK和Mysql
Mysql安装
$yum install -y mysql mysql-server
$service mysqld start
$grant all on . to root@'%' identified by 'password'
JDK安装
$tar -zxvf jdk.tar.gz -C /usr/local/jdk
$vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin
三：CM安装
1.为Cloudera Manager建立数据库(主节点操作)
1.1将cloudera-manager-el6-cmXX.tar.gz进行解压缩
tar -zxvf cloudera-manager-el6-cmXX.tar.gz -C /usr/local
1.2 将mysql-connector-java-XX-bin.jar放入/usr/local/cm/share/cmf/lib中
1.3在Master节点初始化CM5的数据库
/usr/local/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
2.配置Agent
2.1修改/usr/local/cm/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名master
[General]
Hostname of the CM server.
server_host=bigdata.hadoop.master
3. 同步Agent到slave节点
4.在所有节点创建cloudera-scm用户
useradd --system --home=/usr/local/cm/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5.准备Parcels,用以安装CDH5(主节点操作)
将CHD5相关的Parcel包放到主节点的/usr/local/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）
相关的文件如下：
CDH-5.3.8-1.cdh5.3.8.p0.5-el6.parcel.sha1
CDH-5.3.8-1.cdh5.3.8.p0.5-el6.parcel
manifest.json
6.执行脚本
6.1在Master节点启动服务端
/usr/local/cm/etc/init.d/cloudera-scm-server start
6.2在Agent节点启动客户端
/usr/local/cm/etc/init.d/cloudera-scm-agent start
四：CDH集群配置
1.界面访问
通过访问http://主节点ip:7180 进入配置页面,用户名和密码都为admin，如果网页打不开，需要稍等一会，服务启动较慢
2分配安装Parcel包
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
通过echo 0 > /proc/sys/vm/swappiness即可解决。
分配安装parcel
3.服务配置
选择服务
数据库设置
审查
安装服务
注意，这里安装Hive的时候可能会报错，因为我们使用了MySql作为hive的元数据存储，hive默认没有带mysql的驱动，通过以下命令拷贝一个就行了：
cp /usr/local/cm/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hive/lib/
4.安装成功
安装成功
五：问题总结
1.重装oozie出错
Error:DB schema exists java.lang.Exception:DB schema exists
解决办法：rm -rf /var/lib/oozie/*
2.上传oozie共享库出错
检测sharelib包是否已经加入到hadoop文件系统中，执行hadoop fs –ls /user/oozie/share/lib 查看sharelib包是否存在:
$ hadoop dfs -put oozie-sharelib.tar.gz /user/oozie/share/lib/
