新增节点系统要求
1.CentOS7
2.Java8(任意现有节点/root目录下均有，建议保持一致jdk-8u71-linux-x64.rpm)
rpm -Uvh jdk-8u71-linux-x64.rpm
切换正确版本
alternatives --config java
3.创建hadoop账户，并指定账户目录
useradd -d /usr/hadoop hadoop #用户家目录设置为/usr/hadoop
chmod 755 /usr/hadoop
passwd hadoop #设置用户密码
4.其他配置参见，对于新增数据节点不需关注
//www.greatytc.com/p/1b0ef092bc08
新增datanode节点，并启动
1.配置/etc/hosts加入新节点，copy至各个节点
192.168.1.231 hadoop-namenode
192.168.1.232 hadoop-datanode-1
192.168.1.233 hadoop-datanode-2
192.168.1.234 hadoop-datanode-3
192.168.1.235 hadoop-datanode-4
2.设置namenode到new datanode的免key登陆
ssh-copy-id hadoop-datanode-4
3.配置namenode上的$HASOOP_HOME/etc/hadoop/slave,新增数据节点
hadoop-datanode-1
hadoop-datanode-2
hadoop-datanode-3
hadoop-datanode-4
4.copy 一份数据节点的hadoop/hbase配置到新节点
参照//www.greatytc.com/p/1b0ef092bc08，查看相关配置
5.在new datanode节点执行以下命令，启动datanode,nodemanager(YARN)
$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
$HADOOP_HOME/sbin/yarn-daemons.sh start nodemanager
hdfs dfsadmin -refreshNodes
6.查看配置是否生效
http://192.168.1.231:50070(hadoop)
http://192.168.1.231:8088 (yarn)
Hbase存储节点新增配置
1.copy一份hbase存储节点的配置至新节点
2.修改Master中hbase-site.xml($HADOOP_HOME/hbase-1.2.4/conf/hbase-site.xml),将新增节点hostname加入zookeeper管理
...
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop-namenode,hadoop-datanode-1,hadoop-datanode-2,hadoop-datanode-3,hadoop-datanode-4</value>
</property>
...
3.修改新节点/usr/local权限,zookeeper默认配置目录
chmod -R 777 /usr/local
4.执行以下命令启动hbase存储节点和管理zookeeper
$HADOOP_HOME/hbase-1.2.4/bin/hbase-daemon.sh start regionserver
$HADOOP_HOME/hbase-1.2.4/bin/hbase-daemon.sh start zookeeper
5.查看hbase配置是否生效
http://192.168.1.231:16010
关于预处理程序配置
需在236节点/etc/hosts上添加新的数据节点
...
192.168.1.235 hadoop-datanode-4
FAQ:
集群节点间时间要统一
