完全分布式的安装

更改三台虚拟机的静态IP地址

master

只需更改IP地址其他部分一样

slave1

slave2

：wq 保存并推出

service network restart      重置网卡

后面因硬件问题在Xshell中安装

修改主机名

修改主机映射

vi /etc/hosts

三台虚拟机全部配置

时间同步

centos7一般没有ntpd文件需要先下载.

yum -y install ntp

vi /etc/sysconfig/ntpd

全部设置

时间同步

不配置时间同步以后的组件有问题。

关闭防火墙

三台全部关闭并阻止自启

查看防火墙状态

开启免密

ssh-keygen -t rsa -P ""

三台虚拟机同步进行

 cat  ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

chmod 700 ~/.ssh/authorized_keys

在master中传输密钥

[hadoop@master ~]$ scp~/.ssh/authorized_keys hadoop@slave1:~/.ssh/ 

[hadoop@master ~]$ scp~/.ssh/authorized_keys hadoop@slave2:~/.ssh/

解压安装Hadoop

进入root用户后解压

将所有包全部传输到虚拟机

tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/src/

mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop

配置环境变量

保存退出

修改目录的所有者

查看是否成功

安装java

tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/local/src/

mv /usr/local/src/jdk1.8.0_101/ /usr/local/src/java

更改文件所属者并更改环境变量

生效环境变量

查看Java与Hadoop版本号

集群配置

所有配置文件都在这个目录

vi core-site.xml

vi hadoop-env.sh

export JAVA_HOME=/usr/local/src/java

一共三条

vi hdfs-site.xml

vi yarn-site.xml

配置masters文件

添加master

配置slaves文件

将里面内容改成

slave1

slave2

创建目录

分发hadoop/java目录

[root@master hadoop]# scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/

[root@master hadoop]# scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/

[root@master hadoop]# scp -r /usr/local/src/java/ root@slave1:/usr/local/src/

[root@master hadoop]# scp -r /usr/local/src/java/ root@slave2:/usr/local/src/

[root@master hadoop]# scp -r /etc/profileroot@slave1:/etc/ 

[root@master hadoop]# scp -r /etc/profileroot@slave2:/etc/ 

在每个节点上修改目录权限

在root用户下

chown -R hadoop:hadoop /usr/local/src/hadoop

生效环境变量

在slave1与slave2节点生效

source /etc/profile

update-alternatives--install /usr/bin/java java /usr/local/src/java/bin/java 200

update-alternatives--set java /usr/local/src/java/bin/java

记得查看一下java版本号

集群启动测试

所有节点进入Hadoop用户生效变量

hdfs namenode -format

黄色部分为零格式化成功

master

start-all.sh  全部开启

或者       （两种方法使用一个就行）

start-dfs.sh        必须先开启dfs才能开启yarn

start-yarn.sh

最后jps查看进程

多个jips是因为我电脑卡了应该是四个

slave1的三个进程

slave2的三个进程

hadoop完全分布式集群搭建成功