1.Linux安装前的配置

1.1.关闭防火墙

      本站文档是假定「服务器在防火墙以内」的前提下编纂的，在这个前提下，服务器本身在内部网络是不需要防火墙的（在需要抵御内部安全威胁的情况下，您也可以用您在iptables方面的相关知识，根据实情设置防火前，并保证服务器端防火墙启动的状态）。另外，在一般情况下，我们不需要SELinux复杂的保护，所以也将其设置为无效的状态。

service iptables stop

1.2.关闭SELinux

用下面命令执行，并修改内容如下所示：

vim /etc/sysconfig/selinux

SELINUX=enforcing

↓修改为

SELINUX=disabled

2.集群部署介绍

2.1.环境说明

      集群中包括5个节点：1个Master，4个Salve，节点之间局域网连接，可以相互ping通。节点IP地址分布如下：

机器名称                                         IP地址

Master.Hadoop                                 70.70.70.120

Slave1.Hadoop                                  80.80.80.184

Slave2.Hadoop                                  80.80.80.183

Slave3.Hadoop                                  80.80.80.182

Slave4.Hadoop                                  80.80.80.180

四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Master服务器宕机，还有一个备用马上启用。后续经验积累一定阶段后补上一台备用Master机器。

2.2.网络配置

下面的例子我们将以Master机器为例，即主机名为"Master.Hadoop"，IP为"70.70.70.120“进行主机的配置，他的Slave机器以此为依据进行修改。

2.2.1.查看当前机器名称

命令：

hostname

上图中，用”hostname"查"Master"机器的名字为“centos1.teacher20”，这是默认机器名，我们进行修改。

2.2.2.修改当前机器名称

我们的机器的主机名不是我们想要的，通过对"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值，改成我们规划的名称。

这个"/etc/sysconfig/network"文件是定义hostname和是否利用网络的不接触网络设备的对系统全体定义的文件。

vi /etc/sysconfig/network

通过上面的命令我们从"/etc/sysconfig/network"中找到"HOSTNAME"进行修改，查看内容如下

配置完成之后，我们需要重启主机，命令：

reboot

2.2.3.配置hosts文件（必须）

"/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostName和IP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名（或域名）对应的IP地址。

在进行Hadoop集群配置中，需要在"/etc/hosts"文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，而且还可以通过主机名进行通信。所以在所有的机器上的"/etc/hosts"文件末尾中都要添加如下内容：

vi /etc/hosts

70.70.70.120Master.Hadoop

80.80.80.184Slave1.Hadoop

80.80.80.183Slave2.Hadoop

80.80.80.182Slave3.Hadoop

80.80.80.180Slave4.Hadoop

从上图中我们已经能用主机名进行ping通了，说明我们刚才添加的内容，在局域网内能进行DNS解析了，那么现在剩下的事儿就是在其余的Slave机器上进行相同的配置。然后进行测试。（备注：当设置SSH无密码验证后，可以"scp"进行复制，然后把原来的"hosts"文件执行覆盖即可。）

2.3.所需软件

JDK软件

jdk-7u75-linux-x64

Hadoop软件

hadoop-2.6.0.tar

2.4.创建用户组和用户 hadoop

创建hadoop用户组：

groupadd hadoop

创建hadoop用户：

useradd –g hadoop hadoop

为hadoop用户添加密码：

passwd hadoop

使得hadoop用户获得sudo权限。

vi /etc/sudoers

我们这里设置hadoop的密码都是hadoop

编辑好，退出时，wq！（加叹号）

2.5.上传本地JDK和hadoop安装包到主机

使用rz命令。

我们在hadoop根目录中上传，并且使用hadoop用户。

[hadoop@Master ~]$ rz

3.SSH无密码验证配置

Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH无密码登录到NameNode。

3.1.安装和启动SSH协议

rpm –qa | grep openssh

rpm –qa | grep rsync

通过以上命令，我们主机上没有安装rsync（远程数据同步工具）

安装SSH协议（这个已经安装，我们机器不需要再次安装）！！！

yum install ssh                                         #（这个已经安装，我们机器不需要再次安装）

安装rsync（rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）

yum install rsync

service sshd restart                                 #重启服务

确保所有的服务器都安装，上面命令执行完毕，各台机器之间可以通过密码验证相互登。

3.2.配置Master无密码登录所有Salve

3.2.1.SSH无密码原理

Master（NameNode |JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。

3.2.2.Master机器上生成密码对

在Master节点上执行以下命令：

[hadoop@master ~]$ ssh-keygen -t rsa -P ''

这条命令是生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/home/hadoop/.ssh"目录下。

查看"/home/hadoop/"下是否有".ssh"文件夹，且".ssh"文件下是否有两个刚生产的无密码密钥对。

[hadoop@Slave4~]$ ll -a | grep .ssh

接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。

[hadoop@Slave4.ssh]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在验证前，需要做两件事儿。第一件事儿是修改文件"authorized_keys"权限（权限的设置非常重要，因为不安全的设置安全设置，会让你不能使用RSA功能），另一件事儿是用root用户设置"/etc/ssh/sshd_config"的内容。使其无密码登录有效。

1)修改文件"authorized_keys"

[hadoop@Slave4 .ssh]$ chmod 600~/.ssh/authorized_keys

备注：如果不进行设置，在验证时，扔提示你输入密码，在这里花费了将近半天时间来查找原因。

2)设置SSH配置

用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。

[root@Slave4 .ssh]# vi /etc/ssh/sshd_config

下面是文件修改好的。

设置完之后记得重启SSH服务，才能使刚才设置有效。

[root@Slave4 .ssh]# service sshd restart

退出root登录，使用hadoop普通用户验证是否成功。

[hadoop@Slave4 .ssh]$ ssh localhost

从上图中得知无密码登录本级已经设置完毕，接下来的事儿是把公钥复制所有的Slave机器上。

再往下做之前，把其他四台的公钥私钥全部产生，参照以上步骤。

使用下面的命令格式进行复制公钥：

scp ~/.ssh/id_rsa.pub远程用户名@远程服务器IP:~/

例如：

[hadoop@Master .ssh]$ scp    ~/.ssh/id_rsa.pub hadoop@80.80.80.183:~/

3.2.3.把Master.Hadoop上的公钥复制到Slave1.Hadoop上

[hadoop@Master .ssh]$ scp ~/.ssh/id_rsa.pubhadoop@80.80.80.184:~/

依据以上方式，分别复制到其他四太主机的根目录下。

[hadoop@Master .ssh]$ scp ~/.ssh/id_rsa.pubhadoop@80.80.80.183:~/

[hadoop@Master .ssh]$ scp ~/.ssh/id_rsa.pubhadoop@80.80.80.182~/

[hadoop@Master .ssh]$ scp ~/.ssh/id_rsa.pubhadoop@80.80.80.180~/

从其他四台slave.adoop上可以用ls –a查看确实存在id_rsa.pub这个文件。

3.2.4.在其他四太Slave.Hadoop上，将公钥添加到授权密钥文件authorized_keys内。

[hadoop@Slave1 ~]$ cat ~/id_rsa.pub>> ~/.ssh/authorized_keys

…slave2….

…slave3…

依次，等等。

最后记得把"/home/hadoop/"目录下的"id_rsa.pub"文件删除掉。

[hadoop@Slave3 .ssh]$ rm ~/id_rsa.pub

3.3.配置所有Slave无密码登录Master

和Master无密码登录所有Slave原理一样，就是把Slave的公钥追加到Master的".ssh"文件夹下的"authorized_keys"中，记得是追加（>>）。

思想：分别在其他四台Slave上使用

[hadoop@Slave1 ~]$ scp ~/.ssh/id_rsa.pubhadoop@70.70.70.120:~/

将Slave上的公钥发到Master上去，然后每发送一个。在Master上，使用

[hadoop@Master ~]$ cat ~/id_rsa.pub>> ~/.ssh/authorized_keys

将Slave的公钥添加到Master的授权文件中。然后把传过来的公钥文件删除。。。。

到此为止。我们验证一下ssh可以Master和Slave之间的无密码相互登陆（因为我们是在hadoop用户设置的，所以我们必须是切换到hadoop用户下去验证）。

等等。

4.Java环境安装

      所有的机器上都要安装JDK，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以"root"的身份进行。

4.1.安装JDK

首先用root身份登录"Master.Hadoop"后在"/usr"下创建"java"文件夹，再把用“rz命令”上传到"/home/hadoop/"下的"jdk-7u75-linux-x64.rpm"复制到"/usr/java"文件夹中。

[root@Masterusr]# mkdir /usr/java

[root@Masterusr]# cp /home/hadoop/jdk-7u75-linux-x64.rpm /usr/java

演示截图：

创建java文件夹，cp    JDK包

确认查看已经复制过来：

接着进入"/usr/java"目录下通过下面命令使其JDK获得可执行权限，并安装JDK。

[root@Masterjava]# chmod 755 jdk-7u75-linux-x64.rpm

[root@Masterjava]# rpm -i jdk-7u75-linux-x64.rpm

演示截图:

按照上面几步进行操作，最后点击"Enter"键开始安装，安装完会提示你按"Enter"键退出，然后查看"/usr/java"下面会发现多了一个名为"jdk1.7.0_75"文件夹，说明我们的JDK安装结束，删除"jdk-7u75-linux-x64.rpm"文件，进入下一个"配置环境变量"环节。

4.2.配置环境变量

编辑"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"内容。

4.2.1.编辑"/etc/profile"文件

[root@Masterjava]# vi /etc/profile

3.2.2.添加Java环境变量

在"/etc/profile"文件的尾部添加以下内容：

# set java environment

export JAVA_HOME=/usr/java/jdk1.7.0_75

exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

4.2.3.使配置生效

保存并退出，执行下面命令使其配置立即生效。

[root@Master java]# source /etc/profile

[root@Slave1 java]# echo $JAVA_HOME

验证截图

从上图中得知，我们以确定JDK已经安装成功。

4.3.安装剩余机器

这时用普通用户hadoop通过下面命令格式把"Master.Hadoop"文件夹"/home/hadoop/"的JDK复制到其他Slave的"/home/hadoop/"下面，剩下的事儿就是在其余的Slave服务器上按照上图的步骤安装JDK。

scp /home/hadoop/jdk-6u31-linux-i586.bin远程用户名@远程服务器IP:~/

或者

scp ~/jdk-6u31-linux-i586.bin远程用户名@远程服务器IP:~/

备注："~"代表当前用户的主目录，当前用户为hadoop，所以"~"代表"/home/hadoop"。

例如：把JDK从"Master.Hadoop"复制到"Slave1.Hadoop"的命令如下。

[hadoop@Master ~]$ scp~/jdk-7u75-linux-x64.rpmhadoop@80.80.80.184:~/

然后查看"Slave1.Hadoop"的"/home/hadoop"查看是否已经复制成功了。

从上图中得知，我们已经成功复制了，现在我们就用最高权限用户root进行安装了。其他的与这个一样。

5.Hadoop集群安装

所有的机器上都要安装hadoop，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以"root"的身份进行。

5.1.安装hadoop

首先用root用户登录"Master.Hadoop"机器，查看我们之前用FTP上传至"/home/Hadoop"上传的"hadoop-2.6.0.tar.gz "。

接着把"hadoop-1.0.0.tar.gz"复制到"/usr"目录下面。

[root@Masterhadoop]# cp /home/hadoop/hadoop-2.6.0.tar.gz /usr

下一步进入"/usr"目录下，用下面命令把"hadoop-2.6.0.tar.gz"进行解压，并将其命名为"hadoop"，把该文件夹的读权限分配给普通用户hadoop，然后删除"hadoop-2.6.0.tar.gz"安装包。

cd /usr               #进入"/usr"目录

tar -zxvfhadoop-2.6.0.tar.gz                #解压"hadoop-2.6.0.tar.gz "安装包

[root@Masterusr]# mv hadoop-2.6.0 hadoop        #将"hadoop-2.6.0"文件夹重命名"hadoop"

首先在/usr/hadoop创建“tmp”文件夹

mkdir /usr/hadoop/tmp

然后

[root@Master]# chown -R hadoop:hadoop hadoop    #将文件夹"hadoop"读权限分配给hadoop用户

[root@Masterusr]# rm -rf hadoop-2.6.0.tar.gz    #删除"hadoop-2.6.0.tar.gz "安装包

》》配置"/etc/profile"

vim /etc/profile

#set hadoop path

exportHADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

配置后的文件如下：

》》重启”/etc/profile”

source/etc/profile

5.2.配置hadoop文件

这里要涉及到的配置文件有7个：

usr/hadoop-2.6.0/etc/hadoop/hadoop-env.sh

usr/hadoop-2.6.0/etc/hadoop/yarn-env.sh

usr/hadoop-2.6.0/etc/hadoop/slaves

usr/hadoop-2.6.0/etc/hadoop/core-site.xml

usr/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml

usr/hadoop-2.6.0/etc/hadoop/yarn-site.xml

目录开始切换到/usr/hadoop-2.6.0/etc/hadoop（hadoop安装目录）

5.2.1.配置文件1：hadoop-env.sh

修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_75）

命令：[hadoop@masterhadoop]$ vi hadoop-env.sh

保存退出！

5.2.2.配置文件2：yarn-env.sh

修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_75）

命令：[hadoop@masterhadoop]$ vi yarn-env.sh

5.2.3.配置文件3：slaves（这个文件里面保存所有slave节点）

[hadoop@master hadoop]$ vi slaves

写入以下内容：

slave1

slave2

slave3

slave4

5.2.4.配置文件4：core-site.xml

命令：[hadoop@master hadoop]$ vi core-site.xml

5.2.5.配置文件5：hdfs-site.xml

命令：[hadoop@master hadoop]$ vi hdfs-site.xml

5.2.6.配置文件6：mapred-site.xml

[hadoop@master hadoop]$ vi mapred-site.xml

5.2.7.配置文件7：yarn-site.xml

命令：[hadoop@master hadoop]$ vi yarn-site.xml

5.3.将master上配置好的hadoop2.6.0目录scp复制到其他slave节点（为节约时间）

上面配置完毕，我们基本上完成了90%了剩下就是复制。我们可以把整个hadoop复制过去：使用如下命令：

sudo scp -r /usr/hadoop hadoop@slave1:~/

这里记得先复制到home/hadoop目录下面，然后在转移到/usr下面。

后面我们会经常遇到问题，经常修改配置文件，所以修改完一个配置文件后，其他节点都需要修改，这里附上脚本操作方便：

6.启动验证

在root用户下关闭所有主机的防火墙：

sudo service iptables stop

6.1.启动hadoop

格式化namenode：

hdfs namenode –format

或则使用下面命令：

hadoop namenode format

启动hdfs:

start-dfs.sh

启动yarn:

start-yarn.sh

2.2.结果进程展示：

master有如下进程：

Slave上有以下进程：

浏览器进入8080端口：ip为服务器ip

此时hadoop集群已全部配置完成！！！@老男孩 (wzhj361@gmail.com)