阿里腾讯云 hadoop+spark集群搭建（1）
linux版本： centos7
hadoop版本： 3.1.1
手上有三台学生机，完全没动过的：一台是阿里云服务器，两台是腾讯云。
用阿里云做namenode，腾讯云做datanode。
目标是搭好hdfs和yarn，后面搭spark和hive。
-
更新和下载软件包。安装jdk 版本为1.8.0
$ sudo yum -y update $ sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel.x86_64 net-tools rsync mlocate wget vim gcc zlib-dev openssl-devel sqlite-devel bzip2-devel python-devel这里通过yum安装的jdk路径默认是在 /usr/lib
查找方法为：
$ whereis java （返回java: /usr/bin/java /usr/lib/java /etc/java....） $ ll /usr/bin/java （返回/usr/bin/java -> /etc/alternatives/java，是软链接） $ ll /etc/alternatives/java （返回/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre/bin/java）由于系统中可能有多版本的jdk，
/etc/alternatives/java软链接用于指定真正使用的jdk版本。/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64就是安装的位置。 -
设置安全规则（针对namenode）
上阿里云加入安全组规则，由于是作学习用，直接加入规则
端口范围： 1/65530 授权对象：0.0.0.0/0 -
关闭防火墙
$ sudo systemctl stop firewalld.service $ sudo systemctl disable firewalld.service -
修改hosts文件，这里要注意！
阿里云namenode，其hosts如下：
111.**.**.*8 slave1 （这里写的是腾讯云服务器的外网IP） 134.**.**.*16 slave2 （这里写的是腾讯云服务器的外网IP） 192.**.*.*12 master （这里写的是阿里云服务器的内网IP）腾讯云的两台datanode，其hosts如下：
39.**.2**.*2 master （这里写的是阿里云服务器的外网IP） 172.**.*.9 slave1 （这里写的是腾讯云服务器的外网IP） 172.**.*.7 slave2 (这里写的是腾讯云服务器的外网IP） -
建立新用户并赋予其权限
$ adduser hadoop $ passwd hadoop (输入hadoop用户的密码) $ su hadoop此时从root身份切换到hadoop。
-
设置ssh免密登陆
每台机器生成公私钥，namenode把自己的公钥拷到两个datanode中。datanode把自己的公钥拷到namenode中，并将可靠的公钥信息写入
/.ssh/authorized_keys文件中。 -
下载hadoop并解压缩，并建立所需文件夹
$ curl -O https://www-us.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz $ mkdir hadoop $ tar -zxvf hadoop-3.1.1.tar.gz -C ~/hadoop/ $ cd hadoop/hadoop-3.1.1 <!--在Hadoop目录下建立tmp、dfs文件夹，并在dfs文件夹下建立data和name--> <!--tmp用于存放缓存，dfs设置为hdfs信息的存放路径--> $ mkdir tmp & mkdir dfs $ cd dfs $ mkdir data & mkdir name -
配置文件与环境变量
配置core-site.xml、hdfs-site.xml、yarn-site.xml、workers、hadoop-env.sh。
-
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/hadoop-3.1.1/tmp/</value> </property> </configuration> -
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/hadoop/hadoop-3.1.1/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/hadoop/hadoop-3.1.1/dfs/data</value> </property> <property> <name>dfs.http.address</name> <value>0.0.0.0:50070</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration> -
yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> -
hadoop-env.sh
在第54行处加入JAVA_HOME变量。
# The java implementation to use. By default, this environment # variable is REQUIRED on ALL platforms except OS X! export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre -
workers
slave1 slave2
接下来，在/etc/profile.d下新建两个脚本 jdk-1.8.sh 和 hadoop-3.1.1.sh 。
-
jdk-1.8.sh
# !/bin/sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64 export JRE_HOME=${JAVA_HOME}/jre export PATH=${JRE_HOME}/bin:$PATH (因为java是在$JAVA_HOME/jre/bin之中的，所以PATH中不是$JAVA_HOME而是$JRE_HOME) -
hadoop-3.1.1.sh
#!/bin/sh export HADOOP_HOME="/home/hadoop/hadoop/hadoop-3.1.1" export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH" export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
$ source /etc/profile
这样每次服务器启动，都会自动运行这两个脚本，设置好相关的环境变量。
-
格式化hdfs并开启（在namenode上）
$ hdfs namenode -format $ start-all.sh <!-- 启动... -->成功的话，namenode中执行jps命令会显示4个进程：
$ jps 11270 SecondaryNameNode 26747 Jps 11052 NameNode 11487 ResourceManagerdatanode中执行jps命令会显示3个进程：
$ jps 18468 DataNode 23029 Jps 18605 NodeManager访问namenode公网的8088端口，Active Nodes 显示为2。
访问namenode公网的50070端口，
完成。
如果namenode或者datanode在启动时碰到问题，就使用对应的机器进入到其hadoop目录下的logs文件夹中查看日志信息，再根据日志信息去解决问题。
注意一个问题：
如果你执行了多次hdfs namenode -format，会出现datanode无法成功启动的情况，此时50070页面Live Nodes为0，8088页面为2。
原因是该命令清空了hadoop目录下dfs/data下的数据，但是对于datanode却没有，导致版本对不上号，解决办法是：删除datanode中dfs/data下的数据，重新启动。不要随意执行namenode的format命令。
