1.创建模板服务器
先在虚拟机创建hadoop100这个模板服务器
本次安装使用CENTOS7.5
先设置时间和最小化安装
c磁盘分区安装
然后设置KDUMP和网络
p配置root用户和hadoop用户
a. 配置hosts
hadoop100 192.168.204.100
hadoop102 192.168.204.102
hadoop103 192.168.204.103
hadoop104 192.168.204.104
b. 安装 epel-release
yum install -y epel-release
c 关闭防火墙，关闭防火墙开机自启
systemctl stop firewalld
systemctl disable firewalld
d. 配置 hadoop 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令
vi /etc/sudoers
在%wheel 这行下面添加一行
hadoop ALL=(ALL) NOPASSWD:ALL
wq! 强制保存
e. 使用hadoop用户创建moduel 和software目录
[hadoop@hadoop100 ~]$ mkdir moduel
[hadoop@hadoop100 ~]$ mkdir software
f.上传jdk和hadoop安装包至software
g. 安装jdk
$ tar -xvzf jdk-8u291-linux-i586.tar.gz -C /home/hadoop/moduel/
配置 JDK 环境变量
新建/etc/profile.d/my_env.sh 文件
$ sudo vi /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME
export JAVA_HOME=/home/hadoop/moduel/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
保存后退出
:wq
source 一下/etc/profile 文件，让新的环境变量 PATH 生效
$ source /etc/profile
检查是否成功，遇到如下错误
[hadoop@hadoop100 software]$ java
-bash: /home/hadoop/moduel/jdk1.8.0_291/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory
安装一个包就可以解决
sudo yum install glibc.i686
h.安装hadoop
$ tar -xvzf hadoop-3.2.2.tar.gz -C /home/hadoop/moduel/
将 Hadoop 添加到环境变量
$ sudo vi /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/home/hadoop/moduel/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source一下
查看一下HADOOP目录
（1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本
（2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件
（3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）
（4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本
（5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例
i 配置rsync
sudo yum install -y rsync
j 配置xsync
mkdir -p /home/hadoop/bin
vi xsync
#!/bin/bash
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
for file in $@
do
if [ -e $file ]
then
pdir=$(cd -P $(dirname $file); pwd)
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
添加执行权限
chmod +x xsync
k. 克隆出hadoop102 103 104三台主机，然后修改ip地址和hostname，之后才进行下一步，ssh免密登录。
l. 配置ssh 免密登录
[root@hadoop100 ~]# su - hadoop
[hadoop@hadoop100 ~]$ ssh-keygen -t rsa
三个回车
ssh-copy-id hadoop102
如果不通，重建hosts文件
所有节点都做这个操作
l.正式开始配置hadoop参数
自定义参数路径为$HADOOP_HOME/etc/hadoop
vi core-site.xml
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/moduel/hadoop-3.2.2/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>hadoop</value>
</property>
vi hdfs-site.xml
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
vi mapred-site.xml
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
最后配置workers
hadoop102
hadoop103
hadoop104
最后的最后，同步到集群上
xsync /home/hadoop/moduel/hadoop-3.2.2/etc/hadoop
这时候就可以启动集群了，先把hadoop100关掉，这个时候hadoop100就是模板机了，以后需要更多的服务器的时候，就可以克隆105 106 107出来，当然到时候还要继续配Hostname ssh IP.
-----------
启动集群
1 初始化
hadoop102上
hdfs namenode -format
然后启动hdfs
$HADOOP_HOME/sbin/start-dfs.sh
这个时候报错
Java HotSpot(TM) Client VM warning: You have loaded library /home/hadoop/moduel/hadoop-3.2.2/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码：
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
还有个warnning,2021-07-14 14:45:18,511 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
这么解决
vi /home/hadoop/moduel/hadoop-3.2.2/etc/hadoop/log4j.properties
增加
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
在配置了 ResourceManager 的节点（hadoop103）启动 YARN
$HADOOP_HOME/sbin/start-yarn.sh
集群启动完毕
（4）Web 端查看 HDFS 的 NameNode
（a）浏览器中输入：http://hadoop102:9870
（b）查看 HDFS 上存储的数据信息
（5）Web 端查看 YARN 的 ResourceManager
（a）浏览器中输入：http://hadoop103:8088
（b）查看 YARN 上运行的 Job 信息
添加历史服务器
vi mapred-site.xml
增加以下内容：
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>
配置历史日志聚集：
vi yarn-site.xml
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
编写集群启动脚本
cd
cd bin
vi myhadoop
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== starting hadoop cluster ==================="
ssh hadoop102 "/home/hadoop/moduel/hadoop-3.2.2/sbin/start-dfs.sh"
ssh hadoop103 "/home/hadoop/moduel/hadoop-3.2.2/sbin/start-yarn.sh"
ssh hadoop102 "/home/hadoop/moduel/hadoop-3.2.2/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== stopping hadoop cluster ==================="
ssh hadoop102 "/home/hadoop/moduel/hadoop-3.2.2/bin/mapred --daemon stop historyserver"
ssh hadoop103 "/home/hadoop/moduel/hadoop-3.2.2/sbin/stop-yarn.sh"
ssh hadoop102 "/home/hadoop/moduel/hadoop-3.2.2/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
chmod +x myhadoop
配置集群JPS查看脚本
cd
cd bin
vi jpsall
#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
ssh $host jps
done
chmod +x jpsall
终于配置好了
分发给所有服务器
