Hadoop3.2 集群搭建

Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。

大猪 为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。

  1. 准备两台主机10.211.55.11、10.211.55.12

  2. 对应的hostname为m1.example.com、m2.example.com
    具体命令操作如下

  3. 主机免密钥登录


  1. 同步hosts


  1. 下载 jdk1.8

  2. 配置Java环境


  3. 环境变量生效 source /etc/profile

  1. 两台主机创建好hadoop的文件夹


  1. 环境配置 hadoop-3.2.0.tar.gz

  2. 参数配置

运行用户操作，添加如下几句到 /soft/hadoop/etc/hadoop/hadoop-env.sh

  1. 环境变量生效 source /etc/profile

  2. hadoop 配置文件

core-site.xml 配置


hdfs-site.xml 配置


yarn-site.xml 配置


mapred-site.xml 配置


  1. 格式化name文件夹 hadoop namenode -format

  2. 启动 start-all.sh
    成功结果如下

  3. 访问 http://m1.example.com:8088/cluster

心明眼亮的你、从此刻开始。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • Hadoop分布式集群部署
    一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf，添加如下配置，然后执行s...
    张伟科阅读 3,773评论 0赞 14
  • HA集群搭建
    Hadoop HA集群搭建文档.............................................
    钟敏_1788阅读 1,483评论 0赞 0
  • Hadoop集群环境搭建
    前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的...
    piziyang12138阅读 1,969评论 0赞 3
  • 感赏今天的美好
    虽然刚才低频了，但是感赏自己能够很快觉察，至少没有去怪别人，虽然我不喜欢匮乏的人，但这确实是我自己吸引来的，我要...
    猫公主喵阅读 98评论 0赞 1
  • 宝宝玩具对宝宝的教育作用
    利用宝宝玩具游戏能对幼儿进行美育教育。丰富多彩的利用宝宝玩具游戏不只是玩，而是对孩子进行教育的好形式。例如，...
    辣妈帮6868阅读 341评论 0赞 0