Hadoop2.6 集群部署automaticHA+Federation+Yaran

一. 目标

  • 搭建Hadoop2.6.4 集群 automaticHA+Federation+Yaran

二. 环境

  • jdk1.7
  • hadoop2.2
  • centos6.5 64位
  • zookeeper 3.4.5

三. 集群规划

集群 主机名 IP 安装的软件 运行的进程
1 hadoop1 192.168.172.101 jdk、hadoop NameNode、DFSZKFailoverController ResourceManager DFSZKFailoverController
1 spark2 192.168.172.102 jdk、hadoop NameNode、DFSZKFailoverController、JournalNode、DataNode NodeManager DFSZKFailoverController
2 spark3 192.168.172.103 jdk、hadoop、zookeeper NameNode、DataNode、NodeManager、JournalNode、QuorumPeerMain DFSZKFailoverController
2 spark4 192.168.172.104 jdk、hadoop、zookeeper NameNode、DataNode、NodeManager、JournalNode、QuorumPeerMain DFSZKFailoverController
2 spark5 192.168.172.105 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

四. 部署步骤

  1. 关闭防火墙 service iptables stop 验证:service iptalbes status
  2. 关闭防火墙的自动执行 chkconfig iptalbes off 验证:chkconfig --list|grep iptables
  3. 设置主机名 etc/sysconfig/network[1]
  1. 设置SSH免密码登陆 ssh-keygen -t rsa 在/root/.ssh 下生成功公钥与私钥; ssh-copy-id -i 主机地址 生成authoriaed_keys
  2. 绑定 ip与hostname /etc/hosts 增加IP与主机名
  3. 安装JDK Hadoop /etc/profile 添加JDK_HOME HADOOP_HOME 路径
  4. hadoop配置,修改位于etc/hadoop 目录下的配置文件
  • hadoop-env.sh 增加export JAVA_HOME=/usr/local/jdk
  • core-site.xml
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://cluster1</value>
</property>
【这里的值指的是默认的HDFS路径。当有多个HDFS集群同时工作时,用户如果不写集群名称,那么默认使用哪个哪?在这里指定!该值来自于hdfs-site.xml中的配置。在节点spark2和hadoop1中使用cluster1,在节点spark3、spark4、spark5中使用cluster2】
<property>
 <name>hadoop.tmp.dir</name>
 <value>/usr/local/hadoop/tmp</value>
</property>
【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】
<property>
 <name>ha.zookeeper.quorum</name>
 <value>spark3:2181,spark4:2181,spark5:2181</value>
</property>
【这里是ZooKeeper集群的地址和端口。注意,数量一定是奇数,且不少于三个节点】
</configuration>
  • hdfs-site.xml
该文件只配置在hadoop0和hadoop1上。
<configuration>
  <property>
      <name>dfs.replication</name>
      <value>2</value>
  </property>
【指定DataNode存储block的副本数量。默认值是3个,我们现在有4个DataNode,该值不大于4即可。】
  <property>
      <name>dfs.nameservices</name>
      <value>cluster1,cluster2</value>
  </property>
【使用federation时,使用了2个HDFS集群。这里抽象出两个NameService实际上就是给这2个HDFS集群起了个别名。名字可以随便起,相互不重复即可】
  <property>
      <name>dfs.ha.namenodes.cluster1</name>
      <value>hadoop1,spark2</value>
  </property>
【指定NameService是cluster1时的namenode有哪些,这里的值也是逻辑名称,名字随便起,相互不重复即可】
  <property>
      <name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
      <value>hadoop0:9000</value>
  </property>
【指定hadoop1的RPC地址】
  <property>
      <name>dfs.namenode.http-address.cluster1.hadoop1</name>
      <value>hadoop1:50070</value>
  </property>
【指定hadoop1的http地址】
  <property>
      <name>dfs.namenode.rpc-address.cluster1.spark2</name>
      <value>spark2:9000</value>
  </property>
【指定spark2的RPC地址】
<property>
      <name>dfs.namenode.http-address.cluster1.spark2</name>
      <value>spark2:50070</value>
  </property>
【指定spark2的http地址】
  <property>
      <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://spark3:8485;spark4:8485;spark5:8485/cluster1</value>
  </property>
【指定cluster1的两个NameNode共享edits文件目录时,使用的JournalNode集群信息】
<property>
      <name>dfs.ha.automatic-failover.enabled.cluster1</name>
      <value>true</value>
  </property>
【指定cluster1是否启动自动故障恢复,即当NameNode出故障时,是否自动切换到另一台NameNode】
<property>        <name>dfs.client.failover.proxy.provider.cluster1</name>   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
【指定cluster1出故障时,哪个实现类负责执行故障切换】
  <property>
      <name>dfs.ha.namenodes.cluster2</name>
      <value>spark3,spark4</value>
  </property>
【指定NameService是cluster2时,两个NameNode是谁,这里是逻辑名称,不重复即可。以下配置与cluster1几乎全部相似,不再添加注释】
 <property>
      <name>dfs.namenode.rpc-address.cluster2.spark3</name>
      <value>spark3:9000</value>
  </property>
  <property>
      <name>dfs.namenode.http-address.cluster2.spark3</name>
      <value>spark3:50070</value>
  </property>
  <property>
      <name>dfs.namenode.rpc-address.cluster2.spark4</name>
      <value>spark4:9000</value>
  </property>
  <property>
      <name>dfs.namenode.http-address.cluster2.spark4</name>
      <value>spark4:50070</value>
  </property>
  <!--
  <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
  </property>
【这段代码是注释掉的,不要打开】
  -->
<property>
      <name>dfs.ha.automatic-failover.enabled.cluster2</name>
      <value>true</value>
  </property>
<property>
      <name>dfs.client.failover.proxy.provider.cluster2</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/usr/local/hadoop/tmp/journal</value>
</property>
【指定JournalNode集群在对NameNode的目录进行共享时,自己存储数据的磁盘路径】
<property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
  </property>
【一旦需要NameNode切换,使用ssh方式进行操作】
  <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_rsa</value>
  </property>
【如果使用ssh进行故障切换,使用ssh通信时用的密钥存储的位置】
</configuration>
  • slaves
spark2
spark3
spark4
spark5
  • 把以上配置的内容复制到spark2、spark3、spark4、spark5节点上
  • 修改spark2、spark3、spark4、spark5上的配置文件内容
    • 修改spark3上的core-site.xml内容
      fs.defaultFS的值改为hdfs://cluster2
    • 修改spark3上的hdfs-site.xml内容
      把cluster1中关于journalnode的配置项删除,增加如下内容
<property>
    <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://spark3:8485;spark4:8485;spark5:8485/cluster1</value>
</property>
  1. 开始启动
  • 启动journalnode
    在spark3、spark4、spark5上执行sbin/hadoop-daemon.sh start journalnode
  • 格式化ZooKeeper
    在hadoop1、spark3上执行bin/hdfs zkfc -formatZK
  • 对hadoop1节点进行格式化和启动
    bin/hdfs namenode -format
    sbin/hadoop-daemon.sh start namenode
  • 对spark2节点进行格式化和启动
    bin/hdfs namenode -bootstrapStandby
    sbin/hadoop-daemon.sh start namenode
  • 在hadoop1、spark2上启动zkfc
    

sbin/hadoop-daemon.sh start zkfc
我们的hadoop1、hadoop1有一个节点就会变为active状态。

  1. 对于cluster2执行类似操作
  • 启动datanode
    在hadoop0上执行命令sbin/hadoop-daemons.sh start datanode
  1. 配置Yarn
  • 修改文件mapred-site.xml
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>

  • 修改文件yarn-site.xml
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
    </property>
    【自定ResourceManager的地址,还是单点,这是隐患】
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>

  • 启动yarn
    在hadoop1上执行sbin/start-yarn.sh

五. 问题

  1. 如果不定时出现 linux 64位中
    异常解决:运行zookeeper zkServer.sh status时出现 Error contacting service. It is probably not running.
    则在 /etc/hosts 加入
    #127.0.0.1 localhost.localdomain localhost
    #::1 localhost6.localdomain6 localhost6
    127.0.0.1 localhost localhost.localdomain

  2. Journal Storage Directory not f ormatted
    HA 三个NODE都没有该目录则重新格式化namenode

  3. IPC's epoch 1 is less than the last promised epoch 2
    访问其它主机超时引起可配置core-site.xml 具体的日志信息可以参考对应的日志。

  4. 出现
    java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.unset(Ljava/l
    需其它的主机可以运行,最大的可能性在于配置的出错。那么重新拷贝一份hadoop


  1. 设置主机名后需要重启才会生效 reboot -h now

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容