Hadoop+Hbase+ZooKeeper集群安装方法

hadoop的下载地址
hbase的下载地址
zookeeper的下载地址


1、 主机配置如下:
(添加到/etc/hosts文件里面)

192.168.0.211 master  
#(用于集群主机提供hmaster namenode jobtasker服务 )  
192.168.0.212 s1      
#(用于集群丛机提供regionsrever datanode tasktacuter服务)  
192.168.0.213 s2  

2、安装jdk1.6.2.X
3、添加java环境变量
/etc/profile),后执行source /etc/profile ,使环境变量立即生效

export JAVA_HOME=/usr/java/jdk1.6.0_26/  #java 的目录
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin  
export HADOOP_HOME=/home/hadoop/hadoop  
export HBASE_HOME=/home/hadoop/hbase  
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin  

4、在三台电脑上添加hadoop用户

useradd hadoop ```
**5、在``/home/hadoop/.bashrc``添加变量 **
*<u>(将hadoop hbase的配置文件放到hadoop安装包根目录文件下,目的在于以后升级hadoop和hbase的时候不用重新导入配置文件)</u>*

export HADOOP_CONF_DIR=/home/hadoop/hadoop-config
export HBASE_CONF_DIR=/home/hadoop/hbase-config

**6、将hadoop hbase zookepper的安装包解压**
到``/home/hadoop/``下,<u>并重命名</u>为``hadoop hbase zookepper``,在``home/hadoop/``下建立``hadoop-config``和``hbase-config``文件夹,并且将``home/hadoop/hadoop/conf``下的``masters、slaves、core-site、mapred-sit、hdfs-site、hadoop-env``拷贝到此文件夹,将``home/hadoop/hbase/conf``下的``hbase-site``和``hbase-env.sh``拷贝到次文件夹。
**7、修改masters、slaves文件:** 
 分别为 ``master`` 和``s1``与``s2``
**8、修改``hadoop-env.sh``的变量: **

export JAVA_HOME=/usr/java/jdk1.6.0_26/
export HADOOP_PID_DIR=/home/hadoop/hadoop/tmp

9、修改``core-site.xml ``

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

修改``mapred-site.xml ``

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://master:9001/</value>
</property>
</configuration>

修改```hdfs-site.xml``(<u>name和data文件夹不要手动建立</u>)

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop/data/</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

**10、设置master, s1, s2机几台器之间无密码访问:**
**11、复制目录至集群丛机

scp -r /home/hadoop/hadoop s1:/home/hadoop
scp -r /home/hadoop/hadoop s2:/home/hadoop

**12、切换到``/home/hadoop/hadoop``目录下**
执行

bin/hadoop namenode -format```
(格式化master主机生成name data tmp等文件夹)
13、启动namenode
执行

bin/start-dfs.sh```
使用jps命令查看``namenode、secondnamenode``是否正常启动:
ie里面输入http://master:50070 查看`namenode`的相关配置信息、运行状态和日志文件
**14、启动`mapred`**
执行 

bin/start-mapred.sh```
使用jps命令查看nomenode、secondnamenode是否正常启动:
ie里面输入http://master:50030 查看jobtasker的相关配置信息、运行状态和日志文件


hbase+zookeeper集群搭建:#####

1、复制目录修改文件

/home/hadoop/hadoop/conf/目录下的hbase-site.xml、regionserver和hbase-env.sh拷贝到/home/hadoop/hbase-config/目录下;
编辑hbase-site.xml配置文件,如下:

<property> 
<name>hbase.rootdir</name> 
<value>hdfs://master:9000/hbase</value> 
</property> 
<property> 
<name>hbase.cluster.distributed</name> 
<value>true</value> 
</property> 
<property> 
<name>hbase.master</name> 
<value>master</value> 
</property> 
<property> 
<name>hbase.zookeeper.quorum</name> 
<value>s1,s2</value> 
</property> 
<property> 
<name>zookeeper.session.timeout</name> 
<value>60000000</value> 
</property> 
<property> 
<name>hbase.zookeeper.property.clientport</name> 
<value>2222</value> 
</property> 

2、编辑regionserver文件

S1
S2


**3、编辑hbase-env.xml文件**
>``` 
export JAVA_HOME=/usr/java/jdk1.6.0_26/  
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin  
export HADOOP_HOME=/home/hadoop/hadoop  
export HBASE_HOME=/home/hadoop/hbase  
export HBASE_MANAGES_ZK=true 
export PATH=$PATH:/home/hadoop/hbase/bin  

4、复制文件到集群丛机

scp -r /home/hadoop/hbase s1:/home/hadoop
scp -r /home/hadoop/hbase s2:/home/hadoop


**5、进入``/home/hadoop/zookeeper/conf/``中**
>(1)
```cp zoo_sample.cfg zoo.cfg```
(2)

vim zoo.cfg

如下: 

The number of milliseconds of each tick

tickTime=2000

The number of ticks that the initial

synchronization phase can take

initLimit=10

The number of ticks that can pass between

sending a request and getting an acknowledgement

syncLimit=5

the directory where the snapshot is stored.

dataDir=/home/hadoop/zookeeper/data

the port at which the clients will connect

clientPort=2181
server.1=s1:2888:3888
server.2=s2:2888:3888

(3)

touch myid

*编辑:1(<u>此序号设置和zoo.cfg里面的server设置要对应</u>) 

scp -r /home/hadoop/zookeeper s1:/home/hadoop
scp -r /home/hadoop/zookeeper s2:/home/hadoop

(4)在所有的节点执行

chown -R hadoop.hadoop /home/hadoop启动hbase集群: (1)/home/hadoop/hbase/bin/start-base.sh(2)执行jps显示Hmaster是否启动 (3)执行bin/hbase shell```
(4)

>create 't1' t2'' 't3'#(测试利用hmaster插入数据) 
    > list #(显示已经插入的数据) 
    >t1+t2+t3

输入:http://master:60010

延伸:Hadoop 页面监控信息网址列表
将Hadoop中可能用到的网页地址list到下面,方便查阅:

  1. http://master:50030
    查看MapReduce上的jobtracker(在启动了hdfs和MapReduce之后查阅)
  2. http://master:50060
    查看MapReduce上的tasktracker(在启动了hdfs和MapReduce之后查阅)
  3. http://master:50070
    查看HDFS上的节点信息(在启动了HDFS之后查阅)
  4. http://master:60010/master.jsp
    查看master连点信息 (在启动了HDFS、MapReduce、ZooKeeper和HBase之后查阅)
  5. http://master:60030/regionserver.jsp
    查看regionserver信息(在启动了HDFS、MapReduce、ZooKeeper和HBase之后查阅)
  6. http://master:60010/zk.jsp
    查看zookeeper信息(在启动了HDFS、MapReduce、ZooKeeper和HBase之后查阅)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,544评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,430评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,764评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,193评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,216评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,182评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,063评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,917评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,329评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,543评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,722评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,425评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,019评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,671评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,825评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,729评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,614评论 2 353

推荐阅读更多精彩内容