环境:
系统环境:center os 6.5
hadoop 2.6.3
准备工作:
1.到阿里云虚拟主机网站申请虚拟服务器https://www.aliyun.com/
2.查看该服务器防火墙是否关闭:
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
#注意如果使用7.0,上面的防火墙是firewall
#停止firewall
systemctl stop firewalld.service
#禁止firewall开机启动
systemctl disable firewalld.service
3、下载hadoop2.6.3 ,官方下载地址
4、下载jdk 1.7
配置工作:
1.使用SecureCRT进行jdk上传,按快捷键alt+p
2.用root用户登录,新建目录
#创建文件夹
mkdir /hadoop/app
#解压
tar -zxvf jdk-7u79-linux-i586.tar.gz -C /hadoop/app
3.配置java环境变量
vim /etc/profile
#在文件最后添加,键入i,进入编辑状态,输入以下内容
export JAVA_HOME=/hadoop/app/jdk7
export PATH=$PATH:$JAVA_HOME/bin
#按ESC键退出,然后:wq
#刷新配置
source /etc/profile
输入java -version
[root@iZm5e4n23158me4n4pi9zcZ jdk7]# java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode)
说明java环境配置成功
#如果本身自带有openjdk,可以采用以下命令查看
rpm -qa|grep java
#输入以下命令删除
yum -y remove java-1.7.0-openjdk-1.7.0.9-2.3.8.0.el6_4.i686
4.配置hadoop
先上传hadoop的安装包到服务器上去/hadoop/
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
#第一个:hadoop-env.sh
#vim hadoop-env.sh
#第27行
export JAVA_HOME=/hadoop/app/jdk7
#第二个:core-site.xml
#<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大
#(NameNode)的地址 不要带中文-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://120.27.6.105:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-2.6.3/tmp</value>
</property>
#第三个:hdfs-site.xml hdfs-default.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
# 第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
#mv mapred-site.xml.template mapred-site.xml(进行重名名)
#vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
#第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>120.27.6.105</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
#将hadoop添加到环境变量
vim /etc/proflie
export HADOOP_HOME=/hadoop/hadoop-2.6.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
5.格式化namenode
格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)
#启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
6.验证是否成功:
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
#查看各个端口
netstart -nltp
http://120.27.6.105:50070 (HDFS管理界面)
http://120.27.6.105:8088 (MR管理界面)