双

虚拟机系统

Ubuntu版本：ubuntu-14.04.5-server-amd64.iso;

Hadoop集群的安装配置流程

1、选定一台机器作为master;
2、在master节点上配置hadoop用户、安装SSH server、安装Java环境;
3、在master节点上安装Hadoop,并完成配置;
4、在其他slave节点上配置hadoop用户、安装 SSH server、安装Java环境;
5、将master节点上的"/usr/local/tools/hadoop"目录复制到其他slave节点上;
6、在master节点上开启Hadoop;

虚拟机基础环境配置，教程点我；
需要在所有节点上完成基础环境配置；

集群节点规划

主机名	IP地址
master	192.168.10.60
slave1	192.168.10.61
slave2	192.168.10.62

验证操作

ping -c 4 主机名
# eg：测试各虚拟机是否能通过主机名连接
ping -c 4 slave1

SSH免密登录节点

# 这个操作是要让 master 节点可以无密码 SSH 登陆到各个slave节点上;
# 首先在master节点生成密钥对(每次更改主机名后,都要重新生成);

# hadoop用户
## 各命令的含义请参阅伪分布式
sudo rm -rf ~/.ssh
ssh localhost
cd ~/.ssh
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys
# 验证操作
ssh localhost

# 接着在master节点将上公匙传输到其他slave节点
sudo scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/
sudo scp ~/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/
# scp是secure copy的简写,用于在Linux下进行远程拷贝文件，
# 类似于cp命令,不过cp只能在本机中拷贝;
# 执行scp时会要求输入Slave上 hadoop用户的密码,输入完成后会提示传输完毕;

# 接着在Slave节点上,将ssh公匙加入授权
## 不存在则创建.ssh目录
mkdir ~/.ssh
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub
# 验证操作(在Master节点)
ssh slave1

安装 Hadoop2.7.3

# 获取hadoop-2.7.3.tar.gz到当前目录
## 也可以通过Xftp上传到虚拟机
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

# 我们将"Hadoop"安装至"/usr/local/tools/"中
sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/tools/

# 切换到安装目录
cd /usr/local/tools/

# 将文件夹名改为hadoop
sudo mv ./hadoop-2.7.3/ ./hadoop/

# 修改文件权限
sudo chown -R hadoop ./hadoop/

# 验证操作
cd /usr/local/tools/hadoop

# 由于hadoop直接解压即可使用,输出hadoop版本信息
./bin/hadoop version

Hadoop环境变量配置

配置profile

sudo vim /etc/profile

# Java
...
# Hadoop
export HADOOP_HOME=/usr/local/tools/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib:$PATH

配置hadoop-env.sh

# Oracle-JDK,将export JAVA_HOME=${JAVA_HOME}修改为如下
export JAVA_HOME=/usr/local/tools/jdk1.7

# Open-JDK,将export JAVA_HOME=${JAVA_HOME}修改为如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

另外，还可以使用sed命令修改
# Oracle-JDK
sed -i 's#export JAVA_HOME=${JAVA_HOME}#export JAVA_HOME=/usr/local/tools/jdk1.7#g' /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh
# Open-JDK
sed -i 's#export JAVA_HOME=${JAVA_HOME}#export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64#g' /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

# 重新加载配置文件
source /etc/profile
source /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

配置集群/分布式环境

# 集群/分布式模式需要修改"/usr/local/tools/hadoop/etc/hadoop"中的5个配置文件,
# 更多设置项可点击查看官方说明,这里仅设置了正常启动所必须的设置项：
# 1、slaves;
# 2、core-site.xml;
# 3、hdfs-site.xml;
# 4、mapred-site.xml;
# 5、yarn-site.xml;

# 1、slaves
# 将作为DataNode的主机名写入该文件,每行一个,默认为 localhost,
# 所以在伪分布式配置时,master节点即作为NameNode也作为DataNode;
# 分布式配置可以保留localhost,也可以删掉,让master节点仅作为NameNode使用;
vim /usr/local/tools/hadoop/etc/hadoop/slaves

# 文件内容
master
slave1
slave2

# 2、配置core-site.xml文件
vim /usr/local/tools/hadoop/etc/hadoop/core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/tools/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

# 3、配置hdfs-site.xml文件
vim /usr/local/tools/hadoop/etc/hadoop/hdfs-site.xml
# 参数项详解：
## dfs.replication：hdfs数据块的复制份数,默认3,如果是单个Slave节点,可以修改为1,
## 理论上份数越多跑数速度越快,但是需要的存储空间也更多,有钱人可以调5或者6;

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/tools/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/tools/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

# 4、配置mapred-site.xml文件
# 可能需要先重命名,默认文件名为mapred-site.xml.template
mv /usr/local/tools/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/tools/hadoop/etc/hadoop/mapred-site.xml

vim /usr/local/tools/hadoop/etc/hadoop/mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

# 5、配置yarn-site.xml文件
vim /usr/local/tools/hadoop/etc/hadoop/yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

分发hadoop

# 配置好后,将Master上的"/usr/local/tools/hadoop"文件夹复制到各个节点上,
# 因为之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件;
# 在Master节点上执行：
cd /usr/local/tools/
# 删除hadoop临时文件
sudo rm -r ./hadoop/tmp
# 删除日志文件
sudo rm -r ./hadoop/logs/*
# 先打包压缩再复制
sudo tar -zcvf ~/hadoop.master.tar.gz ./hadoop 
cd ~
sudo scp ./hadoop.master.tar.gz Slave1:/home/hadoop
sudo scp ./hadoop.master.tar.gz Slave2:/home/hadoop

# 在Slave节点上执行：
## 删掉旧的(如果存在)
sudo rm -r /usr/local/tools/hadoop
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local/tools
sudo chown -R hadoop /usr/local/tools/hadoop

启动Hadoop

# 首次运行需要执行初始化,之后则不需要
hdfs namenode -format
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
# 通过jps命令,查看各个节点所启动的进程情况
# Master：NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer;
# Slave节点DataNode和NodeManager;
# 在Master节点查看DataNode是否正常启动
hdfs dfsadmin -report
# Live datanodes：正在运行的DataNode

# 访问"Web"界面
## 注意修改虚拟机IP地址
http://192.168.10.60:50070/

执行分布式实例

hdfs dfs -mkdir -p /user/hadoop

# 将"/usr/local/tools/hadoop/etc/hadoop"中的配置文件作为输入文件复制到分布式文件系统中：
hdfs dfs -mkdir input
hdfs dfs -put /usr/local/tools/hadoop/etc/hadoop/*.xml input
# 通过查看 DataNode 的状态(占用大小有改变),输入文件确实复制到了DataNode中

# 运行MapReduce作业
hadoop jar /usr/local/tools/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

# 运行时的输出信息与伪分布式类似,会显示Job的进度;
# 如果迟迟没有进度,不妨重启hadoop试试;
# 如果重启还不行,则是虚拟机内存太小了;
## 通过Web界面查看任务进度
http://192.168.10.60:8088/cluster

# 查看查看运行结果
hdfs dfs -cat output/*

HDFS常用操作

# 列出HDFS下的文件
hadoopdfs -ls
# 列出HDFS下某个文档中的文件 
hadoop dfs -ls DIR
# 上传文件到指定目录并且重新命名,只有所有的DataNode都接收完数据才算成功
hadoop dfs -put test1.txt test
# 从HDFS获取文件并且重新命名为DIR2 ,同put一样可操作文件也可操作目录
hadoop dfs -get DIR DIR2 
# 从HDFS上删除指定文件
hadoop dfs -rm FILE 
# 查看HDFS上DIR目录的内容
hadoop dfs -cat DIR/* 
# 查看HDFS的基本统计信息
hadoop dfsadmin -report
# 进入安全模式
hadoop dfsadmin -safemode enter 
# 退出安全模式
hadoop dfsadmin -safemode leave

关闭Hadoop集群(Master节点)

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

最后编辑于：2017.12.04 06:00:57

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,718评论 6赞 492
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,683评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 158,207评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,755评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,862评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,050评论 1赞 291
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,136评论 3赞 410
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,882评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,330评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,651评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,789评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,477评论 4赞 333
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,135评论 3赞 317
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,864评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,099评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,598评论 2赞 362
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,697评论 2赞 351

双

虚拟机系统

Hadoop集群的安装配置流程

集群节点规划

验证操作

SSH免密登录节点

安装 Hadoop2.7.3

Hadoop环境变量配置

配置profile

配置hadoop-env.sh

配置集群/分布式环境

分发hadoop

启动Hadoop

执行分布式实例

HDFS常用操作

关闭Hadoop集群(Master节点)

推荐阅读更多精彩内容