Hadoop日记——安装、配置、启动HDFS

上一篇博客主要讲了HDFS的组成部分和机制,这篇博客给大家讲讲如何安装、配置、启动HDFS

这次讲的HDFS是伪分布式的(单台服务器)

1. 下载和解压Hadoop1.2.1

下载

wget http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

解压

 tar -zxvf hadoop-1.2.1.tar.gz

2.配置Hadoop

输入命令

vi hadoop-1.2.1/conf/hadoop-env.sh 

配置好jdk

# The java implementation to use.  Required.
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

修改core-site.xml

vi hadoop-1.2.1/conf/core-site.xml
<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

修改core-site.xml

vi hadoop-1.2.1/conf/hdfs-site.xml
<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

修改mapred-site.xml

vi hadoop-1.2.1/conf/mapred-site.xml
<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

修改masters

vi hadoop-1.2.1/conf/masters
localhsot

3. ssh免密登录

生成公钥和私钥

ssh-keygen -t rsa -P ""

将公钥追加到文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

测试

ssh localhost

若不用输入密码,则证明ssh免密登录配置成功

4. 启动hdfs

hadoop-1.2.1/bin/start-dfs.sh 

输入命令,检查是否启动成功

jps

若出现NameNodeDataNodeSecondNameNode则证明启动成功

或者访问 该服务器外网IP地址:50070
若出现该页面则证明启动成功

这里写图片描述

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,992评论 19 139
  • 1.Linux安装前的配置 1.1.关闭防火墙 本站文档是假定「服务器在防火墙以内」的前提下编纂的,在这个前提下...
    lao男孩阅读 3,351评论 0 4
  • 版权声明:本文为博主原创文章,未经博主允许不得转载。 目录-[-]1 先决条件2 实验环境搭建 21 准备工...
    三三At你阅读 859评论 0 3
  • 努力的女生运气不会差,努力的女生浑身焕发着魅力,真的好美! 文|甘果 01 梅梅跟乔琳是大学同班同学,大学毕业之后...
    深夜告白阅读 583评论 0 1
  • 第八章改变环境以改变孩子不可接受的行为 1丰富孩子的环境内容 在车库或后院的一角设立一个特殊区域,让孩子可以自由的...
    海上明月明阅读 208评论 0 0