单机模式
1.创建 hadoop 用户
groupadd hadoop # 创建用户组
useradd -g hadoop -m -s /bin/bash hadoop # 创建用户
passwd hadoop # 设置 hadoop 密码为 hadoop
2.为 hadoop 用户增加管理员权限：
vim /etc/sudoers
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL
3.配置 SSH 无密码登陆
apt-get install openssh-clients openssh-server
ssh localhost
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
rm ./id_rsa* # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys # 加入授权
chmod 600 ./authorized_keys # 修改文件权限，否则无法登陆，亲测
4.下载hadoop2.6.5
http://mirrors.hust.edu.cn/apache/hadoop/core/
cd /usr/local/src
wget http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.6.5/hadoop-2.6.5.tar.gz
tar -zxvf hadoop-2.6.5.tar.gz
sudo mv ./hadoop-2.6.5/ ./hadoop # 将文件夹名改为 hadoop
sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限
chown -R hadoop:hadoop ./hadoop
5.hadoop修改配置添加环境变量
#java_home 添加至hadoop-env.sh 中
echo "export JAVA_HOME=/usr/local/src/jdk1.8" >> /usr/local/src/hadoop/etc/hadoop/hadoop-env.sh
vi /etc/profile
#java
export JAVA_HOME=/usr/local/src/jdk/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export TIME_STYLE='+%Y-%m-%d %H:%M:%S'
#hadoop
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
规划安装用户：hadoop规划安装目录：/usr/local/src/hadoop
规划数据目录：/home/hadoop/data
/home/hadoop/data/hadoopdata/name
/home/hadoop/data/hadoopdata/data
5.1.配置core.site.xml
mkdir -p /home/hadoop/data/hadoopdata/
vi etc/hadoop/core-site.xml
<configuration>
<!-- 配置默认的文件系统，地址最好使用主机名而不是IP -->
<property>
<name>fs.defaultFS</name>
<!-- <value>hdfs://localhost:9090</value> -->
<value>hdfs://sandbox:9090</value>
</property>
<!-- Hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
</property>
</configuration>
sandbox 小编本机名
vi /etc/hosts 修改
5.2.配置 hdfs-site.xml
vi etc/hadoop/hdfs-site.xml
<configuration>
<!-- 配置 Hadoop 中 HDFS，默认为 3，单机版需要改为 1 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
5.3.配置mapred-site.xml
vi etc/hadoop/mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 mr 运行在 yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.4.配置yarn-site.xml
vi etc/hadoop/yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<!-- 指定 yarn 的老大(ResourceManager)的地址 -->
<!--
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
-->
<!-- reduce 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
#环境变量生效
source /etc/profile
hadoop常用命令
#查看版本
hadoop version
#格式化文件系统（执行MapReduce job）
hdfs namenode -format
#启动
start-dfs.sh
start-yarn.sh
http://localhost:50070/
#停止
stop-dfs.sh
stop-yarn.sh
#hadoop启动/停止
#也可以用下面的启动/停止命令，等同于start/stop-dfs.sh + start/stop-yarn.sh
sbin/start-all.sh
sbin/stop-all.sh
netstat -nltp
运行一个haoop官方例子，单词次数计算：
cd /usr/local/src/hadoop
hadoop dfs -mkdir -p /user/hadoop/input
echo "aa aa bb" > test.txt
hadoop dfs -put test.txt /user/hadoop/input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount input output
#查看结果
hadoop dfs -ls /user/hadoop/output/
hadoop dfs -cat /user/hadoop/output/part-r-00000
#删除目录
hadoop dfs -rm -R /user/hadoop/output
hadoop异常无法解决所以就决定格式化。
找到data和name配置的dir路径，找到 core-site.xml 找到dir路径,删除临时文件
重新执行命令：hadoop namenode -format （hdfs namenode -format ）
