Hadoop本地模式
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决，海量数据的存储和海量数据的分析计算问题。
1、Hadoop的组成
Hadoop HDFS：一个高可靠高吞吐量的分布式文件系统；
Hadoop MapReduce：一个分布式的离线并行计算框架；
Hadoop YARN：作业调度与集群资源管理的框架；
Hadoop Common：支持其他模块的工具模块；
2、Hadoop的安装方式
本地独立模式
不需要启动单独进程，直接运行就可以了，测试和开发时使用；
伪分布式模式
等同于全分布式模式，只不过只有一个节点；
全分布式模式
多个节点一起运行；
3、Hadoop使用
3.1、centos的安装
在使用VM安装centos的时候，注意网络连接选择NAT连接，利用 NAT，虚拟机和主机系统将共享一个网络标识，此标识在网络以外不可见。
3.2、centos配置、克隆
1、关闭所有防火墙
# 查看防火墙状态
chkconfig iptables --list
# 若存在开启状态 建议关闭
chkconfig iptables off
# 重启生效
sync
reboot
2、本机配置hosts文件
修改本机hostname为Hadoop101，为后面全分布式做准备。
# hostname 查看当前主机名
# 切换root用户 su root
vim /etc/hostname
# 直接修改主机名即可
# 修改hosts文件
vim /etc/hosts
192.168.159.101 Hadoop101
192.168.159.102 Hadoop102
192.168.159.103 Hadoop103
192.168.159.104 Hadoop104
3、配置静态IP地址
vim /etc/sysconfig/network-scripts/ifcfg.eth0
# 修改为
DEVICE=eth0
TYPE=Ethernet
UUID=f0e33ab7-55cc-4598-94a3-530acc958cd3
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
HWADDR=00:0C:29:61:77:78
IPADDR=192.168.159.101
GATEWAY=192.168.159.2
DNS1=192.168.159.2
NETMASK=255.255.255.0
注意，修改的数据要和虚拟机保持一致。并测试虚拟机是否可以ping通主机以及网络百度。
4、关机、克隆
关闭虚拟机Hadoop101，右键管理进行克隆操作。
5、修改克隆体
克隆体创建完毕后，对克隆体修改如下:
物理网卡:
vim /etc/udev/rules.d/70-persistent-net.rules
# 来自于原体
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:61:77:78", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
# PCI device 0x8086:0x100f (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:80:71:ca", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"
# 改为
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:80:71:ca", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
网络：
只需要修改物理ip和ip地址就可以了。
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
UUID=f0e33ab7-55cc-4598-94a3-530acc958cd3
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
HWADDR=00:0C:29:61:77:ac
IPADDR=192.168.159.102
GATEWAY=192.168.159.2
DNS1=192.168.159.2
NETMASK=255.255.255.0
主机名:
vim /etc/sysconfig/network
hostname=Hadoop102
重复上述操作，克隆多个子体。
6、配置JDK
# 验证是否已经安装jdk
rpm -qa | grep java
# 若存在 卸载
rpm -ev --nodeps 包名
在opt文件夹下创建module文件夹以及software文件夹，用来存放安装文件以及对应的压缩文件。
操作如下:
1、将jdk导入虚拟机
2、通过tar -zxvf 命令解压JDK
tar -zxvf jdk1.7 -C /opt/module/
3、配置JDK环境变量
export JAVA_HOME=/opt/module/jdk1.7.0_65
export PATH=$PATH:$JAVA_HOME/bin
4、测试JDK安装成功与否
java命令测试
# 注意，你的centos若是32位数，需要使用32位数的JDK。
7、配置Hadoop
1、解压文件到/opt/module
tar -zxvf hadoop-2.7.2-tar.gz -C /opt/module/
2、配置Hadoop
# 配置hadoop-env.sh文件
vim etc/hadoop/hadoop-env.sh
# 添加
export JAVA_HOME=/opt/module/jdk1.7.0_65
3、配置环境变量
vim /etc/profile
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
4、测试
hadoop命令测试
4、Hadoop本地独立模式
grep案例-其实就是从大量文件中找到符合匹配规则的数据以及个数。
1、hadoop-2.7.2下创建input文件夹
mkdir input
2、将hadoop下的xml文件复制到input文件夹，充当数据源
cp etc/hadoop/*.xml input/
3、执行share目录下的mappreduce程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z]+'
4、查看结果
查看生成的文件part-r-00000
cat part-r-00000
从上述一堆配置文件中查到了一个满足正则的数据dfsadmin
