本文主要讲述hadoop中MapReduce数据处理的过程。
MapReduce处理流程
过程简析：
MapReduce的作业流程大致可分为4个步骤：input、maper、shuffle、reducer。下面以这四个阶段为基础来对MapReduce进行说明。
1.input
input为MapReduce从HDFS中读取数据阶段，在input阶段，主要会对要读入的数据进行InputFormat和InputSplit处理，然后通过RecordReader，将符合要求数据提供Mapper使用。
其中：
InputFormat：决定读取数据的格式，可以是文件或数据库等。
InputSplit：将输入文件进行逻辑分片，一个InputSplit分配一个独立Map任务。
注： a.Split的个数将决定Map的数量，大量的Mapper Task的创建开销是巨大的。所以应尽量避免小文件。InputSplit可以通过调用CombineFileInputFormat将若干个Split打包成一个Split。
b.通常一个split就是一个block（FileInputFormat仅仅拆分比block大的文件），这样做的好处是使得Map可以在存储有当前数据的节点上运行本地的任务，而不需要通过网络进行跨节点的任务调度。
2.maper
maper的主要功能是对输入的数据，根据需求进行处理，并将处理结果写入本地磁盘。maper阶段可以细分为：map、partition、buffer、spill、merge五个阶段。
2.1 map
mapReduce框架会对inputSplit中的每个键值对调用一次map，经map处理后，会得到一个新的（key，value）键值对。根据需求，需重写map函数。
2.2 partition：分区
partition的作用就是根据map输出的key和value以及reduce的数量来决定当前这对输出数据最终由哪个reduce task来处理。默认的处理方式：对key hash后再对reduce task数量取模。也可根据要求，重写Partitioner函数。
2.3 buffer：内存缓冲区
当数据经map、partition处理之后，产生的结果不会直接写入本地磁盘，而是写入一个环形内存缓冲区。每个map都会对应一个内存缓冲区。默认100M。
注：写入内存缓冲去的内容不仅包括map解析出的键值对，还包括Partitioner操作得到的分区元数据。
2.4 spill 溢写
当内存缓冲区内的数据达到阈值80M（可设）时，将启动一独立线程来将缓冲区数据写入本地磁盘，此过程成为溢写。此时并不影响往剩余20M的内存缓冲区里继续写入数据。
在执行spill的过程中，还会执行sort和combiner过程（combiner可选）。先对需要spill的数据进行排序，然后如果配置了combiner，则还会执行数据的合并。（combiner可以有效减小写入本地磁盘的数据量）。
2.5 merge
当本节点的map任务处理完成后，本地磁盘中可能会存在很多的溢写文件。所以需要将多份溢写文件合并成一份，在次过程中，如果开启combiner，会再次对文件中相同的key值进行数据合并。
