本节介绍HDFS的上传数据的原理，并使用Java API实现上传数据。

1.HDFS上传数据的原理

HDFS上传数据的流程如下图所示：

image

HDFS的上传数据一般分成以下几个步骤：

1. 由命令行或者Java API发起上传数据的请求；
2. HDFS内部会创建一个HDFS客户端，并在内部会创建一个分布式文件系统的对象；
3. 客户端对象通过RPC协议与NameNode建立联系；
4. NameNode返回给客户端一个代理对象；
5. 客户端请求创建文件元信息；
6. NameNode创建文件元信息并缓存到内存中；
7. NameNode将元信息返回给客户端；
8. 客户端创建输出流对象；
9. 客户端根据元信息将原文件切块并逐一上传；
10. 每个数据块只会上传一份，剩下的将在HDFS的安全模式下自动进行水平复制得到；
11. 上传完成后会将日志写入edits文件；
12. HDFS缓存元信息的内存默认大小1000MB，超过的部分会按照LRU原则写出到fsimage文件中。

2.使用Java API上传数据

下面通过Java程序来上传数据文件到HDFS上：

package demo;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;
public class TestUploadFile {
    @Test
    public void test1() throws Exception{
        //配置NameNode地址，连接到NameNode
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.126.110:9000");

        //得到HDFS的客户端
        FileSystem client = FileSystem.get(conf);

        //创建输出流 ------> HDFS
        OutputStream out = client.create(new Path("/input/hadoop-2.4.1.tar.gz"));

        //创建输入流   <------ E:\\software\\hadoop-2.4.1.tar.gz
        InputStream in = new FileInputStream("E:\\software\\hadoop-2.4.1.tar.gz");

        //定义缓冲区
        byte[] buffer = new byte[1024];

        //代表读入数据的长度
        int len = 0;
        while((len=in.read(buffer)) > 0){
            //读到了数据，写到输出流中
            out.write(buffer, 0, len);
        }

        //刷新outputstream
        out.flush();

        //关闭IO
        in.close();
        out.close();
    }

    @Test
    public void test2() throws Exception{
        //连接到NameNode
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.126.110:9000");

        //得到HDFS的客户端
        FileSystem client = FileSystem.get(conf);

        //创建输出流 ------> HDFS
        OutputStream out = client.create(new Path("/folder1/hadoop.tar.gz"));

        //创建输入流   <------ E:\\software\\hadoop-2.4.1.tar.gz
        InputStream in = new FileInputStream("d:\\temp\\hadoop-2.4.1.tar.gz");  

        //使用HDFS的工具类，来简化上传的过程
        IOUtils.copyBytes(in, out, 1024);
    }
}

由程序可以看到，使用HDFS自带的工具类上传文件，比直接使用Java IO的方式上传文件简单的多。