参考文献： http://www.infoq.com/cn/articles/hdfs-centralized-cache https://blog.csdn.net/javastart/article/details/50586743
从Hadoop 2.3.0 开始，加入了集中式缓存管理(HDFS centralized cache management)。
特点：
由namenode管理。那么HDFS client（例如MapReduce、Impala）就可以根据block被cache的分布情况去调度任务，做到memory-locality。
HDFS原来单纯靠DataNode的OS buffer cache，这样不但没有把block被cache的分布情况对外暴露给上层应用优化任务调度，也有可能会造成cache浪费。例如一个block的三个replica分别存储在三个DataNote 上，有可能这个block同时被这三台DataNode的OS buffer cache，那么从HDFS的全局看就有同一个block在cache中存了三份，造成了资源浪费。
加快HDFS client读速度。过去NameNode处理读请求时只根据拓扑远近决定去哪个DataNode读，现在还要加入speed的因素。当HDFS client和要读取的block被cache在同一台DataNode的时候，可以通过zero-copy read直接从内存读，略过磁盘I/O、checksum校验等环节。
即使数据被cache的DataNode节点宕机，block移动，集群重启，cache都不会受到影响。因为cache被NameNode统一管理并被被持久化到FSImage和EditLog，如果cache的某个block的DataNode宕机，NameNode会调度其他存储了这个replica的DataNode，把它cache到内存。
我为什么会用到
在做一个工业数据量级别的项目，包括全量数据与部分增量数据，使用parquet格式存储在HDFS中，查询使用Hive与SparkSQL，原本计划重写MapReduce的InputFormat与Spark DataSource API，在计算分片时把增量数据读入JVM然后分发给每个分片。而Hive比较坑的一点是，当Hive使用MapReduce查询（如count、where、join等操作），将不会使用自定义InputFormat的getSplits方法进行分片而是用自带的CombineHiveInputFormat分片。导致无法在分片时读入增量数据。遂考虑在每个分片内独自读取增量数据。但是多个进程同时读势必会影响速度，于是打算将增量数据存储于集中式缓存。
使用示例
命令
- addDirective：添加指令
hdfs cacheadmin -addDirective -path path -pool pool-name [-force] [-replication replication] [-ttl time-to-live]
-path 添加的路径 -pool 加入的缓冲池名称 -force 不检查缓存池的资源限制 -replication 要使用的副本数，默认为1 -ttl 缓存指令可以保持多长时间。可以按照分钟，小时，天来指定，如30m，4h，2d。有效单位为[smhd]。“never”表示永不过期的指令。如果未指定该值，那么，缓存指令就不会过期。
- removeDirective：通过id删除指令
hdfs cacheadmin -removeDirective
- removeDirectives：删除执行path下所有缓存命令
hdfs cacheadmin -removeDirective
- listDirectives：显示某一路径下的缓存信息
hdfs cacheadmin -listDirectives [-stats] [-path path] [-pool pool]
-stats 显示 列出基于path的缓存指令统计信息。
添加/修改缓存池：addPool/modifyPool
hdfs cacheadmin -addPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl] hdfs cacheadmin -modifyPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl]
其中， -owner/group是该pool的属主/组，默认为当前用户 -mode是POSIX风格权限，默认为0755 -limit为该pool中可以缓存的最大字节数，默认没有限制 -maxTtl 最大的生存期，可以是120s, 30m, 4h, 2d等。
- 移除缓冲池：removePool
hdfs cacheadmin -removePool name
- 列出缓冲池：listPools
hdfs cacheadmin -listPools [-stats] [name]
- -stats为显示统计信息
实战
hdfs cacheadmin -addPool cache_data -mode 0777
18/05/12 13:48:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Successfully added cache pool cache_data.
hdfs cacheadmin -addDirective -path /data -pool cache_data
18/05/12 13:50:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Added cache directive 1
hdfs cacheadmin -listPools -stats cache_data
18/05/12 13:50:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 result.
NAME OWNER GROUP MODE LIMIT MAXTTL BYTES_NEEDED BYTES_CACHED BYTES_OVERLIMIT FILES_NEEDED FILES_CACHED
cache_data hadoop staff rwxrwxrwx unlimited never 0 0 0 0 0
hdfs cacheadmin -listDirectives -path /data
18/05/12 13:50:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 entry
ID POOL REPL EXPIRY PATH
1 cache_data 1 never /data
