Hadoop项目背景简介

• 2003-2004年，Google公开了部分GFS个Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年的业余时间，实现了DFS和Mapreduce机制，一个微缩版：Nutch
• 名字来源于Doug Cutting儿子的玩具大象
• Hadoop于2005年秋天作为Lucene的子项目Nutch的一不分正式引入Apahce基金会。2006年3月份，Map-Reduce和Nutch Distributed File System（NDFS）分别被纳入称为Hadoop的项目

Hadoop之父

Hadoop之父是Doug Cutting，关于他的介绍就不罗列了，大家网上搜索下都能找到，总结下：

1. 他就职于Yahoo期间，开发了Hadoop项目。而Hadoop项目是根据Google发布3篇的学术论文研究而来，既《Google File System》、《Google MapReduce 》、《Google BigTable》。
2. 大名鼎鼎的Lucene、Nutch也是他弄出来的。
3. 他目前在Cloudera公司担任首席架构师工作。

官方网站

http://hadoop.apache.org/

Hadoop六大模块

• Hadoop Common: 支持其他Hadoop模块的实用常用程序。
• Hadoop Distributed File System (HDFS™): 一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
• Hadoop YARN: 作业调度和集群资源管理的框架。
• Hadoop MapReduce:基于yarn系统，用于并行处理大型数据集。
• Hadoop Ozone: 用于Hadoop的对象存储。
• Hadoop Submarine:Hadoop的机器学习引擎

Apache的其他Hadoop相关项目

• Ambari™: 一个基于web的工具，用于配置、管理和监视Apache Hadoop集群。
• Avro™: 一种数据序列化系统。
• Cassandra™: 一套开源分布式NoSQL数据库系统。
• Chukwa™: 用于管理大型分布式系统的数据收集系统。
• HBase™: 一个可伸缩的分布式数据库，支持大表的结构化数据存储。
• Hive™: 一种数据仓库基础设施，提供数据摘要和特殊查询。
• Mahout™: 一个可伸缩的机器学习和数据挖掘库。
• Pig™: 用于并行计算的高级数据流语言和执行框架。
• Spark™: Hadoop数据的快速通用计算引擎。Spark提供了一个简单而富有表现力的编程模型，支持广泛的应用程序，包括ETL、机器学习、流处理和图形计算。
• Tez™: 针对Hadoop数据处理应用程序的新分布式执行框架，它提供了一个强大而灵活的引擎来执行任意的DAG任务来处理批处理和交互用例的数据。
• ZooKeeper™: 分布式应用程序的高性能协调服务。

Hadoop-HDFS

存储模型

• 将文件线性切割成块（Block）
• Block分散存储在集群节点中
• 单个文件Block大小一致，文件于文件可以不一致
• Block可以设置副本数，副本散在不同节点中
• 文件上传可以设置Block大小和副本数
• 已上传的文件Block副本数可以调整，大小不变
• 只支持一次写入多次读取，同一时刻只能有一个写入者
• 可以用append追加数据

架构模型

• 文件元数据MetaData，文件数据（元数据和数据本身）
  • 元数据，描述文件的，例如文件大小多大，所述者信息等
  • 数据本身
• （主）NameNode节点保存文件元数据
• （从）DataNode节点保存文件Block数据
• DataNode与NameNode保持心跳，提交Block列表（这里的心跳指的是DataNode会周期性的给NameNode提交数据包，报告DataNode节点状态以及Block列表）
• HdfsClient与NameNode交互元数据信息
• HdfsClient与DataNode交互文件Block数据

HDFS架构图

HDFS架构图

• 最底层是DataNode,用于存储具体的数据，在往上是NameNode，用于存储数据的元信息。
• 读数据：HDFSClient（Client）先发请求，去NameNode中查找文件元信息，看看这个文件都存储在哪些DataNode节点上，NameNode把这个数据存储的节点信息告知HDFSClient后，HDFSClient去各个DataNode上拿数据。
• 写数据：HDFSClient（Client）先发请求，去NameNode中查找文件元信息，NameNode会看看哪些节点存活，可以写到哪些节点上，然后NameNode把这些信息发送给HDFSClient，HDFSClient将数据直接存储到这些节点上。等到文件全部写入完成后，文件才可用（这里要特别说明一点，并不是把数据直接发到NameNode上，由NameNode进行存储分发）

HDFS设计思想

HDFS设计思想

例如一个文件50GB，按照64MB切块的话，切成若干个64MB大小的块。这些块是有副本概念，例如block1，会在不同的Server节点上都有其副本。右上角是描述清单，也就是所谓的原数据，存在NameNode进程中去，其中block1：node1,node2,node3,表示block1的位置信息。

HDFS优点

1. 高容错性
   • 数据自动保存多个副本
   • 副本丢失后，自动恢复
2. 适合批处理
   • 移动计算而非移动数据
   • 数据位置暴漏给计算框架（Block偏移量）
3. 适合大数据处理
   • GB、TB、PB数据
   • 百万规模以上的文件数量
   • 10K+节点
4. 可构建在廉价机器上
   • 通过多副本，提升可靠性
   • 提供了容错和恢复机制

HDFS缺点

1. 低延迟数据访问
   • 比如毫秒级
   • 低延迟与高吞吐率
2. 小文件存储
   • 占用NameNode大量内存
   • 寻找时间超过读取时间
3. 并发写入、文件随机修改
   • 一个文件只能有一个写入者
   • 仅支持append追加

Hadoop架构中的角色

NameNode（NN）

• 基于内存存储
• 主要功能：
  • 接受客户端的读写服务
  • 收集DataNode汇报的Block列表信息
• NameNode保存metadata信息包括
  • 文件大小，时间
  • Block列表，Block偏移量，位置信息
  • Block每个副本位置（由DataNode上报）

DataNode（DN）

• 本地磁盘目录存储数据（Block），文件形式
• 同时存储Block的元数据信息文件（这里的元数据非NameNode源数据文件，只是DataNode这个角色为这个Block块创建的小的元数据文件，具体存的是对Block的校验和，例如MD5,哈希值等，以保证合并数据时数据的完整性。）
• 启动DataNode时会向NameNode汇报Block信息
• 通过向NameNode发送心跳保持联系（3秒一次），如果NameNode10分钟没有收到DataNode心跳，则认为已经lost，并copy其上的Block到其他的DataNode上

Secondary NameNode（SNN）

• 为NameNode上的数据创建周期性检查点的节点
• 周期性地下载当前NameNode fsimage和edit logs文件，将edit logs和fsimage文件合并为一个新的fsimage文件然后上传到NameNode中
• 它不是要取代掉NameNode也不是NameNode的备份

后记

下次，我们将详细介绍HDFS读写流程，敬请期待。
（转发请注明出处：//www.greatytc.com/u/829cbce64381 如发现有错，请留言，谢谢）