hadoop是什么
- hadoop是一个由Apache基金会所开发的分布式系统基础框架
- hadoop实现了一个分布式文件系统，hdfs
- hadoop实现了一个分布式计算系统，mapreduce
- hadoop实现了一个资源管理系统，yarn
hadoop的特点
- 高可靠性。hadoop按位存储和处理数据的能力值得人们信赖。
- 高扩展性。hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可以方便的扩展到数以千计的节点中
- 高效性。hadoop能够在节点之间动态的移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
- 高容错性。hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
- 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本低。
hadoop hdfs核心组件
** hdfs有两个核心角色：name node、data node **
Name Node仅有一个，提供元数据服务；Data Node为hdfs提供存储块。
Name Node的职责：
- 管理文件系统名称空间和控制外部客户机的访问
- 负责元数据的信息管理
Name Node的职责：
- 负责数据存储
- 定期向Name Node汇报存储的文件信息
mapreduce核心组件
mapreduce是什么
MapReduce是一种编程模型，用于大规模数据集（大于1T）的并行运算。
mapreduce能解决什么问题
逐渐消亡，被cloud dataflow代替
mapreduce计算模型
job tracker 和 task tracker
大数据技术生态体系
- hadoop(hdfs, mapreduce, yarn)：最基础的数据处理框架，擅长离线数据分析。
- zookeeper： 分布式协调服务基础组件
- hbase：分布式海量数据库，基于hdfs，离线分析和在线业务
- hive sql：数据仓库工具，使用方便，功能丰富，基于MR，延迟大
- sqoop：数据导入导出工具，关系数据库和hdfs的数据桥梁
- flume：数据采集框架
- storm：实时流式计算框架
- spark：基于内存的分布式运算框架，一站式处理。
