SeaWeedfs 分布式网络文件存储介绍
引子
随着业务量增长，一个系统需要存储上百万文件的情况越来越多，尤其是互联网网站。在这种情况下依然使用传统磁盘/共享存储的方式进行支持会有以下问题：
- 文件的备份、恢复困难，大量文件的copy 耗时耗力
- 文件数量暴增占满操作系统文件系统inode，导致磁盘空间虽然没有用完但是因为inode用尽无法使用
- 文件读取效率太低，无法应对高并发读取要求
针对以上问题，facebook 提出了自己的方案 Facebook's Haystack design paper 。 之后各种实现出现，如tfs、MogileFS、GlusterFS等，其中Seaweedfs是一个比较优秀的实现。具有效率高、结构简单、代码清晰等优点。本文针对seaweesfs进行简要的分析，在开始之前推荐阅读facebook的论文以学习理解NoFS（Net Object File System） 相关的理念。
拓扑结构
111 模式下的复写
--------------------------------------------------------
| DataCenter A DataCenterB .... |
| | | |
| ├─Rack a ├─Rack b |
| | | |
| ├─DataNode1 ├─DataNode3 |
| | ├─Volume1 | ├─Volume2 |
| | ├─Volume2 | ├─Volume3 |
| ├─Rack c ├─Rack d
| ├─ DataNode2 ├─DataNode4 |
| | ├─Volume2 | ├─Volume1 |
| | ├─Volume3 | ├─Volume3 |
--------------------------------------------------------
在逻辑上Seaweedfs的几个概念：
- Node 系统抽象的节点，抽象为DataCenter、Rack、DataNode
- DataCenter 数据中心，对应现实中的不同机房
- Rack 机架，对应现实中的机柜
- Datanode 存储节点，用于管理、存储逻辑卷
- Volume 逻辑卷，存储的逻辑结构，逻辑卷下存储Needle
- Needle 逻辑卷中的Object，对应存储的文件
- Collection 文件集，可以分布在多个逻辑卷上
在实际实现中
代码结构
文件目录 逻辑层级 用途
weed
├── command 1 weed的命令抽象
├── filer 2
├── filer2 2 Filer 实现
├── filesys 2 FUSE mount到本地操作系统的实现
├── glide.yaml 0 包依赖关系
├── glog 4 日志组件
├── images 3 对图片的伸缩/矫正操作
├── operation 4 对于查询/读写的一些原子操作工具类，如通过http请求查询master下指定的volume
├── pb 4 MasterServer和VolumeServer之间 gRpc 心跳实现，主要是两个pb 文件以及自动生成的go-grpc文件
├── security 4 安全模块，主要是黑白名单实现，JWT实现
├── sequence 3 序列号生成
├── server 2 服务器实现，包括MasterServer/VolumeServer/FilerServer的实现
├── stats 3 监控状态，主要是主机内存、磁盘等
├── storage 3 物理存储的部分，包括物理Needle/物理卷Volume 的读写
├── tools 1 实用的工具
├── topology 2 逻辑拓扑结构，Datacenter、Rack、DataNode，主要是全局卷伸缩/查找等操作
├── util 4 工具类
└── weed.go 0 主程序
部署结构
----------------------------------------------------------------------------------------------------------------
| HttpClient
| |
| MasterServer1 <====Http/Raft=====> MasterServer2 <====Http/Raft=====> MasterServer3(leader)
| || ||
| ( grpc||HeartBeat) ( grpc||HeartBeat)
| || ||
| ├─VolumeServer(多个) ├─VolumeServer(多个)
| ├─Stroage
| ├─VolumeData(.dat/.idx)
| ├─Needles
| ├─VolumeData(.dat/.idx)
| ├─Needles
| ├─Stroage
| ├─VolumeData(.dat/.idx)
| ├─Needles
|
----------------------------------------------------------------------------------------------------------------
使用指南
详见： [Seaweedfs wiki](https://github.com/chrislusf/seaweedfs/wiki/Getting-Started)
不足与问题
* seaweedfs 采用的是同步式复写有以下几个问题：
a. 当在某个volume-server 下线又上线恢复的情况下，没有自动的同步机制
b. 同步复写需要等待每个节点都复写成功，效率相对较低
c. 虽然节点的上下线会快速通过心跳通知master节点，但是仍然存在一定的延迟，期间Volume-Server在复写的时候可能会出现因为复写已经下线的volume-server导致上传失败的情况
* seaweedfs目前在权限管理方面还相对比较弱，目前仅有一个白名单控制机制，来控制外部的读写权限/恶意删除。
