FastDSF 是用 c 语言编写的一款开源的分布式文件系统，它非常适合存储图片等那些小文件，因为 FastDSF 不对文件进行分块，所以没有分块合并的开销，FastDSF 网络通信采用 socket ，通信速度很快。
工作流程
FastDFS架构包括 Tracker server 和 Storage server。客户端请求Tracker server 进行文件上传、下载，通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。
Tracker Server 作用是负载均衡和调度，通过 Tracker server 在文件上传时可以根据一些策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。
- FastDFS 集群中的 Tracker server 可以有多台，Tracker server 之间是相互平等关系同时提供服务，Tracker server 不存在单点故障。
- 客户端请求 Tracker server 采用轮询方式，如果请求的 tracker 无法提供服务则换另一个 tracker。
Storage Server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上，Storage server 没有实现自己的文件系统而是使用操作系统的文件系统来管理文件。
- Storage集群采用了分组存储方式，组内的 Storage server 之间是平等关系，不同组的 Storage server 之间不会相互通信，同组内的 Storage server 之间会相互连接进行文件同步，从而保证同组内每个 storage 上的文件 完全一致的；
- Storage server 会连接集群中所有的 Tracker server，定时向他们报告自己的状态，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。
上传流程
客户端上传文件后 Storage Server 将文件 ID 返回给客户端，包括组名、路径等，如：
group1/M00/02/44/wkgDrE34wAAAAAAAAGkEI.sh
组名:文件上传后所在的storage组名称，在文件上传成功后有storage服务器返回，需要客户端自行保存。
文件名:包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
下载流程
根据组名和路径找到对应的文件。
Centos 下安装 FastDFS
安装依赖
安装 GCC 依赖，用来对C语言代码进行编译运行
sudo yum -y install gcc
安装 unzip 工具，可以帮我们对压缩包进行解压
sudo yum install -y unzip zip
安装 libevent
sudo yum -y install libevent
安装 Nginx 所需依赖
sudo yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel
安装 libfastcommon-master ，由于这个没有 yum 包，先到 https://github.com/happyfish100/libfastcommon下载，通过 fileZilla 上传到 Centos 的 /usr/local/fastDFS/ 下，解压
unzip libfastcommon-master.zip
然后 cd 进去，执行
sudo ./make.sh
sudo ./makesh install
安装 FastDSF
上传 FastDSF 包到 /usr/local/fastDFS/ 下，下载地址是https://github.com/happyfish100/FastDFS，解压：
unzip fastdfs-master.zip
然后 cd 进去，执行
sudo ./make.sh
sudo ./make.sh install
启动 tracker，先 cd 到 /etc/fdfs，把 tracker.conf.sample 改名为 tracker.conf
sudo cp tracker.conf.sample tracker.conf
可以修改配置设置 tracker 的数据和日志存放目录
sudo vim tracker.conf
base_path=xx/xx/xx
启动 tracker
sudo service fdfs_trackerd start
开机启动
sudo chkconfig fdfs_trackerd on
启动 storage，和 tracker 差不多，重命名配置文件
sudo cp storage.conf.sample storage.conf
修改配置文件
sudo vim storage.conf
base_path=/xxx/xxx/xxxx # storage的数据和日志存放目录
store_path0=/xxx/xxx/xxx # storage的上传文件存放路径
tracker_server=192.168.56.111:22122 # tracker的地址
启动 storage
sudo service fdfs_storaged start
开机启动
sudo chkconfig fdfs_storaged on
注意的是，要先把设置的路径目录创建出来，才能启动成功，ps -ef | grep fdfs 查看进程
FastDFS 的 Nginx 模块
下载 fastdfs-nginx-module，还是上传到 /usr/local/fastDFS/ 下，解压
unzip fastdfs-nginx-module-master.zip
cd 到 src 下 cd fastdfs-nginx-module-master/src，修改 config
vim config
执行下面命令（将配置中的/usr/local改为/usr）
:%s+/usr/local/+/usr/+g
将 src 下的 mod_fastdfs.conf 复制到 /etc/fdfs 目录下
sudo cp mod_fastdfs.conf /etc/fdfs/
然后编辑复制后的文件
connect_timeout=10 # 客户端访问文件连接超时时长（单位：秒）
tracker_server=192.168.0.111:22122 # tracker服务IP和端口
url_have_group_name=true # 访问链接前缀加上组名
store_path0=/home/fastDFS/storage
然后 cd 到 fastDFS conf 目录，将部分配置复制到 /etc/fdfs/ 下
cd /usr/local/fastDFS/fastdfs-master/conf
cp http.conf mime.types /etc/fdfs/
然后安装 Nginx，解压后执行
sudo ./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/fastDFS/fastdfs-nginx-module-master/src
编译安装
sudo make && sudo make install
然后整合配置 nginx 整合 fastdfs-module 模块，
vim /opt/nginx/config/nginx.conf
加入
server {
listen 80;
server_name image.ohome.com;
# 监听域名中带有group的，交给FastDFS模块处理
location ~/group([0-9])/ {
ngx_fastdfs_module;
}
location / {
root html;
index index.html index.htm;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
重新加载配置
nginx -s reload
测试
新建工程引入依赖
<dependency>
<groupId>net.oschina.zcx7878</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>1.27.0.0</version>
</dependency>
resource 下新建 config 目录，新建 fastdfs-client.properties
#http连接超时时间
fastdfs.connect_timeout_in_seconds = 5
#tracker与storage网络通信超时时间
fastdfs.network_timeout_in_seconds = 30
#字符编码
fastdfs.charset = UTF-8
#tracker服务器地址，多个地址中间用英文逗号分隔
fastdfs.tracker_servers = 192.168.0.111:22122
测试类
@SpringBootTest
@RunWith(SpringRunner.class)
public class FastDFSTest {
@Test
public void upload() {
try {
ClientGlobal.initByProperties("config/fastdfs-client.properties");
System.out.println("network_timeout=" + ClientGlobal.g_network_timeout + "ms");
System.out.println("charset=" + ClientGlobal.g_charset);
//创建客户端
TrackerClient tc = new TrackerClient();
//连接tracker Server
TrackerServer ts = tc.getConnection();
if (ts == null) {
System.out.println("getConnection return null");
return;
}
//获取一个storage server
StorageServer ss = tc.getStoreStorage(ts);
if (ss == null) {
System.out.println("getStoreStorage return null");
}
//创建一个storage存储客户端
StorageClient1 sc1 = new StorageClient1(ts, ss);
String item = "/Users/czd/Downloads/WechatIMG21.jpeg";
String fileid;
fileid = sc1.upload_file1(item, "jpeg", null);
System.out.println("Upload local file " + item + " ok, fileid=" + fileid);
} catch (Exception ex) {
ex.printStackTrace();
}
}
}
得到 /group1/M00/00/00/wKgAb13ufI2AdM3WAAGjQFQg_4g67.jpeg ，浏览器测试访问 http://image.ohome.com/group1/M00/00/00/wKgAb13ufI2AdM3WAAGjQFQg_4g67.jpeg。
