FastDFS
是用c
语言编写的一款开源的分布式文件系统,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS
很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
一、FastDFS架构
FastDFS
架构包括Tracker server
和Storage server
。客户端请求Tracker server
进行文件上传、下载,通过Tracker server
调度最终由Storage server
完成文件上传和下载。
1.Tracker Server
Tracker server
作用是负载均衡和调度,通过Tracker server
在文件上传时可以根据一些策略找到Storage server
提供文件上传服务,可以将tracker
称为追踪服务器或调度服务器。
2.Storage server
Storage server
作用是文件存储,客户端上传的文件最终存储在Storage
服务器上,Storage server
没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage
称为存储服务器。
二、FastDFS安装
FastDFS的安装比较麻烦,需要配置许多的参数,所以要有耐心。本次配置是在Ubuntu
系统版本为16.04.3 LTS
下进行的,并且是干净的版本,比如gcc
、ssh
等软件包都没有安装。
下面开始进行环境配置:
1.软件包
下面是安装FastDFS
的安装包,也可以下载到:FastDFS,密码为:ideg
。
软件包 | 版本 |
---|---|
FastDFS | v5.05 |
libfastcommon | v1.0.7 |
fastdfs-nginx-module | v1.16 |
nginx | v1.12.1 |
2.安装libfastcommon
在编译libfastcommon
之前,要先安装gcc
的编译器:
sudo apt-get install build-essential
如果提示某些包安装不上,请先更新apt
:
sudo apt-get update
之后再安装gcc
,安装成功后就可以编译安装了:
./make.sh && sudo ./make.sh install
最后,把生成的libfastcommon
库拷贝到/usr/lib
目录下
sudo cp /usr/lib64/* /usr/lib/
3.编译FastDFS
解压FastDFS_v5.05.tar.gz
,然后编译安装FastDFS
:
tar zxf FastDFS_v5.05.tar.gz
./make.sh
sudo ./make.sh install
安装成功后将目录conf
内的文件拷贝到/etc/fdfs
目录下:
sudo cp conf/* /etc/fdfs/
4.安装tracker
进入/etc/fdfs
目录,修改tracker.conf
文件。如果不存在,就拷贝tracker.conf.sample
文件为tracker.conf
,然后再修改:
base_path=/home/yuqing/fastdfs >>> base_path=/home/kelvin/data/fastdfs
http.server_port=8080 >>> http.server_port=80
其中,/home/kelvin/data/fastdfs
目录如果不存在,就创建一个。
之后,就启动tracker
,并查看是启动成功(出现如下提示,表示启动成功):
$ fdfs_trackerd /etc/fdfs/tracker.conf start
$ netstat -unltp | grep tracker
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 7281/fdfs_trackerd
5.安装storage
修改storage.conf
文件。如果不存在,就拷贝storage.conf.sample
文件为storage.conf
,然后再修改:
base_path=/home/yuqing/fastdfs >>> base_path=/home/kelvin/data/fastdfs/storage
store_path0=/home/yuqing/fastdfs >>> store_path0=/home/kelvin/data/fastdfs/storage
tracker_server=192.168.209.121:22122 >>> tracker_server=192.168.2.231:22122
其中,如果/home/kelvin/data/fastdfs/storage
不存在,就创建该目录
然后,就启动storage
,并查看是否成功(出现如下提示,表示启动成功):
$ fdfs_storaged /etc/fdfs/storage.conf start
$ netstat -unltp | grep storage
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 7348/fdfs_storaged
最后,查看tracker
和storage
是不是在通信:
$ fdfs_monitor /etc/fdfs/storage.conf
...
current trunk file id = 0
Storage 1:
id = 192.168.2.231
ip_addr = 192.168.2.231 ACTIVE
...
如上提示,出现ACTIVE
,表示二者均正常启动,至此就可以进行上传文件测试了。
6.安装Nginx
首先解压fastdfs-nginx-module_v1.16.tar.gz
,然后把解压后的文件目录整个拷贝到/usr/local/src/
目录下。
然后配置nginx
,加入fastdfs-nginx-module
模块:
$ sudo ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/
如果出现如下错误,
error: the HTTP rewrite module requires the PCRE library
请安装libpcre3
和ssh
的库
$ sudo apt-get install libpcre3 libpcre3-dev
$ sudo apt-get install openssl libssl-dev
之后再执行configure
配置,完成后进行安装:
sudo make
如果出现如下错误:
root/fastdfs-nginx-module/src//common.c:21:25: fatal error: fdfs_define.h: No such file or directory
#include "fdfs_define.h"
则需要再添加如下配置:
1.把/usr/lib64/libfdfsclient.so
库拷贝到/usr/lib/
目录下:
$ sudo cp /usr/lib64/libfdfsclient.so /usr/lib/
2.配置/usr/local/src/fastdfs-nginx-module/src/
目录下的config
文件,把CORE_INCS
和CORE_LIBS
的所有路径都修改为/usr/include
和/usr/lib
:
$ sudo vi /usr/local/src/fastdfs-nginx-module/src/config
...
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
CORE_LIBS="$CORE_LIBS -L/usr/lib -lfastcommon -lfdfsclient"
...
之后就可以执行编译和安装了:
$ sudo make && sudo make install
完成之后,可以查看fastdfs-nginx-module
是否配置成功(下面提示表示配置成功):
$ /usr/local/nginx/sbin/nginx -V
nginx version: nginx/1.12.1
built by gcc 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.4)
configure arguments: --add-module=/usr/local/src/fastdfs-nginx-module/src
7.整合fastdfs-nginx-module 和 Nginx
首先到/usr/local/src/fastdfs-nginx-module-master/src/
目录下,拷贝mod_fastdfs.conf
文件到/etc/fdfs
目录下,然后进行如下配置:
base_path=/home/kelvin/data/fastdfs
tracker_server=192.168.2.231:22122
url_have_group_name = true
store_path0=/home/kelvin/data/fastdfs/storage
然后配置Nginx
,添加如下内容:
server {
listen 80;
server_name localhost;
...
# 配置fastdfs的访问路径
location /group1/M00 {
ngx_fastdfs_module;
}
...
}
之后启动nginx
:
$ sudo /usr/local/nginx/sbin/nginx
ngx_http_fastdfs_set pid=23238
上传测试
在进行测试之前,我们还需要先配置一下client.conf
文件,该文件在/etc/fdfs
目录下,配置如下:
$ sudo vi /etc/fdfs/cli
...
base_path=/home/kelvin/data/fastdfs
tracker_server=192.168.2.231:22122
...
然后,创建一个test.txt
文件,随便输入一些内容,再进行上传:
$ echo HelloWorld > ~/test.txt
$ fdfs_test /etc/fdfs/client.conf upload ~/test.txt
...
[2017-09-23 20:12:00] DEBUG - base_path=/home/kelvin/data/fastdfs, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
tracker_query_storage_store_list_without_group:
server 1. group_name=, ip_addr=192.168.2.231, port=23000
group_name=group1, ip_addr=192.168.2.231, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/wKgC51nHIoCACtpSAAAAC5KLpvs082.txt
source ip address: 192.168.2.231
file timestamp=2017-09-23 20:12:00
file size=11
file crc32=2458625787
example file url: http://192.168.2.231/group1/M00/00/00/wKgC51nHIoCACtpSAAAAC5KLpvs082.txt
...
最后,在浏览器里输入http://192.168.2.231/group1/M00/00/00/wKgC51nHIoCACtpSAAAAC5KLpvs082.txt
,即可访问到test.txt的文件内容:
以上就是Fastdfs
的安装过程,如有错误,欢迎指出,共同进步。(文中部分图片来自互联网,版权归原作者所有)
参考资料