由于工作上需要用到一个统一的文件服务器平台,想到了可以使用一下方法实现:
1、采用seaweedfs作为底层分布式文件系统
2、采用django作为web中间层
3、采用djangorestframework作为api接口层
4、采用djangorestframework-jwt做认证token
一 、部署seaweedfs
服务器类型:centos 7.6
seaweedfs版本:1.47
服务器 三台
192.168.1.1 master salve
192.168.1.2 master slave
192.168.1.3 master slave
在三台服务器其上建如下目录
mkdir /weed/ #存放weed程序
mkdir -p /weed/{master,volume} # master目录存放master日志, volume存放data数据
然后,在三台服务器上分别执行如下命令,启动master节点
#在服务器192.168.1.1上执行:
nohup /weed/weed master -ip=192.168.1.1 -port=9333 -mdir=/weed/master -peers=192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333 -defaultReplication=001> /weed/master.log &
#在服务器192.168.1.2上执行:
nohup /weed/weed master -ip=192.168.1.2 -port=9333 -mdir=/weed/master -peers=192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333 -defaultReplication=001> /weed/master.log &
#在服务器192.168.1.3上执行:
nohup /weed/weed master -ip=192.168.1.3 -port=9333 -mdir=/weed/master -peers=192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333 -defaultReplication=001> /weed/master.log &
不同的
配置运行volume
配置volume逻辑卷时, 可以指定数据中心datacenter以及机架rack, 复制模式和数据中心和机架有关, 具体见文档https://github.com/chrislusf/seaweedfs/wiki/Replication
在三台服务器上分别执行如下命令:
#第一台执行
nohup /weed/weed volume -dataCenter devdc -rack rack1 -port 8081 -ip 192.168.1.1 -dir /weed/volume/ -max 10 -mserver 192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333 -publicUrl 192.168.1.1:8081 > /weed/volume.log &
#第二台执行
nohup /weed/weed volume -dataCenter devdc -rack rack1 -port 8081 -ip 192.168.1.2 -dir /weed/volume/ -max 10 -mserver 192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333 -publicUrl 192.168.1.2:8081 > /weed/volume.log &
#第三台执行
nohup /weed/weed volume -dataCenter devdc -rack rack1 -port 8081 -ip 192.168.1.3 -dir /weed/volume/ -max 10 -mserver 192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333 -publicUrl 192.168.1.3:8081 > /weed/volume.log &
安装完成后的测试
检查系统状态
curl "http://10.0.2.15:9333/cluster/status?pretty=y"
python实现文件上传下载
通过研究pyseeweedfs源码实现该系统
django上传文件的默认行为
django默认上传使用的是
FileSystemStorage类
FileSystemStorage在本地文件系统上实现了基本的文件存储功能,它继承自Storage,并且提供父类的所有公共方法的实现
我们需要做的就是自己写一个存储文件的类,该类继承于Storage,并重写其中的一些方法。
实现步骤:
1.自定义的存储类必须是django.core.files.storage.Storage的子类:
from django.core.files.sotrage import Storage
class WeedStorage(Storage):
pass
2.存储类必须实现_open()和_save()方法,以及任何适合于你的存储类的其他方法。
from django.core.files.sotrage import Storage
class WeedStorage(Storage):
def _open():
pass
def _save(self, name, content):
'''
保存文件时使用;
name: 文件名,name必须事先通过get_valid_name()和get_available_name()过滤,
content:是一个File对象
返回值:应该返回被保存文件的真实名字(通常是传进来的name,但是如果存储需要修改文件名,则返回新的名称来代替)
'''
pass
def exists(self, name):
'''
如果提供的名称所引用的文件在文件系统中存在,则返回True,否则如果这个名字可以用于新文件,返回False
'''
return False
def url(self):
'''
返回url,通过它可以访问到name所引用的文件,对于不支持url访问的存储系统,抛出NotImplementedError异常
'''
如何让django使用我们定义的storage
django提供了两个便捷的方法来获取当前的存储类,
DefaultStraoge提供了对当前存储系统的延迟访问,类似于DEFAULT_FILE_STORAGE中定义的那样
1 在settings.py 中修改默认的storage对象
settings.py文件添加如下设置
DEFAULT_FILE_STORAGE="自定义storage类位置"