分布式存储MFS构建

构建环境：

mfs-master 192.168.1.170

mfs-matedata 192.168.1.171

mfs-chunkserver 192.168.1.172

mfs-chunkserver 192.168.1.173

mfs-chunkserver 192.168.1.174

mfs-client 192.168.1.175

1、mfs-master配置

[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel -y

[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

[root@localhost ~]#cd moosefs-3.0.115/

[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

[root@localhost moosefs-3.0.115]#make -j 4 && make install

[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

[root@localhost ~]# cd /usr/local/mfs/etc/mfs/

2、启动master节点配置文件

[root@localhost mfs]# cp -a mfsmaster.cfg.sample mfsmaster.cfg #启动master节点配置文件

[root@localhost mfs]# vim mfsmaster.cfg #不用更改配置文件，默认即可

3、主配置配置文件说明解释：

WORKING_USER = mfs

WORKING_GROUP = mfs

SYSLOG_IDENT = mfsmaster #在 syslog 中的表示，说明这是 mfsmaster 产生的

LOCK_MEMORY = 0 # 是否执行 mlockall()以避免 mfsmaster 内存溢出（默认为 0）

NICE_LEVEL = -19 # 运行的优先级（默认-19，注意，这进程必须是 root 启动）

DATA_PATH = /usr/local/mfs/var/mfs #数据存放路径，该目录下有三大类文件

changelog,sessions,stats

EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg #被挂载目录以及其权限控制文件的存放位置

BACK_LOGS = 50 #元数据的改变日志文件数量（默认是 50）

MATOML_LISTEN_HOST = * # 元数据日志服务器监听的 IP 地址（默认是*，代表任何 IP）

MATOML_LISTEN_PORT = 9419 # 元数据日志服务器监听的端口地址，默认是 9419

MATOCS_LISTEN_HOST = * # 用于存储服务器（Chunk Server）连接的 IP 地址

MATOCS_LISTEN_PORT = 9420 # 是存储服务器（Chunk server）连接的端口地址

REPLICATIONS_DELAY_INIT = 300 # 延迟复制的时间（默认是 300）

CHUNKS_LOOP_MIN_TIME = 300 # chunks 的回环率

CHUNKS_SOFT_DEL_LIMIT = 10

CHUNKS_WRITE_REP_LIMIT = 2,1,1,4 在一个循环里复制到一个 CHUNK Server 的最大chunks

CHUNKS_READ_REP_LIMIT = 10,5,2,5

MATOCL_LISTEN_PORT = 9421

4、设置MFS 挂载权限

[root@localhost mfs]#cp -a mfsexports.cfg.sample mfsexports.cfg # 设置 MFS 挂载权限

[root@localhost mfs]# vim mfsexports.cfg

192.168.1.0/24 . rw,alldirs,maproot=0 #最后一行插入，.表示/文件系统，rw表示读写，alldirs任何目录允许挂载，maproot登录root权限

5、拷贝MFS元数据信息文件（初始）

[root@localhost ~]# cd /usr/local/mfs/var/mfs/

[root@localhost mfs]# cp metadata.mfs.empty metadata.mfs

[root@localhost mfs]# mfsmaster start # 启动 MFS-Master 服务

[root@localhost mfs]# netstat -anutp

Active Internet connections (servers and established)

Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name

tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 4694/mfsmaster

tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN 4694/mfsmaster

tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN 4694/mfsmaster

[root@localhost mfs]# pwd

/usr/local/mfs/var/mfs

[root@localhost mfs]# ls

changelog.0.mfs metadata.mfs.back metadata.mfs.empty #metadata.mfs.back完整备份，changelog.0.mfs增量备份

[root@localhost mfs]# mfscgiserv #开启web监控页面http://192.168.1.170:9425/

1、mfs-matedata配置

[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel –y

[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

[root@localhost ~]#cd moosefs-3.0.115/

[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

[root@localhost moosefs-3.0.115]#make -j 4 && make install

[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

[root@localhost ~]# cd /usr/local/mfs/etc/mfs/

2、MFS元数据服务配置文件

[root@localhost ~]cp mfsmetalogger.cfg.sample mfsmetalogger.cfg # 拷贝 MFS元数据服务配置文件

[root@localhost ~]vim mfsmetalogger.cfg

39 META_DOWNLOAD_FREQ = 2 # 设置完整同步间隔为 2 小时

52 MASTER_HOST = 192.168.1.170 # 设置 MFS-Master 服务器 IP 地址

[root@localhost ~]mfsmetalogger start # 启动 MFS-Logger 服务

[root@localhost mfs]# netstat -anutp | grep 9419

tcp 0 0 192.168.1.250:60132 192.168.1.170:9419 ESTABLISHED 10490/mfsmetalogger

[root@localhost mfs]# cd /usr/local/mfs/var/mfs/ #同步master元数据信息

1、mfs-chunkserver配置

1)添加硬盘并分区

[root@localhost ~]# fdisk /dev/sdb

[root@localhost ~]# mkfs.ext4 /dev/sdb1 #格式化分区

[root@localhost ~]# mkdir /mfs #创建挂载点

[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

[root@localhost mfs]# chown -R mfs.mfs /mfs

[root@localhost ~]# mount /dev/sdb1 /mfs

[root@localhost mfs]# chown -R mfs.mfs /mfs

2）mfs-chunkserver配置

[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel -y

[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

[root@localhost ~]#cd moosefs-3.0.115/

[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

[root@localhost moosefs-3.0.115]#make -j 4 && make install

[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*

[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*

[root@localhost ~]# cd /usr/local/mfs/etc/mfs/

2、拷贝Chunkserver配置文件

[root@localhost mfs]# cp mfschunkserver.cfg.sample mfschunkserver.cfg # 拷贝 Chunkserver 配置文件

[root@localhost mfs]# vim mfschunkserver.cfg

33 # HDD_CONF_FILENAME = /usr/local/mfs/etc/mfs/mfshdd.cfg #指定提供存储的配置文件位置

90 MASTER_HOST = 192.168.1.170 #指定 MFS-Master 服务器地址

93 MASTER_PORT = 9420 #指定 MFS-Master 服务器端口

[root@localhost mfs]# cp -a mfshdd.cfg.sample mfshdd.cfg

[root@localhost mfs]#vim /usr/local/mfs/etc/mfs/mfshdd.cfg # 修改 MFS 服务 HDD 路径

/mfs #最后一行插入挂在点

[root@localhost mfs]mfschunkserver start # 启动 MFSChunkserver

[root@localhost mfs]# netstat -anutp | grep 9422

tcp 0 0 0.0.0.0:9422 0.0.0.0:* LISTEN 6385/mfschunkserver

http://192.168.1.170:9425/查看mfs-chunkserver磁盘信息

mfs-client配置

[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel –y

[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz

[root@localhost ~]#cd moosefs-3.0.115/

[root@localhost ~]./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs--disable-mfsmaster --disable-mfschunkserver

[root@localhost ~]make && make install

[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户

[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/

[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/

[root@localhost moosefs-3.0.115]mkdir /mnt/mfsclient #创建挂载点

[root@localhost moosefs-3.0.115]mfsmount /mnt/mfsclient/ -H 192.168.1.170 #挂载

[root@localhost mfsclient]cd /mnt/mfsclient

[root@localhost mfsclient]touch a.txt

[root@localhost mfsclient]mfsfileinfo a.txt

a.txt:

chunk 0: 0000000000000002_00000001 / (id:2 ver:1)

copy 1: 192.168.1.189:9422 (status:VALID) #数据存放信息

1）mfs-client误删除处理，垃圾回收站机制

[root@localhost back]# mkdir /back

[root@localhost back]# cd /back

[root@localhost back]# mfsmount -m /back -H 192.168.1.170

[root@localhost back]# cd trash

[root@localhost trash]# yum install tree -y

[root@localhost trash]# tree . >> /root/a.txt #tree . 定位删除文件目录 /root/a.txt

[root@localhost trash]# mv 007/00000007\|a.txt /back/trash/undel/

mfsgettrashtime 64800 /mnt/mfs/a.txt 设置保存时间

mfssettrashtime 64800 /mnt/mfs/a.txt 设置保存时间

2）快照功能

mkdir /back

chown mfs.mfs /back

mfsmakesnapshot a.txt /back

cd bb/

3）mfs-client冗余 goal 设置

mfssetgoal 3 /mnt/mfs/test1

mfssetgoal /mnt/mfs/test1

mfsfileinfo /mnt/mfs/test1

4）mfs-matedata还原master

[root@localhost ~]# cd /usr/local/mfs/var/mfs/

[root@localhost ~]# rm -rf * #删除master元数据信息

scp /usr/local/mfs/var/mfs/* root@192.168.1.171:/usr/local/mfs/var/mfs/ #mfs-matedata元数据信息拷贝到mfs-master

mfsmaster -a

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,919评论 6赞 502
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,567评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 163,316评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,294评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,318评论 6赞 390
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,245评论 1赞 299
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,120评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,964评论 0赞 275
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,376评论 1赞 313
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,592评论 2赞 333
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,764评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,460评论 5赞 344
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,070评论 3赞 327
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,697评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,846评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,819评论 2赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,665评论 2赞 354

分布式存储MFS构建

推荐阅读更多精彩内容