对于EOS, 因为有很高并发需要, 才有了同步到MongoDB的想法, 所幸, EOS对MongoDB支持非常友好, 这确实比ETH强. 为了同步EOS, 前后一两周, 一路踩坑过来, 真是不少问题, 针对这些坑, 做一些总结
服务器选型, 多核心+SSD
EOS到MongoDB同步过程, 对硬盘IO和CPU要求都很高, 至少8核心CPU, 32G以上内存, 本地SSD作为数据盘是比较合适的方案,
可以先按量购买进行测试,瓶颈总是在IO, 然后是CPU, 然后又是IO, 不断切换,直到找到稳定的方法, 这样会更省钱,
你也可以选择SSD云盘, 或者MongoDB云服务, 只要你钱多, 还不怕折腾, 事实上, IO能超过本地SSD硬盘阵列的很少见
另外, 使用中国境外的服务器, 省去很多因为担心国家防火墙的问题, 浪费宝贵的时间
使用EOS离线包, EOS开始并不需要很高的带宽, 5Mbps足以
当前2018/11/14, EOS的数据在200G之内, MongoDB的数据在2T之内,
我们使用CentOS 7.x版本,
设置好数据盘后, 可以创建好mongodb和eos的目录做后续准备
/mnt/mongo/log
/mnt/mongo/data
/mnt/eos
安装和配置MongoDB
MongoDB不要使用EOS默认安装的3.6.3版本, 测试中, 偶尔发现某些指令导致MongoDB服务停止, 然后又得花上一天时间replay
可以在下面网站选择最新的版本下载,
https://www.mongodb.com/download-center/community
3.6.3版本的数据文件和最新版4.0是兼容的, 我们使用的是mongodb-linux-x86_64-rhel70-4.0.4.tgz
cd ~
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.0.4.tgz
tar xvzf ./mongodb-linux-x86_64-rhel70-4.0.4.tgz
配置mongod.conf到/etc/, 实际上任何目录都可以
# mongod.conf
# for documentation of all options, see:
# http://docs.mongodb.org/manual/reference/configuration-options/
# where to write logging data.
systemLog:
destination: file
logAppend: true
path: /mnt/mongo/log/mongod.log
# Where and how to store data.
storage:
dbPath: /mnt/mongo/data
journal:
enabled: true
# engine:
# mmapv1:
# wiredTiger:
# how the process runs
processManagement:
fork: true # fork and run in background
#ipidFilePath: /var/run/mongodb/mongod.pid # location of pidfile
timeZoneInfo: /usr/share/zoneinfo
# network interfaces
net:
port: 27017
bindIp: 127.0.0.1 # Enter 0.0.0.0,:: to bind to all IPv4 and IPv6 addresses or, alternatively, use the net.bindIpAll setting.
#security:
# authorization: enabled
#operationProfiling:
#replication:
#sharding:
## Enterprise-Only Options
#auditLog:
#snmp:
注意, 配置中指定的目录要放到数据盘上, 并且确保目录都已经成功建立
#试试启动MongoDB
/root/mongodb-linux-x86_64-rhel70-4.0.4/bin/mongod -f /etc/mongod.conf
#试试关闭MongoDB
pkill mongod
然后, 你可以配置mongoDB的外网访问权限, 这是个可选项
为了安全, 一定要先配置mongoDB的用户权限, 进入mongo客户端, 执行下面指令, 最后的auth要是1表示成功
/root/mongodb-linux-x86_64-rhel70-4.0.4/bin/mongo
> db.createUser({user:'eos',pwd:'eosfku',roles:[{role:'readWrite',db:'EOS'}]})
>use EOS
>db.auth('eos','eosfku')
> 1
然后修改 /etc/mongod.conf, 打开下面选项
net:
port: 27017
bindIp: 0.0.0.0
security:
authorization: enabled
关闭mongod, 启动mongod,
下载mongo客户端, 例如Robo 3T试一试
编译EOS, 不要浪费时间去用Docker EOS
编译之前, 先要解决mongo_db_plugin的一个问题, 原生的mongo_db_plugin只有一个线程入库, 这会形成瓶颈, 我们稍作修改, 保持原有逻辑, 改为多线程,并追加一个参数mongodb-thread-size来配置线程个数, 修改的多线程版文件在此:
https://github.com/llxisdsh/mongo_db_plugin_mt/blob/master/mongo_db_plugin.cpp
EOS原版文件在此:
https://github.com/EOSIO/eos/blob/master/plugins/mongo_db_plugin/mongo_db_plugin.cpp
cd ~
git clone https://github.com/EOSIO/eos --recursive
#git clone https://github.com/EOS-Mainnet/eos -b mainnet-1.4.3 --recursive
#也可以指定最近的稳定版本tag下载, 下载大概要几分钟
#下载完成后, 记得覆盖修改过的mongo_db_plugin.cpp
cd eos
./eosio_build.sh
#这得经过一个小时, 你至少开始得坐在电脑前, 不断确定Yes
./eosio_install.sh
#它会建立一些EOS程序软连接到 /usr/local/bin. 你可以把该目录加入PATH
配置EOS
需要通过genesis.json初始化config.ini
cd ~
wget https://eosnodes.privex.io/static/genesis.json
或者使用下面文本建立genesis.json也可以:
{
"initial_timestamp": "2018-06-08T08:08:08.888",
"initial_key": "EOS7EarnUhcyYqmdnPon8rm7mBCTnBoot6o7fE2WzjvEX2TdggbL3",
"initial_configuration": {
"max_block_net_usage": 1048576,
"target_block_net_usage_pct": 1000,
"max_transaction_net_usage": 524288,
"base_per_transaction_net_usage": 12,
"net_usage_leeway": 500,
"context_free_discount_net_usage_num": 20,
"context_free_discount_net_usage_den": 100,
"max_block_cpu_usage": 200000,
"target_block_cpu_usage_pct": 1000,
"max_transaction_cpu_usage": 150000,
"min_transaction_cpu_usage": 100,
"max_transaction_lifetime": 3600,
"deferred_trx_expiration_window": 600,
"max_transaction_delay": 3888000,
"max_inline_action_size": 4096,
"max_inline_action_depth": 4,
"max_authority_depth": 6
}
}
然后, 通过下面方式生成初始的config.ini
cd ~
nodeos --genesis-json=genesis.json
CTRL+C
ll .local/share/eosio/nodeos/config/config.ini
配置文件默认生成到
.local/share/eosio/nodeos/config/config.ini
修个这个文件, 配置下面内容:
abi-serializer-max-time-ms = 15000
chain-state-db-size-mb = 4096
http-validate-host = false
#mongodb plugin 队列到达这个尺寸时将sleep, 设置更大是没有意义的
mongodb-queue-size = 4096
#这个参数是mongo_db_plugin多线程版指定的线程数量, 需要小于mongodb-uri 的maxPoolSize参数, 如果是远程DB该参数要更大
mongodb-thread-size = 50
#mongoDB连接url, maxPoolSize的参数是mongodb连接池的限制数量
mongodb-uri = mongodb://127.0.0.1:27017/EOS?maxPoolSize=100
#如果指定了用户权限, 如下
#mongodb-uri = mongodb://eos:eosfku@127.0.0.1:27017/EOS?maxPoolSize=100
#EOS RPC 服务, 可选
http-server-address = 0.0.0.0:8888
plugin = eosio::http_plugin #必要
plugin = eosio::chain_plugin #必要
plugin = eosio::mongo_db_plugin #同步mongodb必要
plugin = eosio::chain_api_plugin #可选
plugin = eosio::history_api_plugin#可选
......
p2p-peer-address = mainnet.eoslaomao.com:443
......
配置这个文件很花时间, 可是一旦配置OK, 你完全可以复制到其他服务器使用
关于p2p-peer-address, 可以使用下面的配置, 以及网上其他来源
正常同步
cd ~
#试试启动
nodeos -d /mnt/eos 2>&1 | tee ./eos.log &
#试试关闭
pkill nodeos
注意, 启动时, 注意指定EOS的数据目录, 后面的参数是为了同时把控制台也写入eos.log文件
这样就方便任何时候使用下面指令跟踪eos日志
tail -f ./eos.log
这种普通同步的方式, 可能需要几周或几个月同步完成~, 直到你必须考虑下面的办法
下载EOS离线包, 会省去几倍的时间
到上面网址中选择最新的离线包, 复制地址
cd /mnt/eos
wget xxxx/blocks_2018-11-12-07-00.tar.gz
tar xvzf blocks_2018-11-12-07-00.tar.gz
replay离线包然后同步
#replay离线包并同步, 并清空mongodb
nodeos -d /mnt/eos --hard-replay-blockchain --wasm-runtime wavm --mongodb-wipe 2>&1 | tee ./eos.log &
#出现问题中断时, replay离线包并同步, 保留部分DB数据, 从指定块写入
nodeos -d /mnt/eos --hard-replay-blockchain --wasm-runtime wavm --mongodb-block-start 1234567 2>&1 | tee ./eos.log &
--hard-replay-blockchain参数是尽量replay模式, 离线部分完成,会自动跟上常规同步
--wasm-runtime wavm 参数是指定EOS虚拟机模式, 据说这样更快一点,
--mongodb-wipe 参数是清空mongodb, 需要配合--hard-replay-blockchain使用
--mongodb-block-start 参数是指跳过之前的块, 从指定块以后写入
参数详解参照:
https://developers.eos.io/eosio-nodeos/docs/
你可以通过下面指令观察恢复状态, 或者通过查询mongodb查看块数
#追踪nodeos日志
tail -f ./eos.log
#mongo查询
db.runCommand({"find":"blocks", "sort":{"block_num": -1}, "limit":1, "projection":{"block_num":1, "block.timestamp":1, "block_id":1},})
即便这样, 你仍然需要等待几天或更长时间, 这完全取决于服务器的CPU和IO能力
离线数据replay完成后, 完全可以更换到用普通云盘的服务器.
如果需要更换, 你可以使用scp在服务器之间复制, 记得用内网IP呦
scp -r root@xxx.xxx.xxx.xxx:/mnt/eos/blocks /mnt/eos
事实上, 你应该会用到3次以上;(======
中断容易产生数据重复
在磕磕绊绊走到最后发现, 每次中断, 使用--mongodb-block-start 指令之后, 都有部分数据是重复的, 因为怕丢总会往小了写, 可悲的是mongodb插件竟然不建立唯一索引, 所以就重复了. 原则上通过修改插件代码是可行的, 留待需要人修改吧.
解决超过2T硬盘的分区
fdisk不能超过2T的分区, 如果很不幸, 你已经scp了大量数据后才发现, 原来磁盘只分配了2T,还有大量的扇区没有被使用, 下面办法可以数据无损扩充分区:
1. fdisk -l 分区的记住起始的扇区, 假设是2048
2. umount /dev/vdb1
3. fsck -f /dev/vdb1
4. parted /dev/vdb
(parted) mklabel gpt
(parted) unit s
(parted) mkpart ...
(parted) start 2048
(parted) end -1
5. resize2fs /dev/vdb1
6. mount -a
虽然我很不看好EOS, 但是EOS的更新仍然日新月异, 本文预计很快就会失效, 希望有人借此提供EOS MongoDB 离线下载包
当前EOS版本v1.4.3, mongodDB版本4.0.4
