Mongodb的复制功能：

两种类型：
    master/slave：
    replica set(复制集，副本集)：服务于同一数据集的多个mongodb实例
        主节点将数据修改操作保存至oplog中，类似mysql的中继日志，集群三个节点，
        arbiter：仲裁者，集群心跳每2s一次，自动实现转移(通过选举方式实现)

    复制集中特殊类型节点：
        0优先级的节点：冷备节点，不会被选举成为主节点，但可以参与选举，使用场景：异地备份节点
        被隐藏的从节点：(提前是0优先级节点)，且对客户端不可见
        延迟复制的从节点：首先是一个0优先级的从节点，且复制时间落后于主节点一个固定时长
        arbiter:仲裁节点
    # 复制集群成员属性：都可以在cfg=rs.conf()配置中定义
        arbiterOnly:true
        priority:[0-1000]
        hidden:true
        buildIndexes:<bool>
        tags:{loc1:desc1,....}
        slaveDelay:<n>  #秒为单位
        votes:0代表阻止在选举中主动投票，但是可以否决投票

Mongodb的复制架构：

oplog:默认是在初始mongodb中的local数据库中
oplog:默认是在初始mongodb中的local数据库中，大小固定的文件
    新增节点到集群：执行步骤
    1、初始同步(initial sync)
    2、回滚后追赶(post-rollback catch-up)
    3、切分块迁移(sharding chunk migrations)
local：存储副本集的元数据信息和oplog,用户存储oplog的是一个名为oplog.rs的collection,
    oplog.rs的大小依赖于os及文件系统，但可以自定义其大小，--oplogSize

Mongo的数据同步类型：

初始同步
    节点没有任何数据时
    节点丢失副本复制历史
复制
    
    初始同步的步骤：
        1、克隆所有数据库的所有collection
        2、应用数据集的所有改变：复制oplog,并应用至本地
        3、为所有的collection构建索引

主从复制选项：

--only:在从节点指定只复制特定某个数据库(默认复制所有数据库)
--slavedelay:用在从节点上，当应用主节点的操作时增加延迟，(单位是秒，)，延迟从节点
--fastsync:以主节点的数据快照为基础启动从节点，如果数据目录一开始是主节点的数据快照，从节点用这个选项启动要比做完整同步快的多
--autoresync:如果主从节点不同不了，重新启动同步检查
--oplogSize:主节点oplog的大小(单位是MB)

复制配置选项：
--replSet NAME 
--replIndexPrefetch {none|_id_only|all}    预取索引

副本集的重新选举的影响条件：
    心跳信息
    优先级
    optime：更新数据的时间戳，不能落后于其他节点
    网络连接：票数多过一半
    网络分区：

选举机制：

触发选举的时间：
    新副本集初始化时
    从节点联系不到主节点时
    主节点“下台”时
        主节点收到stepDown()命令时
        某从节点有更高的优先级，且已经满足成主节点其它所有条件

mon复制实验三节点:

192.168.2.147 node4
192.168.2.33  node3
192.168.3.6  node2

# ntpdate cn.ntp.org.cn
# scp *.rpm root@node3:/data/pkg
# scp *.rpm root@node4:/data/pkg
# yum install -y *.rpm
# mkdir -pv /data/mongodb
# chown -R mongod.mongod /data/mongodb
# vim /etc/mongod.conf
#    dbpath=/data/mongodb
#    #bind_ip=127.0.0.1
#    replSet=mymongo
# scp /etc/mongod.conf root@node3:/etc/mongod.conf
# scp /etc/mongod.conf root@node4:/etc/mongod.conf
# service mongod start

# 此时复制集群中的节点都已成功启动，但是复制集群还没有建立和添加集群节点
# 选取一个节点登陆

# rs.status()检查复制集群状态
> rs.status()
{
    "startupStatus" : 3,
    "info" : "run rs.initiate(...) if not yet done for the set",
    "ok" : 0,
    "errmsg" : "can't get local.system.replset config from self or any seed (EMPTYCONFIG)"
}
# 初始化复制集群
> rs.initiate()
{
    "info2" : "no configuration explicitly specified -- making one",
    "me" : "node2:27017",
    "info" : "Config now saved locally.  Should come online in about a minute.",
    "ok" : 1
}
# 之后此节点，操作提示符转换成：mymongo:PRIMARY>
# 添加复制集群中的其他节点：
mymongo:PRIMARY> rs.add("192.168.2.147:27017")
{ "ok" : 1 }
mymongo:PRIMARY> rs.add("192.168.2.33:27017")
{ "ok" : 1 }
# 在次检查复制集群状态
mymongo:PRIMARY> rs.status()
{
    "set" : "mymongo",
    "date" : ISODate("2017-05-23T16:22:29Z"),
    "myState" : 1,
    "members" : [
        {
            "_id" : 0,
            "name" : "node2:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 1088,
            "optime" : Timestamp(1495556519, 1),
            "optimeDate" : ISODate("2017-05-23T16:21:59Z"),
            "electionTime" : Timestamp(1495555526, 1),
            "electionDate" : ISODate("2017-05-23T16:05:26Z"),
            "self" : true
        },
        {
            "_id" : 1,
            "name" : "192.168.2.147:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 35,
            "optime" : Timestamp(1495556519, 1),
            "optimeDate" : ISODate("2017-05-23T16:21:59Z"),
            "lastHeartbeat" : ISODate("2017-05-23T16:22:28Z"),
            "lastHeartbeatRecv" : ISODate("2017-05-23T16:22:29Z"),
            "pingMs" : 3,
            "syncingTo" : "node2:27017"
        },
        {
            "_id" : 2,
            "name" : "192.168.2.33:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 30,
            "optime" : Timestamp(1495556519, 1),
            "optimeDate" : ISODate("2017-05-23T16:21:59Z"),
            "lastHeartbeat" : ISODate("2017-05-23T16:22:29Z"),
            "lastHeartbeatRecv" : ISODate("2017-05-23T16:22:28Z"),
            "pingMs" : 0,
            "syncingTo" : "node2:27017"
        }
    ],
    "ok" : 1
}

# 主节点插入数据
mymongo:PRIMARY> use testdb;
mymongo:PRIMARY> for(i=1;i<=100;i++) db.testcoll.insert({name:"user"+i,age:i,book:["book"+i,"apple"]})
WriteResult({ "nInserted" : 1 })
# 从节点检查数据，从节点只能读，不能写，在查询数据之前，需要手动设置slaveOk状态。
mymongo:SECONDARY> rs.slaveOk()
mymongo:SECONDARY> db.testcoll.findOne()
{
    "_id" : ObjectId("592462540c61503feddc0103"),
    "name" : "user1",
    "age" : 1,
    "book" : [
        "book1",
        "apple"
    ]
}
# 测试关闭主节点，mongodb的复制集群会自动进行切换
# 在此检查复制集群状态。
mymongo:SECONDARY> rs.status()
{
    "set" : "mymongo",
    "date" : ISODate("2017-05-23T16:30:36Z"),
    "myState" : 2,
    "syncingTo" : "192.168.2.147:27017",
    "members" : [
        {
            "_id" : 0,
            "name" : "node2:27017",
            "health" : 0,
            "state" : 8,
            "stateStr" : "(not reachable/healthy)", # 之前主节点，健康检测不通过
            "uptime" : 0,
            "optime" : Timestamp(1495556693, 6),
            "optimeDate" : ISODate("2017-05-23T16:24:53Z"),
            "lastHeartbeat" : ISODate("2017-05-23T16:30:35Z"),
            "lastHeartbeatRecv" : ISODate("2017-05-23T16:30:13Z"),
            "pingMs" : 0
        },
        {
            "_id" : 1,
            "name" : "192.168.2.147:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",         #node4成为主节点
            "uptime" : 516,
            "optime" : Timestamp(1495556693, 6),
            "optimeDate" : ISODate("2017-05-23T16:24:53Z"),
            "lastHeartbeat" : ISODate("2017-05-23T16:30:34Z"),
            "lastHeartbeatRecv" : ISODate("2017-05-23T16:30:35Z"),
            "pingMs" : 0,
            "electionTime" : Timestamp(1495556989, 1),
            "electionDate" : ISODate("2017-05-23T16:29:49Z")
        },
        {
            "_id" : 2,
            "name" : "192.168.2.33:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 1565,
            "optime" : Timestamp(1495556693, 6),
            "optimeDate" : ISODate("2017-05-23T16:24:53Z"),
            "infoMessage" : "syncing to: 192.168.2.147:27017",
            "self" : true
        }
    ],
    "ok" : 1
}
# 恢复之前的主节点为从节点，将mongodb的服务启动
mymongo:SECONDARY> db.isMaster()
{
    "setName" : "mymongo",
    "setVersion" : 3,
    "ismaster" : false,
    "secondary" : true,
    "hosts" : [
        "192.168.2.33:27017",
        "192.168.2.147:27017",
        "node2:27017"
    ],
    "primary" : "192.168.2.147:27017",      #master依然是node4
    "me" : "192.168.2.33:27017",
    "maxBsonObjectSize" : 16777216,
    "maxMessageSizeBytes" : 48000000,
    "maxWriteBatchSize" : 1000,
    "localTime" : ISODate("2017-05-23T16:32:33.600Z"),
    "maxWireVersion" : 2,
    "minWireVersion" : 0,
    "ok" : 1
}
# 不存在抢占，是否优先级一样呢。
# 调整mongodb节点优先级，以配置文件的方式，只能在当前复制集群的master节点。
mymongo:PRIMARY> cfg=rs.conf()
{
    "_id" : "mymongo",
    "version" : 3,
    "members" : [
        {
            "_id" : 0,
            "host" : "node2:27017"
        },
        {
            "_id" : 1,
            "host" : "192.168.2.147:27017"
        },
        {
            "_id" : 2,
            "host" : "192.168.2.33:27017"
        }
    ]
}
mymongo:PRIMARY> cfg.members[0].priority=2      # 设置node2节点的优先级为2
2
mymongo:PRIMARY> rs.reconfig(cfg)               # 重新应用配置，立马发生主从切换
2017-05-24T00:36:57.911+0800 DBClientCursor::init call() failed
2017-05-24T00:36:57.916+0800 trying reconnect to 127.0.0.1:27017 (127.0.0.1) failed
2017-05-24T00:36:57.919+0800 reconnect 127.0.0.1:27017 (127.0.0.1) ok
2017-05-24T00:36:57.923+0800 DBClientCursor::init call() failed
2017-05-24T00:36:57.926+0800 Error: error doing query: failed at src/mongo/shell/query.js:81
2017-05-24T00:36:57.929+0800 trying reconnect to 127.0.0.1:27017 (127.0.0.1) failed
2017-05-24T00:36:57.933+0800 reconnect 127.0.0.1:27017 (127.0.0.1) ok
mymongo:SECONDARY>      # 提示符显示当前节点为复制集群的从节点

oplog

mongodb的复制集群，生成的oplog存储在默认的local数据库中，oplog.rs
use local
mymongo:PRIMARY> show collections
me
oplog.rs
replset.minvalid
slaves
startup_log
system.indexes
system.replset
mymongo:PRIMARY> db.oplog.rs.findOne()
{
    "ts" : Timestamp(1495555525, 1),
    "h" : NumberLong(0),
    "v" : 2,
    "op" : "n",
    "ns" : "",
    "o" : {
        "msg" : "initiating set"
    }
}
# ts:操作时间戳
# op:表示操作类型，insert,update,delete，这里是初始化复制集群
# ns:操作集合的名称
# o:表示document内容，初始化复制集群

-----查看oplog元数据信息-----
mymongo:PRIMARY> db.printReplicationInfo()
configured oplog size:   2311.57470703125MB
log length start to end: 1892secs (0.53hrs)
oplog first event time:  Wed May 24 2017 00:05:25 GMT+0800 (CST)
oplog last event time:   Wed May 24 2017 00:36:57 GMT+0800 (CST)
now:                     Wed May 24 2017 09:25:52 GMT+0800 (CST)
# configured oplog size:oplog的大小
# log length start to end:oplog日志启用时间段
# oplog first event time:第一个事务日志产生的时间
# oplog last event time:最后一个事务日志产生的时间
# now:现在的时间

-----查看slave同步oplog的状态信息-----
mymongo:PRIMARY> db.printSlaveReplicationInfo()
source: 192.168.2.147:27017
    syncedTo: Wed May 24 2017 00:36:57 GMT+0800 (CST)
    0 secs (0 hrs) behind the primary 
source: 192.168.2.33:27017
    syncedTo: Wed May 24 2017 00:36:57 GMT+0800 (CST)
    0 secs (0 hrs) behind the primary
# source:从库的ip与端口信息
# syncedTo:延迟同步多久等时间信息
-----复制集群节点配置信息查看-----
mymongo:PRIMARY> db.system.replset.findOne()
{
    "_id" : "mymongo",
    "version" : 4,
    "members" : [
        {
            "_id" : 0,
            "host" : "node2:27017",
            "priority" : 2
        },
        {
            "_id" : 1,
            "host" : "192.168.2.147:27017"
        },
        {
            "_id" : 2,
            "host" : "192.168.2.33:27017"
        }
    ]
}

复制集群节点的增删

增加复制集群节点：，
1、通过oplog方式 (oplog是滚动方式存储，以前的数据不存在，所以恢复的数据可能不完整)
2、通过数据库快照+oplog进行
3、新节点从0开始复制数据(这种类型只需要rs.add即可)
#####
安装好mongodb软件，设置好配置文件，
scp -r /data/mongodb/{dbname}.* root@192.168.1.154:/data/mongodb
# 这里拷贝数据库文件，只需要拷贝需要复制的数据库的DB文件，系统默认的local数据库文件无需拷贝
new node1:
chown -R mongod.mongod /data/mongodb
service mongod start
# 在replset复制集群的primary上添加集群节点：
rs.add("192.168.1.154:27017")
# 新的复制节点,rs.status()可以看到secondary状态。

删除集群复制节点：
rs.remove("192.168.1.154")

# 多次操作集群节点的添加与删除，记录信息在local数据库中
use local
db.slaves.find()
# 将主节点降级为从节点，暂时将主节点降级为从节点
# rs.setpDown(N)    #N单位为秒
# 锁定指定节点在指定时间内不能成为主节点，(阻止选举)
# rs.freeze(N)      #N单位为秒
# rs.freeze(0)      #释放阻止

mongodb复制集群：

1、一主多从，主节点才可以读写，从节点只能读，且需要开启slaveOk
2、从节点复制主节点依靠的是主节点的oplog日志文件，异步方式，中间存在数据不一致，但最终实现一致
3、主节点的oplog日志文件是固定大小，，是覆盖写入oplog（新的日志会覆盖之前最老的日志信息）,需呀将oplog设置比较大
4、主从节点，优先级高的是会进行抢占。
5、重新运用配置文件，是实时生效。
6、主从节点，primary与secondary角色是试试转换。
7、oplog只记录数据库改变的操作，在写入到oplog之前，会先做等幂转换
8、64位的操作系统，oplog的大小为该磁盘分区的5%