前景:
由于某些情况,我们必须修改oplog size来增大同步窗口期,例如业务的快速增长,延迟节点无法跟上Primary节点的oplog增长速度;由于MongoDB在3.6版本后才对oplogSize支持了动态修改,但有很多生成环境使用的MongoDB版本小于3.6,至此记录修改oplogsize的步骤。
查询oplogsize大小命令:
repset:PRIMARY> db.getReplicationInfo() #查看 oplog 的状态,输出信息包括 oplog 日志大小,操作日志记录的起始时间
repset:PRIMARY> db.printReplicationInfo() #查看oplog的状态、总大小、使用大小、存储的时间范围、记录时长。
repset:PRIMARY> db.oplog.rs.stats().maxSize #显示当前的oplog大小 maxSize
repset:PRIMARY> db.getReplicationInfo() { "logSizeMB" : 1755.03173828125, "usedMB" : 0.84, "timeDiff" : 861042, "timeDiffHours" : 239.18, "tFirst" : "Mon Jun 24 2019 16:18:20 GMT+0800 (CST)", "tLast" : "Thu Jul 04 2019 15:29:02 GMT+0800 (CST)", "now" : "Thu Jul 04 2019 15:29:06 GMT+0800 (CST)" } repset:PRIMARY> db.printReplicationInfo() configured oplog size: 1755.03173828125MB log length start to end: 861132secs (239.2hrs) oplog first event time: Mon Jun 24 2019 16:18:20 GMT+0800 (CST) oplog last event time: Thu Jul 04 2019 15:30:32 GMT+0800 (CST) now: Thu Jul 04 2019 15:30:36 GMT+0800 (CST)
一、修改MongoDB3.6版本以上的oplog
3.6版本后支持的动态扩容方法
1、修改之前oplogsize的大小:
repset:PRIMARY> db.getReplicationInfo() { "logSizeMB" : 1755.03173828125, #大小为1.8G "usedMB" : 0.83, "timeDiff" : 860512, "timeDiffHours" : 239.03, "tFirst" : "Mon Jun 24 2019 16:18:20 GMT+0800 (CST)", "tLast" : "Thu Jul 04 2019 15:20:12 GMT+0800 (CST)", "now" : "Thu Jul 04 2019 15:20:15 GMT+0800 (CST)" }
登录到mongo shell后查看oplog.rs集合大小
repset:PRIMARY> use local switched to db local repset:PRIMARY> db.oplog.rs.stats().maxSize NumberLong(1840284160) #单位为bytes,即1.8G
2、通过管理命令修改
repset:PRIMARY> use local switched to db local repset:PRIMARY> db.adminCommand({replSetResizeOplog:1,size:4096}) #单位为MB,扩容至4G { "ok" : 1, "operationTime" : Timestamp(1562225042, 1), "$clusterTime" : { "clusterTime" : Timestamp(1562225042, 1), "signature" : { "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="), "keyId" : NumberLong(0) } } }
3、验证是否成功
repset:PRIMARY> db.oplog.rs.stats().maxSize NumberLong("4294967296")
至此,Mongodb的oplogsize动态扩展成功。
注意:
更改给定副本集成员 replSetResizeOplog
的oplog大小不会更改副本集中任何其他成员的oplog大小。必须replSetResizeOplog
在群集中的每个副本集成员上运行 ,以更改所有成员的oplog大小。
减小OPLOG大小并不能自动收回磁盘空间。您必须compact
针对数据库中的 oplog.rs
集合运行local
。compact
阻止它运行的数据库上的所有操作。运行compact
针对oplog.rs
因此防止OPLOG同步。有关调整oplog和压缩大小的过程 oplog.rs
,请参阅更改Oplog的大小。
二、修改MongoDB3.6版本以下的oplog
需求: Oplog扩容,尽量少的影响业务
思路:先由从节点开始,一台一台的从复制集中剥离,修改,再回归复制集,最后操作主节点来减少业务影响时间。
流程:先关闭一个从节点,去掉–replSet启动参数,更换启动端口–port,将节点以单机模式启动。
备份:备份现有的oplog
详细过程:
1、关闭从节点
[root@iZ2ze6rm1auwacy4tk6ucaZ ~]# ps -ef|grep mongo root 28527 1 0 14:46 ? 00:00:17 mongod -f /etc/mongod1.conf root 28605 1 0 14:46 ? 00:00:18 mongod -f /etc/mongod2.conf root 28686 1 0 14:46 ? 00:00:12 mongod -f /etc/mongod3.conf root 30794 28282 0 15:50 pts/0 00:00:00 grep mongo [root@iZ2ze6rm1auwacy4tk6ucaZ ~]# mongod --shutdown -f /etc/mongod2.conf killing process with pid: 28605
2、修改从节点配置文件,
注释副本集配置参数并修改端口,及单击模式启动
[root@iZ2ze6rm1auwacy4tk6ucaZ ~]# mongod -f /etc/mongod2.conf about to fork child process, waiting until server is ready for connections. forked process: 30940 child process started successfully, parent exiting
3、备份节点oplog记录
[root@iZ2ze6rm1auwacy4tk6ucaZ ~]# mongodump -h 172.17.136.124:27021 -d local -c oplog.rs -o /root/oplog 2019-07-04T15:59:01.603+0800 writing local.oplog.rs to 2019-07-04T15:59:01.630+0800 done dumping local.oplog.rs (8069 documents)
4、进入mongo,将现在的oplog中最新的位置复制到tmp表(local数据库)中:
> use local switched to db local > db.temp.save( db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() ) WriteResult({ "nInserted" : 1 }) > db.temp.find() #验证记录是否存在 { "_id" : ObjectId("5d1db2646bebcb3f6483cce3"), "ts" : Timestamp(1562226683, 1), "h" : NumberLong("2207544736706975504") }
5、删除原有oplog集合
> db.oplog.rs.drop() true
6、创建新的oplog集合,为4G
> db.runCommand({create:"oplog.rs",capped:true,size:(4*1024*1024*1024)}) { "ok" : 1 } #创建成功
7、将tmp中的数据存储到新的oplog中,并验证
> db.oplog.rs.save( db.temp.findOne() ) WriteResult({ "nMatched" : 0, "nUpserted" : 1, "nModified" : 0, "_id" : ObjectId("5d1db2646bebcb3f6483cce3") }) > db.oplog.rs.find() #验证 { "_id" : ObjectId("5d1db2646bebcb3f6483cce3"), "ts" : Timestamp(1562226683, 1), "h" : NumberLong("2207544736706975504") }
8、关闭从节点,并恢复原有config配置,并在config中设置oplogSize为你之前设置的大小,并启动。
关闭从节点
[root@iZ2ze6rm1auwacy4tk6ucaZ ~]# mongod --shutdown -f /etc/mongod2.conf killing process with pid: 30940
恢复原有配置文件时,要注意oplogSizeMB参数值的修改,修改为扩容后的值
#配置文件中指定oplog大小
replication: oplogSizeMB: 4096 replSetName: repset
重新启动从节点
[root@iZ2ze6rm1auwacy4tk6ucaZ ~]# mongod -f /etc/mongod2.conf about to fork child process, waiting until server is ready for connections. forked process: 31702 child process started successfully, parent exiting
9、登陆mongoshell检查节点状态及oplog大小
[root@iZ2ze6rm1auwacy4tk6ucaZ ~]# mongo 172.17.136.124:27018
repset:SECONDARY> db.getReplicationInfo() { "logSizeMB" : 4096, "usedMB" : 0.01, "timeDiff" : 0, "timeDiffHours" : 0, "tFirst" : "Thu Jul 04 2019 15:51:23 GMT+0800 (CST)", "tLast" : "Thu Jul 04 2019 15:51:23 GMT+0800 (CST)", "now" : "Thu Jul 04 2019 16:20:43 GMT+0800 (CST)" }
至此,oplog大小修改完毕,依次修改其他节点,修改主节点是可先降级或直接关闭主节点
Primary>rs.stepDown() ---可以更有效的产生选举
补充:
1、若是在启动副本集是指定了oplogsize大小。在动态扩容后,oplog.rs集合大小已发生变化,但配置文件中最初指定的oplogsize大小不变,并且重启后依旧不变,但是oplogsize依旧是扩容之后的大小。
2、如果减小oplogsize的大小,可能会造成oplog记录丢失,导致节点异常,故不可减小。
参考文档:
https://docs.mongodb.com/manual/reference/command/replSetResizeOplog/#dbcmd.replSetResizeOplog #oplog动态扩容相关文档
https://docs.mongodb.com/manual/core/replica-set-oplog/#oplog #oplog及副本集相关文档
原文:https://www.cnblogs.com/wusy/p/11132795.html