首页 > 数据库技术 > 详细

MongoDB复制集和分片

时间:2021-04-25 23:32:02      阅读:29      评论:0      收藏:0      [点我收藏+]

5、用户管理 *****

注意:
验证库,建立用户时use到的库,在使用用户时,要加上验证库才能登陆。
对于管理员用户,必须在admin下创建.

1. 建用户时,use到的库,就是此用户的验证库
2. 登录时,必须明确指定验证库才能登录
3. 通常,管理员用的验证库是admin,普通用户的验证库一般是所管理的库设置为验证库
4. 如果直接登录到数据库,不进行use,默认的验证库是test,不是我们生产建议的.

用户管理例子:

基本语法说明:
user:用户名
pwd:密码
roles:
role:角色名
db:作用对象
role:root, readWrite,read  权限

-- 1. 创建超级管理员:管理所有数据库(必须use admin再去创建) *****

mongo
use admin
db.createUser(
{
user: "root",
pwd: "root123",
roles: [ { role: "root", db: "admin" } ]
}
)

验证用户
db.auth(root,root123)

库和用户验证 配置文件中,加入以下配置
security:
authorization: enabled
重启mongodb

登录验证
mongo -uroot -proot123 admin
mongo -uroot -proot123 10.0.0.51/admin

-- 3、创建对app数据库,读、写权限的用户app01 *****

1)超级管理员用户登陆
mongo -uroot -proot123 admin

(2)选择一个验证库
use app

(3)创建用户
db.createUser(
{
user: "app01",
pwd: "app01",
roles: [ { role: "readWrite" , db: "app" } ]
}
)

mongo -uapp01 -papp01 10.0.0.53/app

-- 4、创建app数据库读写权限的用户并对test数据库具有读权限:
mongo -uroot -proot123 10.0.0.51/admin
use app
db.createUser(
{
user: "app03",
pwd: "app03",
roles: [ { role: "readWrite", db: "app" },
{ role: "read", db: "test" }]})


-- 5、查询mongodb中的用户信息
mongo -uroot -proot123 10.0.0.53/admin
db.system.users.find().pretty()

-- 6、删除用户(root身份登录,use到验证库)

删除用户
mongo -uroot -proot123 10.0.0.51/admin
use app
db.dropUser("app01")

 


6. MongoDB复制集RS(ReplicationSet)******

6.1 基本原理
基本构成是1主2从的结构,自带互相监控投票机制(Raft(MongoDB) Paxos(mysql MGR 用的是变种))
如果发生主库宕机,复制集内部会进行投票选举,选择一个新的主库替代原有主库对外提供服务。同时复制集会自动通知
客户端程序,主库已经发生切换了。应用就会连接到新的主库。
6.2 Replication Set配置过程详解
6.2.1 规划
三个以上的mongodb节点(或多实例)
6.2.2 环境准备
多个端口:
28017、28018、28019、28020

多套目录:
su - mongod
mkdir -p /mongodb/28017/conf /mongodb/28017/data /mongodb/28017/log
mkdir -p /mongodb/28018/conf /mongodb/28018/data /mongodb/28018/log
mkdir -p /mongodb/28019/conf /mongodb/28019/data /mongodb/28019/log
mkdir -p /mongodb/28020/conf /mongodb/28020/data /mongodb/28020/log

多套配置文件
/mongodb/28017/conf/mongod.conf
/mongodb/28018/conf/mongod.conf
/mongodb/28019/conf/mongod.conf
/mongodb/28020/conf/mongod.conf
配置文件内容:
cat > /mongodb/28017/conf/mongod.conf <<EOF
systemLog:
destination: file
path: /mongodb/28017/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /mongodb/28017/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
net:
bindIp: 10.0.0.53,127.0.0.1
port: 28017
replication:
oplogSizeMB: 2048
replSetName: my_repl
EOF
\cp /mongodb/28017/conf/mongod.conf /mongodb/28018/conf/
\cp /mongodb/28017/conf/mongod.conf /mongodb/28019/conf/
\cp /mongodb/28017/conf/mongod.conf /mongodb/28020/conf/

sed s#28017#28018#g /mongodb/28018/conf/mongod.conf -i
sed s#28017#28019#g /mongodb/28019/conf/mongod.conf -i
sed s#28017#28020#g /mongodb/28020/conf/mongod.conf -i

启动多个实例备用:
mongod -f /mongodb/28017/conf/mongod.conf
mongod -f /mongodb/28018/conf/mongod.conf
mongod -f /mongodb/28019/conf/mongod.conf
mongod -f /mongodb/28020/conf/mongod.conf

查看启动状态
netstat -lnp|grep 280

6.3 配置普通复制集:
1主2从,从库普通从库

mongo --port 28017 admin
config = {_id: my_repl, members: [
{_id: 0, host: 10.0.0.53:28017},
{_id: 1, host: 10.0.0.53:28018},
{_id: 2, host: 10.0.0.53:28019}]
}

rs.initiate(config)

 

技术分享图片

 

查看整体复制集状态

 技术分享图片

6.4 1主1从1个arbiter(专门投票的,不参与主从复制)

mongo -port 28017 admin
config = {_id: my_repl, members: [
{_id: 0, host: 10.0.0.53:28017},
{_id: 1, host: 10.0.0.53:28018},
{_id: 2, host: 10.0.0.53:28019,"arbiterOnly":true}]
}
rs.initiate(config)

查看复制集配置信息

技术分享图片

 

6.5 复制集管理操作

6.5.1 查看复制集状态
rs.status(); //查看整体复制集状态
rs.isMaster(); // 查看当前是否是主节点
rs.conf(); //查看复制集配置信息

6.5.2 添加删除节点
rs.remove("ip:port"); // 删除一个节点
rs.add("ip:port"); // 新增从节点
rs.addArb("ip:port"); // 新增仲裁节点

添加普通节点

技术分享图片

添加arbiter节点

技术分享图片

6.5.3 特殊从节点

介绍:
添加arbiter节点需要把原来的节点删除,在重新添加
arbiter节点:主要负责选主过程中的投票,但是不存储任何数据,也不提供任何服务
hidden节点:隐藏节点,不参与选主,也不对外提供服务。
delay节点:延时节点,数据落后于主库一段时间,因为数据是延时的,也不应该提供服务或参与选主,所以通常会配合hidden(隐藏)
一般情况下会将delay+hidden一起配置使用
配置延时节点(一般延时节点也配置成hidden)
cfg=rs.conf()
cfg.members[2].priority=0 节点下标索引
cfg.members[2].hidden=true
cfg.members[2].slaveDelay=120
rs.reconfig(cfg)

取消以上配置
cfg=rs.conf()
cfg.members[2].priority=1
cfg.members[2].hidden=false
cfg.members[2].slaveDelay=0
rs.reconfig(cfg)

--副本集角色切换(不要人为随便操作)
admin> rs.stepDown()
注:
admin> rs.freeze(300) //锁定从,使其不会转变成主库
freeze()和stepDown单位都是秒。

查看副本节点(监控主从延时)
admin> rs.printSlaveReplicationInfo()

 

MongoDB Sharding Cluster 分片集群 *****

原理图

技术分享图片

至少四台物理机
路由router 用户连接 把请求给config server ,不做数据存储,无数据
**配置管理节点config server 复制集 不支持arbiter
**存储节点shard 复制集

技术分享图片

规划:
10个实例:38017-38026

(1)configserver:
3台构成的复制集(1主两从,不支持arbiter)38018-38020(复制集名字configsvr)

(2)shard节点:

sh1:38021-23 (1主两从,其中一个节点为arbiter,复制集名字sh1)
sh2:38024-26 (1主两从,其中一个节点为arbiter,复制集名字sh2)

配置过程

shard复制集配置:

2.1目录创建:
mkdir -p /mongodb/38021/conf /mongodb/38021/log /mongodb/38021/data
mkdir -p /mongodb/38022/conf /mongodb/38022/log /mongodb/38022/data
mkdir -p /mongodb/38023/conf /mongodb/38023/log /mongodb/38023/data
mkdir -p /mongodb/38024/conf /mongodb/38024/log /mongodb/38024/data
mkdir -p /mongodb/38025/conf /mongodb/38025/log /mongodb/38025/data
mkdir -p /mongodb/38026/conf /mongodb/38026/log /mongodb/38026/data


2.2修改配置文件:

sh1:
cat > /mongodb/38021/conf/mongodb.conf<<EOF
systemLog:
destination: file
path: /mongodb/38021/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /mongodb/38021/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
bindIp: 10.0.0.53,127.0.0.1
port: 38021
replication:
oplogSizeMB: 2048
replSetName: sh1
sharding:
clusterRole: shardsvr
processManagement:
fork: true
EOF
cp /mongodb/38021/conf/mongodb.conf /mongodb/38022/conf/
cp /mongodb/38021/conf/mongodb.conf /mongodb/38023/conf/
sed s#38021#38022#g /mongodb/38022/conf/mongodb.conf -i
sed s#38021#38023#g /mongodb/38023/conf/mongodb.conf -i


sh2:
cat > /mongodb/38024/conf/mongodb.conf<<EOF
systemLog:
destination: file
path: /mongodb/38024/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /mongodb/38024/data
directoryPerDB: true
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
bindIp: 10.0.0.53,127.0.0.1
port: 38024
replication:
oplogSizeMB: 2048
replSetName: sh2
sharding:
clusterRole: shardsvr
processManagement:
fork: true
EOF

cp /mongodb/38024/conf/mongodb.conf /mongodb/38025/conf/
cp /mongodb/38024/conf/mongodb.conf /mongodb/38026/conf/
sed s#38024#38025#g /mongodb/38025/conf/mongodb.conf -i
sed s#38024#38026#g /mongodb/38026/conf/mongodb.conf -i


2.3启动所有节点,并搭建复制集:

mongod -f /mongodb/38021/conf/mongodb.conf
mongod -f /mongodb/38022/conf/mongodb.conf
mongod -f /mongodb/38023/conf/mongodb.conf
mongod -f /mongodb/38024/conf/mongodb.conf
mongod -f /mongodb/38025/conf/mongodb.conf
mongod -f /mongodb/38026/conf/mongodb.conf

 

mongo --port 38021 admin
config = {_id: sh1, members: [
{_id: 0, host: 10.0.0.53:38021},
{_id: 1, host: 10.0.0.53:38022},
{_id: 2, host: 10.0.0.53:38023,"arbiterOnly":true}]
}

rs.initiate(config)


mongo --port 38024 admin
config = {_id: sh2, members: [
{_id: 0, host: 10.0.0.53:38024},
{_id: 1, host: 10.0.0.53:38025},
{_id: 2, host: 10.0.0.53:38026,"arbiterOnly":true}]
}

rs.initiate(config)

 

=-=----=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
3、config节点配置:

3.1目录创建:
mkdir -p /mongodb/38018/conf /mongodb/38018/log /mongodb/38018/data
mkdir -p /mongodb/38019/conf /mongodb/38019/log /mongodb/38019/data
mkdir -p /mongodb/38020/conf /mongodb/38020/log /mongodb/38020/data

3.2修改配置文件:
cat > /mongodb/38018/conf/mongodb.conf <<EOF
systemLog:
destination: file
path: /mongodb/38018/log/mongodb.conf
logAppend: true
storage:
journal:
enabled: true
dbPath: /mongodb/38018/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
bindIp: 10.0.0.53,127.0.0.1
port: 38018
replication:
oplogSizeMB: 2048
replSetName: configReplSet
sharding:
clusterRole: configsvr
processManagement:
fork: true
EOF

cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/
cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/
sed s#38018#38019#g /mongodb/38019/conf/mongodb.conf -i
sed s#38018#38020#g /mongodb/38020/conf/mongodb.conf -i

3.3启动节点,并配置复制集

mongod -f /mongodb/38018/conf/mongodb.conf
mongod -f /mongodb/38019/conf/mongodb.conf
mongod -f /mongodb/38020/conf/mongodb.conf

mongo --port 38018 admin
config = {_id: configReplSet, members: [
{_id: 0, host: 10.0.0.53:38018},
{_id: 1, host: 10.0.0.53:38019},
{_id: 2, host: 10.0.0.53:38020}]
}
rs.initiate(config)

注:configserver 可以是一个节点,官方建议复制集。configserver不能有arbiter。
新版本中,要求必须是复制集。
注:mongodb 3.4之后,虽然要求config server为replica set,但是不支持arbiter
=============================================================================
4、mongos节点配置:

4.1创建目录:
mkdir -p /mongodb/38017/conf /mongodb/38017/log

4.2配置文件:
cat >/mongodb/38017/conf/mongos.conf<<EOF
systemLog:
destination: file
path: /mongodb/38017/log/mongos.log
logAppend: true
net:
bindIp: 10.0.0.53,127.0.0.1
port: 38017
sharding:
configDB: configReplSet/10.0.0.53:38018,10.0.0.53:38019,10.0.0.53:38020
processManagement:
fork: true
EOF
4.3启动mongos
mongos -f /mongodb/38017/conf/mongos.conf

5、分片集群操作:

连接到其中一个mongos(10.0.0.53),做以下配置

1)连接到mongs的admin数据库
# su - mongod
$ mongo 10.0.0.53:38017/admin
(2)添加分片
db.runCommand( { addshard : "sh1/10.0.0.53:38021,10.0.0.53:38022,10.0.0.53:38023",name:"shard1"} )
db.runCommand( { addshard : "sh2/10.0.0.53:38024,10.0.0.53:38025,10.0.0.53:38026",name:"shard2"} )

(3)列出分片
mongos> db.runCommand( { listshards : 1 } )

(4)整体状态查看
mongos> sh.status();

## RANGE分片配置及测试

test库下的vast大表进行手工分片(Chunk默认大小64M)

1、激活数据库分片功能
mongo --port 38017 admin
admin> ( { enablesharding : "数据库名称" } )

eg:
admin> db.runCommand( { enablesharding : "test" } )

2、指定分片建对集合分片
eg:范围片键
--创建索引
use test
> db.vast.ensureIndex( { id: 1 } )

--开启分片
use admin
> db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )

3、集合分片验证
admin> use test
test> for(i=1;i<1000000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }
test> db.vast.stats()

4、分片结果测试

shard1:
mongo --port 38021
db.vast.count();

shard2:
mongo --port 38024
db.vast.count();

 

技术分享图片

----------------------------------------------------
4、Hash分片例子:
对oldboy库下的vast大表进行hash
创建哈希索引

(1)对于oldboy开启分片功能
mongo --port 38017 admin
use admin
admin> db.runCommand( { enablesharding : "oldboy" } )

(2)对于oldboy库下的vast表建立hash索引
use oldboy
oldboy> db.vast.ensureIndex( { id: "hashed" } )


(3)开启分片
use admin
admin > sh.shardCollection( "oldboy.vast", { id: "hashed" } )

(4)录入10w行数据测试
use oldboy
for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

(5)hash分片结果测试
mongo --port 38021
use oldboy
db.vast.count();

mongo --port 38024
use oldboy
db.vast.count();

 

技术分享图片

查看分片的详细信息,shard集群信息
admin> sh.status() *****


5、删除分片节点(谨慎)
(1)确认blance是否在工作
sh.getBalancerState()
(2)删除shard2节点(谨慎)
mongos> db.runCommand( { removeShard: "shard2" } )
注意:删除操作一定会立即触发blancer。

6、balancer操作 *****

介绍:
mongos的一个重要功能,自动巡查所有shard节点上的chunk的情况,自动做chunk迁移。
均衡策略,该策略会实现查找并收集要迁移的chunk。

什么时候工作?
1、自动运行,会检测系统不繁忙的时候做迁移
2、在做节点删除的时候,立即开始迁移工作
3、balancer只能在预设定的时间窗口内运行 *****

有需要时可以关闭和开启blancer(备份的时候)
mongos> sh.stopBalancer() 或 sh.setBalancerState( falsee )
mongos> sh.startBalancer() 或 sh.setBalancerState( true )

7、自定义 自动平衡进行的时间段
https://docs.mongodb.com/manual/tutorial/manage-sharded-cluster-balancer/#schedule-the-balancing-window
// connect to mongos

mongo --port 38017 admin
use config
sh.setBalancerState( true )
# 时间凌晨三点到五点进行迁移 db.settings.update({ _id :
"balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true ) sh.getBalancerWindow() sh.status()

 

技术分享图片

MongoDB复制集和分片

原文:https://www.cnblogs.com/z-macro/p/14701427.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!