MongoDB之路

 # MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson（是一种类json的一种二进制形式的存储格式，简称Binary JSON）格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.10.tgz

tar xzvf mongodb-linux-x86_64-4.0.10.tgz

show dbs  //等同于 show databases
use  库名  //进入数据库 PS：没有库也可以进入，当插入第一条数据会自动创建库
db  //代表当前所在数据库
show collections   //等同于 show  tables  查看所有集合（表）

db.collection.insert({ "key" : "value" })

db.collection.find()  可以指定过滤条件

db.collection.update(<query>, <update>, upsert, multi, writeConcern)  #可以指定过滤条件

#只更新第一条记录   年龄小于20的youth设置为yes
db.collection.update( { "age" : { $lt : 20 } } , { $set : { "youth" : "yes"} } );

#全部更新 年龄小于20的 youth设置为yes
db.collection.update( { "age":{ $lt : 20 } },{ $set : { "youth" : "yes"} },false,true );

#只添加一条记录 给年龄大于30的 一个 添加"youth" : "no"
db.collection.update( { "age":{ $gt : 20 } },{ $set : { "youth" : "no"} },true,false );

#全部添加  给年龄大于30的 全部 添加"youth" : "no"
db.collection.update( { "age":{ $gt : 30 } },{ $set : { "youth" : "no"} },true,true );

from pymongo import MongoClient

def getconn():
    try:
        conn = MongoClient(‘127.0.0.1‘,27017)
        return conn
    except:
        print(‘数据库连接失败‘)

conn = getconn()   

#查看数据库
dblist = conn.list_database_names()
print(dblist)
#查看集合
collection_list = conn[‘user‘].list_collection_names()
print(collection_list)

data = {‘city‘:‘shanghai‘}
db.insert_one(data)  #新增一条 insert_one

data = [{‘city‘:‘shanghai‘},{‘city‘:‘beijin‘},{‘city‘:‘guangzhou‘}]
db.insert_many(data) #新增多条 insert_many

q1=db.find_one({"name":‘xiaohong‘})
print(q1)  # 查询一条 find_one

alldata = db.find()
for i in alldata : print(i)  #查询所有
    
#1、查询指定字段的数据
#我们可以使用 find() 方法来查询指定字段的数据，将要返回的字段对应值设置为 1。
for i in db.find({ },{"_id":0,"name":1,"hobby":1}) : print(i)
    
#2、查询所有文章的标题和内容
conn.user.article.find({},{"_id":0,"title":1,"content":1})

#3、查询作者为‘小红’的文章
conn.user.article.find_one({"author":{"$eq":"小红"}})

#4、查询除了‘小红’以外的所有文章
conn.user.article.find({"author":{"$ne":"小红"}})

#5、查询阅读数大于1000 并且 小于1200的
conn.user.article.find({"readcount":{"$gt":1000,"$lt":1200}})

#6、查询作者为‘小红’或者‘洪哥’的文章  或操作
conn.user.article.find({"$or":[{"author":"小红"},{"author":"洪哥"}]})

#7、查询文章标签包含‘NoSQL’或者‘MySQL’的 文章
conn.user.article.find({"tags":{"$in":["MySQL","NoSQL"]}})

#8、查询文章内容里包含数字1的文章
conn.user.article.find({"content":{"$regex":"1"}})    #有疑问 正则写法问题（/1/）

#9、查询标签数为2个的文章
conn.user.article.find({"tags":{"$size":2}})

##内嵌文档查询
#1、查询‘小红’评论过的文章
conn.user.article.find({"comments.name":"小红"})

#假设每页有3篇数据，按阅读量倒序，取第二页的数据
conn.user.article.find({}).skip(3).limit(3).sort("readcount",-1)

conn.user.user.update_one({"查询条件"},{"修改器"}) #update_many 修改全部

#1、将名字为‘xiaohong’的年龄改为26
conn.user.user.update_one({"name":"xiaohong"},{"$set":{"age":26}})

#2、给所有的用户添加‘city’字段，值为‘shanghai’
conn.user.user.update_many({},{"$set":{"city":"shanghai"}})
#删除字段 就改为"$unset"

#3、给所有用户年龄加 1
conn.user.user.update_many({},{"$inc":{"age":1}})  #前提是age类型为int型

#删除单条  
conn.usser.user.delete_one()
#删除多条
delete_many()
#删除集合
conn.usser.user.drop()  #删除了user库中的user集合

#$project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
db.article.aggregate({$project:{_id:0,title:1,author:1}})


#$match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
db.article.aggregate([{$match:{readcount:{$gt:500,$lt:1000}}},{$group:{_id:"$author",count:{$sum:1}}}])


#$limit：用来限制MongoDB聚合管道返回的文档数。
db.article.aggregate([{$match:{readcount:{$gt:500,$lt:1000}}},{$limit:2}])


#$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
db.article.aggregate([{$match:{readcount:{$gt:500,$lt:1000}}},{$skip:2}])


#$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
db.article.aggregate([{$unwind:"$tags"},{$project:{_id:0,title:1,author:1}}])


#$sort：将输入文档排序后输出。
db.article.aggregate([{$sort:{readcount:-1}},{$project:{_id:0,author:1,title:1,readcount:1}}])

#$geoNear：输出接近某一地理位置的有序文档。
没太理解，没试验过

>db.collection.mapReduce(
   function() {emit(key,value);},  //map 函数
   function(key,values) {return reduceFunction},   //reduce 函数
   {
      out: collection,
      query: document,
      sort: document,
      limit: number
   }
)

#复制过程
当Primary节点完成数据操作后，Secondary会做出一系列的动作保证数据的同步：
1）检查自己`local`库的 oplog.rs集合找出最近的时间戳。
2）检查Primary节点`local`库 oplog.rs集合，找出大于此时间戳的记录。
3）将找到的记录插入到自己的 oplog.rs集合中，并执行这些操作。

注意：在副本集的环境中，要是所有的Secondary都宕机了，只剩下Primary。最后Primary会变成Secondary，不能提供服务。

#选举机制
Mongodb副本集选举采用的是Bully算法，这是一种协调者(主节点)竞选算法,主要思想是集群的每个成员都可以声明它是主节点并通知其他节点。
别的节点可以选择接受这个声称或是拒绝并进入主节点竞争，被其他所有节点接受的节点才能成为主节点。
节点按照一些属性来判断谁应该胜出，这个属性可以是一个静态 ID,也可以是更新的度量像最近一次事务ID(最新的节点会胜出)
副本集的选举过程大致如下:
1）得到每个服务器节点的最后操作时间戳。每个 mongodb 都有 oplog 机制会记录本机的操作,方便和主服 务器进行对比数据是否同步还可以用于错误恢复。
2）如果集群中大部分服务器 down 机了,保留活着的节点都为 secondary 状态并停止,不选举了。
3）如果集群中选举出来的主节点或者所有从节点最后一次同步时间看起来很旧了,停止选举等待人来操作。
4）如果上面都没有问题就选择最后操作时间戳最新(保证数据是最新的)的服务器节点作为主节点。
 
副本集选举的特点：
选举还有个前提条件,参与选举的节点数量必须大于副本集总节点数量的一半（建议副本集成员为奇数。最多12个副本节点,最多7个节点参与选举）
如果已经小于一半了所有节点保持只读状态。集合中的成员一定要有大部分成员(即超过一半数量)是保持正常在线状态,3个成员的副本集,需要至少2个从属节点是正常状态。
如果一个从属节点挂掉,那么当主节点down掉 产生故障切换时,由于副本集中只有一个节点是正常的,少于一半,则选举失败。
4个成员的副本集,则需要3个成员是正常状态(先关闭一个从属节点,然后再关闭主节点,产生故障切换,此时副本集中只有2个节点正常,则无法成功选举出新主节点)。

数据同步时“从节点”将“主节点”上的写操作同步到自己这边再进行执行。在MongoDB中,所有写操作都会产oplog,oplog 是每修改一条数据都会生成一条,如果你采用一个批量 update 命令更新了 N 多条数据, 那么抱歉,oplog 会有很多条,而不是一条。所以同步延迟就是写操作在主节点上执行完后,从节点还没有把 oplog 拿过来再执行一次。而这个写操作的量越大,主节点与从节点的差别也就越大,同步延迟也就越大了。

如果主从延迟过大,主节点上会有很多数据更改没有同步到从节点上。这时候如果主节点故障,就有 两种情况:
1）主节点故障并且无法恢复,如果应用上又无法忍受这部分数据的丢失,我们就得想各种办法将这部 数据更改找回来,再写入到从节点中去。可以想象,即使是有可能,那这也绝对是一件非常恶心的活。
2）主节点能够恢复,但是需要花的时间比较长,这种情况如果应用能忍受,我们可以直接让从节点提 供服务,只是对用户来说,有一段时间的数据丢失了,而如果应用不能接受数据的不一致,那么就只能下线整个业务,等主节点恢复后再提供服务了。

#开始事务
session.start_transaction()
try:
    hello_collection.insert({"world":1})
    world_collection.insert({"hello":1})
except:
    # 操作异常，中断事务
    session.abort_transaction()
else:
    session.commit_transaction()
finally:
    session.end_session()