首页 > 其他 > 详细

pymongo 去重函数

时间:2021-08-22 09:07:33      阅读:25      评论:0      收藏:0      [点我收藏+]

没有找到mongoDB的去重功能,自己写一个,利用分组计数功能,找到count>1的记录,逐一删除重复记录

import pymongo

def mongo_dup_remove(db,col,*args):
    #对指定集合去重
    #未考虑数据排序
    #支持多个参数
    myclient = pymongo.MongoClient("mongodb://localhost:27017/")
    mydb = myclient[db]
    mycol = mydb[col]
    project={_id:0}
    project.update({x:1 for x in args})
    id_={x:f${x} for x in args}
    group={_id:id_}
    group.update({"count":{"$sum":1}})
    pipeline=[
            {$project:project},
            {$group:group},
            {"$match": {
                        "count": {"$gt": 1}
                        }
            }
            ]
    for col in mycol.aggregate(pipeline):
        query=col[_id]
        count=col[count]
        while mycol.count_documents(query) > 1:
            mycol.delete_one(query)
        print(f已删除:{query},重复数:{count})
    return

 

pymongo 去重函数

原文:https://www.cnblogs.com/moneymaster/p/15171139.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!