首页 > 其他 > 详细

pymongo 去重函数

时间:2021-08-22 09:07:33      阅读:31      评论:0      收藏:0      [点我收藏+]

没有找到mongoDB的去重功能,自己写一个,利用分组计数功能,找到count>1的记录,逐一删除重复记录

import pymongo

def mongo_dup_remove(db,col,*args):
    #对指定集合去重
    #未考虑数据排序
    #支持多个参数
    myclient = pymongo.MongoClient("mongodb://localhost:27017/")
    mydb = myclient[db]
    mycol = mydb[col]
    project={‘_id‘:0}
    project.update({x:1 for x in args})
    id_={x:f‘${x}‘ for x in args}
    group={‘_id‘:id_}
    group.update({"count":{"$sum":1}})
    pipeline=[
            {‘$project‘:project},
            {‘$group‘:group},
            {"$match": {
                        "count": {"$gt": 1}
                        }
            }
            ]
    for col in mycol.aggregate(pipeline):
        query=col[‘_id‘]
        count=col[‘count‘]
        while mycol.count_documents(query) > 1:
            mycol.delete_one(query)
        print(f‘已删除:{query},重复数:{count}‘)
    return

 

pymongo 去重函数

原文:https://www.cnblogs.com/moneymaster/p/15171139.html

踩
(0)
赞
(0)
   
举报
评论 一句话评论(0)
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!