管道操作删除 MongoDB 重复数据

前言

由于 MongoDB 约束性比较小，所以有时候数据库中会有很多重复的数据，特别是爬虫的数据。文档数量一旦达到一定数据量级，为了保证新插入的数据不重复，如果每次使用 update 操作感觉有点慢，倒不如一次性 insert 然后最后在使用 pipline 管道操作去重重复数据，感觉会快些，但是我没有测试过，有兴趣的童鞋可以做个测试比较一下。

MongoDB 数据情况

数据库存在重复数据，如下：

/* 1 */ { "_id" : ObjectId("5dbaf3939642fb9adcad453c"), "username" : "王五", "area" : "上海" } /* 2 */ { "_id" : ObjectId("5dbaf3a19642fb9adcad4549"), "username" : "赵四", "area" : "北京" } /* 3 */ { "_id" : ObjectId("5dbaf3b89642fb9adcad4556"), "username" : "马六", "area" : "北京" } /* 4 */ { "_id" : ObjectId("5dbaf3b89642fb9adcad4556"), "username" : "马六", "area" : "北京" }

管道操作清洗重复数据

MongoDB Bash 命令：

db.getCollection('users').aggregate([ { $group: { _id: {username: '$username', username: '$area'},count: {$sum: 1},dups: {$addToSet: '$_id'}} }, { $match: {count: {$gt: 1}} } ], {allowDiskUse: true}).forEach(function(doc){ doc.dups.shift(); db['users'].remove({_id: {$in: doc.dups}}); })

Python3 代码：

from pymongo import MongoClient, DeleteOne MONGODB_URL = 'mongodb://localhost:27017/users' col = MongoClient(MONGODB_URL)['test']['users'] pipeline = [ { '$group': { '_id': {'username': '$username', 'area': 'area'}, 'count': {'$sum': 1}, 'dups': {'$addToSet': '$_id'} } }, { '$match': { 'count': {'$gt': 1} } } ] map_id = map(lambda doc: doc['dups'][1:], col.aggregate(pipeline=pipeline, allowDiskUse=True)) list_id = [item for sublist in map_id for item in sublist] print(col.bulk_write(list(map(lambda _id: DeleteOne({'_id': _id}), list_id))).bulk_api_result)

参考文章

http://forum.foxera.com/mongodb/topic/967/mongodb%E5%A6%82%E4%BD%95%E5%B0%86%E9%87%8D%E5%A4%8D%E7%9A%84%E6%95%B0%E6%8D%AE%E5%88%A0%E9%99%A4