首页 文章

来自Mongo的随机抽样

提问于
浏览
8

我有一个带文件的mongo集合 . 每个文档中都有一个字段为0或1.我需要从数据库中随机抽取1000条记录,并将具有该字段的文档数量计为1.我需要对此进行1000次抽样 . 我该怎么做 ?

5 回答

  • 1

    这是 mongo shell中的一个示例..假设 collname 的集合,以及 thefield 中感兴趣的值:

    var total = db.collname.count();
    var count = 0;
    var numSamples = 1000;
    
    for (i = 0; i < numSamples; i++) {
        var random = Math.floor(Math.random()*total);
        var doc = db.collname.find().skip(random).limit(1).next();
        if (doc.thefield) {
            count += (doc.thefield == 1);
        }
    }
    
  • 9

    对于MongoDB 3.0以及之前的版本,我使用了SQL时代的旧技巧(我认为维基百科使用它的随机页面功能) . 我在随机化的每个对象中存储0到1之间的随机数,让我们称之为“r” . 然后在“r”上添加索引 .

    db.coll.ensureIndex(r: 1);
    

    现在要获得随机x对象,您可以使用:

    var startVal = Math.random();
    db.coll.find({r: {$gt: startVal}}).sort({r: 1}).limit(x);
    

    这为您提供了单个查找查询中的随机对象 . 根据您的需要,这可能有点过分,但如果您要随着时间的推移进行大量采样,这是一种非常有效的方法,而不会给您的后端带来负担 .

  • 1

    对于得到答案的人来说,你现在应该使用新的 $sample 聚合函数,3.2中的新函数 .

    https://docs.mongodb.org/manual/reference/operator/aggregation/sample/

    db.collection_of_things.aggregate(
       [ { $sample: { size: 15 } } ]
    )
    

    然后使用 $group 添加另一个步骤来计算 01 以获取计数 . Here is an example from the MongoDB docs .

  • 0

    我打算用@Stennies回复编辑我的评论但你也可以在这里使用一个单独的自动递增ID索引作为替代,如果你要跳过大量的记录(在这里说话很大) .

    我写了另一个问题的另一个答案很像这个问题,其中有人试图找到该集合的第n条记录:

    php mongodb find nth entry in collection

    我的答案的后半部分基本上描述了一种可以解决这个问题的潜在方法 . 你仍然需要循环1000次以获得随机行 .

  • 11

    如果您使用的是mongoengine,则可以使用SequenceField生成增量计数器 .

    class User(db.DynamicDocument):
        counter = db.SequenceField(collection_name="user.counters")
    

    然后,要获取100的随机列表,请执行以下操作

    def get_random_users(number_requested):
        users_to_fetch = random.sample(range(1, User.objects.count() + 1), min(number_requested, User.objects.count()))
        return User.objects(counter__in=users_to_fetch)
    

    你打电话的地方

    get_random_users(100)
    

相关问题