13

在 MongoDB 上运行普通的“查找”查询时,我可以通过在返回的游标上运行“计数”来获得总结果计数(无论限制)。因此,即使我将结果集限制为 10(例如),我仍然可以知道结果总数为 53(再次,例如)。

但是,如果我理解正确,聚合框架不会返回游标,而只是返回结果。所以,如果我使用$limit管道运算符,我怎么知道结果的总数,而不管所说的限制是多少?

我想我可以运行两次聚合(一次通过 计算结果$group,一次$limit用于实际有限的结果),但这似乎效率低下。

另一种方法是在操作之前将结果总数附加到文档(通过$group$limit,但这似乎也效率低下,因为这个数字将附加到每个文档(而不是只为集合返回一次)。

我在这里错过了什么吗?有任何想法吗?谢谢!

例如,如果这是查询:

db.article.aggregate(
    { $group : {
        _id : "$author",
        posts : { $sum : 1 }
    }},
    { $sort : { posts: -1 } },
    { $limit : 5 }
);

我怎么知道有多少结果可用(之前$limit)?结果不是游标,所以我不能只对它进行计数。

4

7 回答 7

3

有一个使用 push 和 slice 的解决方案:https ://stackoverflow.com/a/39784851/4752635(@emaniacs 在这里也提到了)。

但我更喜欢使用 2 个查询。推送 $$ROOT 并使用 $slice 的解决方案遇到了 16MB 的大型集合的文档内存限制。此外,对于大型集合,两个查询一起运行似乎比使用 $$ROOT 推送的查询运行得更快。您也可以并行运行它们,因此您只受到两个查询中较慢的查询(可能是排序的那个)的限制。

  1. 首先进行过滤,然后按 ID 分组以获取过滤元素的数量。不要在这里过滤,没有必要。
  2. 第二个查询,过滤、排序和分页。

我已经使用 2 个查询和聚合框架解决了这个解决方案(注意 - 我在这个例子中使用了 node.js):

var aggregation = [
  {
    // If you can match fields at the begining, match as many as early as possible.
    $match: {...}
  },
  {
    // Projection.
    $project: {...}
  },
  {
    // Some things you can match only after projection or grouping, so do it now.
    $match: {...}
  }
];


// Copy filtering elements from the pipeline - this is the same for both counting number of fileter elements and for pagination queries.
var aggregationPaginated = aggregation.slice(0);

// Count filtered elements.
aggregation.push(
  {
    $group: {
      _id: null,
      count: { $sum: 1 }
    }
  }
);

// Sort in pagination query.
aggregationPaginated.push(
  {
    $sort: sorting
  }
);

// Paginate.
aggregationPaginated.push(
  {
    $limit: skip + length
  },
  {
    $skip: skip
  }
);

// I use mongoose.

// Get total count.
model.count(function(errCount, totalCount) {
  // Count filtered.
  model.aggregate(aggregation)
  .allowDiskUse(true)
  .exec(
  function(errFind, documents) {
    if (errFind) {
      // Errors.
      res.status(503);
      return res.json({
        'success': false,
        'response': 'err_counting'
      });
    }
    else {
      // Number of filtered elements.
      var numFiltered = documents[0].count;

      // Filter, sort and pagiante.
      model.request.aggregate(aggregationPaginated)
      .allowDiskUse(true)
      .exec(
        function(errFindP, documentsP) {
          if (errFindP) {
            // Errors.
            res.status(503);
            return res.json({
              'success': false,
              'response': 'err_pagination'
            });
          }
          else {
            return res.json({
              'success': true,
              'recordsTotal': totalCount,
              'recordsFiltered': numFiltered,
              'response': documentsP
            });
          }
      });
    }
  });
});
于 2017-02-09T17:50:25.160 回答
2

Assaf,在不久的将来会对聚合框架进行一些增强,这可能使您可以轻松地一次完成计算,但是现在,最好通过并行运行两个查询来执行计算:一个是聚合您的顶级作者的#posts,以及另一个聚合来计算所有作者的总帖子。另外,请注意,如果您需要做的只是对文档进行计数,那么使用 count 函数是一种非常有效的计算方式。MongoDB 在 btree 索引中缓存计数,从而可以非常快速地对查询进行计数。

如果这些聚合结果很慢,则有几种策略。首先,请记住,如果适用,您希望使用 $match 开始查询以减少结果集。$matches 也可以通过索引来加速。其次,您可以将这些计算作为预聚合执行。不必每次用户访问应用程序的某些部分时都运行这些聚合,而是让聚合在后台定期运行,并将聚合存储在包含预聚合值的集合中。这样,您的页面可以简单地从该集合中查询预先计算的值。

于 2013-07-22T01:15:36.343 回答
1

$facets 聚合操作可用于 Mongo 版本 >= 3.4。这允许在多个子管道中的管道的特定阶段分叉,在这种情况下允许构建一个子管道来计算文档的数量,另一个用于排序、跳过、限制。

这允许避免在多个请求中多次进行相同的阶段。

于 2018-04-09T11:05:34.273 回答
0

如果您不想并行运行两个查询(一个用于聚合您的顶级作者的#posts,另一个聚合用于计算所有作者的总帖子),您可以删除管道上的 $limit 和您可以使用的结果

totalCount = results.length;
results.slice(number of skip,number of skip + number of limit);

前任:

db.article.aggregate([
    { $group : {
        _id : "$author",
        posts : { $sum : 1 }
    }},
    { $sort : { posts: -1 } }
    //{$skip : yourSkip},    //--remove this
    //{ $limit : yourLimit }, // remove this too
]).exec(function(err, results){
  var totalCount = results.length;//--GEt total count here
   results.slice(yourSkip,yourSkip+yourLimit);
});
于 2016-03-04T08:14:13.727 回答
0

我得到总数aggregate().toArray().length

于 2018-02-09T06:53:25.603 回答
0

我遇到了同样的问题,并用$project$slice$$ROOT解决了。

db.article.aggregate(
{ $group : {
    _id : '$author',
    posts : { $sum : 1 },
    articles: {$push: '$$ROOT'},
}},
{ $sort : { posts: -1 } },
{ $project: {total: '$posts', articles: {$slice: ['$articles', from, to]}},
).toArray(function(err, result){
    var articles = result[0].articles;
    var total = result[0].total;
});

您需要声明fromto变量。

https://docs.mongodb.com/manual/reference/operator/aggregation/slice/

于 2016-06-16T09:27:15.727 回答
-1

在我的例子中,我们使用 $out 阶段将结果集从 aggeration 转储到临时/缓存表中,然后对其进行计数。而且,由于我们需要对结果进行排序和分页,我们在临时表上添加索引并将表名保存在会话中,在会话关闭/缓存超时时删除表。

于 2016-04-08T07:23:05.680 回答