21

我正在使用 MongoDB 1.6.3 来存储一个大集合（300k+ 记录）。我添加了一个复合索引。

db['collection_name'].getIndexes()
[
    {
        "name" : "_id_",
        "ns" : "db_name.event_logs",
        "key" : {
            "_id" : 1
        }
    },
    {
        "key" : {
            "updated_at.t" : -1,
            "community_id" : 1
        },
        "ns" : "db_name.event_logs",
        "background" : true,
        "name" : "updated_at.t_-1_community_id_1"
    }
]

但是，当我尝试运行此代码时：

db['collection_name']
  .find({:community_id => 1})
  .sort(['updated_at.t', -1])
  .skip(@skip)
  .limit(@limit)

我正进入（状态：

Mongo::OperationFailure (sort() 没有索引的数据太多。添加索引或指定更小的限制)

我究竟做错了什么？

4

4 回答 4

14

尝试添加{community_id: 1, 'updated_at.t': -1}索引。它需要先搜索community_id然后排序。

于 2010-12-09T16:18:42.763 回答
4

所以它“感觉”就像你在使用索引，但索引实际上是一个复合索引。我不确定排序是否“足够聪明”以仅使用部分索引。

所以有两个问题：

  1. 根据您的查询，我会将 community_id 作为索引的第一部分，而不是第二部分。updated_at.t听起来像是您将在其上进行范围查询的字段。如果范围查询是第二位，则索引会更好地工作。
  2. 将返回多少条目community_id => 1？如果数字不大，您可能可以在没有索引的情况下进行排序。

因此，您可能必须切换索引，并且可能必须更改排序以同时使用community_id和updated_at.t。我知道这似乎是多余的，但如果它仍然无法正常工作，请从那里开始检查 Google 群组。

于 2010-12-09T16:18:49.117 回答
2

即使有索引，我认为如果您的结果集超过 4MB，您仍然会收到该错误。

您可以通过进入 mongodb 控制台并执行以下操作来查看大小：

show dbs
# pick yours (e.g., production)
use db-production
db.articles.stats()

我最终得到了这样的结果：

{
"ns" : "mdalert-production.encounters",
"count" : 89077,
"size" : 62974416,
"avgObjSize" : 706.9660630690302,
"storageSize" : 85170176,
"numExtents" : 8,
"nindexes" : 6,
"lastExtentSize" : 25819648,
"paddingFactor" : 1,
"flags" : 1,
"totalIndexSize" : 18808832,
"indexSizes" : {
    "_id_" : 3719168,
    "patient_num_1" : 3440640,
    "msg_timestamp_1" : 2981888,
    "practice_id_1" : 2342912,
    "patient_id_1" : 3342336,
    "msg_timestamp_-1" : 2981888
},
"ok" : 1
}
于 2011-06-16T16:10:52.147 回答
0

游标批处理大小太大会导致此错误。设置批量大小不会限制您可以处理的数据量，它只是限制从数据库带回的数据量。当您迭代并达到批处理限制时，该过程将再次访问数据库。

于 2013-11-07T18:38:02.057 回答