0

我有一个名为 Post 的集合。我有一个映射系统,始终确保每个文档都有这些字段:

  • 标识(整数)
  • 目标(字符串)
  • 类型(字符串)
  • 用户身份
  • client_id
  • 更新(字符串,11 个整数时间戳)
  • 已创建(字符串,11 个 int 时间戳)
  • 启用(布尔)

访问此集合以在 API 模式中输出。

所以一些典型的请求可能是:

/post?type=image&user_id=2
/post?updated=35234423&order_by=client_id
/post?enabled=true&order_by=id

没有 100% 保证某些字段会进入查找或排序字段。

最近当表达到 8GB 数据时,我开始收到此错误:

"localhost:27017: too much data for sort() with no index. add an index or specify a smaller limit"

我查看了 Mongo 索引的文档,发现很难理解它是否以与 MySQL 索引相同的方式工作。

我在索引中发现的一些线程:MongoDB - sort() 的数据过多而没有索引错误似乎建议使用特定的排序字段来确保索引被命中。显然,当我的很多过滤和排序是可选的时,我不能这样做。

任何人都可以就我是否应该索引表上的所有字段提出一个可靠的解决方案吗?


感谢反馈的家伙,我已经开始构建一个自动索引功能:

public function get() {

        $indices['Post'] = array(
            'fields' =>
                array(
                    'id'                => array('unique' => true, 'dropDups' => true, 'background' => true),
                    'client_id'         => array('dropDups' => true, 'background' => true),
                    'image_id'          => array('dropDups' => true, 'background' => true),
                    'user_id'           => array('dropDups' => true, 'background' => true),
                    'publish_target'    => array('dropDups' => true, 'background' => true),
                    'type'              => array('dropDups' => true, 'background' => true),
                    'status'            => array('dropDups' => true, 'background' => true),
                    'text'              => array('background' => true)
                )
        );

        foreach ($indices as $key => $index) {

            /* set the collection */
            $collection = $this->mongoDB->{$key};

            /* delete the indexes */
            $collection->deleteIndexes();

            /* loop the fields and add the index */
            foreach ($index['fields'] as $subKey => $data) {
                $collection->ensureIndex($subKey, array_merge($data, array('name' => $subKey)));
            }
        }
        /* return the list */
        return $indices;
    }
4

2 回答 2

2

您应该预先知道什么样的查询将访问服务器。否则,您将无法进行任何优化,并且可能会遇到像现在这样的排序问题。

如果您说用户可以按您拥有的 9 个字段中的任何一个进行排序,您将需要在每个字段上创建一个索引。但是您需要记住,有时创建复合索引更有意义,因为它可以防止以下问题:

/post?updated=35234423&order_by=client_id

只能通过在以下位置设置索引来完成:

{ updated: 1, client_id: 1 }

只有当索引中的所有左侧字段都是查询的一部分时,才能使用 MongoDB 中的索引。

所以:{ updated: 1, client_id: 1 }最适合:

  • find( { 'updated' : 1 } );
  • find( { 'updated' : 1, 'client_id' : 1 } );
  • find( { 'updated' : 1 } ).sort( { 'client_id' : 1 } );

但不适用于:

  • find( { 'client_id' : 1 } );
  • find( { 'client_id' : 1 } ).sort( { 'updated' : 1 } );

为了减少数据量并防止出现错误消息,您还可以limit()在每个查询中额外添加一个。有了 8MB 的结果,我怀疑你的 UI 无论如何都可以显示这么多结果,所以使用limit()可能是有意义的。

于 2013-07-25T10:32:40.210 回答
1

不幸的是,我想不出一个真正好的解决索引这种动态性质的方法,但是这个 JIRA https://jira.mongodb.org/browse/SERVER-3071真的会帮助你。

我建议你看那个 JIRA 票。

于 2013-07-25T10:57:58.963 回答