6

我有一个数据库查找查询，它返回 150k 个文档，其中每个文档包含三个整数字段和一个日期时间字段。以下代码尝试从游标对象创建列表。迭代光标非常慢 - 大约 80 秒！通过 C++ 驱动程序执行相同的操作要快几个数量级——这一定是 PyMongo 的问题？

client = MongoClient()
client = MongoClient('localhost', 27017)
db = client.taq
collection_str = "mycollection"
db_collection = db[collection_str]

mylist = list(db_collection.find())

这个问题之前已经讨论过，我尝试了这些建议。一种是更改默认批量大小。所以我尝试了以下方法：

cursor = db_collection.find()
cursor.bath_size(10000)
mylist = list(cursor)

然而，这并没有什么影响。第二个建议是检查是否安装了 C 扩展 - 我已经安装了它们，所以这不是问题。Mongo 数据库安装在同一台机器上，因此它不是网络问题 - 它在 C++ 中运行良好......从 Pymongo 查询是问题。

既然 MongoDB 被宣传为能够处理大数据，那么肯定有一种方法可以通过 Python 快速检索数据吗？这个问题之前已经提出过，但我还没有找到解决方案....有没有人提出有效的建议？在这种情况下，我正在检索 150k 文档，但通常查询将检索 100 万，所以这对我来说将是一个真正的问题。

谢谢。

4

2 回答 2

0

我无法复制 - 我正在加载 150k 文档并在 ~0.5 > ~0.8 秒内转换为列表。以下是 timeit 测试脚本的结果 - 以秒为单位将 150,000 个文档从数据库转换为列表。

--------------------------------------------------
Default batch size
0.530369997025
--------------------------------------------------
Batch Size 1000
0.570069074631
--------------------------------------------------
Batch Size 10000
0.686305046082

这是我的测试脚本：

#!/usr/bin/env python

import timeit

def main():
    """
    Testing loading 150k documents in pymongo
    """

    setup = """
import datetime
from random import randint
from pymongo import MongoClient
connection = MongoClient()
db = connection.test_load
sample = db.sample
if db.sample.count() < 150000:
    connection.drop_database('test_load')

    # Insert 150k sample data
    for i in xrange(15000):
        sample.insert([{"date": datetime.datetime.now(),
                        "int1": randint(0, 1000000),
                        "int2": randint(0, 1000000),
                        "int4": randint(0, 1000000)} for i in xrange(10)])

"""

    stmt = """
from pymongo import MongoClient
connection = MongoClient()

db = connection.test_load
sample = db.sample

cursor = sample.find()
test = list(cursor)
assert len(test) == 150000
"""

    print "-" * 100
    print """Default batch size"""
    t = timeit.Timer(stmt=stmt, setup=setup)
    print t.timeit(1)

    stmt = """
from pymongo import MongoClient
connection = MongoClient()

db = connection.test_load
sample = db.sample

cursor = sample.find()
cursor.batch_size(1000)
test = list(cursor)
assert len(test) == 150000
"""

    print "-" * 100
    print """Batch Size 1000"""
    t = timeit.Timer(stmt=stmt, setup=setup)
    print t.timeit(1)

    stmt = """
from pymongo import MongoClient
connection = MongoClient()

db = connection.test_load
sample = db.sample

cursor = sample.find()
cursor.batch_size(10000)
test = list(cursor)
assert len(test) == 150000
"""

    print "-" * 100
    print """Batch Size 10000"""
    t = timeit.Timer(stmt=stmt, setup=setup)
    print t.timeit(1)

if __name__ == "__main__":
    main()

我对您如何获得 80 秒而不是 0.8 秒感到困惑！我根据您的定义创建了示例数据 - 这与您的有何不同？

于 2013-08-23T08:50:23.463 回答
0

如果您要返回集合中的每个项目（而不是通过某些字段查询），不确定这是否会有所帮助，但是您是否尝试过为您的字段创建索引？

db_collection.create_index([("field_name", pymongo.ASCENDING)])
db_collection.reindex()

文档：https ://api.mongodb.org/python/current/api/pymongo/collection.html

于 2016-03-20T20:00:23.443 回答