3

我的 python 脚本迭代数据集所花费的时间有问题。数据集大约有 40k 个文档。这足以使 pymongo 游标发出多个提取，这些提取是内部的并且从开发人员那里抽象出来。我尽可能地简化了我的脚本来演示这个问题：

from pymongo import Connection
import time

def main():
    starttime = time.time()
    cursor = db.survey_answers.find()
    counter=0;
    lastsecond=-1;
    for entry in cursor:
        if int(time.time()-starttime)!=lastsecond:
            print "loop number:", counter, "   seconds:",int(time.time()-starttime);
            lastsecond= int(time.time()-starttime)
        counter+=1;
    print (time.time()-starttime), "seconds for the mongo query to get rows:",counter;

connection = Connection(APPSERVER)#either localhost or hostname depending on test
db = connection.beacon

if __name__ == "__main__":
    main()

我的设置如下。我有 4 个单独的主机，一个运行 mongos 的 APPSERVER 和 3 个其他分片主机，每个主机都是主副本集和另外两个的辅助副本集。

我可以从其中一个分片服务器（连接指向 APPSERVER 主机名）运行它，我得到：

loop number: 0    seconds: 0
loop number: 101    seconds: 2
loop number: 7343    seconds: 5
loop number: 14666    seconds: 8
loop number: 21810    seconds: 10
loop number: 28985    seconds: 13
loop number: 36078    seconds: 15
16.0257680416 seconds for the mongo query to get rows: 41541

所以很明显这里发生了什么，游标请求的第一批大小是 100，然后每个后续的都是 4m 的数据，这对我来说似乎刚刚超过 7k 个文档。每次获取花费2-3 秒！！！！

我想我可以通过将我的应用程序移近 mongos 实例来解决这个问题。我在 APPSERVER 上运行了上面的代码（连接指向本地主机）希望减少网络使用量....但情况更糟！

loop number: 0    seconds: 0
loop number: 101    seconds: 9
loop number: 7343    seconds: 19
loop number: 14666    seconds: 28
loop number: 21810    seconds: 38
loop number: 28985    seconds: 47
loop number: 36078    seconds: 53
53.5974030495 seconds for the mongo query to get rows: 41541

两个测试中的游标大小完全相同，这很好，但是每个游标获取在这里花费 9-10 秒！！！

我知道我有四个需要通信的独立主机，所以这不可能是即时的。但是我需要遍历可能有 1000 万条记录的集合。以每 7k 2 秒计算，这只需不到一个小时！我不能拥有这个！

顺便说一句，我是 python/mongo 世界的新手，我习惯了 php 和 mysql，我希望它可以在几分之一秒内处理：

$q=mysql_query("select * from big_table");//let's say 10m rows here ....
$c=0;
while($r=mysql_fetch_rows($q))
    $c++;
echo $c." rows examined";

有人可以解释我提出的 pymongo（约 1 小时）和 php/mysql（<1 秒）方法之间的巨大差异吗？谢谢！

4

1 回答 1

3

在 A. Jesse Jiryu Davis 的帮助下，我能够解决这个问题。原来我没有安装 C 扩展。我想在没有分片的情况下运行另一个测试，这样我就可以排除网络延迟的问题。我得到了一个干净的主机，设置了 mongo，导入了我的数据，运行了我的脚本，花费了同样多的时间。所以我知道分片/副本集与这个问题没有任何关系。

在修复之前，我能够打印：

pymongo.has_c(): False
pymongo version 2.3

然后我按照说明安装 c 扩展的依赖项：

yum install gcc python-devel

然后我重新安装了pymongo驱动：

git clone git://github.com/mongodb/mongo-python-driver.git pymongo
cd pymongo/
python setup.py install

我重新运行了我的脚本，它现在打印：

pymongo.has_c(): True
pymongo version 2.3+

与上面的 16 秒相比，运行大约需要 1.8 秒。获取 40k 记录并对其进行迭代似乎仍然很长，但这是一个显着的改进。

我现在将在我的 prod（分片、副本集）环境中运行这些更新，希望能看到相同的结果。

**更新* * 我在我的 prod 环境中更新了我的 pymongo 驱动程序，并且有改进，尽管没有那么多。几次测试大约需要 2.5-3.5 秒。我认为分片性质是这里的错。迭代超过 4 万条记录似乎仍然非常缓慢。

于 2012-10-10T19:12:45.620 回答