1

我们正在使用 mapreduce 库的“旧版”(非 PipelineAPI)版本:http ://code.google.com/p/appengine-mapreduce/

问题是我们只能获得一个分片处理,即使对于拥有超过 150,000 个实体的种类也是如此。我们尝试了不同的 shard_count 配置,例如 4、16、128,但始终只有一个 shard 处理整个数据集,这非常慢。

我觉得我错过了一步(例如,创建索引或其他东西)。我们只是在其他应用程序上成功地使用了这个遗留库,并且它按预期运行多个分片。

交叉我的手指,有人知道一个临时的答案。

谢谢,j

4

1 回答 1

2

找到了!

此问题在 Python 中出现,并且仅在您覆盖模型的默认种类名称时才会出现。

我在 mapreduce 问题跟踪器上为此打了一个补丁:http ://code.google.com/p/appengine-mapreduce/issues/detail?id=154

于 2013-01-03T21:32:57.887 回答