2

我必须使用 App Engine bulkloader 上传大量实体 (800k)。一切都设置好了,一切进展顺利,除了我得到一个导致这种情况发生的神秘错误:

[WorkerThread-0] Backing off due to errors: 1.0 seconds
[WorkerThread-0] Backing off due to errors: 2.0 seconds
[WorkerThread-0] Backing off due to errors: 4.0 seconds
[WorkerThread-0] Backing off due to errors: 8.0 seconds

这很好,直到我让它运行一整天:

[WorkerThread-0] Backing off due to errors: 2048.0 seconds
[WorkerThread-0] Backing off due to errors: 4096.0 seconds

我怎样才能禁用它?它使我的上传永远需要。从字面上看,每千个实体都会发生这种情况,所以我可能会等待2^sum(1 to 800)几秒钟。这显然不理想。

除了说我有“错误”之外,我不知道错误是什么,但如果我每小时停止并恢复它,事情似乎上传得很好。

4

1 回答 1

5

我修改google_appengine/google/appengine/tools/adaptive_thread_pool.py为忽略该self.__backing_off变量。具体来说,我将其重置为1.0第 426 行。

谷歌的设计多么荒谬……

于 2012-06-22T15:11:13.897 回答