0

我正在通过加载程序类和远程 api将数据上传到 App Engine（而不是开发服务器），并且我在 CSV 文件中间达到了配额。根据日志和进度 sqllite db，如何选择要上传的剩余部分数据？

通过数十条记录来确定哪些是转移，哪些没有转移，这不是一项吸引人的任务，所以我寻找一些方法来限制我需要检查的记录数量。

这是相关的（IMO）日志部分，如何解释工作项编号？

[DEBUG    2010-03-30 03:22:51,757 bulkloader.py] [Thread-2] [1041-1050] Transferred 10 entities in 3.9 seconds
[DEBUG    2010-03-30 03:22:51,757 adaptive_thread_pool.py] [Thread-2] Got work item [1071-1080]
<cut>
[DEBUG    2010-03-30 03:23:09,194 bulkloader.py] [Thread-1] [1141-1150] Transferred 10 entities in 4.6 seconds
[DEBUG    2010-03-30 03:23:09,194 adaptive_thread_pool.py] [Thread-1] Got work item [1161-1170]
<cut>
[DEBUG    2010-03-30 03:23:09,226 bulkloader.py] [Thread-3] [1151-1160] Transferred 10 entities in 4.2 seconds
[DEBUG    2010-03-30 03:23:09,226 adaptive_thread_pool.py] [Thread-3] Got work item [1171-1180]
[ERROR    2010-03-30 03:23:10,174 bulkloader.py] Retrying on non-fatal HTTP error: 503 Service Unavailable
4

1 回答 1

1

您可以恢复中断的上传：

如果传输中断，您可以使用 --db_filename=... 参数从中断处恢复传输。该值是工具创建的进度文件的名称，可以是您在开始传输时随 --db_filename 参数提供的名称，也可以是包含时间戳的默认名称。这假设您安装了 sqlite3，并且没有使用 --db_filename=skip 禁用进度文件。

于 2010-03-30T18:55:47.857 回答