3

我正在尝试使用 App Engine 批量加载程序从数据存储区下载实体（如果重要，则为高复制）。它可以工作，但速度很慢（85KB/s）。是否有一些神奇的参数我可以传递它以使其更快？我收到大约 5MB/分钟或 20,000 条记录/分钟，并且鉴于我的连接速度可以达到 1MB/秒（希望 App Engine 可以提供比这更快的速度），必须有一种方法可以更快。

这是我当前的命令。我尝试过大数字、小数字和各种排列：

appcfg.py download_data 
--application=xxx 
--url=http://xxx.appspot.com/_ah/remote_api 
--filename=backup.csv 
--rps_limit=30000 
--bandwidth_limit=100000000 
--batch_size=500 
--http_limit=32
--num_threads=30 
--config_file=bulkloader.yaml 
--kind=foo

我已经尝试过这个 App Engine Bulk Loader Performance ，它并不比我已经拥有的更快。他提到的数字也与我所看到的不相上下。

提前致谢。

4

1 回答 1

3

您是否在尝试下载的实体的键上设置了索引？
我不知道这是否有帮助，但请检查您是否在下载开始时收到警告，说明“使用顺序下载”

将此放在 index.yaml 上以在实体键上传上创建索引并等待构建索引。

- kind: YOUR_ENTITY_TYPE
  properties:
  - name: __key__
    direction: desc
于 2011-10-07T19:32:48.050 回答