google-app-engine - 从压缩的 CSV 文件将数据上传到数据存储？

Question

我有一个非常大的 gzip csv 文件（大约 500GB），我需要使用批量加载工具将其导入数据存储区。是否可以不必先解压缩？如果是，我必须如何配置我的 bulkload.yaml 文件？

transformers:

- kind: Client
    connector: csv
    connector_options:
      encoding: zip?

Answer 1

使用命名管道怎么样。

mkfifo --mode=0666 /tmp/namedPipe
gzip --stdout -d file.gz > /tmp/namedPipe

然后在另一个终端中，或者如果您使用 & 分离 gzip 命令

appcfg.py upload_data --config_file=bulkloader.yaml --filename=/tmp/namedPipe --kind=YOUR_DATA_KIND 

示例取自http://en.wikipedia.org/wiki/Named_pipe