amazon-web-services - 如何将 SnowFlake S3 数据文件导出到我的 AWS S3？

Question

Snowflake S3 数据在 .txt.bz2 中，我需要将此 SnowFlake S3 中存在的数据文件导出到我的 AWS S3，导出的结果必须与源位置中的格式相同。这是我试过的。

---

COPY INTO @mystage/folder from (select $1||'|'||$2||'|'|| $3||'|'|| $4||'|'|| $5||'|'||$6||'|'|| $7||'|'|| $8||'|'|| $9||'|'|| $10||'|'|| $11||'|'|| $12||'|'|| $13||'|'|| $14||'|'||$15||'|'|| $16||'|'|| $17||'|'||$18||'|'||$19||'|'|| $20||'|'|| $21||'|'|| $22||'|'|| $23||'|'|| $24||'|'|| $25||'|'||26||'|'|| $27||'|'|| $28||'|'|| $29||'|'|| $30||'|'|| $31||'|'|| $32||'|'|| $33||'|'|| $34||'|'|| $35||'|'|| $36||'|'|| $37||'|'|| $38||'|'|| $39||'|'|| $40||'|'|| $41||'|'|| $42||'|'|| $43 from @databasename) CREDENTIALS = (AWS_KEY_ID = '*****' AWS_SECRET_KEY = '*****' ) file_format=(TYPE='CSV' COMPRESSION='BZ2'); PATTERN='*/*.txt.bz2

---

Answer 1

目前 Snowflake 不支持将数据导出到 bz2 中的文件。

我的建议是设置 COMPRESSION='gzip'，然后您可以将数据以 gzip 格式导出到您的 S3。

如果在 bz2 中导出文件对您来说是高优先级，请联系 Snowflake 支持。

如果您想将 bz2 文件从 Snowflake 阶段卸载到您自己的 S3，您可以执行以下操作。

COPY INTO @myS3stage/folder from 
  (select $1||'|'||$2||'|'||  $3||'|'||   $4||'|'||   $5||'|'||$6||'|'||  $7||'|'||   $8||'|'|| $9||'|'|| $10||'|'||   $11||'|'||   $12||'|'||    $13||'|'||  $14||'|'||$15||'|'||    $16||'|'||  $17||'|'||$18||'|'||$19||'|'||  $20||'|'||  $21||'|'||  $22||'|'||  $23||'|'||  $24||'|'|| $25||'|'||26||'|'||  $27||'|'||  $28||'|'||  $29||'|'||  $30||'|'||  $31||'|'||  $32||'|'||  $33||'|'||  $34||'|'||  $35||'|'||  $36||'|'||  $37||'|'||  $38||'|'||    $39||'|'||    $40||'|'||  $41||'|'||  $42||'|'|| $43 
   from @snowflakeStage(PATTERN => '*/*.txt.bz2'))
CREDENTIALS = (AWS_KEY_ID = '*****' AWS_SECRET_KEY = '*****' )
file_format=(TYPE='CSV');