snowflake-cloud-data-platform - 通过 JDBC 与 COPY_INTO + GET 批量卸载雪花数据

Question

我有兴趣从雪花连续批量卸载数据到本地存储。SELECT通过使用 JDBC直接发出查询而不是使用COPY_INTO复制到 Snowflake 内部阶段然后使用GET命令从内部阶段下载（Snowflake 参考），从 Snowflake 批量卸载是否有任何缺点。

通过 JDBC 进行选择查询似乎更直接，而无需使用中间内部阶段的雪花存储容量。

Answer 1

COPY INTO 有一些直接 SELECT 没有的额外好处：

1. 格式选项，允许您生成除 CSV 之外的其他文件类型，如 JSON、Parquet、AVRO、ORC 和 XML
2. 您可以直接复制到外部位置，例如 S3
3. 您可以控制是生成单个文件还是多个文件并定义每个文件的最大文件大小
4. 您可以控制分隔符、字段包围和转义字符等
5. 您可以决定使用什么压缩，它支持 GZIP、BZ2 等

这不是一个详尽的列表，所以我认为 COPY INTO 可以让您更好地控制简单的直接 SELECT。