0

对于本地 -> S3 -> Snowflake ETL 解决方案

目前我使用工具：

  • 雪SQL
  • 雪花界面

目前我遵循这个加载过程

  1. 创建仓库
  2. 创建索引 (DDL)
  3. 创建表 (DDL)
  4. 将文件复制到用户 S3 阶段。
  5. 将 S3 阶段文件复制到表中

问题： 是否有我应该遵循的标准摄取过程？我正在寻找可用于开发数据负载（摄取）的经过验证的生产级流程

标准：我愿意使用雪花提供的实用程序，但不愿意使用 ETL 工具（Informatica 或 TalenD 或任何其他工具）

我过去曾与其他数据库供应商合作提出过这样的流程。我知道它确实存在。

4

1 回答 1

0

数据集成有两种源数据加载过程

  1. 批量加载 2 连续摄取

正如您已经表现出对 ETL/ELT 工具使用的有限兴趣。我的建议

  1. 对于批量加载操作（一次性），使用标准复制到命令，从直接创建外部阶段或使用任何您喜欢的外部命名阶段（您已经提供了足够的步骤） 2 对于连续摄取，雪管将是理想的选择, 查看更多

https://docs.snowflake.com/en/user-guide/data-load-snowpipe.html

谢谢帕拉什查特吉

于 2020-05-16T23:09:46.900 回答