etl - Stream/Task 是否可以用作仓库解决方案中的 ETL

Question

我想复制 ETL 解决方案是雪花。我已经使用流和任务实现了这一点。我在流表上使用存储过程，其中存在复制任何其他 ETL 工具（如 Informatica）中的逻辑的合并查询和任务以自动化流程。这种方法对于增量更改是否可行？

Answer 1

IMO 是一种由雪花工具（雪管、流、任务、存储过程）组成的 ETL 架构，是许多/大多数数据管道用例的完美解决方案。我现在已经看到拥有多个内部 ETL 工具的小型和大型组织都在 Snowflake 中使用这种架构，坦率地说，因为它可以工作，而且这是他们用例所需的全部。

我确信在某些用例中使用您最喜欢的 ETL 工具是有意义的，但是如果您对这种架构感到满意并且它满足您的需求，那么没有理由不使用它。

可以在此链接中找到数据管道架构的良好图表：

https://docs.snowflake.com/en/user-guide/data-pipelines-intro.html

如果您需要有关如何使用流的更多信息，请从以下链接开始：

https://docs.snowflake.com/en/user-guide/streams.html

如果您需要有关 MERGE 命令的更多信息，请参阅文档：

https://docs.snowflake.com/en/sql-reference/sql/merge.html

这里有一篇关于 MERGE 的不错的博文：

https://dwgeek.com/snowflake-merge-statement-syntax-usage-and-examples.html/

我希望这会有所帮助...丰富