3

我正在为客户设置数据管道。我已经在分析方面工作了很多年，但现在我在一家只有生产环境的小商店工作。我们做的第一件事是创建一个复制的生产实例，但我想应用一种数据仓库的心态来简化分析部分。

我的问题归结为使用什么工具？还有，为什么？我一直在寻找像 Talened for ETL 这样的解决方案，但也对 Airflow 非常感兴趣。问题是我不太确定哪个更适合我的需要。我想轻松监控和创建工作（我写得很流利，所以创建 Airflow 工作不是问题），但也能够在数据进入时对其进行转换。

任何建议都非常感谢

4

2 回答 2

1

请考虑到 talend 的开源（Talend Open Studio）不提供任何监控/调度能力。它只是“代码生成器”。更复杂的基础设施是企业版的一部分。

于 2016-09-08T15:00:58.253 回答
1

对于任何看到这一点的人。四年后，我们所做的是利用 Airflow 进行调度，利用 Fivetran 和/或 Sticher 进行提取和加载，以及利用 dbt 进行转换。

于 2020-06-13T21:56:24.957 回答