当我们用 GCP 云存储实现数据湖，用 Dataproc、Dataflow 等云服务实现数据处理时，如何在 GCP 中生成数据沿袭报告？
问问题
2704 次
2 回答
4
Google Cloud Platform 没有无服务器数据沿袭产品。
相反，您可能希望在 Google Cloud Dataproc 上安装Apache Atlas并将其用于数据沿袭。
于 2019-03-25T00:59:13.687 回答
0
Google Cloud Data Fusion 在企业版中支持沿袭。您可以使用 DF 构建和编排管道，并使用 Dataproc 和 Dataflow 作为运行它们的能力。CDF 沿袭简介可以在此处的文档中找到：https ://cloud.google.com/data-fusion/docs/tutorials/lineage
如果您不使用 CDF 功能，那么对于血统来说有点过分了。至少在我的许多用例中，Google Cloud Data Catalog 中的沿袭功能是最佳的。不幸的是，目前 CDC 不支持血统。我希望它在产品路线图上，并且将来会支持血统。
于 2020-11-19T05:22:10.577 回答