如果我将文件从 ADLS 读入 PySpark 数据帧并以不同的文件格式写回另一个 ADLS 文件夹，该沿袭是否会在 Hive 元存储中捕获，是否可以为此类操作显示沿袭？
问问题
411 次
1 回答
1
目前这个血统不会开箱即用 - 但是，Purview 在幕后使用 Atlas，因此您可能可以使用 API 捕获这个血统。
这是使用 Spline 跟踪笔记本沿袭的示例： https ://intellishore.dk/data-lineage-from-databricks-to-azure-purview/
本文讨论如何开始使用 Purview REST API： https ://techcommunity.microsoft.com/t5/azure-architecture-blog/exploring-purview-s-rest-api-with-python/ba-p/ 2208058
于 2021-09-30T17:17:59.850 回答