问题标签 [data-lineage]

有没有一种方法可以跟踪我们在 AWS Glue 中创建的每个作业正在做什么？例如，如果执行相同操作的作业被创建两次，那么在进行每次转换时数据的数据沿袭？

我已经调试了我的 ADF 管道，该管道包含 4 个复制活动和两个数据流。调试完成后，我切换到 Azure Purview 来查看对 Datafactory 所做的更改，并且能够看到 Pipeline。但是，当我进入 Azure Purview 中的管道时，所有活动和数据流都会出现沿袭，除了一个数据流。此数据流沉入一个不存在的 SQL 表中，因此它会自动创建该表。这就是它没有出现在权限范围内的原因吗？

我必须准备一种算法来查找跨多个数据库的数据之间的关系、数据库之间的关系程度，并在数据从一个数据库移动到另一个数据库时找到跨数据库的转换。

这是一个数据沿袭问题，我们可以输入多个数据库，我们可以得到上述情况的图表/结论作为输出。

Atlas 是 Hadoop 数据沿袭问题的首选产品。是否有任何明确的产品用于 aws Athena 或 Glue 上的数据沿袭跟踪。

我正在使用Spark-Atlas-Connector记录 spark-thrift 产生的数据沿袭。

但是spark-process只有逻辑计划，火花计划，没有SQL语句。逻辑计划很难理解数据沿袭，所以我想在 spark-process 中添加 SQL 语句。

请帮我从 SparkListenerEvent 或 QueryExecution 或其他解决方案中获取 SQL 语句。

Azure Purview 目前仅显示来自 ADF 的复制活动的数据沿袭。这足够了吗？在本文中给出：“通过将元数据从 Azure 数据工厂推送到 Azure Purview，可以启用可靠且透明的沿袭跟踪。” 这是否超出了复制活动？如果是，我们如何才能做到这一点？

Azure 中是否有其他方法可以查看完整的数据沿袭？假设我们正在使用 ADF/Synapse/Azure Databricks。

有以下技巧如何修剪 Apache Spark 数据帧沿袭，特别是对于迭代计算：

它看起来像是某种纯粹的魔法，但现在我想知道为什么我们需要cache()在 RDD 上调用方法？在此沿袭修剪逻辑中具有缓存的目的是什么？

我正在尝试确定表示图像处理数据沿袭的最佳方式。我有一个存储在 S3 中的图像，我想处理它们，然后将它们放回 S3。然后我希望能够运行一个查询，这样我就可以在一个链中查看之前和之后的所有图像和进程。例如：

Image1 -ProcessA-> Image2 -ProcessB-> Image3

我希望搜索Image2的“血统”会产生上述信息。

我知道这看起来像是图形数据库的千篇一律的案例，但我对它们并不十分熟悉，尤其是对于生产工作流程。我一直在研究如何在关系数据库中实现这个模型，但感觉就像我只是想把方钉放在圆孔里。

• 图形数据库是唯一的选择吗？你会推荐哪种口味？
• 有没有办法在我没有考虑过的关系模型中完成这项工作？

我们在我们的组织中使用 Spline-UI，并且我们已经使用 WAR 文件部署了它。但是，Spline-UI 没有任何身份验证机制，因此任何拥有应用程序链接的用户现在都可以访问 Spline-UI Web 应用程序。 Spline UI Web 应用程序 我们希望只有经过身份验证的用户才能访问上述 Web 应用程序。在我们的组织中，我们使用 ForgeRock 产品，它的底层支持 2 个协议：

• OpenID 连接
• SAML2

您能否告诉我们是否可以为 Spline-UI 应用程序集成上述任一协议？如果是这样，请您详细说明相同的步骤。请回复以进行任何澄清。

在 React 中试用 D3 的这个例子。我看到我们可以使用以下数据方案制作简单的可折叠树，

如果每个子项都包含自己的子项怎么办，我们如何为子项嵌套项显示可折叠树？例如，