问题标签 [google-data-catalog]

我首先在 DLP 中创建了一个自定义模板（带有自定义检测器），然后使用新的 DLP 模板针对 BQ 表创建了一个 DLP 作业，并使用发布到数据目录设置运行该作业。

DLP 作业已完成，但数据目录中的 DLP 标记的作业状态为待处理...仅当我为 DLP 作业使用自定义模板时才会发生这种情况。

如果我使用开箱即用的 DLP 检测器标签，则会正确显示数据目录。知道为什么自定义 DLP 模板结果未显示在数据目录中吗？

这是数据目录中 BQ 表条目的列表标记的 o/p

我们使用 MySQL (Cloud SQL) 作为 Dataproc 的元数据存储库。这不存储不属于 Hive 外部表的 GCS 文件的任何信息。

谁能建议将所有文件/数据详细信息存储在 Google Cloud 的一个目录中的最佳方法？

我有文档图像形式的非结构化数据。我们正在将这些文档转换为 JSON 文件。我现在想为此捕获技术元数据。有人可以给我一些在 Google Cloud Platform 中基于非结构化数据构建数据目录的提示/最佳实践吗？

是否可以使用 Terraform 在数据目录中为 Bigquery 列级安全性创建策略标记。我在 terraform 文档中没有看到任何策略标签资源。

https://www.terraform.io/docs/providers/google/r/data_catalog_entry.html

我能够在 Google Data Catalog 中发现 Bigquery 数据集、GCS 文件，但在 Cloud Data Catalog UI 中找不到 Cloud SQl 或 Cloud Spanner 选项。

是否可以在 Data Catalog 中查看 Cloud SQL 表、Cloud Spanner 表数据？如果是，请建议步骤或提供文档链接。

谢谢。

我可以使用 Java Google Data Catalog 库搜索标签模板，并对标签名称进行子搜索以找到使用标签的大查询表，但我不知道如何找到哪些列正在使用标签。以下是一些示例 Java 代码：

上面的代码返回所有标签模板以及使用标签的大查询表在哪里，但我不知道如何找到哪些列正在使用标签。提前致谢。

如何在数据目录（谷歌云平台）中执行通配符/正则表达式搜索？

• 跨列名和标签属性（以及那里的值）搜索元数据是有意义的。

当前文档仅列出了非常严格的搜索行为，例如 tag:data_gov_template.hasPII(=true)

• 需要“PII”的结果 - 我不关心指定确切的模板名称等。

例如标签：etl

• 如果我只搜索 etl 没有结果

（元数据/属性和值不能直接搜索？）

以公开的github数据集为例

有像这样的列名

通过搜索：

不会显示任何结果

什么是最佳实践

• 获得整个公司（一个或多个组织，每个组织都有多个文件夹和项目）
• INTO 一个中央和所有元数据包含的数据目录？

（如果“多个组织”过于复杂，让我们从一个开始）

我正在使用一些 GCP 文档中建议的连接器将元数据从 Tableau 同步到 Google 数据目录 ( https://github.com/GoogleCloudPlatform/datacatalog-connectors-bi )。同步过程按预期进行，我能够搜索和探索数据。但是，可用系统列表在几天后不会更新。不知道您是否需要做其他事情才能做到这一点。