问题标签 [google-cloud-dlp]

我们需要使用 google dlp 扫描文件。但是只有 gcs 支持 google dlp 扫描。（https://cloud.google.com/blog/products/identity-security/take-charge-of-your-data-scan-for-sensitive-data-in-just-a-few-clicks）所以我需要将具有已知文件 ID 的文件导出到 GCS 并在那里应用 google dlp 扫描。这里有没有人知道如何在没有人工干预的情况下将文件从谷歌驱动器导出到 GCS？

我最近开始了一项 Dataflow 作业，从 GCS 加载数据并通过 DLP 的标识模板运行它，并将屏蔽数据写入 BigQuery。我找不到 Google 提供的批处理模板，因此使用了流式处理模板（参考：链接）。我看到只有 50% 的行被写入目标 BigQuery 表。管道上一天没有任何活动，即使它处于运行状态。

目标：从 Cloud Storage 存储桶读取 CSV 文件并将结果发布到 Pub/Sub 并将结果写入 BigQuery

问题：我可以使用控制台执行此操作，但是当我尝试使用 API 执行此操作时，只有一些操作有效。以下是我的代码示例：

在上面的代码中，只有发布到 BigQuery 的选项才能工作，因为它是稍后编写的。我遇到了此链接上给出的文档，上面写着“工会现场行动只能是以下之一”

问题：我的理解是否正确，仅使用 API 可以执行其中一项操作（写入数据库或发布到 pub/sub 等）？

如果是，是否会支持使用类似于控制台的 API 进行多项操作？

附录：使用具有多个操作的控制台配置 DLP 作业的 PFA 屏幕截图

BigQuery 路线图中是否有任何功能支持动态数据屏蔽？例如，根据用户的角色显示屏蔽数据。我已经探索了 DLP，它有助于在 BigQuery 中存储屏蔽数据，但使用这种方法，必须创建同一个表的两个版本，屏蔽和未屏蔽。请参考以下链接作为示例，以获取我询问的其他上下文。（示例链接）

我的公司正在迁移到 GSuite，我们需要执行一些内容合规性规则。我们之前通过使用 Exchange 作为平台的电子邮件安全设备来强制执行这些操作。普通 Gmail 的 DLP 规则运行良好，但我们有一个组太大而无法使用共享邮箱，因此我们将它们转换为 Google 组。

我找不到将任何 DLP 设置应用于组的任何方法。我尝试创建仅适用于群组的 Gmail 规则，但这些规则根本不起作用。有没有人这样做或知道任何方式来完成组？

我尝试对 dlp 使用 gcp 代码：

代码很容易从这个 gcp 官方网站文档中找到（除了输入我自己的凭据之外没有进行任何更改）：

我收到一条错误消息：

我不明白为什么会收到此错误，因为当我在本地尝试它时它可以工作，但在气流中却不行。

我从 Google DLP 控制台扫描了一个 Bigquery 表。扫描结果被保存回一个大查询表中。DLP 已识别出敏感信息，但起始字节显示为空，谁能帮我理解为什么？

源数据如下所示：

如果我将相同的数据放在云存储桶中，然后使用 DLP 执行扫描，我会得到敏感数据的开始和结束字节

在尝试使用 GCP DLP 的 POC 时，遇到以下问题：

我刚刚使用 KMS 中的生成密钥选项和基本 DLP 模板创建了密钥和密钥环，以使用加密确定性令牌对数据进行伪匿名化。我提供的包装密钥是一个简单的 base-64 格式密钥。在控制台中使用数据测试此模板时，我遇到了这个问题。尝试加密数据时，应用程序日志中也会出现同样的问题。

PS：我们已经尝试使用 Open SSL 生成手动密钥并将其导入 KMS。我们仍然面临这个问题。

附上截图供参考：

我正在使用脚本以编程方式调用 Cloud DLP API 来检查 BigQuery 中的表。该脚本大部分运行良好，但我偶尔会收到以下错误。
我试图搜索，但没有关于这个问题的内容。

这似乎是一个短暂的问题，如果我重新运行我的脚本，就不会再出现错误了，并且它随机出现在表格中。

有问题的finding_id字段不是我表中的字段。
似乎它可能是 Cloud DLP API 在将检查结果写入 BigQuery 时使用的字段。

更新：
这是我正在调用的 API（使用 Python 库）：

我使用 GCP Console 配置了 DLP 检查作业来扫描 PDF 和 DOCX 文件。它按预期工作，找到预期的实体并将结果保存到 BigQuery 表。

根据文档，DLP 对 PDF 和 DOCX 使用智能文档解析。这应该在DocumentLocation对象中为我提供其他位置详细信息。

我可以location.content_locations.document_location.file_offset在 BigQuery 表中看到列，但它是空的。

我正在获取location.byte_rangeTXT 文件和location.content_locations.image_location.bounding_boxes图像的值，但没有文档的位置信息。

什么可能导致此问题？