问题标签 [google-cloud-dataprep]

我在 Dataprep 中有一个流程，它使用 Bigquery 中的一个表，该表的架构已更改，现在如何在不影响我的 ETL 或删除我的步骤的情况下刷新初始导入。

有没有办法将 Google Analytics 数据导出到 Google GCS 存储桶或 BigQuery？我正在尝试使用 Google Dataprep 更好地查看来自分析的数据。

我正在实施 Cloud Functions 来触发 DataPrep Dataflow 作业。我可以用一张固定的桌子，而且效果很好。当我尝试在随时间变化的云函数中给出表名时，当数据流作业在初始点运行时，我得到相同的结果。

以下是代码：

我在服务帐户中删除用户时犯了一个错误service-[project number]@dataflow-service-producer-prod.iam.gserviceaccount.com，我应该删除另一个用户。之后，Dataprep 停止运行作业。

我已经检查了有关数据流和数据准备的所有准则：如果 API 启用（是的，它是）。如果有适当的服务帐户（是）。但我不知道为这些帐户分配什么规则。

我尝试为此帐户分配“云数据流服务代理”角色，但它没有出现在我面前 >

我也尝试分配其他角色，但没有奏效。

这一切都始于我错误地删除了这个帐户。

有人知道如何解决这个问题吗？

PS：我的英语正在进步，对于一些错误，我深表歉意。

我连接了几个项目......但这一个给出了错误。任何人都可以帮忙吗？

错误截图

我已经使用 Dataprep 几个月了，并且在我的一个项目中构建了许多不同的流程。我今天早上正在使用它，但是现在当我登录时，Dataprep 中的项目是空白的，就像我是一个全新的用户一样。我开始恐慌，因为几个月的工作已经消失了！有人对该怎么做有任何建议吗？

我尝试过但没有成功的事情：

• 我切换到另一个项目，我可以看到列出了该项目的流程。
• 登出/登入
• 重新启动浏览器

我正在尝试使用Cloud Dataprep填充我的维度和事实表。

与在维度模型中一样，在填充事实之前需要填充维度，通过使用参考数据集将流链接在一起，我没有成功，因为在第一个流完成后没有触发连续的流，并且一个接一个地调度流变成有风险。

现在，我正在尝试在单个流程中实现此场景，即首先填充维度，然后将它们与事实数据连接起来，以使用维度键值填充数据。

但是，在此过程中，维度的目标以正确的方式填充，但事实目标没有得到执行。

任何人都可以提出任何帮助吗？

我可以使用自定义条件而不是相等来连接两个表吗？例如，我在BigQuery中有两个表。表 A 有 3列start_range和。表 B 有来自存储使用云功能的数据，并有一个特定的列“标记”。我正在DataPrep中创建一个流，以便加入这些应该满足条件的表：end_rangegrade

然后将数据粘贴到新表中。但我找不到任何自定义条件的规定。连接只能匹配两列。任何想法？

背景故事： 我们使用谷歌分析来跟踪我们网站上的用户行为。每天将数据导出到 Big Query。我们的实现非常复杂，我们使用了很多自定义维度。

要求： 1. 需要将数据导入我们的内部数据库，以获得更好、更具战略性的洞察力。2. 流程需要运行，不需要人工交互

问题： Google Analytics 数据需要采用平面格式，以便我们可以将其导入数据库。

问题：如何使用 Google 数据准备取消嵌套自定义维度数据？

它看起来像什么？

我需要它看起来像什么？

我知道如何在 Big Query 界面中使用标准 SQL 查询来实现这一点，但我真的很想拥有一个自动执行此操作的 Google 数据准备流程。

我在 Cloud DataPrep 中创建了两个流 - 第一个输出到 BigQuery 表，还创建了一个参考数据集。第二个流程获取参考数据集并在输出到第二个 BigQuery 表之前对其进行进一步处理。

是否可以安排这两个流程按顺序运行？目前我必须估计第一个流程所花费的时间，并安排第二个流程在第一个流程之后运行 XX 分钟。

在第一个流程中触发第二个流程的配方，或者按顺序安排它们的方式都是理想的。

这个问题展示了如何创建参考数据集，但没有解释是否可以自动/按顺序运行它们。