问题标签 [google-cloud-data-transfer]

我正在尝试通过 GCP 中的云函数触发计划查询。我尝试遵循几个教程和示例并浏览了文档，但是使用新版本的 APIgoogle-cloud-bigquery-datatransfer==3.1.1我找不到任何显示正确程序的内容。

您将在我当前的代码下方找到：

我尝试传递给client.start_manual_transfer_runs或path但parent我得到：

我还需要指定 Cloud Function 与有权在 BigQuery 中运行查询的正确服务帐户相关联。

帮助将不胜感激！

大家，早安。我有一个 GCS 存储桶，其中包含从我们的 Amazon S3 存储桶传输的文件。这些文件采用 .gz.parquet 格式。我正在尝试使用传输功能设置从 GSC 存储桶到 BigQuery 的传输，但是我遇到了 parquet 文件格式的问题。

当我创建传输并将文件格式指定为 Parquet 时，我收到一条错误消息，指出数据不是 Parquet 格式。当我尝试在 CSV 中指定文件时，奇怪的值出现在我的表中，如链接的图像所示：

我尝试了以下 URI：

• 存储桶名称/文件夹 1/文件夹 2/dt={run_time|"%Y-%m-%d"}/b=1/geo/*.parquet。文件格式：镶木地板。结果：文件不是拼花格式。

• 存储桶名称/文件夹 1/文件夹 2/dt={run_time|"%Y-%m-%d"}/b=1/geo/*.gz.parquet。文件格式：镶木地板。结果：文件不是拼花格式。

• 存储桶名称/文件夹 1/文件夹 2/dt={run_time|"%Y-%m-%d"}/b=1/geo/*.gz.parquet。文件格式：CSV。结果：转移完成，但价值很奇怪。

• 存储桶名称/文件夹 1/文件夹 2/dt={run_time|"%Y-%m-%d"}/b=1/geo/*.parquet。文件格式：CSV。结果：转移完成，但价值很奇怪。

有人对我应该如何进行有任何想法吗？先感谢您！

BigQuery 数据传输作业失败，并显示以下错误消息。

"错误代码 7：无效帐户；可以通过验证用户是否具有足够的权限并更新此传输配置的凭据来解决此问题；错误："invalid_grant" error_description:"无效帐户" "

如https://cloud.google.com/bigquery-transfer/docs/cloud-storage-transfer中所述，为用于传输的服务帐户提供了所需的权限。仍然收到此错误。

我们在 Campaign Manager 中为客户管理展示广告活动，目前每天都会获得展示次数和点击次数报告。但是，他们希望访问 GCLID。为了得到这个，我知道需要进行数据传输。我与 CM 支持人员交谈，他们说我需要获得对云数据传输存储桶的访问权限，但我的 Google 群组管理员不知道如何执行此操作。帮助！

我读过很多不同的东西：

• 似乎我可以访问存储桶，但它没有显示任何数据。组管理员是否也设置了数据传输，或者我可以这样做吗？
• 我找到了一篇关于 BigQuery 并在那里设置帐户的单独文章。那是我需要做的吗？我可以再次自己设置转移吗？我需要为此支付额外费用吗？PS我不是开发人员。我在 SEO 和 SEM 工作，但这个论坛似乎有最有用的信息。

感谢您提供的所有帮助！！！！

在 Big Query Data Transfer Service 中，我已将数据集 1 链接到 Search Ads 360 数据传输。现在我可以在 Dataset1 中看到 20 多个表。是否可以将这 20 多个表移至专用于搜索广告数据的 Dataset2。

我最近在公司使用 Data Catalog 实施了 Big Query 列访问策略，但是尽管我已授予帐户访问所有数据目录标签的必要权限，但某些作业将数据从 S3 带到 BQ，使用 Data Transfer 不起作用，如果我尝试运行出现以下消息：

访问被拒绝：BigQuery BigQuery：用户无权访问策略标签

我有 5 个服务帐户，它们都可以访问标签。我想知道是否有人可以帮助我了解我哪里出错了。谢谢

我从谷歌云存储桶到 AWS 存储桶的数据传输正在进行中，但几个小时后我出现了这个错误 - “

• 命令异常：没有匹配的 URL”

请在此处查看屏幕截图..知道为什么会出现此错误以及如何解决吗？

我设置了一个传输作业，使用开箱即用的传输作业将与我的应用程序相关的数据从 Google Play 导入 GBQ。

根据文档，数据的更新窗口是 7 天，这意味着最近 7 天的滚动更新。

这很好，但有一个重要的例外：“收益”报告仅在前一个月的月初生成一次。结果是，当数据在 4 号或 5 号左右更新时，只有上个月的最后 3 天被导入到收益表中。

有谁知道解决方法或修复？配置方面没有太多，它几乎仅限于定义表的源和后缀。

我正在尝试使用大查询数据传输 api 安排查询并提供所需的权限 bigquery.admin 并启用大查询传输 api。权限文档： https ://cloud.google.com/bigquery-transfer/docs/enable-transfer-service 还尝试了项目所有者对服务帐户的权限。但仍然给出同样的错误。

代码文档：（使用服务帐户设置计划查询） https://cloud.google.com/bigquery/docs/scheduling-queries

出现错误的部分

错误堆栈跟踪

服务文件具有以下所有这些凭据。

BigQuery 管理员

BigQuery 数据传输服务代理

服务帐户令牌创建者

存储管理员

我已经在环境变量中设置了 json 身份验证凭据，但仍然给出权限错误。

有谁可以帮我离开这里吗？提前致谢。

我想构建一个小型解决方案，将文件从 Azure 传输到 GCP。解决方案本身运行良好，但我在任何地方都看不到任何可以通知我传输开始、结束或出现错误的解决方案（例如在 Slack 上）。我在日志中看不到任何可以帮助我的东西。我试图用 PUB/SUB 来做，但没有任何运气。

有什么简单的方法可以将数据传输与 slack 或电子邮件连接起来吗？

谢谢