问题标签 [google-cloud-data-transfer]

当我将 DCM（谷歌广告系列管理器）的拉动与 Big Query 的拉动进行比较时，我一直在努力让我的指标匹配。

例如，当我为给定的广告展示位置提取展示次数时，差异如下：展示次数 DCM 与 BQ

有人告诉我，当从 DCM 提取标准报告时，在输出报告之前，活动管理器中会执行一些数据转换步骤（数据清理等）。

我的问题是我可以让我的指标匹配吗？如果是这样，我需要为 Big Query（过滤器、连接以匹配表等）添加什么到我的 sql 查询中才能做到这一点？

这是我的大查询脚本供参考：

每天将所有记录从 BigQuery 表传输到 Cloud SQL 表的最佳方法是什么（每天预期的大约记录数超过 255801312 [2.55 亿]）。我知道我们可以创建从 BQ 到 CloudSQL 的数据流管道，但是如此大量的数据将运行数小时和数小时。在谷歌云中实施的任何最佳解决方案？

在 Big Query 的 S3 数据传输服务文档中，它指出：

要减少丢失数据的可能性，请将您的 Amazon S3 传输安排在您的文件添加到存储桶后至少 10 分钟进行。

默认情况下，在运行传输时，日志会显示它仅传输上次修改时间为 10 分钟前的文件。

但是，根据文档，似乎有一种方法可以修改此设置。当我创建传输（无论是在控制台还是在 Java 中）时，我似乎无法找到一种方法让它传输文件的时间少于 10 分钟。怎么做？

我已将 Google Ads 数据传输流从 Google Ads 配置到我的 GoogleBigQuery 项目。它运行，数据流动，一切都很好。但是，当我决定构建一个查询以返回在 utm_marks（来源、媒介、活动）的不同组合的上下文中花费的金额时，我遇到了“重复”数据的问题。

因此，查询首先转到 Adstat 表，并获取每个广告活动 ID 中每个 creativeId（我想 creativeId 表示广告）的统计信息。然后，它从每个广告系列的每个 creativeId 的 AdTrackingUrlTemplate 中获取每个 utm_marks。最后，它将两个表合并为一个，在输出中我有关于每个 utm_mark 统计信息的完整信息。

查询如下所示：

输出：

而且有一个麻烦。如果一个 creativeId 在其生命周期中在 AdTrakingTemplate 中有几个 utm_marks，所有这些都将进入结果，并且所有这些都会从 AdStats 表中收到一个统计信息（您可以在输出中看到：相同的日期，相同的 CreativeAd，相同的统计信息，但不同乌兹别克斯坦）。因此，我们有双倍（三倍、四倍）的展示次数、点击次数、花费金额等。这是一个很常见的情况，因为经理更改跟踪模板比在 Google Ads 中创建新的广告或广告系列更容易。

而且，不幸的是，我不知道如何解决这个问题，因为在执行某些统计操作（展示次数、点击等）时，无法确定 createiveIdTrakingTemplate 中究竟是哪些 utm_marks。

有谁知道，如何处理？感谢帮助！

我有一个 Google Ads 帐户，其中包含一个智能广告系列和多个常规广告系列。我还设置了向 Google BigQuery的数据传输。当我尝试使用查询比较 BigQuery 数据时

查询结果显示的费用比我在同一时间段内在 Google Ads 界面中看到的要低。差额等于我的智能广告系列的支出。为了检查这一点，我尝试了以下查询：

两者都没有给我任何结果。

BigQuery 数据传输是否会丢弃智能广告系列的数据？还有什么其他方法可以为他们获取统计信息？

我已经设置了一项服务并且正在按预期工作，但是每次服务运行时，表中都会显示新记录。我想编辑配置以允许服务替换目标表中的所有记录，而不是追加记录。

我不想使用分区表，因为我只想使用最新的可用数据。

但是文档没有任何选项来替换记录而不是附加记录：https ://cloud.google.com/bigquery-transfer/docs/s3-transfer-intro

他们确实提到：来自 Amazon S3 的传输始终由 WRITE_APPEND 首选项触发，该首选项将数据附加到目标表。有关其他详细信息，请参阅加载作业配置中的 configuration.load.writeDisposition。

https://cloud.google.com/bigquery-transfer/docs/s3-transfer

我没有提供有关“configuration.load.writeDisposition”的任何详细信息。我应该学习命令行才能做到这一点吗？

我正在为 BigQuery 使用 Supermetrics，它必须通过 BQ 数据传输服务进行设置才能加载到 BQ。

在选择EG“通过Supermetrics”的“ Facebook广告”并希望选择一个数据集应同步到“ FB_ADS”数据集中。但是，当我这样做时，我收到“意外错误”消息，并且连接 Supermetrics 帐户的可能性消失了。

选择其他一些数据集，一切都很好，但这是至少 3 个数据集的问题。它们都在欧盟多区域中，并且已经有一些表使用相同的连接器同步。

有关详细信息，请参见此处的短视频。

先感谢您！

雅库布

Google 数据传输详细信息问题 我正在尝试将 google 数据从 azure datalake 传输到 GCS，并且能够进行设置。您能否告诉我为什么传输速度很慢？