问题标签 [google-cloud-data-transfer]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-storage - GCP 存储桶转移
我希望将数据从一个存储桶传输到 2 个不同的谷歌云帐户中的另一个存储桶。是否可以将数据从一个 GCP 帐户转移到另一个 GCP 帐户？如果是，有哪些步骤？
另请告知，两个 GCP 帐户将收取哪些费用？
google-cloud-platform - 为什么通过谷歌云 BigQuery API 从谷歌播放控制台查询报告会给出不完整的结果
我正在尝试从 google play 控制台中的一份报告中获取数据。特别是 user_acquisition 报告。为了使用 BigQuery API，我在谷歌云平台中设置了数据传输服务。
查询该特定报告时，结果是部分的。有些列与我手动下载报告时得到的结果匹配，但其他列只有值，null尽管下载的报告显示那里应该有数值。
另一个奇怪的事情是，当为查询指定日期范围时（例如五月），结果将显示该月大约 1/3 的日期，但该月的每一天都应该有一行。
查看传输运行历史记录时，有些运行已成功完成，有些运行失败并给出错误消息：Error code 5 : No files found for any reports. Please make sure you selected the correct Google Cloud Storage bucket and Google Play reports exist.但如果没有找到文件，那我怎么能得到任何结果？
GCP 和 Google Play 控制台的用户都是项目的所有者，因此访问存储报告的存储桶的权限应该没有任何问题。
我尝试创建另一个数据传输服务，看看它是否能找到报告。它确实找到了一些文件，但没有找到我感兴趣的文件。传输运行历史记录显示与上述相同的错误。
以前有没有人遇到过类似的问题，也许可以提供某种解决方案？或者也许只是对为什么会出现这个问题有一些见解？
google-bigquery - 来自 S3 的 Bigquery 数据传输间歇性成功
当使用 bigquery 数据传输将数据从 S3 移动到 BigQuery 时，我获得了间歇性的成功（实际上我只看到它一次正常工作）。
成功：
通常的实例是 0 次成功，0 次失败，如下所示：
上面的第二个日志没有Job bqts...运行可能会发生什么？有什么地方可以让我获得有关这些数据传输作业的更多详细信息吗？我的另一份工作遇到了 JSON 错误，所以我不相信是这样。
谢谢！
google-cloud-platform - 带有 BigQuery 分区表的 BigQuery 数据传输服务
我可以访问 BigQuery 中的一个项目。我希望按摄取时间创建一个分区表，按天分区，然后设置一个 BigQuery 数据传输进程，该进程将 avro 文件从 Google Cloud Storage Bucket 中的多个目录引入。
我能够在 BigQuery 中创建一个非分区表，并正确设置传输，以便该表定期更新。但是，当我将表（通过控制台）设置为按摄取时间按天分区时，相同的传输过程不起作用。
我收到错误消息：“无法启动表 xxxxxxx 的作业，并出现错误 INVALID_ARGUMENT：不兼容的表分区规范。需要分区规范间隔（类型：天），但输入分区规范是；作业 ID：xxxxxxxxxxxx:bqts_xxxxxxxx-0000-xxxx-xxxx- xxxxxxxxxxxx”
我认为使用命令行是一种可能的解决方案，但是否有任何替代方案 - 例如仅使用控制台？
google-api - 用于计划查询的 BigQuery 数据传输 API
我正在使用用于 BigQuery 数据传输 API 的 Node JS 库来创建计划查询。
我收到此错误消息
BigQuery Data Transfer API 之前未在项目 xxxxxxxxx 中使用过或已禁用。通过访问启用它......
我访问了该链接，该项目甚至不是我的项目，我无权访问它，并且提供的项目编号与我在请求中的项目不同。
我已在 Header Authorization Bearer 中使用用户访问令牌进行 OAuth 访问。
以前有人遇到过这个问题吗？
jdbc - GCP BigQuery 数据传输服务中的错误：找不到适合 jdbc:redshift:// 的驱动程序
我们按照 Google Cloud Platform 链接https://cloud.google.com/bigquery-transfer/docs/redshift-migration#console设置从 AWS RedShift 到 BigQuery 数据集的数据传输。但是我们收到以下错误：
18:51:01 无法继续：无法使用提供的参数连接：找不到适合 jdbc:redshift://redshift-xyz-bq.c7nxtqwerty23.us-east-1.redshift.amazonaws.com:5439/dev 的驱动程序18:50:30 传输加载日期：20210120 18:50:29 调度运行到 id xxxxxxx 的数据源
我们验证了所有必需的参数并确保正确设置了值。你能帮忙解决这个问题吗？先感谢您。
google-cloud-platform - 使用 Google Cloud Storage Transfer Service 时保留对文件的公开访问权限
我使用 Google Cloud Storage Transfer Service 在 Google 云存储桶之间移动文件。我实际上已经执行了一项转移工作。在源存储桶中有已启用公共访问的文件。在目标存储桶中，相同的文件不再具有公共访问权限。 是否可以使用转移服务并保留公共访问权限？
google-bigquery - BigQuery - 数据传输成功，但目标表保持为空
最终目标：将 csv 文件内容从谷歌云存储桶传输到 BigQuery 数据集中的表。
问题：数据传输似乎正在工作，没有显示任何错误/警告，但数据无法到达目标表。
- 预先创建的数据集/表
- bkt 创建并上传了一个 csv 文件
- 数据传输创建并配置为将所有文件从上述存储桶传输到我的目标表。
- 传输是按需定义的。
我是 bigQuery 和 GCP 的新手，但数据传输的想法对我来说似乎很直观。我假设我在这里遗漏了一些东西，但流程没有通知我。所以我认为这可能是权限（我有 bigQuery 管理员角色等等..）我认为它是一个位置/区域的东西，但所有资源都在欧盟..
你能帮我理解我还缺少什么吗？附上一些可能有帮助的图片。
提前致谢。
google-bigquery - DataTransferService API - 模块“google.cloud.bigquery_datatransfer_v1.types”没有“时间戳”
我想在本地测试 BigQuery DataTransfer API，但遇到库问题：
以下是遇到的问题：
和 ：
google-cloud-platform - 使用 GCP 数据传输服务从 S3 传输以前存储在 Glacier 中的文件
正在使用 GCP 数据传输服务将 S3 存储桶中的一组文件传输到 GCP 存储桶。这些文件在冰川中，所以我先恢复它们，然后尝试复制它们。传输作业运行时没有任何错误，但会忽略任何冰川恢复的文件。这是预期的行为吗？如果是这样，那么在文档中更不用说这似乎是一个巨大的疏忽。我可以很容易地想象一个场景，你认为你已经镜像了一个桶，而实际上你并没有。