问题标签 [google-cloud-data-transfer]

我尝试从 Google Cloud Platform 迁移数据，我尝试了 Mike 的这种方法Exporting data from Google Cloud Storage to Amazon S3，但收到了投诉，有人知道我下一步该怎么做吗？

我正在尝试将数据从一个存储桶移动到 Google Cloud 上同一项目中的另一个存储桶。它具有纯图像和文档，例如 .png、.jpg 和 .pdf 文件。我试了几次，但结果还是一样。

下面是我正在使用的命令， gsutil -m cp -r -n gs://bucket1/folder1/subfolder/* gs://bucket2/folder1/subfolder/ 2>&1 | 三通 ./result.txt

它运行了几个小时，一段时间后屏幕进入挂起状态，我没有看到在谷​​歌控制台上运行任何日志。

我的疑问如下，GCP上是否有任何设置，如果网络流量持续几个小时，它会阻塞流量，类似的东西？桶级有大小上限吗？如果是，我该如何检查？

我是否必须在上述命令中添加任何其他参数？您对完成此任务还有其他建议吗？

我们最近做了一个“本地转移”，从一台正在退役的旧服务器到一个通过 docker 连接的 Google Cloud Storage 存储桶。传输的总大小为 365GB。控制台显示传输已 100% 完成，传输了 365GB 的数据，但控制台将传输列为失败，因为“2 个文件传输失败”。但是，它没有列出哪些文件失败了。错误详情页面有“无结果”，转帐摘要页面未列出。我怀疑这些文件无关紧要，但我想检查一下。如何找出哪些文件传输失败？

[google-cloud-storage]我正在尝试使用“本地传输”选项将文件从 Linux 目录复制到 GCP 存储桶。我已经在 Linux 上安装了 docker 脚本并创建了 GCP 存储桶。我现在需要运行 Docker Run 命令来复制文件。我的问题是如何在 docker 命令中指定源和目标位置。例如; sudo docker run --source --target --hostname=$(hostname) --agent-id-prefix=ID123456789

我在 Google Computer Engine 中有一个“nearline”+“europe-west4（荷兰）”存储桶。如果存储桶中的文件达到某个年龄（例如 6 个月），我想将它们移动到“冷线”+“多区域（欧盟）”存储桶。我尝试使用存储桶生命周期规则实现此行为，但不幸的是文档说，您无法将文件从“区域”移动到“多区域”存储桶。

我该如何实现这种行为？除了存储桶生命周期规则之外，还有其他方法可以做到这一点吗？

I am trying to use the BigQuery Data Transfer Service by Google Cloud Platform to bring in my data from Cloud SQL (mysql instance) to BigQuery. I have enrolled the data source on the marketplace portal. Also I am using a Public IP for my mysql instance. I have also added Fivetran IP to the list of authorized connections and also created a fivetran user in mysql to access the cloud SQL db. Still, the connection to source fails without any proper error.

Error message: Enable a third-party data connection in BigQuery

You're creating a DTS connector with a third-party data source. Below is the agreement that you need to accept: By clicking the Accept Agreement button, you grant the Fivetran-managed Service Account read/write access to the BigQuery data set data_transfer_test_ae1 and you understand that BigQuery will only respect the data location (asia-east1) once the data is in data_transfer_test_ae1. You also acknowledge that Google will send your email address and the fields in the form to Fivetran as part of this transfer.

[object ErrorResponse]

enter image description here

当我尝试转到计划查询仪表板时，我不断收到此错误。我有一个计划查询，它通过服务帐户从另一个项目导入聚合数据。导入似乎工作了一段时间，但在我收到此错误后不久。

看起来我在多个区域多次收到此错误。为了使其工作（一段时间），我禁用了相关 API 并重新激活它，但过了一段时间我不断收到相同的错误。

如果这可能是权限错误（如果进行此数据传输的服务帐户没有足够的权限）或者它是 API 问题，我不是。你们知道这里可能是什么问题以及我如何测试它吗？

我已经设置了一个谷歌广告转移到 bigquery，刷新窗口设置为 30 天。我知道转换类型的统计数据在回溯期内会不断更新，所以我不担心过去 30 天内数据拉取和 UI 之间的不一致；但是，在 30 天的归因窗口结束后长达 10 天的用户界面和数据传输之间似乎存在差异。（例如，我在 2020 年 6 月 2 日安排了 2020 年 4 月 29 日的回填。比较 UI 和 bq 数据时，2020 年 6 月 10 日，bq 数据不再与 UI 匹配） 注意：回填数据超过40天，似乎没有这个问题。

有没有其他人遇到过这个问题？任何潜在的解决方案？

同样的问题已在 GCP 松弛社区中发布。

我的 GCP 存储桶中有大约 54 000 个文件。当我尝试安排大查询数据传输作业以将文件从 GCP 存储桶移动到大查询时，我收到以下错误：

错误代码 9：超出传输运行限制。最大大小：15.00 TB。最大文件数：10000。找到：大小 = 267065994 B (0.00 TB)；文件数 = 54824。

我认为最大文件数是 1000 万。

我有一个 GCS 存储桶，每天可以获取大约 10k 到 20k 个新文件。

我想设置 BQ 数据传输以每天将新文件加载到我的表中。

鉴于它运行在配额上的大量文件并给我这个错误：Error status: Transfer Run limits exceeded. Max size: 15.00 TB. Max file count: 10000. Found: size = 24448691 B (0.00 TB) ; file count = 19844.

有没有办法避免这些配额？