问题标签 [google-cloud-data-transfer]

我们应用程序的一部分通过存储传输服务 API 发起从 Amazon S3 到 Google Cloud Storage 的传输。我们已经成功启动并运行了几个月，直到昨天我们的传输停止工作。我们可以看到在控制台中启动了传输，但它无限期挂起，并显示一个历史项目：“此传输正在开始......”我们有一个后台进程轮询传输状态，我们看到返回状态“transfer_calculating”

在尝试调试此问题时，我们通过存储控制台设置了传输。我们使用了与我们的应用程序相同的 AWS 访问密钥 ID/秘密访问密钥，并且传输成功完成。这使我们相信问题与传输服务 API 或我们启动 API 调用的代码无关。

转移工作代码：

库配置：

我们已经在我们的开发环境中将版本提高到 1.21.0，但传输仍然卡在“此传输正在开始...”

在这一点上我们被卡住了，还有其他人遇到这个问题吗？

我正在尝试根据正在发出的事件使用 Google Cloud 的存储传输服务在不同项目的存储桶之间传输数据。此事件指向属于项目 A 的存储桶的子目录，我想将其复制到项目 B 中的目标存储桶，因此 STS 看起来很自然。

我已经成功地制作了请求，包括前缀表达式，并且我相信我现在只是在处理权限错误，因为当我使用我的代码在同一项目中的存储桶之间复制时，它会按预期创建并开始传输。但是，当我使用我的服务帐户跨存储桶进行传输时，我收到以下错误：

因此，我从这里查看了我的服务帐户的权限。我已将该服务帐户手动添加为第二个项目的项目编辑器（然后是所有者），并将该帐户添加到我尝试转移到的目标存储桶的 ACL 中。

还有其他我想念的途径吗？我在谷歌上搜索其他遇到我情况的人并没有取得太大的成功。

我一直在到处寻找，似乎找不到答案。我在 S3 存储桶和谷歌存储桶之间设置了文件传输服务。我知道我可以通过单击文件传输来查看错误消息，但我不想访问日志，因此我可以在发生错误时设置电子邮件通知。我在哪里可以找到日志？或者还有其他方法可以设置此电子邮件通知吗？

出于天气处理的目的，我希望在 Google Cloud Storage 中自动检索每日天气预报数据。

这些文件在公共 HTTP URL ( http://dcpc-nwp.meteo.fr/openwis-user-portal/srv/en/main.home ) 上可用，但它们非常大（在 30 到 300 兆字节之间）。文件大小是主要问题。

在查看了之前的stackoverflow主题之后，我尝试了两种不成功的方法：

1/ 通过 Google App Engine 中的 urlfetch 第一次尝试

但我在 urlfetch 行收到以下错误消息：

DeadlineExceededError: 等待来自 URL 的 HTTP 响应时超过了最后期限

2/ 通过 Cloud Storage Transfert 服务进行第二次尝试

根据文档，可以通过 Cloud Storage Transfert 服务直接将 HTTP 数据检索到 Cloud Storage 中： https ://cloud.google.com/storage/transfer/reference/rest/v1/TransferSpec#httpdata

但它需要下载前文件的大小和md5。此选项不适用于我的情况，因为该网站不提供这些信息。

3/有什么想法吗？

您是否看到任何解决方案可以将 HTTP 上的大文件自动检索到我的 Cloud Storage 存储桶中？

我正在使用谷歌云存储传输服务将数据从 twilio 录制 url 传输到谷歌云存储桶。在实现上述内容时，我开始知道要从 url 传输文件，您必须拥有该对象的 md5 散列。现在 twilio 没有为我提供 md5 哈希值。

我想问一下是否可以做上述事情，还有其他方法可以将 url 的内容直接传输到谷歌云存储桶上。

此外，我不想长时间使用我的服务器，它必须像时间表一样快速，以便我可以跟踪它或在它完成时进行某种回调。

我们开发了一个自动化管道，主要在 AWS 上执行任务，然后在 Google Cloud 上执行一些下游工作。这些任务通过 AWS StepFunctions/Lambda 部署在 AWS 上，我们需要将处理过的文件从 AWS 传递到 Google Cloud Storage（通过 Google Transfer Service）。但是，我在将 AWS 和 GCP 部分连接在一起时遇到了麻烦。

我有一个用于实现谷歌传输服务的 Lambda 函数（通过谷歌的 python 客户端库），但是我不断收到错误消息：

我的 S3 到 GCS Lambda 函数（我称之为“切换”）中有一个方法可以设置 GOOGLE_APPLICATION_CREDENTIALS 环境变量，但它显然不起作用。

这是 Handoff Lambda 函数：

在事件对象中传递的 GCP 凭据源于管道用户输入到服务帐户 json 文件的本地文件路径。然后我使用一个函数来读取这个 json 文件并通过以下脚本对其进行加密：

这个加密的凭证对象随后被传递到 Handoff Lambda 函数中。

关于出了什么问题或更简化的方法的任何想法？

我需要将包含大量文件（800k 文件，400GB）的 aws s3 存储桶备份到谷歌云存储。Google Storage Transfer Service 似乎是一个简单的解决方案，但我对成本效益有些怀疑。

第一次它将下载整个 s3 存储桶：

• aws 上 400 GB 的传出流量
• 800k 在 aws 上获取请求
• 800k 对谷歌存储的请求

第二次及以后呢？

它的成本与第一次相同还是只下载更改/新文件？

我在 GCP 中有一个包含数百万个 3kb 文件的存储桶，我想将它们复制到 S3 存储桶中。我知道 google 有一个超快速的传输服务，但是我无法使用该解决方案将数据推送回 S3。

由于对象的数量，运行简单gsutil -m rsync gs://mybucket s3://mybucket可能无法完成这项工作，因为传输所有内容至少需要一周时间。

有比这更快的解决方案吗？

我有一个将数据存储在 Google firebase 数据库和 firebase 存储服务中的移动应用程序。为了防止数据丢失，我想备份存储在这两个服务上的数据。Google 最近为数据库推出了 Autobackups，但不支持 firebase 存储服务。上网发现google有一项服务“Storage Transfer Service”。那么我可以用它从谷歌火力存储桶中备份我的数据吗？

我需要将数据文件从 Linux 服务器复制到 Google Cloud Storage 存储桶，并安排此过程每小时运行一次。我认为“本地转移”是此过程最合适的选项。但是，我正在努力寻找如何逐步实施此过程的详细信息。任何帮助将不胜感激。谢谢。