问题标签 [gsutil]

每个星期五我都会运行一个 gsutil 4.3 cp -n -L -R 命令（python 版本是 2.7.5），以便将 5 GB 的数据（48 个文件，每个文件不超过 512 MB）从 Windows 7 Enterprise 上传到 GCS。从 8 月 8 日开始，我开始收到 GSutil 错误，如下所示：

• 从 httplib 捕获 BadStatusLine，重试：''
• Retrying request to url https://www.googleapis.com/resumable/upload/storage/v1/b/offsite/o?fields=generation%2Cmd5Hash%2Csize&alt=json&upload_id=AEnB2UraXXAIW8wI-60MqMgu5Ae_zVoxSC_Wf1WfEkzoG--T51vsGRAYY1ZwrQriDhY-y-85tJX-b_Mu5bvE9Mt97eY2soi1_A&prettyPrint =True&uploadType=连接中断后可恢复。
• 最终重试时的 HTTP 错误：''
• CommandException：为本地文件 (ClS2LyPSwjN1qHjP6ICSUQ==) 计算的 md5 签名与云提供的摘要 (Yf0Fn4q+L8EhK7VQaugh+Q==) 不匹配。云对象 (gs://file_URI) 将被删除。

我还注意到上传时间现在非常慢：这个脚本过去需要 3.5 小时才能上传 5 GB，现在需要 12 小时才能被上传 ~ 150 MB 的 Windows 任务计划程序（由于任务超时配置）中断。

虽然我知道这些错误可能与网络和/或通信问题有关，但我们没有其他通信问题，也没有更改任何通信设备，如防火墙、路由器等。此外，我不清楚它们在哪一边正在生成。

为了解决/解决这些问题有什么建议或想法吗？

非常感谢你，费德里科

我正在尝试使用bdutil脚本从部署在 Google Cloud 中的 Hadoop 集群访问 Google Storage 存储桶。如果存储桶访问是只读的，它将失败。

我在做什么：

1. 部署一个集群

   /li>

2. 在主上：

   /li>

查看GCS Java source code，似乎 Google Cloud Storage Connector for Hadoop 需要空的“目录”对象，如果存储桶可写，它可以自己创建；否则失败。设置fs.gs.implicit.dir.repair.enable=false导致“检索对象错误”错误。

是否可以以某种方式使用只读存储桶作为 MR 作业输入？

我gsutil用于文件上传。是否可以在文件上传时强制创建这些空对象？

我通过托管在 Google Cloud Storage 上的存储桶中的电子邮件向某些用户授予了访问权限。（例如... jane@gmail.com）。但是，只要该人在 chrome 上登录到他们的 gmail 帐户，他们就无法访问该文件。它只是说权限被拒绝。这是怎么回事？

我使用的链接类似于： http ://storage.googleapis.com/my-bucket/my-object

在我的仪表板上，我已经明确配置了他们的 gmail 帐户，以便能够访问我的存储桶（甚至是特定文件）。

我也尝试使用 gsutil 工具，例如：

但我不断收到一些代码 401Login Required消息。我误解了什么吗？特定用户是否必须全部下载 gsutil 并以某种方式授予自己访问权限？

我希望网站的用户能够在google cloud storage不使用 Web 应用服务器资源的情况下将文件上传到，因此签名的 url 似乎是可行的方法。

当用户选择要上传的文件时，会向签名的 urljquery发送GET请求django。url 是使用gsutil signurl命令生成的。Django然后将签名的 url 返回到模板，并在提交jquery PUT时使用签名的 url 发送请求。

然而：

• PUT 请求因“SignatureDoesNotMatch”而失败。
• 使用此方法对存储对象的 GET 请求可以正常工作。

是否有必须与 PUT 请求一起发送的必需标头？

gsutil 命令（假设用户选择了文件'map.html'）...

jQuery PUT 代码...

g_url 看起来像...

我有一个在多个 Google Compute Engine (GCE) 实例上运行的 php 应用程序。该应用程序允许用户上传各种尺寸的图像，调整图像大小，然后将调整大小的图像（及其缩略图）存储在存储磁盘中，并将它们的元数据存储在数据库中。

我一直在寻找的是一种通过在 GCE 实例上运行的 php 应用程序将图像存储到 Google Cloud Storage (GCS) 的方法。此处提出了类似的问题，但没有给出明确的答案。任何有关实现此目标的最佳方式的提示或指导都将受到高度赞赏。

我一直在尝试使用谷歌云存储的 gsutil 创建一个签名的url，我一直在我的 windows 机器上使用 python 直到现在我所做的是

• 从谷歌的开发者控制台创建了一个服务帐户
• 然后从我的python中我执行了这个命令来配置服务帐户“gsutil config -e”
• 然后按照控制台的要求给出我的凭证信息
• 然后我尝试使用以下命令为我的一个对象创建一个签名的 url
• python gsutil signurl -d 10m -p notasecret p12file.p12 gs://{my bucket}/{my object}
• 这给了我这个带有错误消息的输出

https://storage.googleapis.com/support-videos/a.txt?GoogleAccessId=myaccessid@developer.gserviceaccount.com&Expires=1409209504&Signature=GI5Uo8XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX4hHzPqq1c%3D

myaccessid@developer.gserviceaccount.com 没有 gs://{my bucket}/{my object} 的权限 使用此链接可能会导致 403 错误，直到至少授予 READ 权限

我已向对象上的所有用户授予读取权限

请帮我解决这个问题，我已经坚持了2天......

我的电脑崩溃了，我需要下载我存储在 Google Cloud 上的所有内容。我不是计算机技术人员，我似乎找不到从 Google Cloud 下载整个存储桶的方法。

我已尝试按照 Google 帮助文档中的说明进行操作。我已经下载并安装了 Python，我下载了 gsutil 并按照说明将其放入我的 c:\ 驱动器中（我可以在那里看到它）。当我转到命令提示符并键入 cd \gsutil 时，下一个提示符会显示“c:\gsutil>”，但我不知道该怎么做。

当我输入“gsutil config”时，它显示“file 'c:\gsutil\gsutil.py”，第 2 行 SyntaxError：编码问题 utf8”。

当我输入“python gsutil”（说明会给出命令列表）时，它说“'python' 不被识别为内部或外部命令、可运行程序或批处理文件”，即使我完成了完整的安装过程对于 Python。

有人建议我下载并安装了一个名为 Cloudberry Explorer 的更用户友好的程序，但我可以设置的源列表不包括 Google Cloud。

任何人都可以帮忙吗？

我有一个关于使用可恢复上传到 Google Cloud Storage 的上传速度的问题。我编写了一个桌面 java 客户端来将大文件上传到 GCS（它有一些特殊的功能，这就是为什么 gsutil 不是我公司的答案）。在大约 2 个月前运行的测试期间，它很好地利用了可用的连接带宽，在 25Mbps 连接中大约有 20Mbps。该项目被冻结了将近 2 个月，现在当它重新打开时，同一个客户端以非常低的速度上传，在 25Mbps 的可用速度中只有 1.4Mbps。我编写了简单的 Python 脚本来检查它是否会出现同样的问题，并且速度会快一点，但仍然在 2Mbps 左右。Gsutil 工具的性能几乎与我的 Python 脚本相同。我还在不同的网络基础设施上以超过 50Mbps 的上传速度运行了测试。

结果也很差：

• Java客户端2.4Mbps
• Python 脚本 3.2Mbps
• gsutil 3.2Mbps

唯一改变的是 Google Cloud Storage API 版本。我正在使用 JSON API，第一个测试是在 v1beta API 版本上运行的。目前，如果我仍在使用折旧的 API 或新的 API，没有区别。

有没有人遇到过同样的上传速度下降？

你的平均上传速度是多少？

上传性能如此急剧下降的可能原因是什么？

复合对象的并行上传能否帮助我充分利用可用带宽？

我正在尝试运行 gsutil 命令来列出 Google Cloud Storage 上存储桶中的内容。我几乎可以肯定该命令没有任何问题。

我得到的错误是：

我已经阅读了“gsutil help creds”中的详细信息，但这仅包含四种凭据类型的高级定义，这没有帮助。

阅读错误消息，似乎我基本上需要删除“配置凭据”之一，在这种情况下，我想删除“Oauth 2.0 用户帐户”凭据。并使用“OAuth 2.0 服务帐户”。

因此，我查看了包含自动生成的配置凭据的“.boto”文件，但看起来没有可以编辑的 Oauth 2.0 用户帐户。

我还尝试在 Google 的开发者控制台中挖掘以删除 Oauth 2.0 用户帐户，但我无法做到。

基本上，我的问题（假设它是正确的问题），如何在 Google Cloud Platform 中删除“Oauth 2.0 用户帐户”凭据？

我使用 Gsutil 下载了评级和评论数据、收益和销售报告数据，并附有以下评论 gsutil cp -r gs://pubsite_prod_rev_/reviews/* ~/gsutil/output/

现在我正在尝试使用应用程序统计数据。但不知道如何请告诉我，如果你有人知道。