问题标签 [gsutil]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
872 浏览

google-cloud-storage - GCE实例的上传速度

我正在使用 -m 选项从“us-central1-a/machineTypes/n1-standard-1”实例运行 gsutil 上传,并将磁盘附加到 GCS 存储桶。

我一次复制几个文件,根据 bmon,我得到了大约 15MiB 的 TX 速度。谷歌云内部网络的预期速度是多少?

升级实例是否会提高速度(注意,实例的 cpu 使用率非常低)。

0 投票
1 回答
5675 浏览

google-cloud-storage - gsutil cp -z 如何一次复制和 gzip 多种文件类型

我试过了gsutil cp -z "js, css, html" file/name gs://bucket/name

只有压缩的文件类型是 js,但其他类型保持未压缩。

cp -z 命令可以上传和压缩多种文件类型吗?

任何建议将不胜感激。

提前致谢。

0 投票
4 回答
2525 浏览

google-cloud-storage - gsutil 返回“未经授权的客户端”

我正在将一个包含 130k 文件的文件夹同步到 Google Cloud Storage。在上传了数千张图片后,我开始收到 gsutil 尝试复制的每个文件的以下消息:

我尝试了我能想到的每一个技巧。gcloud auth login像往常一样工作,但它不能解决问题。gcloud auth list显示正确的帐户。gsutil config警告我不再需要它 - 无论如何我都运行了它,它按预期工作,但它没有解决问题。删除.boto文件并gsutil config再次运行也无济于事。

此刻我想可能是我遇到了一些配额限制。我在文档或 Cloud Console 中找不到任何关于文件上传配额的参考。为了验证这个理论,我尝试从不同的计算机同步相同的文件。它起作用了,表明没有存储桶或应用程序配额。然而,在几千个文件之后,第二台计算机开始显示相同的错误消息。

另一个重要说明。最初我尝试使用 Cloud Console 复制文件,但速度太慢了。尽管如此,控制台还是能够上传超过 25k 的文件 - 远远超过gsutil工具。我自己终止了这个上传(24 小时内 25k 个非常小的文件太慢了......)

有谁知道这是怎么回事?我现在如何恢复凭据?

0 投票
1 回答
12943 浏览

google-cloud-storage - gsutil cp 命令复制整个目录路径(在 Windows 上) - 错误?

我遇到了一个问题,gsutil 似乎没有遵循文档中描述的行为(至少在 Windows 中)。该文档指出:


在执行递归目录复制时,对象名称的构造反映了从递归处理点开始的源目录结构。例如,命令:

将创建名为 like 的对象gs://my_bucket/dir2/a/b/c,假设dir1/dir2包含文件a/b/c


但是,在实践中,我发现它会创建名为:

即,它复制命令中所述的整个目录路径gsutil,而不是文档中所述的“从递归处理点开始”(dir2)。

我在这里错过/误解了什么吗?

0 投票
0 回答
481 浏览

google-cloud-storage - 如何正确解决 gsutil 错误

我刚刚在 OS X 上安装了 gsutil,完全按照 Google 的说明进行操作,并且在运行任何 gsutil 命令时看到以下格式的错误:

此错误发生在命令目录中的几个模块上。为了摆脱这些错误,我唯一能做的就是从引用 COMMAND_NAME 的目录中删除以下模块:disablelogging、enablelogging、getacl、getcors、getdefacl、getlogging、setacl、setcors、setdefacl。

我在这里做对了吗?这是 gsutil 中的错误吗?

0 投票
0 回答
566 浏览

google-cloud-storage - gcs-oauth2-boto-plugin 1.6 破坏了 gsutil

如果我根据https://developers.google.com/storage/docs/gsutil_install#install_pypi安装 gsutil

然后 gsutil 失败并出现错误:

但是,如果我根据https://developers.google.com/storage/docs/gspythonlibrary安装它,即

然后它可以工作并且在python中找到了oauth2_plugin

0 投票
1 回答
855 浏览

gsutil - 谷歌云 gsutil 说明说更新但没有更新命令

0 投票
6 回答
11544 浏览

google-cloud-storage - gsutil make bucket 命令 [gsutil mb] 不起作用

我正在尝试使用 gsutil mb 命令创建一个存储桶:

但我收到此错误消息:

我正在关注这里的文档

此类错误的原因是什么?

0 投票
1 回答
1282 浏览

google-cloud-storage - gsutil fails to upload file with "codec can't decode byte" error

I'm uploading a static website to cloud storage using the command

mid process it fails with the following output

Its unclear which file is faulty and -c flag doesn't make the tool continue upload as described. How can I determine what is causing the error or at least make the tool upload as many files as possible?

UPDATE: using the -D switch I was able to trace it down to the following error

0 投票
3 回答
3883 浏览

python - 无法在 python 中使用 gcs 进行身份验证

我正在关注https://developers.google.com/storage/docs/gspythonlibrary#credentials中的示例

我通过在开发中选择创建了客户端/秘密对。控制台“创建新的客户端 ID”、“已安装的应用程序”、“其他”。

我的 python 脚本中有以下代码:

它失败并出现以下错误: