3

问候 StackOverflow，

我正在 Windows 上做一个小项目，它需要读取 GSUTIL 的复制功能的输出。问题是，复制功能的输出似乎无法通过标准输出工作。此外，GSUTIL 的行为不一致：管道输出不适用于复制功能，但使用列表功能确实有效。

当我在命令提示符中使用以下命令时，输出会显示在命令提示符中，但不会重定向到文本文件。此命令无法正常工作：

C:\gsutil> python gsutil cp "file://C:/test_files/*" gs://gs_teststore/ > gsutil_cp.txt

另一方面，当我使用列表函数 ( ls) 时，输出确实通过标准输出工作，并且在我希望的情况下工作：

C:\gsutil> python gsutil ls gs://gs_teststore/ > gsutil_ls.txt

有没有办法从 GSUTIL 的复制功能中捕获输出？

4

2 回答 2

10

杰夫关于使用 gsutil cp -L 的回答是您尝试做的正确解决方案。

只是为了补充一些关于为什么您无法按预期方式捕获 gsutil cp 输出的详细信息：gsutil 将状态消息输出到 stderr，并且仅当相关输出是您的命令的目的时才输出到 stdout跑步。因此，例如，gsutil ls 输出到 stdout，因为该输出是该命令的目的，而相比之下，gsutil cp 命令的进度指示器消息实际上是有关基本目的（即复制数据）的状态——因此输出到标准错误。

Mike Schwartz，谷歌云存储团队

于 2013-05-29T21:48:24.337 回答
9

您可以使用 -L 选项生成所有已复制文件的清单文件。从文档中：

-L <file> 输出一个清单日志文件，其中包含有关已复制的每个项目的详细信息。此清单包含每个项目的以下信息：

  • 源路径。
  • 目标路径。
  • 源大小。
  • 传输的字节数。
  • MD5 哈希。
  • UTC 日期和时间传输以 ISO 8601 格式开始。
  • UTC 日期和时间传输以 ISO 8601 格式完成。
  • 上传 ID，如果执行了可恢复上传。
  • 尝试上传的最终结果，成功或失败。
  • 失败详细信息（如果有）。

一个具体的例子：

$ echo "hey" | gsutil cp -L manifest.txt - gs://mybucket/hey.txt
Copying from <STDIN> [Content-Type=application/octet-stream]...

$ cat manifest.txt 
Source,Destination,Start,End,Md5,UploadId,Source Size,Bytes Transferred,Result,Description
file://-,gs://mybucket/hey.txt,2013-05-29T21:29:31.847715Z,2013-05-29T21:29:32.115624Z,081ecc5e6dd6ba0d150fc4bc0e62ec50,,,0,OK,
于 2013-05-29T21:27:08.537 回答