1

我们最近做了一个“本地转移”,从一台正在退役的旧服务器到一个通过 docker 连接的 Google Cloud Storage 存储桶。传输的总大小为 365GB。控制台显示传输已 100% 完成,传输了 365GB 的数据,但控制台将传输列为失败,因为“2 个文件传输失败”。但是,它没有列出哪些文件失败了。错误详情页面有“无结果”,转帐摘要页面未列出。我怀疑这些文件无关紧要,但我想检查一下。如何找出哪些文件传输失败?

4

2 回答 2

1

由于您的问题需要更详细地查看您的日志以确定此传输失败的原因

我建议您联系Google Cloud Platform 技术支持以解决此问题

您可以查看这些支持渠道并在那里提出您的 Cloud Storage 技术问题。

如果您只想查看您的日志并且不需要更深入的调查,您只需在所选目录中找到您的日志。

根据公共文档,为了存储传输日志,您必须使用该--log-dir=logs-directory标志。然后,您将能够检查您的传输日志以确定此文件失败的原因。如果您没有使用此标志,那么您将需要再次运行传输作业

公共文档中有一个完整的 [疑难解答部分]( https://cloud.google.com/storage-transfer/docs/troubleshooting-on-prem ),如果您想知道如何解决您的特定问题转移

于 2020-03-03T13:15:55.270 回答
1

只是为了澄清 VirtualMitra 的评论 - 除了传输服务在代理运行的机器上生成的本地日志(这主要包含有关各个代理进程发生的情况的信息)之外,该产品还跟踪每个文件的状态以进行故障排除。

有两种方法可以查看传输错误:

  1. 您可以直接在 GUI 中看到一小部分错误的快速概览视图。您可以按照此处关于如何在作业详细信息页面中查看这些错误示例的说明进行操作
  2. 如果您想处理所有错误,您可以在传输日志中看到所有错误的完整列表,在格式化的 TSV 文件中包含有关每个文件发生情况的大量详细信息,包括访问文件的时间、计算的校验和,如果文件已成功复制,以及任何未通过自动重试解决的错误消息。您可以找到有关这些日志的存储位置以及日志中存储的数据格式的更多信息。这些对象在每次执行传输时生成,并且可以加载到您选择的工具中,以便在需要时进行详细的故障排除/查询(例如 BigQuery)。

转移用户可以直接访问以上所有内容,您无需通过支持来访问这些数据。

于 2020-03-16T20:26:19.953 回答