1

我正在尝试将多个文件从 Cloud Storage 上传到 BigQuery。压缩文件大约 3.8GB（未压缩 16GB），但在我收到 Bad Character 错误之前，这项工作花了 12402 秒。

Job cloudsql-sigma:job_9e4f13da43b649fe86b6410887c8d2c7

  Job Type    State      Start Time      Duration   Bytes Processed   
  load       FAILURE   27 Aug 12:27:21   3:24:17                     

Errors encountered during job execution. Too many errors encountered. Limit is: 0.
Failure details:
  - Bad character (ASCII 0) encountered. Rest of file not processed.

为什么需要这么长时间？

4

1 回答 1

2

当前存在一个开放的错误，错误地认为某些压缩文件格式错误。-- 我们在文件末尾得到一个 ascii 0 并且失败。我们重试了两次，所以真正发生的是我们正在处理文件 3 次，每次大约需要一个小时。16gb 在 68 分钟内大约是 4MB/秒——这比我预期的要慢，但不是很慢。

如果您希望导入更快，我建议将其分解为较小的部分，并在作业中单独列出这些文件。它们将被并行处理。

同时，我将尝试在本周发布的 BigQuery 中修复文件末尾的 ascii 0。

于 2012-08-27T16:46:11.383 回答