google-bigquery - bq load：错误处理作业...意外。请再试一次

Question

bq load --max_bad_records=1000000 --format=json install.$date gs://production_data/install/install_$date.json.gz ./schema.json

错误：

BigQuery error in load operation: Error processing job 'xxxxxxxxxxxxx:job_c4932fa55c304c9f88224595071f1e17': Unexpected. Please try again.

bq show -j 对错误消息没有任何帮助。

  "status": {
    "errorResult": {
      "message": "Unexpected. Please try again.",
      "reason": "internalError"
    },
    "errors": [
      {
        "message": "Unexpected. Please try again.",
        "reason": "internalError"
      }
    ],
    "state": "DONE"
  }

怎么了？

Answer 1

您将数据导入为 CSV，而不是 json。这是由于 bq 工具中有一个令人困惑的标志：--format是输出的格式。你应该--source_format=json改用。我已经提交了两个内部错误：一个是 format/source_format 标志太容易混淆，另一个是当数据格式与指定的格式不匹配时我们应该给出更好的错误。