0

BigQuery 是否存在任何已知问题，即单个作业会导致重复导入？我们看到了这个问题，需要帮助来找出 BigQuery 中发生的问题。

我们的流程每 15 分钟运行一次，以将 CSV 导入 BigQuery。我调查了查看我们的日志，并且处理了两次的作业显示了以下问题。处理两次的 CSV 文件中有 36101 行。

  1. 我们的上传过程成功地将单个作业发布到 BigQuery。上传的 CSV 文件有 36101 行，大小为 2846673

  2. 我们的流程检查作业的状态。检查作业状态时，请注意“outputRows”。与预期相同（36101）。

    “状态”：{“状态”：“运行”}，“统计”：{“开始时间”：“1356528625599”，“负载”：{“输入文件”：“1”，“输入文件字节”：“2846673”，“输出行” ": "36101", "outputBytes": "13651590" } } }

  3. 请注意，上述作业完成后，该过程显示双倍记录。参见 outputRows (72202)

    “状态”：{“状态”：“完成”}，“统计”：{“开始时间”：“1356528625599”，“结束时间”：“1356528665201”，“负载”：{“输入文件”：“1”，“输入文件字节” ": "2846673", "outputRows": "72202", "outputBytes": "27303180" } } }

4

2 回答 2

1

我们已经确定并修复了该错误。如果您遇到任何进一步的问题，请告诉我们。

于 2012-12-27T20:57:24.653 回答
0

值得一提的是，在过去的五天里，我们已经两次看到同样的问题。我们每 10 分钟加载一次，只是将其更改为每小时一次，以使此问题更易于管理。

于 2012-12-31T18:47:57.213 回答