0

我收到“意外”错误。我试了几次，仍然无法加载数据。有没有其他方法可以加载数据？

gs://log_data/r_mini_raw_20120510.txt.gzto567402616005:myv.may10c
Errors:
Unexpected. Please try again.
Job ID: job_4bde60f1c13743ddabd3be2de9d6b511
Start Time: 1:48pm, 12 May 2012
End Time: 1:51pm, 12 May 2012
Destination Table: 567402616005:myvserv.may10c
Source URI: gs://log_data/r_mini_raw_20120510.txt.gz
Delimiter: ^
Max Bad Records: 30000
Schema:
zoneid: STRING
creativeid: STRING
ip: STRING

更新：

我正在使用可以在此处找到的文件：

http://saraswaticlasses.net/bad.csv.zip

bq load -F '^' --max_bad_record=30000 mycompany.abc bad.csv  id:STRING,ceid:STRING,ip:STRING,cb:STRING,country:STRING,telco_name:STRING,date_time:STRING,secondary:STRING,mn:STRING,sf:STRING,uuid:STRING,ua:STRING,brand:STRING,model:STRING,os:STRING,osversion:STRING,sh:STRING,sw:STRING,proxy:STRING,ah:STRING,callback:STRING

我收到错误消息“加载操作中的 BigQuery 错误：意外。请重试。”

相同的文件在 Ubuntu 中有效，而在 CentOS 5.4（最终版）中无效 是否需要检查操作系统编码？

4

2 回答 2

2

您上传的文件有一个未终止的报价。您可以删除该行并重试吗？我已经提交了一个内部 bigquery 错误，以便能够更优雅地处理这种情况。

$grep '"' bad.csv
3000^0^1.202.218.8^2f1f1491^CN^others^2012-05-02 20:35:00^^^^^"Mozilla/5.0^generic web browser^^^^^^^^

当我从我的工作站 (Ubuntu) 运行负载时，我会收到有关该行的警告。请注意，如果您使用的是较大的文件，则不会看到此警告，而只会出现故障。

$bq show --format=prettyjson  -j job_e1d8636e225a4d5f81becf84019e7484
...
"status": {
  "errors": [
  {
    "location": "Line:29057 / Field:12", 
    "message": "Missing close double quote (\") character: field starts with: <Mozilla/>", 
    "reason": "invalid"
  }
]
于 2012-05-14T21:00:53.330 回答
1

我怀疑您的输入数据中有超过 64 KB 限制的行或字段。也许重新检查数据的格式，检查它是否正确压缩，如果一切都失败了，请尝试导入未压缩的数据。（一种可能性是整个压缩文件被解释为超出上述限制的单个行/字段。）

要回答您最初的问题，还有其他几种导入数据的方法：您可以使用命令行工具或 Web UI 直接从本地计算机上传，也可以使用原始 API。但是，所有这些机制（包括您使用的 Google Storage 导入）都通过同一个 CSV 解析器汇集，因此它们都可能以相同的方式失败。

于 2012-05-12T22:09:58.563 回答