google-bigquery - 加载操作中的 BigQuery 错误：令牌无效 - 令牌无效：无状态令牌已过期

Question

我看到以下错误：加载操作中的 BigQuery 错误：令牌无效 - 令牌无效：
无状态令牌已过期

当我尝试上传一个大的纯文本（或gzip'ed）（约9000万条记录）文件时

这是我用来尝试上传数据的命令：

~/bigquery-2.0.6]$ python bq.py 加载 --skip_leading_rows 7 -F"\t" conn_logs.conn /scratch/conn.log /scratch/conn.schema

如果我尝试较小的文件，数据加载就好了。

知道是什么原因造成的，我该如何更新令牌以使其不会过期？

谢谢，

Answer 1

这实际上是令牌更新处理方式中的一个错误oauth2client- 即它不会在上传结束时刷新令牌。它正在内部进行跟踪，但我认为目前还没有修复的 ETA。

最简单的解决方法是将文件上传到 Google Storage，然后使用 Google Storage 路径调用 load。这非常轻松，甚至还有一个不错的教程。