问题标签 [google-bigquery]

我已经通过浏览器工具创建了一个带有模式的大查询表。下次我通过本地的 API 调用将 csv 附加到该表中。但是该 csv 不包含我已经指定的所有列。所以我收到错误“提供的架构与表 xxxxxxxxxxxxx:xxxx.xxxx 不匹配。” .那么如何通过 API 调用将值附加到某些特定列的 bigquery 表中？

我正在使用 Google BigQuery，它提供了很少的公共示例表。其中之一是维基百科修订历史 [publicdata:samples.wikipedia]

出于某些测试目的，我想将其导出并保存到 Google Cloud Storage。

但是，如果我在 Googel BigQuery 中运行导出作业，它会运行 5 个小时并且作业失败:(

唯一返回的消息是 错误：后端错误。作业中止。

可能是因为数据大小在 35GB 左右。所有其他提供的样本都小于 25 GB，我已成功将它们导出到 Google Cloud Storage。

有谁知道问题是什么以及解决方法？

我使用 Google BigQuery 并且对它提供的 POSITION(field) 函数有疑问。

我认为 POSITION 函数返回嵌套字段中查询中值的位置。

但我很惊讶它也适用于非嵌套字段。

例如。

输出是

在这种情况下，POSITION(url) 是什么意思？谷歌 BigQuery 样本还提供了我可以测试的任何嵌套字段吗？

我很感激哟

我正在尝试使用以此处的 python 示例代码为模型的 python 脚本将 CSV 文件加载到 BigQuery：https ://developers.google.com/bigquery/docs/developers_guide

但是当我尝试使用 REST API 加载表时遇到以下错误：

错误“385479794093”中列出的projectId不是我传入的projectId，是“项目号”。projectId 应该是“firespotter.com:firespotter”：

当我在三个不同的地方传递正确的值时，为什么 REST API 坚持提供自己不正确的 projectId？还有其他地方需要我传入或设置项目ID吗？

作为参考，这里是相关的代码片段：

是否有任何保护措施可以限制您自己在 BigQuery 上的存储大小？或者如果达到某个大小阈值时发出警报的方法？

谢谢！

此问题与 BigQuery 中查询数据的性能有关。

任何会影响查询性能的特定表或列设置，或者表中的所有列实际上是否被 BigQuery 平等对待，以便列的顺序或应用于列的任何定义不会以任何可区分的方式影响数据获取？

谢谢！

对我的一个 BigQuery 表的所有查询都失败并出现以下错误：

他们需要大约 60 秒才能运行然后失败。全部通过网络界面。任何想法可能会发生什么？

这是一个不起作用的基本查询：

如果我对任何公共数据集运行基本查询，它们都可以正常工作。我想知道是否可能是我每 2 分钟将数据附加到表中。

更新

现在似乎只是在相同的查询上偶尔发生。有时它可以工作，有时它会失败（在尝试查询 60 秒左右之后）。

我正在使用 Google 的ruby​​ api 客户端与大查询对话，并且我已经完成了所有设置和工作，除了出现此错误的查询：

这就是我所说的：

令人沮丧的部分是查询 api docs，这些完全相同的参数工作得很好。有任何想法吗？

我们在将数据插入 BigQuery 时遇到问题。我们位于荷兰。

命令：
adm@la478 ads_csv $ time bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
BigQuery 加载操作错误：后端错误

指标：
真实 4m35.997s
用户 0m0.963s
sys 0m0.169s

文件大小：
-rw-rw-rw- 1 adm admin 39M Jul 10 17:02 ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
200MB 未压缩

你能建议使用做什么吗？

我已经启动了一个耗时太长的查询 b/c 我在非聚合查询上使用了排序。

有没有办法停止长期运行的工作？