问题标签 [google-bigquery]

我有一个查询：

产生此数据：

我想达到最高total和points每个相关的location。

我应该最终得到：

我相信我需要使用子查询和MAX(total)，但我不能让它工作。在子查询中，我想选择points，但我不想按它分组，这显然是不允许的。

我该怎么做呢？

我正在考虑将我的文本可搜索内容复制到 Google 的 BigQuery，然后使用 BigQuery API 执行全文搜索。

Google BigQuery 是否支持这种情况？

我在 Google BigQuery API 中找不到“搜索”命令： https ://developers.google.com/bigquery/docs/reference/v2/

我有一个包含大约 3400 万行的BigQuery表（它会在几个月内增长到 ~500M）。我得到了存储定价，但我并不真正了解查询/分析定价的工作原理。

例如，如果我运行一个简单选择的查询，它从大约 20 条记录中返回 3 列，它表示已处理 644 MB。即使我删除了where子句中的列或条件，它仍然显示我正在处理 6xx MB 的数据。

有趣的是，如果我从表中运行 select count(*)，它会报告 0 个字节已处理。

BigQuery 的用例之一是创建仪表板和临时报告。但是，如果针对该表进行的每两个查询要花费 0.03 美元，我看不出这如何可行。

我错过了什么吗？是否有减少为简单数据访问处理的数据量的策略？

我正在经历这项新技术的使用。但是，我有一个疑问。

为什么要选择 BigQuery 而不是 Teradata 或 Oracle 等其他应用程序？Big Query 与这些相比有什么优势？具体来说，我想知道，在数据仓库环境中，为什么以及何时应该使用 BigQuery？它将如何使我的业务受益？

请尽快让我知道这些，因为我们可能会接受这项新技术。

问候， 里亚

我正在尝试使用 Java Apache HttpClient 发送多部分 POST 请求以将一些测试数据导入 BigQuery 表，但我不断收到 HTTP 400 错误消息“无效上传请求”。我很确定我已经很好地遵循了 BigQuery 教程来重现所需的内容，但它不起作用。有人可以看看这个请求，看看它有什么问题吗？

然后像这样执行请求：

此外，如果我将 addHeader("Content-Type"...) 更改为 addHeader("Content-Type:"...)，则错误更改为“不支持媒体类型 'text/plain'。有效的媒体类型：[应用程序/八位字节流]”。

我看到以下错误：加载操作中的 BigQuery 错误：令牌无效 - 令牌无效：
无状态令牌已过期

当我尝试上传一个大的纯文本（或gzip'ed）（约9000万条记录）文件时

这是我用来尝试上传数据的命令：

~/bigquery-2.0.6]$ python bq.py 加载 --skip_leading_rows 7 -F"\t" conn_logs.conn /scratch/conn.log /scratch/conn.schema

如果我尝试较小的文件，数据加载就好了。

知道是什么原因造成的，我该如何更新令牌以使其不会过期？

谢谢，

我正在使用 bigquery 开发应用程序，并且我拥有所有基础数​​据。我想向用户展示这些数据的一个子集，他们的访问范围由我要实现的权限控制确定。我不想授予他们对 bigquery 表的任何访问权限。

我的问题是：我该如何设置，以便当他们运行某些东西时，它基于我对表格的访问？

谢谢。

我需要一个查询来在 Bigquery 中查找表的列名（表元数据），例如 SQL 中的以下查询：

状态显示为成功，但文件实际上并未传输到大查询。

从网络界面，我可以看到实际的错误。

1) 我如何知道需要删除哪个坏字符？

2) 为什么“成功”显示为工作状态？

更新：

作业编号：summary_2012_07_09_to_2012_07_10a2

我在命令提示符处遇到的错误：加载操作中的 BigQuery 错误：后端错误

很多行根本没有处理。Web界面的详细信息：

行：9857286 / 字段：1，遇到错误字符（ASCII 0）：字段开头：<15>

行：9857287 / 字段：1，遇到错误字符 (ASCII 0)。其余文件未处理。

在第二次尝试中成功处理的所有行：

job_id：summary_2012_07_09_to_2012_07_10a3

更新 2：

行：174952407 / 字段：1，遇到错误字符 (ASCII 0)。其余文件未处理。

作业编号：job_19890847cbc3410495c3cecaf79b31fb

我有一个大约 2 MB 的 xml 文件（是的 !! 2MB 小文件），我想以某种预定格式对文件进行排序，并显示格式化的结果，因为整个过程需要 2-3 秒，我们想要减少时间。

我的问题是（a）直接将 XML 推送到大查询而不是 CSV 的任何方式。(b) 我想做实时的，所以我如何从我的网站推送数据，并将数据取回我的网站。（你认为命令行可以解决问题吗？（c）我正在研究 .NET。