问题标签 [google-bigquery]

我可以轻松上传由 ^ 分隔的文件 它看起来像......

CN^others^2012-05-03 00:02:25^^^^^Mozilla/5.0^通用网络浏览器^^^^^^^^

CN^others^2012-05-03 00:02:26^^^^^Mozilla/5.0^通用网络浏览器^^^^^^^^

但是如果我在某处有双引号，它会失败并显示错误消息......

行：1 / 字段：，右双引号 (") 和字段分隔符之间的数据：字段开头：遇到太多错误。限制为：0。

CN^others^2012-05-03 00:02:25^^^^^"Mozilla/5.0^通用网络浏览器^^^^^^^^

我经常获取带有“Mozilla 作为浏览器名称的文件，如何插入带有双引号的数据？

在 BigQuery 文档中提到它使用 OLAP 函数。但开发人员文档没有提及 MDX 查询语言、维度或事实表。BQ 中有哪些 OLAP 功能（如果有）以及它们如何

这是在（现已不复存在的）bigquery 论坛上提出的问题的转贴。

从 bq 工具上传数据时，出现以下错误：

我试过运行几个文件，但每个文件都给出了相同的异常。

最近失败的工作是job_5251c0bf5eb24436a350bdfbdbdb3cd8

我只是在使用 BigQuery API 创建表的示例中遇到了一些问题： https ://developers.google.com/bigquery/docs/developers_guide#creatingatable

之前的一切工作正常，但在这里我总是收到一个解析异常......在请求中发送的正文下方（我实际上将示例修改为教程中下一个示例的数据和架构，但与原始示例有相同的问题schema + 自生成数据集）和错误响应。

当我使用网络界面和相同的模式上传相同的数据集时，它就像一个魅力......

感谢您提供任何有用的线索！

约尔格

我正在尝试使用已上传到 Google 大数据的 github 数据。我运行了一些查询（生成了很多行 -

例如：查询SELECT actor_attributes_login, repository_watchers , repository_forks FROM [githubarchive:github.timeline] where repository_watchers > 2 and REGEXP_MATCH(repository_created_at, '2012-') ORDER BY actor_attributes_login;

答案有超过 2,20,000 行。当我尝试下载到 CSV 时，它说

下载不可用
此结果集包含太多行，无法直接下载。请使用“另存为表格”，然后导出生成的表格。

当我尝试将其保存为表时，出现以下错误：

访问被拒绝：作业公共数据：job_c2338ba91e494b21970854e13cdc4b2a：RUN_JOB

此外，我运行了将行数限制为 200 左右的查询，即使在这种情况下，我也遇到了上述错误。但是我能够将其下载为 CSV。

这个问题有什么解决办法吗？

我正在使用大查询示例代码来处理大查询。使用大查询 api 读取数据集列表时出现以下错误。

代码是

例外是

)

我不认为这是一个身份验证问题，因为我可以使用相同的代码通过 Google plus api 连接到 Google Plus 帐户。我还观察到 api 示例已经过时。

任何修复它的建议。

以下按预期工作。

./bq --nosync load -F '^' --max_bad_record=30000 myvserv.xa one.txt ip:string,cb:string,country:string,telco_name:string, ...

1) 但是如何在同一命令中发送两个 csv 文件 one.txt 和 two.txt？

2）我不能 cat 文件然后管道 | 到 bg 命令？

3) 不同步是什么意思？

我一直从 BigQuery 得到这个结果：

导致它的查询具有以下形式：

如果我只运行子选择，它们工作正常，所以我想它与“加入”有关。我应该从这里去哪里？

我们有一个提高 BigQuery 准确性的问题，我们的使用案例如下，我们正在使用一个 16 亿条记录的表，一个对于我们的问题来说不是很大的表，并且我们正在尝试寻找唯一用户。

首先，我们认为使用“不同计数”，但正如文档中所说的大量数据，您可以获得估计结果。为了改善这一点，我们尝试使用“count + group by”代替“count distinct”语句。但是 bigquery 的结果是响应太大。我们首先按 UserID 分组，我们继续这个想法，但减少了数据数量，选择了特定的campaing，大大减少了数据量。但结果是一样的，反应太大了。

关于如何在 bigQuery 中准确获取唯一用户的任何想法或意见？

尝试使用Go 的 Google API 客户端库将数据上传到 BigQuery 时，我收到以下响应。

我的工作描述符如下所示：

FWIW，使用这个库的其他调用工作正常，所以我已经排除了 oauth 问题等。

编辑：我在请求发出之前捕获了它。请注意，这是在 http.Client 能够添加 oauth 标头之前。实际请求很大，因此我将其缩短并删除了标识符。