问题标签 [google-bigquery]

我正在考虑为我的一个项目使用 Google Infrastructure 和 Google App Engine。我希望的一件事是我可以使用 Google App Engine Datastore 作为 Big Query 的数据源，但显然情况并非如此。有这样做的秘诀吗？

I am very new to BigQuery by google

I want to parse time stamp (yyyy/mm/dd:hh:mm:ss) based on the day and the month wish to bucket days into weeks. I didn't find any BigQuery function which does this.

Hence, I was wondering if there was a way in which I can write a UDF and then access it in a BigQuery query

BigQuery 是否具有从 s3 导入数据的功能？如果不是，那么您可以建议的最佳替代路径是什么？

我正在按照安装步骤中的安装说明进行操作

我最终遇到以下错误

我以为我必须安装 zlib 才能消除此错误，但这无济于事

搜索给出以下结果

我不确定 zlib 是否安装正确

请建议下一步

这是我的加载作业的屏幕截图。它说“意外。请再试一次。” 没有任何额外的信息。有什么方法可以获取更多细节吗？或者谷歌的某个人可以仔细查看日志并告诉我为什么它失败了？

bq 显示：

工作 tzgqnxt:job_016afefcfc0a42089822d621cf3d6ace

作业类型 状态 开始时间 持续时间 已处理字节数

加载失败 27 Jul 10:32:05 2:00:09

作业执行期间遇到的错误。意外。请再试一次。

我希望在 Google BigQuery 中使用基本的 SQL Create Table 语法来创建基于 BQ 中已有的 2 个表中的列的表。Google SQL 方言参考不显示 CREATE 。所有文档似乎都暗示我需要知道如何编码。

是否有任何语法或方法来做

?

我正在开发一个使用 Bigquery 作为分析引擎的 Java 应用程序。能够使用Insert a Query Job上的代码运行查询作业（并获得结果） 。必须使用stackoverflow 上的此评论修改代码以使用服务帐户。

现在，需要运行提取作业以将表导出到 GoogleStorage 上的存储桶。基于Exporting a Table，能够修改 Java 代码以插入提取作业（代码如下）。运行时，提取作业的状态从 PENDING 变为 RUNNING 再到 DONE。问题是实际上没有文件上传到指定的存储桶。

可能有用的信息：

• 该createAuthorizedClient函数返回一个 Bigquery 实例并适用于查询作业，因此服务帐户、私钥等可能没有问题。
• 还尝试在谷歌的 api-explorer上手动创建和运行插入作业，并且文件在存储桶中成功创建。对项目、数据集、表和目标 uri 使用与代码中相同的值，因此这些值应该是正确的。

这是代码（粘贴完整的文件以防其他人发现这很有用）：

这是输出：

这是一张小桌子（大约 4MB），所以大约需要一分钟的工作似乎还可以。不知道为什么没有在存储桶中创建文件或如何进行调试。任何帮助，将不胜感激。

正如克雷格指出的那样，打印了 status.errorResult() 和 status.errors() 值。

• getErrorResults(): {"message":"后端错误。作业中止。","re​​ason":"internalError"}
• 获取错误（）：空

我从一个新项目开始，只是想在定义表架构之前进行验证

BigQuery 是否支持以下内容：

我在 Google BigQuery 中收到此错误：

我的查询是

prosperloans1是 2 个表名正确的数据集 ID。无论哪个字段名称首先出现在 select 子句中，都会返回错误。

Google SQL Syntax 上的文档说这是正确的：

谢谢肖恩

此处https://developers.google.com/bigquery/docs/query-reference的 Google SQL 语法指南 似乎没有解决 NOT IN 术语的使用问题。

我得到错误

（然后谷歌在“一个”之后没有列出任何内容）

当我的查询是

“小”表有 14 行。大表有 57K 行。

有任何想法吗？不确定 Google SQL 是否支持 NOT IN。

谢谢肖恩