问题标签 [bigrquery]

我将standardSQL与bigrquery一起使用：

当我运行 R 脚本时，出现以下错误：

有什么想法可能会在这里发生吗？

我遇到了 BigRQuery 无法识别useLegacySql=false函数中的参数的一些问题query_exec()。

我的电话看起来像query_exec(query, project = project, useLegacySql = FALSE, max_pages = Inf)

我有几个问题：

1）通过在查询中传递“#standardSQL ...”尝试解决方法时，出现错误

错误：1.979 - 1.979：未找到查询

2）当我通过时，useLegacySql = false我得到：

错误：1.1 - 1.966：无法识别的令牌 UNION。[尝试使用标准 SQL....]

3）我也尝试过use_Legacy_Sql = false同样的错误：

错误：1.1 - 1.966：无法识别的令牌 UNION。[尝试使用标准 SQL....]

这是一个错误吗？

我用Bigrquery包尝试了两种方法，这样

和

但是没有出现错误"Error: Requested Resource Too Large to Return [responseTooLarge]"，可能与此处相关的问题，但我对完成工作的任何工具感兴趣：我已经尝试了此处概述的解决方案，但它们失败了。

如何将大型数据集从 BigQuery 加载到 R？

当尝试从我的 GBQ 帐户中提取更大的数据集时，我遇到了以下错误消息： Error in pb_tick(self, private, len, tokens) : !self$finished is not TRUE

我正在查询的表约为 105GB，相同的 SQL 查询在 GBQ 控制台中运行良好。这不是一个非常复杂的查询，只要求 200MB 的数据。下面查询。我找不到与此错误消息相关的任何内容，希望大家能帮忙

代码：

我正在使用邮政编码，其中当然有前导零。我正确加载了我的数据框以保留 R 中的前导零，但上传步骤似乎失败了。这就是我的意思：

这是我的 minimum.csv 文件：

这是R代码

我也正确地在我的模式中设置类型以期望它们作为字符串。

但是，当我尝试上传字符串时，bigrquery 界面抱怨我正在上传整数，但事实并非如此。这是架构，需要字符串：

现在是时候上传了......

嗯？这个无效的架构更新是什么，我怎样才能阻止它尝试将我的字符串（数据包含和架构是）更改为整数，我的数据不包含，架构不包含？

是否正在发生 javascript 序列化并将我的字符串转回整数？

我最近在 Google Compute Engine 上安装了 RStudio 服务器，现在想连接到 BigQuery。我已成功安装并加载了 and 等软件包dplyr，ggplot2但未能加载bigrqueryand devtools。运行下面的代码片段：

导致此错误消息：

loadNamespace(name) 中的错误：没有名为“devtools”的包</p>

单独加载bigrquery也会导致类似的错误消息：

库中的错误（bigrquery）：没有名为“bigrquery”的包</p>

我注意到安装发送消息说软件包的依赖项不可用。我没有在我的 RStudio 桌面上安装bigrquery和加载这个问题。devtools我该如何解决这个问题？我在 Windows 上工作并在 Google Chrome 上启动 RStudio 服务器。

我从 Big Query GUI 创建了一个空表，其中包含table_name. 后来我试图通过R使用bigrquery包将数据附加到现有的空表中。

我试过下面的代码，

但它给我一个错误说，

提供的架构与表不匹配。字段 alpha 已将模式从 REQUIRED 更改为 NULLABLE [无效]

我的表没有任何NULL或NA在提到的列中，并且架构中的 data_types 与values_table.

我尝试不直接从 R 创建模式上传。当我这样做时，它会自动将模式转换为nullable我不想要的模式。

我还尝试通过将write_dispostion = "WRITE_TRUNCATE"which 也转换为nullable.

我也看了这个和这个并没有真正帮助我。

有人可以解释幕后发生的事情以及在不重新创建架构的情况下上传数据的最佳方式是什么。

注意：有一个明显的拼写错误。早些时候它被wirte_disposition编辑为write_disposition.

我第一次尝试从交互式 R 会话中使用 bigrquery。我已经安装了 R bigrquery 包并成功建立了连接。我已经在从交互式 RStudio 会话重定向到 Web 浏览器进行登录后进行了身份验证，因此 oauth 似乎工作正常。但是，当我尝试运行查询时，例如DBI::dbReadTable(con, "A549_raw_merged_TADs")[1:6, ]，我得到了错误Error: The project variant-annotation has not enabled BigQuery. [invalid]。

我确定我需要在 Google 端的项目中启用其他功能，但我不确定我需要启用什么，或者如何从 Web 控制台界面执行此操作。

这是否记录在任何地方，或者这里的任何人都可以给我指示吗？

注意：我已经确认 BigQuery API 已经Activation status通过Enabled控制台https://console.cloud.google.com/apis/api/bigquery-json.googleapis.com/overview，所以虽然我的问题与错误相同处理作业：项目尚未启用 BigQuery，问题似乎有所不同。

附加信息：当我通过上面的控制台链接检查 BigQuery API 状态时，会显示“要使用此 API，您可能需要凭据。单击‘创建凭据’开始使用。”

因此，我认为 oauth 似乎有效的假设可能是不正确的。

在通过 API 通过 R 从 BigQuery 查询数据时，有没有比将它们转换为字符串更好的方法来处理大整数？

这是一个 MVE，显示整数显示为“NA”的问题：

这是代码：

我正在使用 1.1.1 版bigrquery。

我正在尝试根据此文档将连接片段添加到 bigrquery 包：

https://db.rstudio.com/advanced/snippets/

我想将项目名称默认为这样的环境变量：

不幸的是，这不起作用，因为Sys.getenv('BIGQUERY_PROJECT')没有评估。

更新 例如@Jozef的例子我得到以下代码生成：

更新 2

这种作品，但看起来不太好：