问题标签 [bigrquery]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
190 浏览

r - 一年中的一周使用 bigquery / bigrquery 和 dbplyr?(相当于 lubridate::week)

我正在尝试使用 bigrquery 和 dbplyr 来获取日期对应的一年中的一周(即与 相同lubridate::week(),即

但我正在使用bigrquerydbplyr

到目前为止我尝试过的

使用lubridate::week()我看到

所以我尝试了这个自制的解决方案

以及另一个(相当丑陋的)自制解决方案

但我似乎找不到使用 bigquery 和 dbplyr 获取周数的方法

0 投票
1 回答
85 浏览

r - 如何在 R 中使用多个列表列展平数据框(从 BigQuery 加载)

我正在使用 R 的bigrquery库将 BQ 数据库中的数据加载到 R 中。 bigrquery 工作正常,我收到的输出的一个简短示例如下:

我从 BQ 加载的表包含许多嵌套结构,因此,数据帧的这种结构符合预期,因为bigrquery 文档本身表明嵌套值成为包含命名列表的列表列。

但是,我现在想把它弄平。您会注意到该列表my_df_from_bq$chances[[1]]$的值包括num_ato_chancesato_pts_scoredato_ppp等。因此,我想展平这个数据框,使得列名是:

  • 季节
  • o_or_d
  • chance_num_ato_chances
  • 机会_ato_chances_pg
  • 机会_ato_ppp
  • ...
  • dribbles_dribbles
  • dribbles_dribbles_pctile

...列表名称与每个列表中的值连接。

0 投票
1 回答
233 浏览

r - 填写 dbplyr 中的缺失值

我在数据库中有如下数据:

我想填写缺少的月份:

我正在使用 BigQuery 包来使用 dbplyr。我知道这在 BigQuery 中是可能的 UNNEST(GENERATE_DATE_ARRAY(... 但我无法使用 dbplyr。可能与这个 github 问题有关

0 投票
0 回答
60 浏览

r - 在 R 中运行大型 BigQuery 代码时出错

我正在使用bigrquery包在 RStudio 中运行我的 BigQuery 代码,其中一行查询包含大量整数(大约 500 个数字)。该查询在 BigQuery 上完美运行,但是当我尝试使用上述包在 RStudio 中运行相同的查询时,它会引发以下错误:

我相信问题是由于我在查询中编写的大列表,因为当我打印没有该列表的结果并稍后使用过滤掉时R,它可以完美运行,但唯一的问题是我必须下载大量结果(大约 1.6M 行)这需要很多时间。

有谁知道解决此类问题的方法?谢谢!

0 投票
1 回答
297 浏览

r - bigrquery - 错误:没有匹配的运算符签名 - 对于参数类型:DATE、FLOAT64

filter()按日期查询并使用函数提供该日期时,我看到一个预期的错误:

但是当日期作为字符串提供时,它可以正常工作

能确认as.character(today() - 730)'2018-04-11'一样

以下解决方法是可以的,但对于较大的代码库会变得混乱:

问题

为什么当filter()通过类似 的函数提供日期时会看到错误as.character(today() - 730),而当日期由字符串提供时却没有?

笔记

  • 类似的问题在这里
  • 我尝试替换as.character(today() - 730)as.Date(today() - 730)得到完全相同的错误
0 投票
1 回答
71 浏览

r - 将 bigquery JSON 数据转储加载到 R tibble

我已经从 Big Query 下载了一个 JSON 提取,其中包含嵌套和重复的字段(类似于包bigrquery),并且正在尝试进一步操作生成的 tibble。

我有以下代码要从 JSON 加载并转换为 tibble

所以有两个列表列:

  1. b_nested,此列是嵌套列表(我递归地取消嵌套了..也许有更自动化的方式,如果有,请指教!
  2. rr1 和 rr2,这些列将始终具有相同数量的元素。所以 rr1 和 rr2 的元素 1 应该一起读。

我仍在研究如何提取 id、rr1 和 rr2 并将其制成一个长表,其中每个 id 行都有重复的行。

注意:随着我的进展,这个问题已经被编辑了几次..最初我一直坚持将它从 JSON 转换为 tibble,直到我发现unnest_wider()

temp.json

{"a":"4000","b_nested":{"b1":"(未设置)","b2":"一些 - 文本","b3":{"b31":"1591558980","b32 ":"60259425255","b33":{"b3311":"133997175"},"b4":false},"b5":true},"rr1":[],"rr2":[]} {" a":"4000","b_nested":{"b1":"asdfasdfa","b2":"some - text more","b3":{"b31":"11111","b32":"2222 ","b33":{"b3311":"3333333"},"b4":true},"b5":true}, "rr1":["v1","v2","v3"],"rr2 ":["x1","x2","x3"]} {"a":"6000","b_nested":{"b1":"asdfasdfa","b2":"some - text more","b3":{"b31":"11111","b32":"2222","b33":{" b3311":"3333333"},"b4":true},"b5":true},"rr1":["v1","v2","v3","v4","v5"],"rr2 ":["aja1","aja2","aja3","aja14","aja5"]}rr2":["aja1","aja2","aja3","aja14","aja5"]}rr2":["aja1","aja2","aja3","aja14","aja5"]}

0 投票
1 回答
256 浏览

r - R 的 bigrquery 的身份验证问题

这篇文章清楚地表明该函数bq_auth()应用于在 R 中对 BigQuery 进行身份验证。但是,我创建了一个 BigQuery-Admin 服务帐户,下载了一个服务帐户密钥,并将该密钥传递给了该bq_auth()函数,但我继续收到错误:

看起来我手上有一个 openssl / libssl 问题......

0 投票
1 回答
246 浏览

r - R 中的 Bigrquery 库不上传数据并且不返回错误。按下停止时获取应用程序回调

我正在尝试使用 R 中的 Bigrquery 包将数据上传到 Google Big Query - 我之前能够成功运行该脚本,但今天它失败了,脚本中没有任何更改。

请看下面的脚本:

当我运行脚本时,它显示它正在工作,但上传需要无限时间。当我停止上传过程时,我收到以下消息:

令人惊讶的是,我之前能够成功运行上述脚本,直到今天它才失败(我没有更改任何内容)。请帮忙。

谢谢!

0 投票
2 回答
251 浏览

r - 在使用 bigquery 时增加 tidyverse API OAuth 令牌过期之前的时间?

使用 R中的 bigrquery 时,tidyverse API 会要求进行身份验证,一旦提供身份验证,就可以从 R 会话访问 bigquery。下载结果可能很耗时,如果 oauth 令牌在传输过程中过期,则下载失败:

错误:凭据无效 [authError]

示例代码

哪个返回

但过了一段时间

问题

如何增加 0Auth 令牌过期前的时间长度?

0 投票
1 回答
578 浏览

r - 使用 R Markdown 文档中的 bigrquery 对 Bigquery 进行身份验证

我在使用bigrquery从我编写的 R Markdown 文档中连接到 GCP 服务帐户时遇到问题。当我从控制台尝试时,身份验证工作正常。两个都

启动一个带有对话框的浏览器,让我可以按预期使用指定的帐户进行选择和身份验证。但是在 R Markdown 中,任何尝试都像

甚至使用这样的完整列表

导致错误

谁能看到我错过了什么?提前致谢。