问题标签 [bigrquery]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - 一年中的一周使用 bigquery / bigrquery 和 dbplyr?(相当于 lubridate::week)
我正在尝试使用 bigrquery 和 dbplyr 来获取日期对应的一年中的一周(即与 相同lubridate::week()
,即
但我正在使用bigrquery
和dbplyr
到目前为止我尝试过的
使用lubridate::week()
我看到
所以我尝试了这个自制的解决方案
以及另一个(相当丑陋的)自制解决方案
但我似乎找不到使用 bigquery 和 dbplyr 获取周数的方法
r - 如何在 R 中使用多个列表列展平数据框(从 BigQuery 加载)
我正在使用 R 的bigrquery
库将 BQ 数据库中的数据加载到 R 中。 bigrquery 工作正常,我收到的输出的一个简短示例如下:
我从 BQ 加载的表包含许多嵌套结构,因此,数据帧的这种结构符合预期,因为bigrquery 文档本身表明嵌套值成为包含命名列表的列表列。
但是,我现在想把它弄平。您会注意到该列表my_df_from_bq$chances[[1]]$
的值包括num_ato_chances
、ato_pts_scored
、ato_ppp
等。因此,我想展平这个数据框,使得列名是:
- 季节
- o_or_d
- chance_num_ato_chances
- 机会_ato_chances_pg
- 机会_ato_ppp
- ...
- dribbles_dribbles
- dribbles_dribbles_pctile
...列表名称与每个列表中的值连接。
r - 填写 dbplyr 中的缺失值
我在数据库中有如下数据:
我想填写缺少的月份:
我正在使用 BigQuery 包来使用 dbplyr。我知道这在 BigQuery 中是可能的 UNNEST(GENERATE_DATE_ARRAY(... 但我无法使用 dbplyr。可能与这个 github 问题有关
r - 在 R 中运行大型 BigQuery 代码时出错
我正在使用bigrquery
包在 RStudio 中运行我的 BigQuery 代码,其中一行查询包含大量整数(大约 500 个数字)。该查询在 BigQuery 上完美运行,但是当我尝试使用上述包在 RStudio 中运行相同的查询时,它会引发以下错误:
我相信问题是由于我在查询中编写的大列表,因为当我打印没有该列表的结果并稍后使用过滤掉时R
,它可以完美运行,但唯一的问题是我必须下载大量结果(大约 1.6M 行)这需要很多时间。
有谁知道解决此类问题的方法?谢谢!
r - bigrquery - 错误:没有匹配的运算符签名 - 对于参数类型:DATE、FLOAT64
当filter()
按日期查询并使用函数提供该日期时,我看到一个预期的错误:
但是当日期作为字符串提供时,它可以正常工作
能确认as.character(today() - 730)
,'2018-04-11'
一样
以下解决方法是可以的,但对于较大的代码库会变得混乱:
问题
为什么当filter()
通过类似 的函数提供日期时会看到错误as.character(today() - 730)
,而当日期由字符串提供时却没有?
笔记
- 类似的问题在这里
- 我尝试替换
as.character(today() - 730)
并as.Date(today() - 730)
得到完全相同的错误
r - 将 bigquery JSON 数据转储加载到 R tibble
我已经从 Big Query 下载了一个 JSON 提取,其中包含嵌套和重复的字段(类似于包bigrquery),并且正在尝试进一步操作生成的 tibble。
我有以下代码要从 JSON 加载并转换为 tibble
所以有两个列表列:
- b_nested,此列是嵌套列表(我递归地取消嵌套了..也许有更自动化的方式,如果有,请指教!)
- rr1 和 rr2,这些列将始终具有相同数量的元素。所以 rr1 和 rr2 的元素 1 应该一起读。
我仍在研究如何提取 id、rr1 和 rr2 并将其制成一个长表,其中每个 id 行都有重复的行。
注意:随着我的进展,这个问题已经被编辑了几次..最初我一直坚持将它从 JSON 转换为 tibble,直到我发现unnest_wider()
temp.json:
{"a":"4000","b_nested":{"b1":"(未设置)","b2":"一些 - 文本","b3":{"b31":"1591558980","b32 ":"60259425255","b33":{"b3311":"133997175"},"b4":false},"b5":true},"rr1":[],"rr2":[]} {" a":"4000","b_nested":{"b1":"asdfasdfa","b2":"some - text more","b3":{"b31":"11111","b32":"2222 ","b33":{"b3311":"3333333"},"b4":true},"b5":true}, "rr1":["v1","v2","v3"],"rr2 ":["x1","x2","x3"]} {"a":"6000","b_nested":{"b1":"asdfasdfa","b2":"some - text more","b3":{"b31":"11111","b32":"2222","b33":{" b3311":"3333333"},"b4":true},"b5":true},"rr1":["v1","v2","v3","v4","v5"],"rr2 ":["aja1","aja2","aja3","aja14","aja5"]}rr2":["aja1","aja2","aja3","aja14","aja5"]}rr2":["aja1","aja2","aja3","aja14","aja5"]}
r - R 的 bigrquery 的身份验证问题
这篇文章清楚地表明该函数bq_auth()
应用于在 R 中对 BigQuery 进行身份验证。但是,我创建了一个 BigQuery-Admin 服务帐户,下载了一个服务帐户密钥,并将该密钥传递给了该bq_auth()
函数,但我继续收到错误:
看起来我手上有一个 openssl / libssl 问题......
r - R 中的 Bigrquery 库不上传数据并且不返回错误。按下停止时获取应用程序回调
我正在尝试使用 R 中的 Bigrquery 包将数据上传到 Google Big Query - 我之前能够成功运行该脚本,但今天它失败了,脚本中没有任何更改。
请看下面的脚本:
当我运行脚本时,它显示它正在工作,但上传需要无限时间。当我停止上传过程时,我收到以下消息:
令人惊讶的是,我之前能够成功运行上述脚本,直到今天它才失败(我没有更改任何内容)。请帮忙。
谢谢!
r - 在使用 bigquery 时增加 tidyverse API OAuth 令牌过期之前的时间?
当使用 R中的 bigrquery 时,tidyverse API 会要求进行身份验证,一旦提供身份验证,就可以从 R 会话访问 bigquery。下载结果可能很耗时,如果 oauth 令牌在传输过程中过期,则下载失败:
错误:凭据无效 [authError]
示例代码
哪个返回
但过了一段时间
问题
如何增加 0Auth 令牌过期前的时间长度?
r - 使用 R Markdown 文档中的 bigrquery 对 Bigquery 进行身份验证
我在使用bigrquery
从我编写的 R Markdown 文档中连接到 GCP 服务帐户时遇到问题。当我从控制台尝试时,身份验证工作正常。两个都
和
启动一个带有对话框的浏览器,让我可以按预期使用指定的帐户进行选择和身份验证。但是在 R Markdown 中,任何尝试都像
甚至使用这样的完整列表
导致错误
谁能看到我错过了什么?提前致谢。