问题标签 [pybigquery]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

15 问题

0 投票

1 回答

397 浏览

google-bigquery - 来自 BQ 的 Apache 超集中的数据流？

我是超集的新手，想知道是否有任何方法可以使用 apache 超集在大查询中执行数据流？目前，我已经使用大查询在 apache 超集中设置了数据库，但是当我在 bigquery 中使用 SQL 命令更新表数据时，它不会反映在超集中。有没有办法让数据流到超集？

0 投票

1 回答

73 浏览

google-bigquery - BigQuery 中条件为 80% 的 Where 子句？

我必须在 BigQuery 中查询 100 个条件（在 where 子句中）。我想，如果 80 多个条件中的任何一个为真，那么它应该获取数据。在 Big Query 中可能吗？

google-bigquery pybigquery

0 投票

1 回答

84 浏览

google-bigquery - BigQuery 客户端网址

我的服务器是一个封闭网络，我只想为 bigquery 客户端和 gsutil 创建一个白名单。

我尝试添加以下网址

但事实证明 bigquery 需要更多 url 来进行身份验证等等。例如像下面的网址

有谁知道用于 bigquery-client 和 gsutil 的所有 url。不仅用于身份验证，还用于创建作业和从存储中获取数据

google-bigquery gsutil pybigquery

0 投票

1 回答

69 浏览

sqlalchemy - SQLAlchemy Join 使用 PyBigquery 过滤结果

使用 SQLAlchemy 类，我正在尝试生成类似于

作为使用 unnest() 的隐式连接，我不知道如何构造我的语句。

结合使用 .label() 和移动 unnest() 调用，我设法将 unnest 子句移动到 SELECT 或 WHERE 子句，但不在 FROM 中。

例如，

留给我

到目前为止，使用 join() 刚刚导致没有加入列的异常（虽然是的，我理解这意味着什么，但我不知道如何解决这个问题，因为 unnest 基本上是在扩展 a没有要加入的列的嵌套数据类型..这可能是我对如何正确使用 SQLAlchemys join() 方法的无知的原因）

这只是一个 SQLAlchemy / BigQuery 方言问题吗？还是我只是个笨蛋？我知道方言库仍然是婴儿，但即使使用 Postgres，我也会认为这应该是一种常见的查询模式？

sqlalchemy google-bigquery pybigquery

0 投票

1 回答

43 浏览

sqlalchemy - SQLAlchemy：有没有办法将原始查询附加到查询对象？

我正在尝试在 Google 中使用 BigQuery 创建自定义查询

我可以使用 SQLAlchemy 过滤器功能做几乎所有事情

但我想在 where 子句上添加自定义过滤器，如下所示

有没有办法使用上面的字符串附加过滤器？

sqlalchemy google-bigquery flask-sqlalchemy pybigquery

0 投票

1 回答

31 浏览

google-bigquery - 大查询错误 - 标量子查询产生了多个结果

google-bigquery bigquery-udf pybigquery

0 投票

1 回答

656 浏览

pyspark - 为什么需要临时 GCS 存储桶将数据帧写入 BigQuery：pyspark

最近，我在使用 pyspark 将数据帧数据写入 BigQuery 时遇到了一个问题。这是：

pyspark.sql.utils.IllegalArgumentException: u'必须通知临时或持久 GCS 存储桶

在研究了这个问题后，我发现要提到临时 GCS 存储桶spark.conf。

我认为在像 Hive 这样的 Biquery 中有一个表文件是没有概念的。

我想了解更多，为什么我们需要 temp-gcs-bucket 将数据写入 bigquery？

我正在寻找这背后的原因，但我不能。

请说清楚。

pyspark google-bigquery google-cloud-storage pybigquery

0 投票

0 回答

88 浏览

encryption - 如何解密在 Python 中加密的 BigQuery 中的敏感字段

我需要构建一个管道，该管道从 python 获取加密数据并在 BigQuery 中对其进行解密。我可以在 BigQuery 中加密和解密数据。但我不确定如何在 python 中加密数据并在 BigQuery 中解密。这里有一个 BigQuery 中加密/解密的代码示例你知道如何在 python 中实现这种加密吗？`

select AEAD.ENCRYPT( FROM_BASE64('CL6kr7EIEmQKWAowdHlwZS5nb29nbGVhcGlzLmNvbS9nb29nbGUuY3J5cHRvLnRpbmsuQWVzR2NtS2V5EiIaIFwpve08kI6R8xzSPSbfDW+YGYaIacTVuoKMDFLiKZTWGAEQARi+pK+xCCAB') ,b'semih', CAST('n11Rocks' AS BYTES)) AS encrypted_data,

SELECT SAFE_CONVERT_BYTES_TO_STRING( AEAD.DECRYPT_BYTES( FROM_BASE64('CL6kr7EIEmQKWAowdHlwZS5nb29nbGVhcGlzLmNvbS9nb29nbGUuY3J5cHRvLnRpbmsuQWVzR2NtS2V5EiIaIFwpve08kI6R8xzSPSbfDW+YGYaIacTVuoKMDFLiKZTWGAEQARi+pK+xCCAB') , FROM_BASE64('AYYr0j7Wjx0cXAu+Y+IcMFMtM13sjXm4ZlmwVtdF+lUyDN3aduc='), FROM_BASE64('bjExUm9ja3M=') )) AS dataa`

encryption google-bigquery pybigquery

0 投票

1 回答

211 浏览