问题标签 [pybigquery]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-bigquery - 来自 BQ 的 Apache 超集中的数据流？
我是超集的新手，想知道是否有任何方法可以使用 apache 超集在大查询中执行数据流？目前，我已经使用大查询在 apache 超集中设置了数据库，但是当我在 bigquery 中使用 SQL 命令更新表数据时，它不会反映在超集中。有没有办法让数据流到超集？
google-bigquery - BigQuery 中条件为 80% 的 Where 子句？
我必须在 BigQuery 中查询 100 个条件（在 where 子句中）。我想，如果 80 多个条件中的任何一个为真，那么它应该获取数据。在 Big Query 中可能吗？
google-bigquery - BigQuery 客户端网址
我的服务器是一个封闭网络，我只想为 bigquery 客户端和 gsutil 创建一个白名单。
我尝试添加以下网址
但事实证明 bigquery 需要更多 url 来进行身份验证等等。例如像下面的网址
有谁知道用于 bigquery-client 和 gsutil 的所有 url。不仅用于身份验证，还用于创建作业和从存储中获取数据
sqlalchemy - SQLAlchemy Join 使用 PyBigquery 过滤结果
使用 SQLAlchemy 类，我正在尝试生成类似于
作为使用 unnest() 的隐式连接，我不知道如何构造我的语句。
结合使用 .label() 和移动 unnest() 调用，我设法将 unnest 子句移动到 SELECT 或 WHERE 子句，但不在 FROM 中。
例如，
留给我
到目前为止，使用 join() 刚刚导致没有加入列的异常（虽然是的，我理解这意味着什么，但我不知道如何解决这个问题，因为 unnest 基本上是在扩展 a没有要加入的列的嵌套数据类型..这可能是我对如何正确使用 SQLAlchemys join() 方法的无知的原因）
这只是一个 SQLAlchemy / BigQuery 方言问题吗？还是我只是个笨蛋？我知道方言库仍然是婴儿，但即使使用 Postgres，我也会认为这应该是一种常见的查询模式？
sqlalchemy - SQLAlchemy：有没有办法将原始查询附加到查询对象？
我正在尝试在 Google 中使用 BigQuery 创建自定义查询
我可以使用 SQLAlchemy 过滤器功能做几乎所有事情
但我想在 where 子句上添加自定义过滤器，如下所示
有没有办法使用上面的字符串附加过滤器？
pyspark - 为什么需要临时 GCS 存储桶将数据帧写入 BigQuery：pyspark
最近，我在使用 pyspark 将数据帧数据写入 BigQuery 时遇到了一个问题。这是：
pyspark.sql.utils.IllegalArgumentException: u'必须通知临时或持久 GCS 存储桶
在研究了这个问题后，我发现要提到临时 GCS 存储桶spark.conf。
我认为在像 Hive 这样的 Biquery 中有一个表文件是没有概念的。
我想了解更多，为什么我们需要 temp-gcs-bucket 将数据写入 bigquery？
我正在寻找这背后的原因，但我不能。
请说清楚。
encryption - 如何解密在 Python 中加密的 BigQuery 中的敏感字段
我需要构建一个管道，该管道从 python 获取加密数据并在 BigQuery 中对其进行解密。我可以在 BigQuery 中加密和解密数据。但我不确定如何在 python 中加密数据并在 BigQuery 中解密。这里有一个 BigQuery 中加密/解密的代码示例你知道如何在 python 中实现这种加密吗？`
select AEAD.ENCRYPT( FROM_BASE64('CL6kr7EIEmQKWAowdHlwZS5nb29nbGVhcGlzLmNvbS9nb29nbGUuY3J5cHRvLnRpbmsuQWVzR2NtS2V5EiIaIFwpve08kI6R8xzSPSbfDW+YGYaIacTVuoKMDFLiKZTWGAEQARi+pK+xCCAB') ,b'semih', CAST('n11Rocks' AS BYTES)) AS encrypted_data,
SELECT SAFE_CONVERT_BYTES_TO_STRING( AEAD.DECRYPT_BYTES( FROM_BASE64('CL6kr7EIEmQKWAowdHlwZS5nb29nbGVhcGlzLmNvbS9nb29nbGUuY3J5cHRvLnRpbmsuQWVzR2NtS2V5EiIaIFwpve08kI6R8xzSPSbfDW+YGYaIacTVuoKMDFLiKZTWGAEQARi+pK+xCCAB') , FROM_BASE64('AYYr0j7Wjx0cXAu+Y+IcMFMtM13sjXm4ZlmwVtdF+lUyDN3aduc='), FROM_BASE64('bjExUm9ja3M=') )) AS dataa`
python - 使用 Python 将 Pub/Sub 消息加载到 BigQuery
我正在尝试使用 python 提取 Pub/Sub 消息并加载到 BigQuery 的消息。我可以提取消息，但无法将其加载到 BigQuery。这是一个编写的代码示例。您知道如何使用 python 将此消息加载到 BigQuery。
python - 将数据从 Python 导出到 BigQuery 时架构不正确
我正在尝试使用 python 将发布/订阅消息加载到 BigQuery。我可以将消息加载到 BigQuery。但是，数据带有不正确的架构。这是我编写的代码示例及其在 BigQuery 中的输出和屏幕截图。你知道如何解决这个问题吗？
