问题标签 [python-bigquery]

我正在使用 python 客户端库将数据插入到大查询表中。代码如下。

没有错误，但数据也没有被插入。

示例 JSON 行：

有什么问题？也不例外

我有一个带有 schema 的 BigQuery 表“A” {'UUID': 'String'}。我想将此表与具有{'UUID': 'String', 'USER_ID': 'INT'}UUID 架构的 ADH（广告数据中心）表“B”连接起来，并将所有数据提取user_ids到一个新表中。

我在将 ADH 表与 BigQuery 表连接时遇到问题。

有人可以帮我吗？

我目前运行 SQL 查询以将公共 BigQuery 数据集中的数据提取到表中，从那里我可以轻松地使用导出函数生成 Avro 文件并将其保存到 GCS 中。如何以编程方式生成此文件？我使用 BQ API 将表格读入 Pandas Dataframe，是读取 Pandas DF 然后将其导出到 Avro 的最佳选择吗？或者是更好的方法。

版本：Mac OS Mojave 10.14.5 Python 3.6.5 Pandas 0.24.2 pandas-gbq 0.10.0

我正在尝试从 shipstation api 中提取数据并将其加载到 bigquery 中以在我们的 BI 平台 (tableau) 中使用。我已经成功进行了 api 调用，它返回了一个 json 对象。我已成功地将其转换为 pandas df 对象。当我尝试将该 df 写入 BigQuery 中的数据集时，我收到错误消息：“字段单元已存在于模式中”，即使我正在编写的表不存在并且由 pandas-gbq 创建。

我试图创建我正在写入的表并只是附加字段，但我得到了一个类似的错误，我需要确保我的模式是对齐的。我试过设置 if_exists=replace，但也没有用。我发现了一些问题，建议确保我的所有列都是时间戳对象而不是日期时间，这也没有解决问题。

这是我的代码：

这是错误：

任何帮助将不胜感激。

谢谢

我正在尝试将 select 语句结果导出到另一个表作为永久存储。但是，无论何时创建新表，它都是无模式的。当我尝试查询该结果表时，会显示错误：

表 project-id.dataset_name.temp_table 没有架构。

这是我将结果从 SELECT 语句导出到临时选项卡的代码

错误在哪里？Google Cloud 方面是否有任何 API 更改？因为这个脚本在一个月前工作。

请帮忙。

“我正在使用查询在 Bigquery 中获取从当前日期到昨天日期的数据，但我无法在 BQ 中获取昨天的日期”

我认为这行代码没有给出昨天的日期

我想在 BQ 中获取从今天到昨天的数据，但我认为我使用了错误的查询，我希望现在输出为 500，但它给出的是 0

对 python Bigquery API 的支持表明数组是可能的，但是，当从 pandas 数据帧传递到 bigquery 时，会出现 pyarrow 结构问题。

唯一的方法似乎是删除列然后将 JSON Normalize 用于单独的表。

这是收到的错误。NotImplementedError: 结构

我正在尝试使用需要动态模式处理的 python 代码将数据附加到 BQ 表。谁能给我提供处理上述情况的链接。

我尝试在 jupyter notebook 上的 python 2.7 中实现 bigquery。我认为我的代码是正确的，但我收到错误“AttributeError：'Client' object has no attribute 'query'”

我得到的错误信息是：

我在带有结构的 bigquery 中有表

以及将数据插入测试记录的问题

我尝试以这种方式插入：

我预计数据将被插入！请...