问题标签 [spring-cloud-gcp-bigquery]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1953 浏览

java - spring-cloud-gcp-starter-bigquery 从属性文件中忽略 spring.cloud.gcp.credentials.location

我正在玩 spring gcp 项目。我的第一个 GCP 存储桶示例工作正常,并使用了我在属性文件中指出的正确的谷歌帐户:

在下一步中,我尝试重复bigQuery 示例

为了实现它,我在 GCP 端创建了数据集并将数据集名称添加到属性文件中:

我也复制了控制器

配置

index.html(我认为我不应该在这里复制它)

但是当我尝试将 smth 写入 bigQuery 数据集时,我看到以下错误:

从错误中我们可以看到应用程序尝试访问my_production_project不是预期的。

secret.json内容:

如您所见,这里spring-samples-269912提到了项目。

我该如何解决?

附言

两个示例(Gcp 存储桶和 BigQuery)都位于同一个项目中,因此它们使用相同的 application.properties 文件和相同的secret.json

0 投票
1 回答
397 浏览

google-bigquery - 来自 BQ 的 Apache 超集中的数据流?

我是超集的新手,想知道是否有任何方法可以使用 apache 超集在大查询中执行数据流?目前,我已经使用大查询在 apache 超集中设置了数据库,但是当我在 bigquery 中使用 SQL 命令更新表数据时,它不会反映在超集中。有没有办法让数据流到超集?

0 投票
1 回答
415 浏览

sql - BigQuery - 创建视图时如何使用嵌套列更改架构的顺序?

我想更改嵌套在我的 VIEW 中的架构。

但 BigQuery 不会这样做,因为我将记录称为“productPrice”。

确实,如果我不调用它,我就无法将它嵌套在我的视图中。

使用“productPrice”时出现错误消息

表格1

表2

请求 productPrice

要求没有 productPrice

视图中没有“productPrice”的结果

0 投票
1 回答
101 浏览

sql - 在 BigQuery SQL 问题中支持 UNION ALL 函数

我怎样才能让这个查询在 GCP 大查询上运行而不会出错:

“不支持引用其他表的相关子查询,除非它们可以去相关,例如通过将它们转换为有效的 JOIN。”

你们有什么想法我该如何解决这个冲突?

期望的输出:

| 患者 ID | sbp | rr | 败血症|

| 1 | 0 | 0 | 0 |
| 2 | 2 | 3 | 1 |

0 投票
1 回答
35 浏览

google-bigquery - 在 Big Query 中获取具有不同限制的随机行?

我有以下查询:

  • SELECT * FROM `datafusiontest-2897325.mergedquery.test_table LIMIT 10
  • 选择 * FROM `datafusiontest-2897325.mergedquery.test_table LIMIT 100
  • SELECT * FROM `datafusiontest-2897325.mergedquery.test_table LIMIT 10000

对于每个查询,我得到不同的最佳结果。

0 投票
2 回答
302 浏览

google-cloud-platform - 如何使用流式 insertAll 在 BigQuery 中插入 38000 条记录?

我正在尝试使用 StreaminginsertAll方法在 BigQuery 中插入 38000 条记录。

但首先我收到错误:

然后将超时时间增加为:

...我收到另一个错误:

请帮忙,如何在 BigQuery 中插入所有记录?

0 投票
0 回答
31 浏览

sql - 如何在spring boot sts 4中获取gcp bigquery的acual执行的sql语句的控制台日志

..大家好!

我想用 logback 获取控制台日志

用于spring boot sts4中gcp bigquery的实际执行的sql语句(不是参数名称)。

(1) spring boot sts 4、maven、外置tomcat、logback

(2) pom.xml:spring-cloud-gcp-starter-bigquery

如何在 logback-spring.xml 和 maven pom.xml 中设置

==> 我想得到这个控制台日志

提前致谢!

0 投票
1 回答
316 浏览

java - googleapis.com:连接抛出 com.google.cloud.bigquery.BigQueryException:sun.security.validator.ValidatorException PKIX 路径构建失败

我已从 Java 客户端连接 BigQuery,但出现以下异常

BigQuery com.google.cloud.bigquery.BigQueryException:sun.security.validator.ValidatorException:PKIX 路径构建失败:sun..security.provider.certpath.SunCertPathBuilderException:无法找到请求目标的有效证书路径

我在 pom.xml 中使用了以下依赖项

连接 BigQuery 的 Java 代码

使用此代码,我得到了上述错误。我正在使用来自 Google 云的服务 json 密钥,并将其添加到我的运行配置中。

我也尝试从该站点添加证书。它不工作。我试图从我的 java 路径中添加 cacerts 证书,并在我的环境变量中添加了 java home。

没有任何效果。

请帮助我克服这个问题。

提前致谢。

0 投票
1 回答
354 浏览

java - Spring Boot BigQuery 数据源连接

我正在尝试使用 Simba jdbc 驱动程序从 Spring Boot 连接 BigQuery,但我遇到了异常。任何输入表示赞赏。我不确定为什么 spring-boot 正在寻找证书。我能够连接简单的 java 主类,但我只在 Spring 启动时收到此错误。

原因:org.springframework.beans.factory.BeanCreationException:创建名为“org.springframework.boot.autoconfigure.jdbc.DataSourceInitializerInvoker”的bean时出错:调用init方法失败;嵌套异常是 org.springframework.beans.factory.BeanCreationException:在类路径资源 [com/test/demo/services/config/DBConfig.class] 中定义名称为“getDataSource”的 bean 创建时出错:通过工厂方法进行的 bean 实例化失败;嵌套异常是 org.springframework.beans.BeanInstantiationException:无法实例化 [com.simba.googlebigquery.jdbc42.DataSource]:工厂方法“getDataSource”抛出异常;嵌套异常是 java.sql.SQLException:[Simba]BigQueryJDBCDriver HttpTransport IO 错误:PKIX 路径构建失败:sun.security.provider.certpath.SunCertPathBuilderException:

0 投票
1 回答
163 浏览

java - 如何在 BigQuery 中获取文件加载插入失败的插入记录

我正在使用 Apache Beam(Java SDK)使用批量加载方法(文件加载)在 BigQuery 中插入记录。我想检索那些在插入过程中失败的记录。

是否可以对失败的记录制定重试策略?

下面是我的代码: