问题标签 [beam-sql]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

45 问题

0 投票

1 回答

581 浏览

google-bigquery - 使用 Apache Beam java 删除大查询表

是否可以使用 Java 使用 Apache Beam 删除 bigQuery 中可用的表？

2019-08-22T14:35:13.787

0 投票

1 回答

66 浏览

google-cloud-dataflow - Beam SQL 未触发

我正在构建一个简单的原型，其中我正在从 Pubsub 读取数据并使用 BeamSQL，代码片段如下

我正在使用 Directrunner 在本地对其进行测试，并且在执行梁 sql 之前我能够看到结果。beam sql 的输出没有被打印出来。

google-cloud-dataflow apache-beam spotify-scio beam-sql

2019-08-22T18:38:39.400

0 投票

1 回答

272 浏览

google-cloud-dataflow - 我们如何在 apache beam sql 中使用 row_number()

我试过了，但得到以下错误。例如：

错误：

线程“主”java.lang.RuntimeException 中的异常：无法翻译调用 ROW_NUMBER() OVER (PARTITION BY $t1 ORDER BY $t0 ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)

google-cloud-dataflow apache-beam beam-sql

2019-09-17T04:22:17.480

0 投票

1 回答

687 浏览

java - 使用 Apache Beam 的 ZetaSQL 示例

我在 Apache Beam 框架 (2.17.0-SNAPSHOT) 中使用 ZetaSQL 时遇到问题。在浏览了 apache 梁的文档后，我找不到 ZetaSQL 的任何示例。

我尝试添加规划器： options.setPlannerName("org.apache.beam.sdk.extensions.sql.zetasql.ZetaSQLQueryPlanner");

但仍然面临问题，在下面添加了代码段以寻求帮助。

我知道我们需要以下代码段，但未能创建配置 Frameworks.newConfigBuilder()

在运行代码时，我发现以下异常：

java google-cloud-platform apache-beam beam-sql

2019-10-15T08:21:13.043

0 投票

1 回答

738 浏览

java - 使用 Beam SQL 查询 Avro Schema

我正在尝试使用 Apache Beam 读取 avro 文件并使用 Beam SQL 来转换数据。

我还是 Beam 和 Java 的新手。这是我的简单代码：

它给了我错误

我不明白，我已经定义了名为 schema 的变量。这里有任何指示吗？

java apache-beam beam-sql

2019-10-28T11:43:15.490

0 投票

2 回答

182 浏览

apache-beam - Apache Beam 获取kafka 数据执行SQL 报错：Cannot call getSchema when there is no schema

我将多张表的数据输入kafka，beam拿到数据后会执行SQL，但是现在出现如下错误：

线程“主”中的异常

java.lang.IllegalStateException：当 org.apache.beam.sdk.extensions.sql.impl 的 org.apache.beam.sdk.values.PCollection.getSchema(PCollection.java:328) 没有架构时，无法调用 getSchema。 schema.BeamPCollectionTable.(BeamPCollectionTable.java:34) at org.apache.beam.sdk.extensions.sql.SqlTransform.toTableMap(SqlTransform.java:141) at org.apache.beam.sdk.extensions.sql.SqlTransform.expand (SqlTransform.java:102) 在 org.apache.beam.sdk.extensions.sql.SqlTransform.expand(SqlTransform.java:82) 在 org.apache.beam.sdk.Pipeline.applyInternal(Pipeline.java:539) 在org.apache.beam.sdk.Pipeline.applyTransform(Pipeline.java:473) 在 org.apache.beam.sdk.values.PCollectionTuple.apply(PCollectionTuple.java:248) 在 BeamSqlTest.main(BeamSqlTest.java:65)

有可行的解决方案吗？请帮我！

apache-beam apache-beam-io beam-sql

2019-11-22T10:17:55.257

0 投票

2 回答

340 浏览