google-cloud-dataflow - 找不到包 com.google.cloud.dataflow.sdk

Question

从 Maven 执行时，我的 Dataflow Java 代码停止编译/运行：

[ERROR] symbol:   class Pipeline
[ERROR] location: package com.google.cloud.dataflow.sdk
[ERROR] ... package com.google.cloud.dataflow.sdk.io does not exist
[ERROR] ... package com.google.cloud.dataflow.sdk.options does not exist
[ERROR] ... package com.google.cloud.dataflow.sdk.transforms does not exist

Answer 1

您的 pom.xml 可能包含如下一行：

<dependency>
  <groupId>com.google.cloud.dataflow</groupId>
  <artifactId>google-cloud-dataflow-java-sdk-all</artifactId>
  <version>[1.6.0, 2.0.0)</version>
</dependency>

这对 2.0-beta 进行了重大更改，其中 Google Dataflow 包名称已更改为 org.apache.beam。

现在，将 pom.xml 设置更改为：

<dependency>
  <groupId>com.google.cloud.dataflow</groupId>
  <artifactId>google-cloud-dataflow-java-sdk-all</artifactId>
  <version>[1.6.0, 1.9.9)</version>
</dependency>

准备好后，请按照

https://cloud.google.com/dataflow/release-notes/release-notes-java-2

更新您的 Java 代码。这不仅仅是更改包名称。您的跑步者名称将发生变化，并且 DoFns 还需要一个 @ProcessElement 注释，以及其他更改。