1

我是 GCP 新手，在尝试使用 GCP Cloud Composers DataflowJavaOperator为BeamTutorial运行云数据流应用程序时遇到错误。气流拾取管道，但因以下错误而失败。

gcp_dataflow_hook.py:115} INFO - Running command: java -cp /tmp/dataflow13ec2a50-BeamTutorial-0.0.1-SNAPSHOT.jar org.apache.beam.examples.tutorial.game.solution.Exercise2 --runner=DataflowRunner --project=..... --region=us-central1 --labels={"airflow-version":"v1-9-0-composer"} --jobName=run-beam-data-flow-java-1449a1da --outputPrefix=gs://..../ex2-spark/out
gcp_dataflow_hook.py:127} WARNING - Error: A JNI error has occurred, please check your installation and try again
[2018-10-18 09:35:00,316] {base_task_runner.py:98} INFO - Subtask: Exception in thread "main" java.lang.NoClassDefFoundError:org/apache/beam/sdk/options/PipelineOptions

此 BeamTutorial-0.0.1-SNAPSHOT.jar 不是胖 jar，当手动从 gcp 云 shell 手动提交时，它在 Dataflow 中成功运行作业，如下所示

mvn compile exec:java -Dexec.mainClass="org.apache.beam.examples.tutorial.game.solution.Exercise2" -Dexec.args="--runner=dataflow --project=<project-name> --outputPrefix=gs://..../beam-tutorial/ex2-spark/out" -Pdataflow-runner

感谢您在修复此错误方面的任何帮助。谢谢你。

4

1 回答 1

2

使用DataFlowJavaOperator时，您需要按照此处有关如何创建“.jar”文件的说明进行操作：

  • 从链接添加依赖项和插件
  • 运行mvn package以创建您的“.jar”文件

一旦你这样做了，我建议在尝试在 Composer 中运行它之前确保“.jar”文件实际上运行正确。因此，在这种情况下，按照教程，运行：

java -jar target/BeamTutorial-0.0.1-SNAPSHOT.jar   --runner=DataflowRunner   --p
roject=<my-project>   --tempLocation=<my-bucket>

我也得到：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/beam/sdk/options/PipelineOptions
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
        at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
        at java.lang.Class.getMethod0(Class.java:3018)
        at java.lang.Class.getMethod(Class.java:1784)
        at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
        at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.beam.sdk.options.PipelineOptions
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 7 more

所以这个问题看起来更多与 Java 相关，以及 pom 的配置方式没有创建有效的 .jar 文件，或者它需要一些额外的参数。在任何情况下，您都应该在继续之前对“.jar”/pom 进行故障排除。

对于其他一些管道，我使用 DataflowJavaOperator 和有效的“.jar”文件成功运行了它们。

于 2018-11-07T11:52:03.160 回答