0

在 CentOS (CentOS 8.0.1905 (64bit)) 上，我尝试在 Flink(1.9) 上运行 Python(3.6.8) 版本的 WordCount 程序，如此处所述。我得到如下错误。相同的环境适用于 Java 版本的 WordCount 程序。我在这里想念什么？任何帮助是极大的赞赏。错误

$ ./bin/flink run -py examples/python/table/batch/word_count.py
Starting execution of program
org.apache.flink.client.program.OptimizerPlanEnvironment$ProgramAbortException
    at org.apache.flink.client.python.PythonDriver.main(PythonDriver.java:83)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:576)
    at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:438)
    at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:274)
    at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:746)
    at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:273)
    at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:205)
    at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1010)
    at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1083)
    at org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
    at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1083)
4

3 回答 3

0

我认为您提供的信息没有显示根本原因。一般来说，我们在 Flink 1.9 中运行示例有两种方式，一种是前面提供的答案 1，即从源代码安装 PyFlink，另一种是下载二进制包。如下：

  1. 检查 Python python --version Flink 1.9 最好使用 Python 2.7.6+。

  2. 下载 curl -O http://mirrors.gigenet.com/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz tar -zxvf flink-1.9.1-bin-scala_2。 11.tgz

  3. 配置（可选）vi flink-1.9.1/conf/flink-conf.yaml -> rest.port: 4000

  4. 启动集群 cd flink-1.9.1; bin/start-cluster.sh

  5. 运行字数统计示例 ./bin/flink run -py examples/python/table/batch/word_count.py

更多细节可以在这里找到： https ://enjoyment.cool/2020/01/19/Three-Min-Series-Run-the-Example-of-WordCount-in-PyFlink-1-9/#more

希望对你有帮助！

于 2020-01-19T04:11:11.943 回答
0

感谢孙金成的鼓励和支持

我将 $FLINK_HOME/opt/python/__MACOSX 移到了上一层。程序运行没有任何错误。当我在 Linux 上运行时，我不需要 __MACOSX。我将简单地删除它

于 2020-01-20T08:04:15.280 回答
-1

在运行测试之前，您应该使用 pip 构建源代码并安装 PyFlink，详细信息可以在此处找到：https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building。 html#build-pyflink。

于 2020-01-17T03:35:09.910 回答