8

我无法在 Amazon EMR 中启动 Apache Flink 的纱线会话。我得到的错误信息是

$ tar xvfj flink-0.9.0-bin-hadoop26.tgz
$ cd flink-0.9.0
$ ./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096
...
Diagnostics: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not exist
java.io.FileNotFoundException: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not exist
...

我正在使用 Flink 版本 0.9 和 Amazons Hadoop 版本 4.0.0。有什么想法或提示吗？

完整的日志可以在这里找到：https ://gist.github.com/headmyshoulder/48279f06c1850c62c28c

4

2 回答 2

8

从日志：

文件系统方案是“文件”。这说明指定的 Hadoop 配置路径错误，系统使用的是默认的 Hadoop 配置值。Flink YARN 客户端需要将其文件存储在分布式文件系统中

Flink 读取 Hadoop 配置文件失败。它们要么从环境变量中获取，例如 HADOOP_HOME，要么您可以在执行 YARN 命令之前在 flink-conf.yaml 中设置配置目录。

Flink 需要读取 Hadoop 配置才能知道如何将 Flink jar 上传到集群文件系统，以便新创建的 YARN 集群可以访问它。如果 Flink 无法解析 Hadoop 配置，它会使用本地文件系统上传 jar。这意味着 jar 将被放置在您启动集群的机器上。因此，它将无法从 Flink YARN 集群访问。

请参阅Flink 配置页面了解更多信息。

编辑：在 Amazong EMR 上，export HADOOP_CONF_DIR=/etc/hadoop/conf让 Flink 发现 Hadoop 配置目录。

于 2015-08-14T06:15:54.830 回答
-1

如果我是你，我会试试这个：

./bin/yarn-session.sh -n 1 -jm 768 -tm 768

于 2016-10-26T09:04:55.570 回答