hadoop - 使用 Apache YARN 在 Spring Cloud Dataflow 上部署不成功

Question

我已经安装了带有 Kafka-Zookeeper 和 Spring Cloud Dataflow 1.0.3 的单节点 Apache YARN。

一切正常，但是当我做了一些部署示例时，例如：

流创建 --name "ticktock" --definition "time | hdfs --rollover=100" --deploy

http --port=8000 | 日志 --name=logtest --level=INFO

流的状态永远不会停留在“已部署”。它在“未部署”->“部分”->“已部署”上不断变化。

但是，YARN 应用程序部署成功，但就像 Spring Cloud Dataflow 服务器实例和 Apache Hadoop 之间的通信一样，它不断失败。

这可能是什么问题？

提前致谢！

Answer 1

好吧，这里没有太多信息可以继续，但您可能需要检查并确保您已在 HDFS 中创建了必要的基本目录，并且您的 Yarn 用户对其具有读/写权限。

spring.cloud.deployer.yarn.app.baseDir=/dataflow

Answer 2

感谢大家的回答！一直忙于其他高优先级项目，但我能够使用 Ambari 构建所有项目（包括 Sabby Adannan 提到的插件）。现在一切都很好！