hadoop-yarn - Hello-samza - 任务保持在 Accepted 状态

Question

我正在尝试从 master 分支启动hello-samza示例。我运行每个命令都没有错误，启动 run-job.sh 没有错误，但是 YARN 中的作业永远保持在 ACCEPTED 状态。

我查看了http://localhost:8088/cluster/nodes并没有显示任何内容 - 这是问题所在吗？YARN 没有连接节点，因此无法分配资源来完成提交的作业？

yarn node -list

还显示Total Nodes:0

如果我只是按照说明进行操作，为什么会这样？

score 0 · Accepted Answer

我有同样的问题，但我想出了什么问题。也许在您的情况下这是不同的问题，但值得检查一下（也可能对其他人有所帮助）。根据Jon Bringhurst的建议，我建议查看 Yarn Node Manager 日志 - 对于 hello samza 项目，它们应该位于：

hello-samza/deploy/yarn/logs/yarn-*nodemanger-*.log

在我的情况下（可能在你的情况下）我看到 ERORR 说（之前还有 WARN 告诉我磁盘空间超过 90%）：

1/1 local-dirs are bad: *; 
1/1 log-dirs are bad: *

它们很糟糕，因为节点上的可用磁盘空间超过了 yarn 的 max-disk-utilization-per-disk-percentage 默认值 90.0%。要么清理磁盘，要么增加 yarn-site.xml 中的阈值（就像我做的那样）：

<property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>97</value>
</property>

score 0 · Accepted Answer

YARN 没有连接节点，因此无法分配资源来完成提交的作业？

是的，该作业已排队等待资源启动。

查看 NodeManager 的日志以找出它无法连接到 ResourceManager 的原因可能很有用。

2 回答 2