现在我有一个在亚马逊 ec2 上运行的作业，我使用 putty 连接到 ec2 集群，但只知道 putty 的连接丢失了。重新连接到 ec2 集群后，我没有作业输出，所以我没有知道我的工作是否仍在运行。有人知道如何检查 Spark 工作的状态吗？
谢谢
问问题
2686 次
2 回答
1
假设您在纱线集群上，您可以运行 yarn application -list 来获取应用程序列表，然后运行 yarn application -status applicationId 来了解状态
于 2015-04-21T14:00:09.857 回答
0
在远程机器上工作时，使用GNU Screen（或其他类似工具）保持会话活动（但如果与机器失去连接，则断开连接）是一种很好的做法。
Spark 应用程序的状态可以从 Spark UI（或 Yarn UI）确定。
如果您正在寻找 cli 命令：
对于独立集群使用：
spark-submit --status <app-driver-id>
对于纱线：
yarn application --status <app-id>
于 2015-04-21T15:10:39.013 回答