4

我正在通过以下命令运行 spark master：

./sbin/start-master.sh

之后我去了http://localhost:8080，我看到了以下页面。

火花

我期待看到带有 Jobs、Environments、... 的选项卡，如下所示

火花

有人可以帮助我了解问题出在哪里吗？

我需要额外的配置吗？

谢谢

朱塞佩

4

3 回答 3

1

要在 Web 浏览器中监视和检查 Spark 作业执行，请访问端口 4040 而不是 8080。

例如 ：http://ipAddress:4040

替换 URL 中的 8080。

参考：https ://spark.apache.org/docs/latest/monitoring.html

在上面的链接中，spark 文档声明它在端口 4040 中启动 Web 界面

另一个有用的注意事项是，默认情况下，此信息仅在应用程序期间可用。要在事后查看 Web UI，请在启动应用程序之前将 spark.eventLog.enabled 设置为 true。这会将 Spark 配置为记录 Spark 事件，这些事件将 UI 中显示的信息编码到持久存储中。

希望有帮助。

于 2019-06-01T16:13:24.990 回答
1

您获得的 UI<master-ip>:8080是 Masters 的 Web UI。您可以在<worker-ip>:8081（8081 是默认端口；可以是任何端口）为 Workers 提供类似的

您正在寻找的 Web UI 具有您运行的应用程序的规范，即执行程序、dag 图、阶段等。因此，如果您单击其中一个Running Applications，您将获得如下所示的页面。单击Application UI，您将获得所需的页面。

应用程序-web-ui

于 2020-09-09T18:10:42.417 回答
0

我认为您正在寻找的是 SparkUI，您应该首先创建一个 SparkContext。例如，如果您安装了 pyspark，您可以运行它，并且当它正确启动时，您会看到在端口 4040 或 4041 处生成了 sparkUI ...

于 2020-02-17T16:57:38.480 回答