我在本地模式下使用 Spark。我运行 spark-shell 并将文件用作数据集。一切都很好（例如，我要求 spark-shell 计算文件中以“a”开头的单词数，我得到了很好的结果），但是当我在 web UI 上看到时，它并没有改变一点也不。
你知道为什么我运行一个进程时 Web UI 没有发展吗？
问问题
83 次
2 回答
0
看来，端口号将是 8080。请参阅文档https://spark.apache.org/docs/latest/spark-standalone.html
于 2020-06-30T18:11:38.983 回答
0
当您在本地启动 spark-shell 时，您并没有使用 Spark Stand Alone。您正在本地运行。您应该会看到绑定到端口 404x 的消息。如果记忆正确，您应该使用 404x 。
如果您键入http://localhost:4040- 或 https... 或服务器名称或 IP 地址而不是本地主机，您将被带到 4040/jobs，您将看到您的工作、应用程序。
如果您开始使用 Stand Alone，您将在那里看到应用程序以及端口 4040、4041 等任何适用的。从 Stand Alone 中，您可以单击到 404x。
于 2020-06-30T19:25:59.433 回答