apache-spark - 如何从 SparkContext 获取 WebUI URI

Question

我在 IPython 笔记本中运行 pySpark。每个 notebook 都有自己的 sparkContext，每个 notebook 在自己的端口上都有一个关联的 webUI，从 4040 开始。
我想提取并打印端口或 URI，以便我可以浏览到正确的 webUI。我怎样才能得到这个信息？

Answer 1

您可以通过以下方式直接连接到底层 Scala SparkContext 来获取 SparkUI 页面的完整 URL：

>>> sc._jsc.sc().uiWebUrl().get()
u'http://192.168.0.59:6970'

但是，这有点不方便，所以我刚刚提交了一个添加访问器的拉取请求，所以您可以简单地执行以下操作：

>>> sc.uiWebUrl
u'http://192.168.0.59:6970'

希望这将被合并到下一个版本中，但如果没有，您可以简单地使用链接分支中的更改修补您自己的 Spark 副本（或使用上面更丑的长形式）。

编辑： PR 确实已经合并，所以sc.uiWebUrl上面的语法现在可以在最新版本的 Spark 上运行，无需任何补丁。