3

我已经在 Ubuntu 的 miniconda 环境中通过conda install pyspark. 到目前为止一切正常：我可以运行作业，spark-submit并且可以检查正在运行的作业localhost:4040。但我找不到start-history-server.sh，我需要查看已完成的工作。

应该是在， spark的安装目录在{spark}/sbin哪里。{spark}我不确定通过 conda 安装 spark 时应该在哪里，但我已经搜索了整个 miniconda 目录，但似乎无法找到start-history-server.sh. 对于它的价值，这适用于 python 3.7 和 2.7 环境。

我的问题是：是否start-history-server.sh包含在 pyspark 的 conda 安装中？如果是，在哪里？如果不是，那么在事后评估火花工作的推荐替代方法是什么？

4

1 回答 1

3

编辑：我已经提交了将历史服务器脚本添加到 pyspark 的拉取请求。拉取请求已被合并，因此这应该会暂时出现在 Spark 3.0 中。

正如@pedvaljim 在评论中指出的那样，这不是 conda 特定的，该目录sbin根本不包含在 pyspark 中。

好消息是可以从 github手动下载此文件夹（即不确定如何只下载一个目录，我只是克隆了所有 spark）到您的 spark 文件夹中。如果您使用的是 mini- 或 anaconda，则 spark 文件夹为miniconda3/envs/{name_of_environment}/lib/python3.7/site-packages/pyspark.

于 2019-01-29T14:27:38.243 回答