apache-spark - Spark 1.5.0 spark.app.id 警告

Question

我已经更新了我的 CDH 集群以使用spark 1.5.0. 当我提交火花申请时，系统显示警告spark.app.id

Using default name DAGScheduler for source because spark.app.id is not set.

我已经搜索过spark.app.id但没有关于它的文档。我读了这个链接，我认为它用于 RestAPI 调用。

我在 中没有看到这个警告spark 1.4。有人可以向我解释一下并展示如何设置吗？

Answer 1

它不一定用于 REST API，而是用于监控目的 e。g 当您想通过示例检查纱线日志时：

yarn logs <spark.app.id>

确实，此特定问题仍未记录在案。我认为添加它是为了标准化 Hadoop 生态系统中的应用程序部署。

我建议您在您的应用程序中设置“spark.app.id”。

conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course

尽管如此，这仍然是一个不会影响应用程序本身的警告。