0

我想使用 Spark History Server API ( http://127.0.0.1:18080/api/v1/applications/ ) 来识别 /tmp/spark-events/ 中某些作业写入的日志文件。我可以看到作业 ID 与日志文件名相同，所以我想如果我有一个唯一的作业名称，我可以查找它并获取关联的 ID。我的问题是我有一个 scala 应用程序，它在代码中设置应用程序名称：

val conf = new SparkConf()
  .setAppName(s"TeraGen ($size)")

每次运行作业时，它都具有相同的名称。是否可以在命令行中覆盖应用程序名称？我尝试过，--name但这不起作用。

如果做不到这一点，有没有更好的方法来做到这一点？

4

1 回答 1

0

我通过将以下内容添加到我的代码并将其分配给变量来将 uuId 作为 arg 传递：

val uuId = args(2)

然后我将它添加到应用程序名称中：

val conf = new SparkConf()
  .setAppName(s"TeraGen ($size) $uuId")
于 2018-11-21T14:27:50.063 回答