我正在本地主机上的 Spark (2.1.1) 上使用 Zeppelin (0.7.1)，并尝试将一些配置值添加到我运行的作业中。
具体来说，我正在尝试为 elasticsearch-hadoop 设置 es.nodes 值。
我尝试将键和值添加到解释器配置中，但这并没有出现在 sc.getConf 中。将“--conf mykey:myvalue”的值添加到解释器的“args”配置键中也没有注册。这不是火花解释器配置应该做的吗？
问问题
2214 次
1 回答
1
显然，这是 Zeppelin 中的一个有意更改，不久前实现了……它只允许将 spark.* 属性委托给 SparkConf。我已提交评论以更改此内容，因为我认为这是有问题的。 https://github.com/apache/zeppelin/pull/1970
于 2017-06-04T20:44:03.727 回答