13

我们想设置aws代码中将通过以下方式完成的参数SparkContext：

sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)

但是，我们有一个自定义 Spark 启动器框架，它需要通过命令行--conf参数完成所有自定义 Spark 配置。spark-submit

有没有办法“通知” SparkContext 将--conf值设置为 thehadoopConfiguration而不是它的 general SparkConf？寻找类似的东西

spark-submit --conf hadoop.fs.s3a.access.key $vault.user --conf hadoop.fs.s3a.access.key $vault.key

或者

spark-submit --conf hadoopConfiguration.fs.s3a.access.key $vault.user --conf hadoopConfiguration.fs.s3a.access.key $vault.key
4

1 回答 1

39

spark.hadoop.您需要在命令行（或SparkConf对象）中为 Hadoop 配置添加前缀。例如：

spark.hadoop.fs.s3a.access.key=value
于 2017-03-14T21:37:29.853 回答