0

我通过在 AWS 中创建集群在 Qubole 中使用 Spark。在Qubole Workbench中，当我执行以下命令行时，它工作正常并且命令成功

/usr/lib/spark/bin/spark-submit s3://bucket-name/SparkScripts/test.py

但是，当我执行相同的命令以及 --properties-file 选项

/usr/lib/spark/bin/spark-submit --properties-file s3://bucket-name/SparkScripts/properties.file s3://bucket-name/SparkScripts/test.py

它给出了以下错误消息

Qubole > Shell 命令失败，退出代码：1

应用 > 获取初始化 Qubole 安全提供程序所需的有效配置时发生错误

应用程序 > 线程“主”java.lang.IllegalArgumentException 中的异常：要求失败：属性文件 s3:/bucket-name/SparkScripts/properties.file 不存在

有人可以帮我解决这个问题吗？我需要将一些应用程序属性存储在 Amazon S3 上的单独文件中，并传递给 --properties-file 到我的 spark 程序。

4

1 回答 1

0

@saravanan - Qubole 目前无法从 S3 路径指定 --properties 文件。它将在版本 59 中提供。

于 2020-02-04T09:47:13.063 回答