apache-spark - 如何在 OLP 中覆盖 spark conf

Question

如何使用以下标志在 OLP 中运行 spark 作业？

--conf spark.driver.userClassPathFirst=true
--conf spark.executor.userClassPathFirst=true

Answer 1

OLP 当前不支持设置自定义 Spark 属性。如果您遇到依赖冲突（通常是什么触发了这个问题），您将需要找到另一种方法来解决它们，例如着色（在构建部署的 fat jar 时）。

Answer 2

使用带阴影的 jar 确实有帮助，是的，这是一个依赖问题，因为我使用的是更高版本的 commons lib。

我必须在包含任何其他冲突依赖项之前放置我的 commons lib 依赖项，以防其他人面临这个问题，他们可以尝试解决冲突。