我正在尝试将 pureConfig 和 configFactory 用于我的 spark 应用程序配置。这是我的代码：

当我从IDE（intelliJ）或直接从java（即java jar ...）运行它时，它工作正常。

但是当我使用 spark-submit 运行它时，它会失败并出现以下错误：

通过快速搜索，我发现了与此问题类似的内容。这表明原因是由于 spark 和 pureConfig 都依赖于 Shapeless 但具有不同的版本，

我试图按照答案中的建议对其进行遮蔽

但是效果不好，可能是其他原因吗？知道什么可行吗？

谢谢

sbt-assembly如果有人可以提供帮助，我有一个奇怪的问题

当试图创建胖 jar 以部署到 Spark 并应用到shapeless库的阴影时，我看到一些类在 Ubuntu 机器上运行时没有被重命名，而sbt assembly在 Mac 中运行时一切都被重命名。

这是阴影配置

在 Mac 中运行时，这些类被重命名为模式shapeless/Generic*

但是当在 Ubuntu 中运行时，对于模式shapless/Generic*只有这些东西被重命名

shapeless/Generic*我在提供 fat jar（在 Ubuntu 中生成）时选择了模式，spark-submit然后立即收到错误（可能来自pureconfig）

将Mac生产的脂肪罐送入时不会发生错误spark-submit

甚至可以在 scala 中使用 Typesafe Config 和 pureconfig 创建具有以下抽象级别的以下方法吗？由于以下限制，我知道必须按如下方式指定 Config Reader 的已定义案例类……但是任何类型的案例类呢……如果它们都实现了 ConfigReader？

我有这样的入口点：

所以看起来我的程序的主要目的是加载配置，这是不正确的，我的程序的核心是doStuff.

如何表达这一点并隐藏秘密配置？

我想要这样的东西：

其中很明显，故障处理和配置加载只是附件。

我知道这与 Scala pureconfig 的本质背道而驰……但是……使用 scala pureconfig 配置读取这个案例类是否可行，而不是为构造函数使用强类型值（作为字符串）参数“变量”具有任何类型或至少为 String、Integer、Double、Array[Strings]、Array[Integer]、Array[Double]。

据我所知，CoProductHint 和 Custom Reader 方法都不起作用......

以下从Spark 不使用 pureconfig的解决方案似乎是 sbt 的工作解决方案，但很难找出一个 maven 版本来执行此操作。尝试使用 spark-submit 让 pureconfig 0.8 与 spark 2.1 一起使用，但Exception in thread "main" java.lang.NoSuchMethodError: shapeless.Witness$.mkWitness(Ljava/lang/Object;)Lshapeless/Witness;在 IntelliJ 之外仍然出现令人讨厌的错误。

还尝试了使用 Pureconfig从这里 Spark 提出的解决方案- 正确的 Maven 阴影插件配置，但仍然没有运气。

如果我使用创建的 jar，这是最终的配置，uber但我不确定我是否完全理解 maven 着色是如何工作的，有没有办法避免创建一个额外的重命名的 jar？理想情况下，我只想使用带有已创建依赖项的 jar，而不是使用以下内容创建额外的第三个 jar：

我在 application.conf 中有以下内容，并试图找出定义我的类以加载配置的最佳方法：

我在知道如何正确加载它时遇到问题，以便它在 hdfs 中查找类似键时不会失败。

我正在尝试将 Pureconfig 合并到我的用例中以进行类型安全配置。成功地将 HOCON .conf 映射到案例类类型。但是，如果我必须在对象定义方面限制我的类型而不产生副作用（即抑制默认的 apply() 和 copy()），我将使用以下案例类定义方法：

为了支持 Option[_] 类型，我正在考虑使用隐式 ConfigReader。这种方法似乎很有效，我需要更多地解决配置键到对象映射和实例化的问题。

到目前为止，我搜索过的例子似乎并没有引起这种需求的共鸣。但是，请务必在对象成员上使用 Option[_]。尝试浏览 Pureconfig git repo 中的代码示例。

有人可以建议一种可以支持 Option[T] 的方法，其中 T 是复合自定义类型吗？而且我不必处理成员变量名称来配置键映射等，即避免必要的样板！

我无法派生具有许多属性的案例类。奇怪的是，输出在 SBT 和 gradle 之间变化。在https://github.com/geoHeil/pureconfig-issue找到了一个最小的可重现示例，代码如下：

sbt

毕业典礼

对于代码：

虽然在使用时工作得很好：

编辑

有趣的是，我在 scala 版本中有一个混淆，所以当将它修复为所有 2.11 SBT 编译正常，但 gradle 仍然显示同样的问题。

我有一个隐式类，它包含一个类型安全的 Config 类以从中解析信息。这个类使用 pureconfig 来解析数据。我使用它是因为我更喜欢config.as[String]("foo")而不是loadConfig[String](config, "foo"). 但是由于我将其HoconConfigUtil用作适配器case，因此我尝试解析的所有类都失败了，因为未在这些案例类上直接调用 loadConfig 方法。因此，我收到如下所示的错误。处理这个问题的最佳方法是什么？

错误信息：

could not find implicit value for evidence parameter of type pureconfig.ConfigReader[com.example.config.Parallelism]

隐式适配器类