2

我有一个同时使用 spark 和 hadoop-aws 的项目(为了解决 hadoop 2.6 中的 s3a,我认为很多项目都使用这种配置)。然而,它们在传递依赖方面存在严重冲突。即spark 1.3.1使用jackson-databind 2.4.4,hadoop-aws for hadoop 2.6使用jackson-databind 2.2.3,最糟糕的是:他们都拒绝在对方的版本上运行,jackson的API发生了变化在 2 次重大升级中很多。

我知道我只能在部署阶段手动附加 hadoop-aws jar,并避免在编译/测试/打包中使用它。但这似乎是一个“不优雅”的解决方案——软件工程的最佳实践是让 maven 处理所有事情,并在发布前测试所有功能。是否有允许我执行此操作的 Maven 配置?

4

0 回答 0