gradle - Apache Spark 和 gRPC

Question

我正在编写一个使用 Apache Spark 的应用程序。为了与客户端通信，我想使用 gRPC。

在我的 Gradle 构建文件中，我使用

dependencies {
  compile('org.apache.spark:spark-core_2.11:1.5.2')
  compile 'org.apache.spark:spark-sql_2.11:1.5.2'
  compile 'io.grpc:grpc-all:0.13.1'
  ...
}

省略 gRPC 时，一切正常。但是，当使用 gRPC 时，我可以创建构建，但不能执行它，因为包使用了各种版本的 netty。Spark 似乎使用netty-all，它包含与 gRPC 使用的相同的方法（但可能具有不同的签名）。

我尝试了遮蔽（使用com.github.johnrengelman.shadow），但不知何故它仍然不起作用。我该如何解决这个问题？

Answer 1

这类事情的一般解决方案是重定位阴影。请参阅 protobuf 依赖项的类似问题的答案：https ://groups.google.com/forum/#!topic/grpc-io/ABwMhW9bU34

Answer 2

我认为问题在于 spark 使用 netty 4.0.x 和 gRPC 4.1.0 。