1

我正在尝试使用 nifi 接收器创建 Spark Streaming 应用程序。根据教程，我将 sbt 依赖项添加到我的构建文件中，但现在sbt assembly由于重复数据删除错误而失败。

我的 build.sbt 文件是：

version := "0.0.1"

scalaVersion := "2.10.5"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.nifi" % "nifi-spark-receiver" % "0.6.1"

libraryDependencies += "org.apache.nifi" % "nifi-site-to-site-client" % "0.6.1"

我得到的错误是：

[error] (*:assembly) deduplicate: different file contents found in the following:
[error] org.apache.avro\avro-ipc\jars\avro-ipc-1.7.7-tests.jar:META-INF/maven/org.apache.avro/avro-ipc/pom.properties
[error] org.apache.avro\avro-ipc\jars\avro-ipc-1.7.7.jar:META-INF/maven/org.apache.avro/avro-ipc/pom.properties

有谁知道如何解决这个问题？

谢谢，马可

4

1 回答 1

1

我不完全确定这是否是问题所在，但最近有人指出 nifi-spark-receiver 应该对 Spark 有“提供”依赖，否则可能会导致类路径出现问题。

它已在此 JIRA https://issues.apache.org/jira/browse/NIFI-1803中得到解决，它将在 NiFi 的下一个 0.x 版本中发布（如果没有 0.7，则为 1.0）。

您可以尝试使用 mvn install 从 0.x 分支构建您自己的 NiFi 副本，然后尝试使用 nifi-spark-receiver 的 0.7.0-SNAPSHOT，这将在您的本地 Maven 存储库中可用。

于 2016-05-10T13:02:50.170 回答