0

我正在修改 hadoop 中的 hdfs 模块,并且希望在我在其上运行 spark 时也看到反射,但我仍然看到本机 hadoop 行为。我检查并看到 Spark 正在构建一个非常胖的 jar 文件,其中包含所有 hadoop 类(使用 maven 中定义的 hadoop 配置文件),并将其部署在所有工作人员上。我还尝试了 bigtop-dist,以排除 hadoop 类,但没有看到任何效果。

是否可以轻松地做这样的事情,例如通过 maven 文件中的小修改?

4

1 回答 1

0

我相信您正在寻找providedMaven 工件的范围。它允许您在打包中排除某些类,同时允许您针对它们进行编译(期望您的运行时环境将以正确的各自版本提供它们)。有关进一步讨论,请参见此处此处

于 2015-10-09T05:26:17.340 回答