我正在修改 hadoop 中的 hdfs 模块,并且希望在我在其上运行 spark 时也看到反射,但我仍然看到本机 hadoop 行为。我检查并看到 Spark 正在构建一个非常胖的 jar 文件,其中包含所有 hadoop 类(使用 maven 中定义的 hadoop 配置文件),并将其部署在所有工作人员上。我还尝试了 bigtop-dist,以排除 hadoop 类,但没有看到任何效果。
是否可以轻松地做这样的事情,例如通过 maven 文件中的小修改?
我正在修改 hadoop 中的 hdfs 模块,并且希望在我在其上运行 spark 时也看到反射,但我仍然看到本机 hadoop 行为。我检查并看到 Spark 正在构建一个非常胖的 jar 文件,其中包含所有 hadoop 类(使用 maven 中定义的 hadoop 配置文件),并将其部署在所有工作人员上。我还尝试了 bigtop-dist,以排除 hadoop 类,但没有看到任何效果。
是否可以轻松地做这样的事情,例如通过 maven 文件中的小修改?