0

我在集群上运行 hadoop 作业，并在运行 hadoop 作业时使用 -libjars 选项传递一些 jars。我不确定在哪里可以找到集群上的这些 jar。这些罐子是否从本地机器复制到集群的另一件事。我在哪里可以找到集群上的这些罐子

4

1 回答 1

0

根据Hadoop - 权威指南

将指定的 JAR 文件从本地文件系统（或任何文件系统，如果指定了方案）复制到作业跟踪器使用的共享文件系统（通常是 HDFS），并将它们添加到 MapReduce 任务的类路径。此选项是传送作业所依赖的 JAR 文件的有用方式。

因此，指定的文件从本地文件系统复制到 HDFS，然后复制到类路径中的映射器/减速器节点。另外，这些文件被复制了mapreduce.client.submit.file.replication的次数，默认为10次。之所以复制超过3次，是因为文件必须分发到所有需要的节点。

于 2012-11-02T08:45:21.177 回答