1

我正在运行一个需要大约 300mb 第三方库的 mapreduce 作业。为了避免在运行作业时将库复制到数据节点的成本。我想知道是否有一种方法/工具可以在作业开始之前将这些库预部署到所有数据节点。

提前致谢。

4

1 回答 1

3

您可以将其部署到 Hadoop 的分布式缓存中。Pere Ferrera Bertran很好地解释了这一点

于 2012-06-13T09:36:33.510 回答