hadoop - 作业完成后如何更改distributedCache的内容？

Question

有没有办法在作业完成后更改与distributedCache 关联的文件的内容，并在之后的另一个map/reduce 作业中用作新的distributedCache？

Answer 1

检查TrackerDistributedCacheManager.java代码以获取更多详细信息。Hadoop 会记录有多少任务正在使用 DistributedCache 中的文件。如果计数降至 0，则文件标记为删除。因此，在作业结束时，将清理 DistributedCache 中的文件，否则它们将继续跨作业堆积在节点上。

因此，您无法更改分布式缓存中的文件并在连续作业中使用它。