hadoop - 在 Hadoop 中更新分布式缓存中的缓存文件

Question

我有一小组文件被缓存并通过 DistributedCache 分发到 map reduce 作业。缓存的文件将来需要定期更新。我想知道是否可以在不重新启动 map reduce 作业的情况下更新缓存文件。

我阅读了有关 DistributedCache 跟踪缓存文件的修改时间戳的信息。当 map reduce 作业不使用文件时，这对更新文件有用吗？

Answer 1

缓存文件在提交作业时复制到 HDFS，然后在生成 M/R 任务之前由不同的任务跟踪器本地复制到本地节点。因此，在作业运行时无法更改分布式缓存中的文件。