hadoop - 在hadoop中更新分布式缓存中的文件

Question

我们如何更新分布式缓存中的文件/文件？

例如，我在分布式缓存中有一个属性文件现在我在属性文件中添加了更多值。

选项：

1. 在旧文件中追加新值并重新启动作业。
2. 用新文件替换旧文件并重新启动作业。
3. 将新文件放在新位置并指向该位置。

以上所有选项都是正确的，为什么？

Answer 1

这需要了解分布式缓存的工作原理：将文件添加到分布式缓存时，在运行作业时，该文件会复制到每个任务节点，并且该文件在本地可用。因为它创建了多个副本：它不能被修改。

选项 2 和 3 听起来可行，但不确定这是否正确。

如果文件只有一堆属性，您可以在配置对象中设置这些属性，而不是在分布式缓存中设置文件。您可以使用收集器将输出写入所需的位置。（我不清楚你的用例，所以这可能不合适）。