hadoop - 如何在 Hadoop 中定义共享（全局）变量？

Question

我需要一个可在所有映射器和化简器之间访问的共享（全局）变量。Mappers 只是从中读取值，但 reducer 会更改一些值以在其中的下一次迭代中使用。我知道 DistributedCache 是一种技术，但它只支持读取共享值。

Answer 1

这正是ZooKeeper的目的所在。ZooKeeper 可以跟上来自 mapper/reducer 的大量读取，并且仍然能够不时地写一些东西。

另一个选项是在配置对象中设置值。但是，这仅针对单个作业在全局范围内持续存在。您必须自己管理此值在作业之间的传递。此外，您不能在作业运行时结束此操作。