4

我有一堆Hadoop MapReduce应用程序(工作)需要共享一些“活”的小型键值存储。实际上,它是关于在作业过程中根据一些字符串标准生成的字符串 ID。

所以它看起来像是共享Map<String,String>的,可以修改并且值在MapReduce作业组件之间共享(在我的例子中是映射器,但没关系)。

我认为可见的方法是Apache ZooKeeper. 我的Hadoop集群上已经有此服务可用。在这种情况下,我需要的是可靠的ZooKeeper供电KeyValue存储。目前我将其视为已声明的应用程序之一,但我没有看到好的实现。有什么建议吗?我看到在这种情况下我需要临时节点(因为 MapReduce 作业的生命周期有限)。

我目前发现的最佳选择是Curator包含SharedValue看起来像我需要的类的框架。但我没有看到任何在食谱或示例中使用它的示例。有什么例子吗?

对于这个问题,还有什么其他好的实现方法或现成的解决方案吗?先感谢您。

4

0 回答 0