我有一堆Hadoop MapReduce
应用程序(工作)需要共享一些“活”的小型键值存储。实际上,它是关于在作业过程中根据一些字符串标准生成的字符串 ID。
所以它看起来像是共享Map<String,String>
的,可以修改并且值在MapReduce
作业组件之间共享(在我的例子中是映射器,但没关系)。
我认为可见的方法是Apache ZooKeeper
. 我的Hadoop
集群上已经有此服务可用。在这种情况下,我需要的是可靠的ZooKeeper
供电KeyValue
存储。目前我将其视为已声明的应用程序之一,但我没有看到好的实现。有什么建议吗?我看到在这种情况下我需要临时节点(因为 MapReduce 作业的生命周期有限)。
我目前发现的最佳选择是Curator
包含SharedValue
看起来像我需要的类的框架。但我没有看到任何在食谱或示例中使用它的示例。有什么例子吗?
对于这个问题,还有什么其他好的实现方法或现成的解决方案吗?先感谢您。