我是 Hadoop、MapReduce、大数据的新手,我正在尝试评估它对于我正在从事的项目非常有趣的特定用例的可行性。但是,我不确定我想要完成的是 A) 可能还是 B) 建议使用 MapReduce 模型。
我们基本上有大量的小部件(已知的数据结构)和定价模型(编码在 JAR 文件中),我们希望能够执行小部件和定价模型的每个组合,以确定定价的结果。模型的排列。定价模型本身将检查每个小部件并根据模型中的决策树确定定价。
在我看来,从商品基础架构的并行处理角度来看,这是有道理的,但从技术角度来看,我不知道是否可以在 MR 作业中执行外部模型,从实际角度来看,我是否试图强制使用用例进入技术。
因此问题变成了是否可能;以这种方式实施是否有意义?如果不是,还有哪些其他选项/模式更适合这种情况?
编辑数量和种类将随着时间的推移而增长。为了便于讨论,假设我们目前有 1TB 的小部件和 10 种定价模型。然后,我们期望进入数 TB 和数百个定价模型,并且随着小部件的更改和/或添加以及引入新类别的定价模型,排列的执行将频繁发生。