问题标签 [qizmt]

我正在使用简单 MapReduce 操作的 Qizmt 运行本地单系统测试。在“地图”阶段结束时，我打电话给：

这被称为一百万次，键是 1,2,3,4,5,6 等 - 每个都是唯一的（毕竟我只是在测试）。我已经检查过这是否按预期发生。这是。该函数被调用一百万次，并且输入的值是正确的。

令我惊讶的是，仅在“Reduce”阶段，实际上收到了大约一百个键（也就是说，“Reduce”函数只被调用了一百次左右）。这些键似乎几乎是从映射为以下模式的列表中任意选择的：0、383、766、2858、3241、5716 等。

使其通过“减少”的一组键是一致的。IE。每次运行任务时，我都会得到 0、383、766 等。但是，如果我在集群中添加第二个系统，则通过的密钥集将完全改变！

'Map' 和 'Reduce' 之间的阶段对我来说有点神秘 - 我真的不确定该去哪里看，因为我的 Map 函数的行为似乎完全符合预期（也就是说，调用 'output' 一百万次）。有没有更多的并行处理经验的人知道我应该在哪里寻找，或者任何可能导致这种行为的东西？

我有一个 32 位 COM 对象，它执行 CPU 密集型处理（目前仅限于单个 CPU）。为了将其扩展到非常大的数据集和用户社区，我正在考虑通过类似 MapReduce 的框架（如 QizMt）采用分布式处理。

我的问题是，QizMt 可以与 COM 一起使用吗？还有其他选择吗？

COM 内部的逻辑相当复杂，我想让分布式处理对原始代码尽可能透明。

我一直在阅读他们现在已经放弃了他们的 HPC 项目并转向 Hadoop。并且他们将提供他们自己的 hadoop 安装包，可能会更无缝地与 .NET 集成。

我在哪里可以获得有关此计划的文档？架构以及如何开始在本地进行实验。

.NET 上 Hadoop 的另一个替代方案是来自 myspace 的 Qizmt。http://qizmt.myspace.com/ <-- 比较如何。它看起来像一个 Map Reduce 框架，但如果没有 HDFS/Big table 类型的文件系统，它似乎没有用，那么它是否带有一个？

谢谢！