有什么公式可以告诉我们map reduce算法的并行效率吗？（换句话说，我如何在数学上证明 MR 算法 A 优于 MR 算法 B）
我用谷歌搜索了它，但我可以在wiki上找到并行算法的加速和效率的定义，但如果有人能展示这些公式如何应用于 MR 算法，那就太好了
问问题
1161 次
1 回答
2
简而言之，请查看 Wiki 。Bulk Synchronous ParallelBSP
另一个复杂度计算包含在 Rob Bisselings 论文中
并行科学计算：使用 BSP 和 MPI 的结构化方法
BSPMapReduce是对链接底部的复杂性/成本分析公式的抽象并包含。
所以你需要做的是，将你的MapReduce算法转换为BSP版本。障碍同步是例如阶段之间的转换Map或Reduce新MapReduce作业。消息（通信）是您在Map和Reduce函数中向文件系统发出的内容。
于 2013-04-19T14:37:18.773 回答