我尝试为页面排名算法构建代码,其中主要的复杂性是有效地解决矩阵乘法,但我不明白这个任务是如何执行的,我阅读了一些关于它的论文,但这超出了我的范围. 我不明白他应用的概念。那么,你能给我一个关于矩阵乘法的映射器和归约器函数的概念吗?提前致谢。
我读了这个链接
像Apache Hama这样的几个框架已经实现了 PageRank。Apache Giraph还支持Pagerank。
MapReduce 不太适合 PageRank,因此 Google 发表了Pregel 论文,用于大规模图计算。
这个想法是,您可以使用Strassen 算法将矩阵乘法分解为子问题,然后将这些子问题发送到一堆不同的计算机。完成这些子问题后,也可以处理将不同子问题汇总到矩阵中的方法。使用 Mapreduce 的关键是所有子问题基本上都可以并行计算,这就是...... Mapreduce 的用途。
您提供的链接解释了这一点(加上它包括源代码)。如果您仍在为操作的概念而苦苦挣扎,那么您可能应该先阅读更多有关矩阵/线性代数的内容,以便了解基础数学。