mapreduce - map reduce - pearson 相关性

Question

如何使用 map reduce 实现 pearson 相关性？

我考虑过映射每一对（x_i，y_i），但我不确定减少部分..

Answer 1

把问题分解成几个部分

r(x, y) = (a - b) / (c * d)

计算 a、b、c 和 d，然后将它们插入到上面的公式中。在某些情况下，进一步分解公式可能会有所帮助/有效。如果您想使用 map/reduce 执行每个步骤，则至少需要 4 个单独的 map/reduce 作业（更可能是 6 个或 7 个）。只有 1 (a) 需要 x 和 y。