3

我想尝试使用 Mincemeat map/reduce Python 应用程序进行矩阵乘法。我正在使用 Python 2.7。我发现了几个描述如何在 Java 中使用 Hadoop 进行矩阵乘法的网页，我一直在参考这个http://importantfish.com/one-step-matrix-multiplication-with-hadoop/因为它很简单并且因为它显示的伪代码已经非常接近 Python 代码。

我注意到在 Java 代码中还包含矩阵维度，通过附加的 Context 类型参数提供给 map 和 reduce 函数。Mincemeat 没有提供这样的东西，但我得到了一个建议，我可以将这些值提供给我的 map 并使用闭包来减少函数。我写的 map 和 reduce 函数是这样的：

def make_map_fn(num_rows_result, num_cols_result):
    m = num_rows_result
    p = num_cols_result

    def map_fn(key, value):
        # value is ('A', i, j, a_ij) or ('B', j, k, b_jk)
        if value[0] == 'A':
            i = value[1]
            j = value[2]
            a_ij = value[3]

            for k in xrange(1, p):
                yield ((i, k), ('A', j, a_ij))
        else:
            j = value[1]
            k = value[2]
            b_jk = value[3]

            for i in xrange(1, m):
                yield ((i, k), ('B', j, b_jk))
    return map_fn


def make_reduce_fn(inner_dim):
    n = inner_dim

    def reduce_fn(key, values):
        # key is (i, k)
        # values is a list of ('A', j, a_ij) and ('B', j, b_jk)
        hash_A = {j: a_ij for (x, j, a_ij) in values if x == 'A'}
        hash_B = {j: b_jk for (x, j, b_jk) in values if x == 'B'}
        result = 0

        for j in xrange(1, n):
            result += hash_A[j] * hash_B[j]

        return (key, result)
    return reduce_fn

然后我将它们分配给 Mincemeat，如下所示：

s = mincemeat.Server()
s.mapfn = make_map_fn(num_rows_A, num_cols_B)
s.reducefn = make_reduce_fn(num_cols_A)

当我在 Mincemeat 中运行它时，我收到以下错误消息：

error: uncaptured python exception, closing channel <__main__.Client connected at 0x2ada4d0>
(<type 'exceptions.TypeError'>:arg 5 (closure) must be tuple
 [/usr/lib/python2.7/asyncore.py|read|83]
 [/usr/lib/python2.7/asyncore.py|handle_read_event|444]
 [/usr/lib/python2.7/asynchat.py|handle_read|140]
 [/usr/local/lib/python2.7/dist-packages/mincemeat.py|found_terminator|96]
 [/usr/local/lib/python2.7/dist-packages/mincemeat.py|process_command|194]
 [/usr/local/lib/python2.7/dist-packages/mincemeat.py|set_mapfn|159])

我在网上搜索了 |python 闭包必须是元组 | 之类的搜索词。我发现的事情似乎是在处理有人试图使用 lambda 或 function() 构造函数的情况，并且需要确保他们在将它们定义为闭包时没有忽略某些事情。在我的例子中，make_map_fn 和 make_reduce_fn 返回的 map_fn 和 reduce_fn 值看起来像有效的函数对象，它们的 func_closure 值是包含我想要提供的数组维度的单元格元组，但仍然缺少一些东西。我需要以什么形式传递这些函数才能供 Mincemeat 使用？

4

1 回答 1

0

我讨厌成为坏消息的承担者，但这只是您的代码中的一些错误的结果，加上您链接的站点提供的输入文件中的两个错误。它与您使用闭包无关，尽管有误导性错误消息。

一个错误

请注意，伪代码中最内层的循环如下所示：

for k = 1 to p:
for i = 1 to m:
for j = 1 to n:

在伪代码中，这通常表示端点被包括在内，即for k = 1 to p意味着k = 1, 2, ..., p-1, p。另一方面，代码中的相应循环如下所示：

for k in xrange(1, p):
for i in xrange(1, m):
for j in xrange(1, n):

当然，xrange(1, p)产生 1, 2, ..., p-2, p-1。假设您从 0 开始索引矩阵（就像它们在您链接的站点上所做的那样），您的所有 xrange 都应该从 0 开始（例如xrange(0, p)），就像它们在 Java 代码中的等价物一样 ( for (int k = 0; k < p; k++))。这解决了您的一个问题。

输入文件错误

如果您没有发现这一点，则该站点提供的 A 和 B 的输入文件不正确 - 他们忘记了两个矩阵的 (0,0) 条目。特别是，您应该在 form 的开头添加一行A,0,0,0.0，并在 form 的 9 和 10 之间添加一行B,0,0,0.0。（我想你把它放在哪里并不重要，但为了保持一致性，你不妨把它们放在自然适合的地方。）

一旦我纠正了这两个错误，mincemeat 就会给我我们期望的结果（格式化）：

{(0, 1): ((0, 1), 100.0), 
 (1, 2): ((1, 2), 310.0), 
 (0, 0): ((0, 0),  90.0), 
 (0, 2): ((0, 2), 110.0), 
 (1, 0): ((1, 0), 240.0), 
 (1, 1): ((1, 1), 275.0)}

我还没有弄清楚错误消息到底发生了什么，但我认为这归结为 map 函数中不正确的循环索引导致垃圾数据被传递到 reduce 节点，这就是错误的原因提到reduce函数。

基本上，发生的情况是hash_A和hash_B在reduce函数中有时没有相同的键，所以当你尝试乘法时hash_A[j] * hash_B[j]，你会得到一个KeyError因为j不是一个或另一个的键，这会被上游的某个地方捕获并且被重新抛出为 a TypeError。

于 2014-06-14T04:32:47.853 回答