问题标签 [mincemeat]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
319 浏览

python - 运行肉馅时出错

运行 mincemeat 时出现错误。代码在 octo.py 中运行正常。我没有将代码放在课程作业中,但我真的更喜欢肉末。错误如下:

0 投票
2 回答
1010 浏览

python - 设置 python mapreduce 时遇到问题 - mincemeat.py

我正在尝试mincemeat.py在我的系统上进行设置,并从源代码安装到前缀文件夹中。我使用 virtualenv 并将 python 从源代码安装到前缀目录中。我正在尝试将 mincemeat.py 安装到相同的前缀目录。

我下载了 mincemeat-0.1.2.tar.gz 并解压。它包含 mincemeat.py、setup.py 和构建。我尝试使用安装

我在同一个文件夹 mincemeat-0.1.2 中也有 example.py。我试图通过给启动客户端

但它无法启动客户端。错误是:

如何检查我的碎肉安装是否正确?另外,我应该把example.py放在哪里?请建议如何使它工作。

0 投票
1 回答
250 浏览

python - Mincemeat.py - 文件的数据源划分

我创建了以下代码:

我在我的个人 Mac 上运行它并在同一台机器上运行客户端。但是,我的问题是,如果我在多台机器上运行多个客户端,文件会自动分割吗?我的意思是肉馅服务器会将文件分配给客户端进行处理吗?此外,在上面的示例中,我没有在映射器函数中指定键。如何指定密钥,例如文件名?

0 投票
1 回答
202 浏览

python-2.7 - Mincemeat:为使用闭包的 map 和 reduce 函数提供额外的参数

我想尝试使用 Mincemeat map/reduce Python 应用程序进行矩阵乘法。我正在使用 Python 2.7。我发现了几个描述如何在 Java 中使用 Hadoop 进行矩阵乘法的网页,我一直在参考这个http://importantfish.com/one-step-matrix-multiplication-with-hadoop/因为它很简单并且因为它显示的伪代码已经非常接近 Python 代码。

我注意到在 Java 代码中还包含矩阵维度,通过附加的 Context 类型参数提供给 map 和 reduce 函数。Mincemeat 没有提供这样的东西,但我得到了一个建议,我可以将这些值提供给我的 map 并使用闭包来减少函数。我写的 map 和 reduce 函数是这样的:

然后我将它们分配给 Mincemeat,如下所示:

当我在 Mincemeat 中运行它时,我收到以下错误消息:

我在网上搜索了 |python 闭包必须是元组 | 之类的搜索词。我发现的事情似乎是在处理有人试图使用 lambda 或 function() 构造函数的情况,并且需要确保他们在将它们定义为闭包时没有忽略某些事情。在我的例子中,make_map_fn 和 make_reduce_fn 返回的 map_fn 和 reduce_fn 值看起来像有效的函数对象,它们的 func_closure 值是包含我想要提供的数组维度的单元格元组,但仍然缺少一些东西。我需要以什么形式传递这些函数才能供 Mincemeat 使用?

0 投票
1 回答
94 浏览

hadoop - 实现 Map Reduce 的最佳编程方式

我们有一个问题,这是应用 MapReduce 编程技术的理想案例。最初的代码是用 Python 编写的。现在我们有以下选项:

  1. 使用 Hadoop 和 Java 实现 MapReduce 部分。
  2. 使用 mincemeat 和 Python 来实现 MapReduce 部分。
  3. 使用 Hadoop 和 Python(Python中的 Hadoop MapReduce Program)来实现 MapReduce 部分。

我不太确定哪个是最好的选择。有人可以帮忙吗?