1

我在多节点集群上运行 kmeans。输入大小约为 100mb，我已经像这样修改了 bin/mahout 文件

.

.

.

MAHOUT_OPTS="$MAHOUT_OPTS -Dmapred.min.split.size=10MB"

.

.

MAHOUT_OPTS="$MAHOUT_OPTS -Dmapred.map.tasks=10"

在每次迭代中，我得到

12/09/12 17:05:02 INFO mapred.JobClient: 启动地图任务=1

2012 年 12 月 9 日 17:05:02 信息 mapred.JobClient：启动减少任务 = 6

2012 年 12 月 9 日 17:05:02 信息 mapred.JobClient：数据本地地图任务 = 1

这是否意味着它在单节点而不是多节点上运行？如果是这样，我在配置中错过了什么？

4

1 回答 1

3

如果你想要更多的分割，当然你想设置最大分割大小而不是最小。它仍然只是对集群的一个建议。

于 2012-09-12T17:50:16.347 回答