我想使用 cloudera 在单台机器上模拟 Hadoop 作业（当然还有很多虚拟机）。我有 2 个问题 1）我可以更改 cloudera 中 HDFS 的复制策略吗？2) 我可以查看每个虚拟机的 cpu 使用率吗？
问问题
143 次
2 回答
1
您可以使用hadoop fs -setrep更改任何文件的复制因子。您还可以hdfs-site.xml通过添加以下内容进行修改来更改默认复制因子：
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
您必须登录每个框并使用top来查看每个 VM 的 cpu 使用情况。Hadoop 中没有任何开箱即用的功能可以让您看到这一点。
于 2012-04-26T04:18:07.357 回答
0
我发现我可以通过更改“ReplicationTargetChooser.java”来更改数据复制策略。
于 2012-04-26T16:55:35.083 回答