0

如何更改 Hadoop 中映射器/缩减器的数量?由于某些奇怪的原因,mapred-site.xml 中不存在 mapred.tasttracker.map.tasks.maximum 和 mapred.tasttracker.reduce.tasks.maximum。我确实设法在 dse-mapred-default.xml 中找到了这些设置,但是一旦打开 xml,就会有一条注释指出不应在此文件中编辑设置,并且应在 mapred-site 中覆盖这些属性。 xml。

我尝试将这两个设置添加到 mapred-site.xml 并重新启动 Hadoop,我希望这些数字也会在 dse-mapred-default.xml 中更新,但没有运气。

有人可以对此有所了解吗?

谢谢马吉德

4

1 回答 1

1

不是mapred.tasttracker.map.tasks.maximum,而是mapred.tasktracker.map.tasks.maximum。我希望这只是一个错字,并且您在配置中使用了正确的名称。

在启动时,DSE 会创建 dse-mapred-default.xml 和 dse-core-default.xml 文件,并用适合您本地操作系统配置和硬件的默认值填充它们。这主要用于 Hadoop 自动调整功能和简化启用安全性的 Hadoop 的配置。然后 Hadoop 按以下顺序加载配置文件:

  1. Hadoop 内部默认值(可以在 Hadoop 文档中找到的默认值)
  2. DSE 默认值来自 dse-core-default.xml 和 dse-mapred-default.xml
  3. 用户文件:core-site.xml 和 mapred-site.xml。

稍后加载的文件中的设置会覆盖之前加载的设置。配置的最终状态不会写回具有默认值的文件。您不应期望将 mapred-site.xml 中的设置复制到 dse-mapred-default.xml 文件中。

如果您不确定最终配置是什么以及您的设置是否正确设置 - 只需运行一个作业并查看 hadoop 日志目录并搜索匹配模式 job_xxxxxxxxxxxx_xxxx_conf.xml 的文件,其中 x 是一个数字。您还可以在 jobtracker HTTP 控制台中查看最终配置。

于 2013-10-16T07:25:22.023 回答